用IDEA Maven构建scala项目_scala_Buevara的博客-CSDN博客

步骤一：在IDEA上安装scala插件 步骤二：在projrect structure的global Libraries添加scala文件包 前两步参考https://zhuanlan.zhihu.com/p/55450219 前3步步骤四：选择新建Maven项目 点击Create from archetype 选择红色2的scala 点击next 步骤五： 生成文件目录：...
阅读全文

Intellij IDEA中编写Scala程序报错：Error:scalac: 'jvm-1.8' - 豌豆ip代理

参考链接： 原网址: 创建于: 20200513 05:30:57目录: default标签: 无
阅读全文

SparkStreaming直连方式读取kafka数据，使用MySQL保存偏移量_大数据_Lu_Xiao_Yue的博客-CSDN博客

通过MySQL保存kafka的偏移量，完成直连方式读取数据 使用scalikeJDBC,访问数据库1、什么是 ScalikeJDBCScalikeJDBC 是一款给 Scala 开发者使用的简洁 DB 访问类库，它是基于 SQL 的，使用者只需要关注 SQL 逻辑的编写，所有的数据库操作都交给 ScalikeJDBC。这个类库内置包含了JDBC API，并且给用户提供了简单易用并且非常...
阅读全文

SparkStreaming消费Kafka中的数据 使用zookeeper和MySQL保存偏移量的两种方式_大数据_weixin_44155237的博客-CSDN博客

第一种是使用zookeeper保存偏移量```object KafkaDirectZookeeper { def main(args: Array }} ```第二种是通过MySQL保存偏移量 注意：这种方式使用的是scalikejdbc 导入以下依赖``` <dependency <groupIdorg.scalikejdbc</gro...
阅读全文

Kafka直连方式存储MySQL – Programming language

版权声明：Designed By JiaMingcan https://blog.csdn.net/qq_41571900/article/details/84205823记得在之前写了一篇是MySQL基础使用的，这次就用MySQL来保存Direct方式的偏移量。 代码如下：```package kafka1import kafka.common.TopicAndPartition...
阅读全文

flinksql处理消费kafka的json数据保存到mysql_大数据_weixin_43806056的博客-CSDN博客

flink消费kafka数据的版本问题，可以去https://mvnrepository.com/，查看对应版本。 如果在开发过程中，出现版本不对应，那么kafka的topic一定要重新创建一个，以防各种错误。 环境： mysql zookeeper:3.4.13 kafka：0.8_2.11 flink:1.7.2（pom.xml中）启动zookeeper bin...
阅读全文

Mac 上有什么比较好用的下载工具？ - 知乎

Mac 上的下载器其实不少，问题是，下载工具和某类敏感应用一样，总给人在悬索上跳舞的不靠谱感——就像曾经如日中天的 Fake Thunder，不幸因为迅雷的政策变更遂一夜沦陷。时至今日，哪些下载工具还是可以正常、流畅使用的呢？我整理了一些优秀的工具，它们大多经历时间或市场的考验，历久弥新。Folx 5Mac 电脑的老用户对 Folx 应该挺有感情，多年过去，这款应用不断优化速度、精简...
阅读全文

Kafka学习总结(一)——Kafka的message存储数据结构_大数据_平凡之路无尽路的博客-CSDN博客

参考资料： 以后继续深入总结。Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和partition的关系。partition是以文...
阅读全文

Permission denied (publickey,gssapi-keyex,gssapi-with-mic) 解决方法_运维_albertjone的博客-CSDN博客 谷歌云 创建实例后的问题

背景：之前在google cloud上新建了台虚机，后来因为手动修改了一下路径“/.ssh/authorized\_keys”这个文件就导致了出现上述的错误：Permission denied (publickey,gssapikeyex,gssapiwithmic)。我依照往常一贯的作风，直接google 错误提示。完全不去思考可能的问题。不过也能解释，我这么做的一个原因，当时时间比较晚了...
阅读全文

谷歌云搭建免费VPN | ZChen

_仅供技术学习探索，请合理科学上网，遵纪守法。_\ 前面 是 Google 提供的云端服务,目前提供 365 天免费的 300 美金优惠试用,并且超过 365 天或者赠金已消费完,没有你的允许它也不会继续扣款,以下是我在上面搭建个人 VPN 的过程,欢迎参考:D整体大概流程：_申请免费谷歌云服务_ =\ _创建虚拟实例_ =\ _在实例搭建`SSR`或`L2TP/IPsec`VPN ...
阅读全文