解读Spark Streaming RDD的全生命周期 - 永不服输2016 - 博客园

本节主要内容：一、DStream与RDD关系的彻底的研究二、StreamingRDD的生成彻底研究Spark Streaming RDD思考三个关键的问题：RDD本身是基本对象，根据一定时间定时产生RDD的对象，随着时间的积累，不对其管理的话会导致内存会溢出，所以在BatchDuration时间内执行完RDD操作后，需对RDD进行管理。1、DStream生成RDD的过程，DSt...
阅读全文

Spark Streaming读取kafka数据方式的优化对比 - 知乎

_作者：个推数据研发工程师 学长_1 业务背景随着大数据的快速发展，业务场景越来越复杂，离线式的批处理框架MapReduce已经不能满足业务，大量的场景需要实时的数据处理结果来进行分析、决策。Spark Streaming是一种分布式的大数据实时计算框架，他提供了动态的，高吞吐量的，可容错的流式数据处理，不仅可以实现用户行为分析，还能在金融、舆情分析、网络监控等方面发挥作用。个推开发者服...
阅读全文

Intellij IDEA中编写Scala程序报错：Error:scalac: jvm-1.8 is not a valid choice for -target_开发工具_xwq的博客-CSDN博客

在Intellij IDEA中编写Scala程序报错：Error:scalac: ‘jvm1.8’ is not a valid choice for ‘target’。 Intellij IDEA版本是2019.1.3， JDK版本是1.8.0， Scala版本是2.10.5.解决方法：根据以下路径FileSettings Build, Execution, Deploym...
阅读全文

腾讯的背水一战 - 知乎

1 背水一战 前两天说阅文新合同和肖战模式的时候，我说了这是腾讯的背水一战。很多人无法理解，这明明是作者和用户被逼到极致了，腾讯依旧那么庞大那么赚钱，依旧是中国互联网的超级巨头，怎么就背水一战了呢？ 因为，大公司的逻辑，是不太一样的。对于腾讯这种千亿级别的超级巨头来说，他的兴衰不在于做出一个爆款游戏，赚到几亿盈利。而在于，他是否抓到了大时代的方向。只有大时代的大浪里才有广阔的市场空间可...
阅读全文

Scala在IDEA中的缩进设置_开发工具_yxf19034516的博客-CSDN博客

1.开发java的时候用惯了4个空格的缩进，但是在开发scala的时候却变成了两个，感觉很别扭。2\. 找到fileSettingsEditorCode StyleScala改为如图值，点击OK3.然后重新创建的Scala文件就是缩进为4的了。原网址: 创建于: 20200513 06:14:28目录: default标签: 无
阅读全文

Spark Scala Application Config

Spark job中要读取各种配置文件，发现用resources这种方式虽然不是最好的，也许可以直接在命令行指定资源文件，先用这种土的方式解决问题。建立资源目录```mkdir src/main/resources```maven引入资源管理插件```<plugin <groupIdorg.apache.maven.plugins</groupId <art...
阅读全文

Sparkstreaming数据零丢失之手动维护offset到MySQL - 简书 ---- 完整

版本信息:```cssspark:2.2.0kakfa:0.10.1.0scala:2.11.8scalikejdbc:3.3.2```Pom文件：```xml<properties <scala.version2.11.8</scala.version <spark.version2.2.0</spark.version ...
阅读全文

spark Streaming +kafka 的offset数据保存MySQL、hbase、redis_大数据_曹雪朋 的博客-CSDN博客

Kafka做为一款流行的分布式发布订阅消息系统，以高吞吐、低延时、高可靠的特点著称，已经成为Spark Streaming常用的流数据来源。其实说白了，官方提供的思路就是，把JavaInputDStream转换为OffsetRange对象，该对象具有topic对应的分区的所有信息，每次batch处理完，Spark Streaming都会自动更新该对象，所以你只需要找个合适的地方保存该对象（比如...
阅读全文

SparkStreamingOffsetMysql将偏移量保存到MySQL中_数据库_C_time的博客-CSDN博客

```xml<dependency<dependency <groupIdorg.apache.spark</groupId <artifactIdsparkstreaming_2.11</artifactId <version${spark.version}</version <! ...
阅读全文

IDEA里运行代码时出现Error:scalac: error while loading JUnit4, Scala signature JUnit4 has wrong version expected: 5.0 found: 4.1 in JUnit4.class错误的解决办法（图文详解） - 大数据和AI躺过的坑 - 博客园

 　　不多说，直接上干货！ 问题详情　　当出现这类错误时是由于版本不匹配造成的Information:2017/8/29 7:54 \ Compilation completed with 10 errors and 0 warnings in 3s 910msError:scalac: error while loading JUnit4, Scala signature ...
阅读全文