7.1.1 设置spark.driver.maxResultSize

在执行spark程序时，很容易出现以下错误：

Total size of serialized results of 19 tasks (1069.2 MB) is bigger than spark.driver.maxResultSize (1024.0 MB)

解决方法是设置spark.driver.maxResultSize。

设置方法如下：

val sparkConf = new SparkConf().setAppName("your appname")
sparkConf.set("spark.driver.maxResultSize", "4g")
val sparkContext = new SparkContext(sparkConf)

原网址: 访问
创建于: 2019-04-12 01:32:29
目录: default
标签: 无

未标明原创文章均为采集，版权归作者所有，转载无需和我联系，请注明原出处，南摩阿彌陀佛，知识，不只知道，要得到

请先后发表评论
  • 最新评论
  • 总共0条评论