(3条消息)java.lang.NoClassDefFoundError:org/apache/spark/streaming/kafka/KafkaUtils 报错 - 向阳争渡 - CSDN博客

经过2天的挣扎，终于解决了这个问题。
期间也遇到了其他问题，解决办法是spark-submit中设置相应的jar(加了好几个)。这一问题是由于kafka的版本不对，我的环境里Scala的版本是2.11.1,但是我安装的是kafka_2.12-1.1.0.tgz，对应Scala 2.12,更换了kafka的版本后完美解决

！！！！！细节很重要！！！！
最后附上spark-submit提交语句，提醒自己。

/root/app/spark-2.1.0-bin-hadoop2.6/bin/spark-submit  --class hdfs.KafkaToHbase --master spark://192.168.1.233:7077 --jars spark.jar,metrics-core-2.2.0.jar,spark-streaming-kafka-0-8_2.11-2.1.0.jar,spark-streaming_2.11-2.1.0.jar,kafka_2.11-1.1.0.jar 1000

Original url: Access
Created at: 2019-03-25 20:42:54
Category: default
Tags: none

未标明原创文章均为采集，版权归作者所有，转载无需和我联系，请注明原出处，南摩阿彌陀佛，知识，不只知道，要得到

请先后发表评论
  • 最新评论
  • 总共0条评论