lzth.net
当前位置:首页 >> 求助,spArk 提交任务到集群报错 >>

求助,spArk 提交任务到集群报错

部署这种模式,需要修改conf目录下的spark-env.sh文件.在其中新增如下配置选项:export hadoop_home= /home/hadoop/hadoop-2.0.0-cdh4.5.0export hadoop_conf_dir= $hadoop_home/etc/hadoopspark_executor_instances=2spark_executor_cores=1spark_executor_memory=400mspark_driver_memory=400mspark_yarn_app_name="spark 1.0.0"

这个错误是由于spark高版本bin目录已下删减了compute-classpath.sh这个文件,该文件在1.0版本的对应目录可以找到.

Http source ,这种方式可以通过监听接口方式来收集log;Exec source ,这种方式可以通过执行一些shell命令来收集log,例如通过 tail -f 文件 来监听文件追加的日志;Spooling source,这种方式可以监听某个目录的log,当有新的log产生时即会被发送出去;还有很多其他的方式,例如可以以kafka作为source,这样flume就充当了kafka的消费者,当然还有很多如 Avro source,Thrift source,TCP类的等等,具体参考官网文档更加相应场景配置即可.

缺少jar包,-cp后面的classpath中,把slf4j相关的jar包也得指定

spark包下错了,你应该下载prebuild包,去官网重新下,在Chooseapackagetype选Pre-build对应你的hadoop版本

部署这种模式,需要修改conf目录下的spark-env.sh文件.在其中新增如下配置选项:export HADOOP_HOME= /home/hadoop/hadoop-2.0.0-cdh4.5.0export HADOOP_CONF_DIR= $HADOOP_HOME/etc/hadoopSPARK_EXECUTOR_INSTANCES=2SPARK_EXECUTOR_CORES=1SPARK_EXECUTOR_MEMORY=400MSPARK_DRIVER_MEMORY=400MSPARK_YARN_APP_NAME="Spark 1.0.0"

[{icon:'extjs/examples/shared/icons/fam/cog_edit.png',//useaurlintheiconconfigtooltip:'edit',handler:function(grid,rowindex,colindex){varrec=grid.getstore().getat(rowindex);alert("edit"+rec.get('firstname'));}},{icon:'extjs/examples/restful/images/

使用脚本提交 1使用spark脚本提交到yarn,首先需要将spark所在的主机和hadoop集群之间hosts相互配置(也就是把spark主机的ip和主机名配置到hadoop所有节点的/etc/hosts里面,再把集群所有节点的ip和主机名配置到spark所在主机的/etc/hosts里面如何使用spark将程序提交任务到yarn-Spark-about云

试试在spark-env.sh中设置:export SPARK_MASTER_IP=127.0.0.1export SPARK_LOCAL_IP=127.0.0.1

因为spark文档中只介绍了两种用脚本提交到yarn的例子,并没有介绍如何通过程序提交yarn,但是我们的需求需要这样.网上很难找到例子,经过几天摸索,终于用程序提交到yarn成功,下面总结一下.先介绍官网提交的例子,我用的是spark

网站首页 | 网站地图
All rights reserved Powered by www.lzth.net
copyright ©right 2010-2021。
内容来自网络,如有侵犯请联系客服。zhit325@qq.com