/home/hadoop/software/spark/bin/spark-sql \
--master yarn \
--deploy-mode client \
--queue queue_1 \
--conf spark.rpc.message.maxSize=2047 \
--conf spark.yarn.dist.files="/path/to/hive-site.xml"
同理,即使将
spark.yarn.dist.files
行的配置换成了--files /path/to/hive-site.xml
或者--properties-file /path/to/hive-site.xml
也没有用(--properties-file的解释为"Path to a file from which to load extra properties. If not specified, this will look for conf/spark-defaults.conf.", 读取的文件内容不应该为xml格式)。
如果需要配置spark相关的信息,需要在SPARK_HOME/conf/spark-defaults.conf中配置。
No comments:
Post a Comment