Monday, May 7, 2018

spark读取hive-site.xml无法识别里面spark相关参数问题

过如下语句启动spark-sql时,如果有spark相关参数在hive-site.xml中,并不会被load到spark environment里。spark只会从hive-site.xml中读取hive相关的参数(例如metastore信息等)。
/home/hadoop/software/spark/bin/spark-sql \
--master yarn \
--deploy-mode client \
--queue queue_1 \
--conf spark.rpc.message.maxSize=2047 \
--conf spark.yarn.dist.files="/path/to/hive-site.xml"
同理,即使将spark.yarn.dist.files行的配置换成了--files /path/to/hive-site.xml或者--properties-file /path/to/hive-site.xml也没有用(--properties-file的解释为"Path to a file from which to load extra properties. If not specified, this will look for conf/spark-defaults.conf.", 读取的文件内容不应该为xml格式)。
如果需要配置spark相关的信息,需要在SPARK_HOME/conf/spark-defaults.conf中配置。

No comments:

Post a Comment