Cloud Document

公有云资源申请

参考 百度云环境准备

集群环境

• 集群创建

  参考 集群创建 中集群准备的第三步和第四步

  注意，请选择spark 2.0 集群

• 数据准备

  1. 数据上传至对象存储BOS（具体操作详见 对象存储BOS入门指南 ）

  2. 从BOS 上传至集群HDFS，参考指令：

     hadoop distcp bos_path hdfs_path (eg: hadoop distcp bos://spark-input-data/join_lists_input/ hdfs:///user/input)

设置环境变量

公有云有现有的hadoop spark 环境，不需要下载hadoop client、spark client

export HADOOP_HOME=/opt/bmr/hadoop/

export SPARK_HOME=/opt/bmr/spark2

export JAVA_HOME=/opt/jdk1.8.0_144/jre

我们申请了一些 公有云 的资源，如果想试用Bigflow，可以 联系 我们。