Zeppelin-0.7.3 + Spark-2.1.0 클러스터 모드 설치

1). Zeppelin 파일을 다운 받고 압축을 해제한다.

wget http://mirror.navercorp.com/apache/zeppelin/zeppelin-0.7.3/zeppelin-0.7.3-bin-all.tgz
tar zxfv zeppelin-0.7.3-bin-all.tgz

2). Zeppelin 설정

 

[zeppelin-env.sh]

#환경 변수 설정을 해준다.

export SPARK_HOME=/opt/spark/spark-2.1.0-bin-hadoop2.7
export HADOOP_CONF_DIR=/opt/hadoop/current/etc/hadoop
export ZEPPELIN_PORT=8888
export JAVA_HOME=/opt/jdk/current
export SPARK_SUBMIT_OPTIONS="--packages com.databricks:spark-csv_2.10:1.2.0"
export MASTER=spark://nn01:7077

[zeppelin-site.xml]

#Spark Web UI와 포트가 겹치니 수정해준다.

<property>
    <name>zeppelin.server.port</name>
    <value>8888</value>
    <description>Server port.</description>
</property>

[shiro.ini]

#사용자 정보를 수정한다.

[users]
# List of users with their password allowed to access Zeppelin.
admin = admin, admin

[interpreter.json]
#Spark 클러스터 정보를 입력한다.
#spark.Utils.InvolkeMethod 장애 발생 시 useHiveContext 설정 값을 false로 변경한다.

"master": "spark://nn01:7077"
"zeppelin.spark.useHiveContext": "false"

3). zeppelin-daemon.sh start 명령어로 실행한다.