!outputformat csv !record data.csv (파일명을 포함한 절대 경로 지정) select * from system.catalog limit 10; !record !quit
KAFKA 서버 실행 시 TCP6 로 실행되는 경우 아래의 옵션을 설정하여 TCP4 로 서버 구동을 실행 할 수 있다. export KAFKA_OPTS="-Djava.net.preferIPv4Stack=True"
yum install -y https://centos7.iuscommunity.org/ius-release.rpm yum search python36 yum install -y python36u python36u-libs python36u-devel python36u-pip wget https://bootstrap.pypa.io/get-pip.py python3.6 get-pip.py pip3 -V
1). Zeppelin 파일을 다운 받고 압축을 해제한다. wget http://mirror.navercorp.com/apache/zeppelin/zeppelin-0.7.3/zeppelin-0.7.3-bin-all.tgz tar zxfv zeppelin-0.7.3-bin-all.tgz 2). Zeppelin 설정 [zeppelin-env.sh] #환경 변수 설정을 해준다. export SPARK_HOME=/opt/spark/spark-2.1.0-bin-hadoop2.7 export HADOOP_CONF_DIR=/opt/hadoop/current/etc/hadoop export ZEPPELIN_PORT=8888 export JAVA_HOME=/opt/jdk/current export SPARK_SUBMIT..
장애 로그 Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 조치 요령: spark-env.conf를 수정하여 worker 노드에서 가용 가능한 CPU와 Memory 자원을 설정한다. export SPARK_WORKER_INSTANCES=1 export SPARK_WORKER_MEMORY=8192m export SPARK_WORKER_CORES=8 export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=5"
1). 가상화 서버 구성 (계정: hadoop 으로 설치) 호스트명 IP 주소 용도 nn01 192.168.130.219 NameNode, SecondaryNameNode, ResourceManager, Master dn01 192.168.130.187 NodeManager, DataNode, Worker dn02 192.168.130.249 NodeManager, DataNode, Worker 2). Java 1.8 설치 (nn01, dn01, dn02) tar -xvzpf jdk-8u131-linux-x64.tar.gz mkdir -p /opt/jdk/1.8.0_131 mv jdk1.8.0_131/* /opt/jdk/1.8.0_131/ ln -s /home/hadoop/jdk/1.8.0_131 /ho..
HDFS 명령어를 이용한 데이터 블럭 재분배는 hdfs에서 제공하는 balancer 명령어를 이용하여 진행한다. hdfs balancer -threshold 10 [기본 설정 값은 네트워크 가용 용량의 10%]
