docker run -p 8181:8080 --name kafka --rm \ -e KAFKA_CLUSTERS_0_NAME=kobic \ -e KAFKA_CLUSTERS_0_ZOOKEEPER=192.168.153.140:2181,192.168.153.141:2181,192.168.153.142:2181 \ -e KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=192.168.153.140:9092,192.168.153.141:9092,192.168.153.142:9092 \ -d provectuslabs/kafka-ui:latest
#/etc/default/cloudera-scm-server 파일에 설정되어 있는 CMF_JAVA_OPT 설정 #다음 같이 설정되어 있는 Xmx 설정 값을 변경 후 서버를 재실행 export CMF_JAVA_OPTS="-Xmx4G -XX:MaxPermSize=256m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp"
Thrift 파일은 다른 Thrift 파일의 공용 구조체나 서비스 정의를 참조할 수 있다. Thrift 는 이런 참조를 현재 경로나, 컴파일러의 -I 플래그에 지정된 상대 경로에서 찾아 Include 한다. 참조된 객체들은 .thrift 파일의 이름을 접두어로 사용해서 접근 가능하다. 1). org.model.thrift 파일 namespace java org.model struct FileModel{ 1: string name; 2: string cPath; 3: string hPath; 4: string pPath; 5: string createDate; 6: string modifiedDate; 7: string accessDate; 8: long size; 9: boolean canRead; 10..
서버에 하나 이상의 네트워크 아이피가 설정되어 있을 경우, 카프카 컨슈머 프로듀서에서 사용되는 아이피를 다음 프로퍼티를 설정하여 사용할 수 있다. listeners=PLAINTEXT://192.168.154.100:9092,SSL://192.168.154.100:9093 advertised.listeners=PLAINTEXT://192.168.154.100:9092,SSL://192.168.154.100:9093 CDH 6.3.1 버전 기준 카프카
Hadoop 과 시계열 데이터베이스 InfluxDB를 마스터 노드에 함께 설치 시 포트 충돌이 발생하여 InfluxDB 포트를 수정 한다. sudo vi /etc/influxdb/influxdb.conf ### Welcome to the InfluxDB configuration file. # The values in this file override the default values used by the system if # a config option is not specified. The commented out lines are the configuration # field and the default value used. Uncommenting a line and changing the value..
- 스파크 jars 폴더 하위의 jar 파일들을 zeppelin의 interpreter 폴더 하위로 복사한다. cp -r /BiO/program/spark/current/jars/* /BiO/program/zeppelin/current/interpreter/spark/
KAFKA 서버 실행 시 TCP6 로 실행되는 경우 아래의 옵션을 설정하여 TCP4 로 서버 구동을 실행 할 수 있다. export KAFKA_OPTS="-Djava.net.preferIPv4Stack=True"
1). Zeppelin 파일을 다운 받고 압축을 해제한다. wget http://mirror.navercorp.com/apache/zeppelin/zeppelin-0.7.3/zeppelin-0.7.3-bin-all.tgz tar zxfv zeppelin-0.7.3-bin-all.tgz 2). Zeppelin 설정 [zeppelin-env.sh] #환경 변수 설정을 해준다. export SPARK_HOME=/opt/spark/spark-2.1.0-bin-hadoop2.7 export HADOOP_CONF_DIR=/opt/hadoop/current/etc/hadoop export ZEPPELIN_PORT=8888 export JAVA_HOME=/opt/jdk/current export SPARK_SUBMIT..