yum install -y https://centos7.iuscommunity.org/ius-release.rpm yum search python36 yum install -y python36u python36u-libs python36u-devel python36u-pip wget https://bootstrap.pypa.io/get-pip.py python3.6 get-pip.py pip3 -V
1). Zeppelin 파일을 다운 받고 압축을 해제한다. wget http://mirror.navercorp.com/apache/zeppelin/zeppelin-0.7.3/zeppelin-0.7.3-bin-all.tgz tar zxfv zeppelin-0.7.3-bin-all.tgz 2). Zeppelin 설정 [zeppelin-env.sh] #환경 변수 설정을 해준다. export SPARK_HOME=/opt/spark/spark-2.1.0-bin-hadoop2.7 export HADOOP_CONF_DIR=/opt/hadoop/current/etc/hadoop export ZEPPELIN_PORT=8888 export JAVA_HOME=/opt/jdk/current export SPARK_SUBMIT..
장애 로그 Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 조치 요령: spark-env.conf를 수정하여 worker 노드에서 가용 가능한 CPU와 Memory 자원을 설정한다. export SPARK_WORKER_INSTANCES=1 export SPARK_WORKER_MEMORY=8192m export SPARK_WORKER_CORES=8 export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=5"
1). 가상화 서버 구성 (계정: hadoop 으로 설치) 호스트명 IP 주소 용도 nn01 192.168.130.219 NameNode, SecondaryNameNode, ResourceManager, Master dn01 192.168.130.187 NodeManager, DataNode, Worker dn02 192.168.130.249 NodeManager, DataNode, Worker 2). Java 1.8 설치 (nn01, dn01, dn02) tar -xvzpf jdk-8u131-linux-x64.tar.gz mkdir -p /opt/jdk/1.8.0_131 mv jdk1.8.0_131/* /opt/jdk/1.8.0_131/ ln -s /home/hadoop/jdk/1.8.0_131 /ho..
HDFS 명령어를 이용한 데이터 블럭 재분배는 hdfs에서 제공하는 balancer 명령어를 이용하여 진행한다. hdfs balancer -threshold 10 [기본 설정 값은 네트워크 가용 용량의 10%]
SparkBLAST 는 Spark 2.0 에서 정상 실행되며, BLAST 버젼은 2.2.29 으로 실행 테스트하였다. SparkBLAST 소스 다운로드 $ git clone https://github.com/Ufscar-Fiocruz-Ifsul/spark-blast2.0.git 소스 패키징을 위하여 sbt 를 설치한다. 설치하는 운영환경은 centOS 7.3에서 아래와 같은 명령어로 설치 가능 curl https://bintray.com/sbt/rpm/rpm | sudo tee /etc/yum.repos.d/bintray-sbt-rpm.repo sudo yum install sbt /home/kogun82/spark-blast2.0 위치에서 아래의 명령어로 패키징 $ sbt package 패키징 이후 /..
[Ubuntu] echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2EE0EA64E40A89B84B2DF73499E82A75642AC823 sudo apt-get update sudo apt-get install sbt [CentOS] curl https://bintray.com/sbt/rpm/rpm | sudo tee /etc/yum.repos.d/bintray-sbt-rpm.repo sudo yum install sbt