Big Data
-
장애 로그 Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 조치 요령: spark-env.conf를 수정하여 worker 노드에서 가용 가능한 CPU와 Memory 자원을 설정한다. export SPARK_WORKER_INSTANCES=1 export SPARK_WORKER_MEMORY=8192m export SPARK_WORKER_CORES=8 export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=5"
Spark-Shell에서 Initial job has not accepted.. 장애 해결장애 로그 Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 조치 요령: spark-env.conf를 수정하여 worker 노드에서 가용 가능한 CPU와 Memory 자원을 설정한다. export SPARK_WORKER_INSTANCES=1 export SPARK_WORKER_MEMORY=8192m export SPARK_WORKER_CORES=8 export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=5"
2018.04.03 -
1). 가상화 서버 구성 (계정: hadoop 으로 설치) 호스트명 IP 주소 용도 nn01 192.168.130.219 NameNode, SecondaryNameNode, ResourceManager, Master dn01 192.168.130.187 NodeManager, DataNode, Worker dn02 192.168.130.249 NodeManager, DataNode, Worker 2). Java 1.8 설치 (nn01, dn01, dn02) tar -xvzpf jdk-8u131-linux-x64.tar.gz mkdir -p /opt/jdk/1.8.0_131 mv jdk1.8.0_131/* /opt/jdk/1.8.0_131/ ln -s /home/hadoop/jdk/1.8.0_131 /ho..
Apache Hadoop-2.7.5와 Spark-2.1.0 완전 분산 모드 설치1). 가상화 서버 구성 (계정: hadoop 으로 설치) 호스트명 IP 주소 용도 nn01 192.168.130.219 NameNode, SecondaryNameNode, ResourceManager, Master dn01 192.168.130.187 NodeManager, DataNode, Worker dn02 192.168.130.249 NodeManager, DataNode, Worker 2). Java 1.8 설치 (nn01, dn01, dn02) tar -xvzpf jdk-8u131-linux-x64.tar.gz mkdir -p /opt/jdk/1.8.0_131 mv jdk1.8.0_131/* /opt/jdk/1.8.0_131/ ln -s /home/hadoop/jdk/1.8.0_131 /ho..
2018.04.03 -
HDFS 명령어를 이용한 데이터 블럭 재분배는 hdfs에서 제공하는 balancer 명령어를 이용하여 진행한다. hdfs balancer -threshold 10 [기본 설정 값은 네트워크 가용 용량의 10%]
HDFS 데이터 블럭 balancer 실행 명령어HDFS 명령어를 이용한 데이터 블럭 재분배는 hdfs에서 제공하는 balancer 명령어를 이용하여 진행한다. hdfs balancer -threshold 10 [기본 설정 값은 네트워크 가용 용량의 10%]
2018.03.27 -
SparkConf sparkConf = new SparkConf(); sparkConf.setAppName(uid); sparkConf.setMaster("yarn"); sparkConf.set("spark.kryo.registrator", "org.kobic.shark.spark.model.SharkRegistrator"); sparkConf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer"); sparkConf.set("spark.kryo.registrationRequired", "true"); sparkConf.set("spark.executor.cores", config.get(Constants.SPARK_MAX_CORE))..
Hadoop yarn 모드에서 spark-submit 실행 시 발생 장애 처리SparkConf sparkConf = new SparkConf(); sparkConf.setAppName(uid); sparkConf.setMaster("yarn"); sparkConf.set("spark.kryo.registrator", "org.kobic.shark.spark.model.SharkRegistrator"); sparkConf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer"); sparkConf.set("spark.kryo.registrationRequired", "true"); sparkConf.set("spark.executor.cores", config.get(Constants.SPARK_MAX_CORE))..
2016.05.20 -
mapred.map.task.maximum 하나의 태스크 트레이커에서 동시에 수행 할 수 있는 맵 태스크의 개수다. 이 값은 CPU 개수만큼 설정 하거나 적게 설정 해야 한다. (기본값 : 2) mapred.tasktracker.map.tasks.maximum 8 mapred.reduce.tasks.maxiumum 하나의 태스크 트래커에서 동시에 수행 할 수 있는 리듀스 태스크의 개수다. 이 값은 CPU 개수와 I/O 성능에 따라 조절해야 한다. mapred.tasktracker.reduce.tasks.maximum 8
Hadoop에서 Maximum Map, Reduce Task 옵션 설정 하기mapred.map.task.maximum 하나의 태스크 트레이커에서 동시에 수행 할 수 있는 맵 태스크의 개수다. 이 값은 CPU 개수만큼 설정 하거나 적게 설정 해야 한다. (기본값 : 2) mapred.tasktracker.map.tasks.maximum 8 mapred.reduce.tasks.maxiumum 하나의 태스크 트래커에서 동시에 수행 할 수 있는 리듀스 태스크의 개수다. 이 값은 CPU 개수와 I/O 성능에 따라 조절해야 한다. mapred.tasktracker.reduce.tasks.maximum 8
2013.02.08 -
여러 이유로 인하여 DataNode에 문제 발생 시 해당 DataNode 제거 방법과 신규 DataNode 추가. DataNode 제거하기 먼저 Master NameNode 서버의 mapred-site.xml 포함된 dfs.hosts.exclude, mapred.hosts.exclude 설정 mapred.job.tracker 210.218.222.238:9001 mapred.system.dir /state/partition1/hadoop/hdfs/mapreduce/system mapred.local.dir /state/partition1/hadoop/hdfs/mapreduce/local dfs.hosts.exclude /home/hadoop/HADOOP/conf/excludes mapred.hosts.e..
Hadoop 에서 DataNode 와 TaskTracker 제거 및 추가하기여러 이유로 인하여 DataNode에 문제 발생 시 해당 DataNode 제거 방법과 신규 DataNode 추가. DataNode 제거하기 먼저 Master NameNode 서버의 mapred-site.xml 포함된 dfs.hosts.exclude, mapred.hosts.exclude 설정 mapred.job.tracker 210.218.222.238:9001 mapred.system.dir /state/partition1/hadoop/hdfs/mapreduce/system mapred.local.dir /state/partition1/hadoop/hdfs/mapreduce/local dfs.hosts.exclude /home/hadoop/HADOOP/conf/excludes mapred.hosts.e..
2013.02.08 -
./HADOOP/bin/hadoop job -kill $job_id
Hadoop 실행 중인 작업 강제 취소 명령어./HADOOP/bin/hadoop job -kill $job_id
2012.05.23 -
데몬을 띄우고자하는 슬레이브 노드에서 아래의 명령어를 차례로 실행한다. bin/hadoop-daemon.sh start datanode bin/hadoop-daemon.sh stop datanode bin/hadoop-daemon.sh start tasktracker bin/hadoop-daemon.sh stop tasktracker 위와 같이 실행하면 background로 데몬이 재 실행된다.
HDFS Datanode 데몬 복구 명령어데몬을 띄우고자하는 슬레이브 노드에서 아래의 명령어를 차례로 실행한다. bin/hadoop-daemon.sh start datanode bin/hadoop-daemon.sh stop datanode bin/hadoop-daemon.sh start tasktracker bin/hadoop-daemon.sh stop tasktracker 위와 같이 실행하면 background로 데몬이 재 실행된다.
2012.05.23