장애 로그 Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 조치 요령: spark-env.conf를 수정하여 worker 노드에서 가용 가능한 CPU와 Memory 자원을 설정한다. export SPARK_WORKER_INSTANCES=1 export SPARK_WORKER_MEMORY=8192m export SPARK_WORKER_CORES=8 export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=5"
1). 가상화 서버 구성 (계정: hadoop 으로 설치) 호스트명 IP 주소 용도 nn01 192.168.130.219 NameNode, SecondaryNameNode, ResourceManager, Master dn01 192.168.130.187 NodeManager, DataNode, Worker dn02 192.168.130.249 NodeManager, DataNode, Worker 2). Java 1.8 설치 (nn01, dn01, dn02) tar -xvzpf jdk-8u131-linux-x64.tar.gz mkdir -p /opt/jdk/1.8.0_131 mv jdk1.8.0_131/* /opt/jdk/1.8.0_131/ ln -s /home/hadoop/jdk/1.8.0_131 /ho..
HDFS 명령어를 이용한 데이터 블럭 재분배는 hdfs에서 제공하는 balancer 명령어를 이용하여 진행한다. hdfs balancer -threshold 10 [기본 설정 값은 네트워크 가용 용량의 10%]
SparkConf sparkConf = new SparkConf(); sparkConf.setAppName(uid); sparkConf.setMaster("yarn"); sparkConf.set("spark.kryo.registrator", "org.kobic.shark.spark.model.SharkRegistrator"); sparkConf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer"); sparkConf.set("spark.kryo.registrationRequired", "true"); sparkConf.set("spark.executor.cores", config.get(Constants.SPARK_MAX_CORE))..
mapred.map.task.maximum 하나의 태스크 트레이커에서 동시에 수행 할 수 있는 맵 태스크의 개수다. 이 값은 CPU 개수만큼 설정 하거나 적게 설정 해야 한다. (기본값 : 2) mapred.tasktracker.map.tasks.maximum 8 mapred.reduce.tasks.maxiumum 하나의 태스크 트래커에서 동시에 수행 할 수 있는 리듀스 태스크의 개수다. 이 값은 CPU 개수와 I/O 성능에 따라 조절해야 한다. mapred.tasktracker.reduce.tasks.maximum 8
여러 이유로 인하여 DataNode에 문제 발생 시 해당 DataNode 제거 방법과 신규 DataNode 추가. DataNode 제거하기 먼저 Master NameNode 서버의 mapred-site.xml 포함된 dfs.hosts.exclude, mapred.hosts.exclude 설정 mapred.job.tracker 210.218.222.238:9001 mapred.system.dir /state/partition1/hadoop/hdfs/mapreduce/system mapred.local.dir /state/partition1/hadoop/hdfs/mapreduce/local dfs.hosts.exclude /home/hadoop/HADOOP/conf/excludes mapred.hosts.e..
데몬을 띄우고자하는 슬레이브 노드에서 아래의 명령어를 차례로 실행한다. bin/hadoop-daemon.sh start datanode bin/hadoop-daemon.sh stop datanode bin/hadoop-daemon.sh start tasktracker bin/hadoop-daemon.sh stop tasktracker 위와 같이 실행하면 background로 데몬이 재 실행된다.