Spark-Shell에서 Initial job has not accepted.. 장애 해결Big Data2018. 4. 3. 13:40
Table of Contents
장애 로그
Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
조치 요령:
spark-env.conf를 수정하여 worker 노드에서 가용 가능한 CPU와 Memory 자원을 설정한다.
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=8192m
export SPARK_WORKER_CORES=8
export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=5"반응형
'Big Data' 카테고리의 다른 글
| kafka 리눅스 환경에서 IPv4로 실행 (0) | 2018.06.11 |
|---|---|
| Zeppelin-0.7.3 + Spark-2.1.0 클러스터 모드 설치 (0) | 2018.04.03 |
| Apache Hadoop-2.7.5와 Spark-2.1.0 완전 분산 모드 설치 (0) | 2018.04.03 |
| HDFS 데이터 블럭 balancer 실행 명령어 (0) | 2018.03.27 |
| Hadoop yarn 모드에서 spark-submit 실행 시 발생 장애 처리 (0) | 2016.05.20 |
@kogun82 :: Ctrl+C&V 로 하는 프로그래밍
Korean BioInformation Center(KOBIC) Korea Research Institute of Bioscience & Biotechnology Address: #52 Eoeun-dong, Yuseong-gu, Deajeon, 305-806, KOREA +82-10-9936-2261 e-mail: kogun82@kribb.re.kr Blog: kogun82.tistory.com Homepage: www.kobic.re.kr
포스팅이 좋았다면 "좋아요❤️" 또는 "구독👍🏻" 해주세요!
