메모장

Spark interpreter 설정  1. spark-interpreter.jar 가 잘 있는지 확인하자${ZEPPELIN_HOME}/interpreter/spark/ 하위에 spark-interpreter-0.11.1.jar가 있어야 한다.ls -al로 조회해보면 사이즈가 0일 수 있다.껍데기만 있을 수도 있으니 꼭 확인할 것!  2. Spark interpreter 설정${ZEPPELIN_HOME}/conf/interpreter.json을 연다.spark 설정에서 아래 세가지 설정을 해준다.- SPARK_HOME : 스파크 경로 지정(로컬에 이미 구성되어 있어야 함)- spark.master : yarn- spark.sumit.deployMode : client 혹은 cluster 입력 * Clie..

1. Zeppelin Interpreter - Spark 설정 아래 3개의 설정 지정 SPAKR_HOME 지정.spark.master = yarnspark.submit.deployMode = client그리고 spark.executor.cores, spark.driver.cores 등 메모리도.. 기본적으로 실행할 자원 설정근데 노트북 내에서 아래와 같이 따로 설정도 가능함 %spark.confspark.app.name test-app-namespark.executor.instances 10spark.executor.core 10spark.yarn.queue queue.test 2. 필요 라이브러리 설정cd ${ZEPPELIN_HOME}/interpreter/spark/ls -al //이렇게 보면 ._..