메모장

Zeppelin Spark interpreter - yarn client / cluster 모드 실행, pyspark추가

Spark interpreter 설정  1. spark-interpreter.jar 가 잘 있는지 확인하자${ZEPPELIN_HOME}/interpreter/spark/ 하위에 spark-interpreter-0.11.1.jar가 있어야 한다.ls -al로 조회해보면 사이즈가 0일 수 있다.껍데기만 있을 수도 있으니 꼭 확인할 것!  2. Spark interpreter 설정${ZEPPELIN_HOME}/conf/interpreter.json을 연다.spark 설정에서 아래 세가지 설정을 해준다.- SPARK_HOME : 스파크 경로 지정(로컬에 이미 구성되어 있어야 함)- spark.master : yarn- spark.sumit.deployMode : client 혹은 cluster 입력 * Clie..

1. Zeppelin Interpreter - Spark 설정 아래 3개의 설정 지정 SPAKR_HOME 지정.spark.master = yarnspark.submit.deployMode = client 2. 필요 라이브러리 설정cd ${ZEPPELIN_HOME}/interpreter/spark/ls -al //이렇게 보면 ._spark-interpreter-0.11.1.jar 파일이 껍데기만 있는 것을 볼 수 있다.cp spark-interpreter-0.11.1.jar ._spark-interpreter-0.11.1.jar // 정상 파일로 복사해준다. scala-2.12 버전도 사용해야 해서 똑같이 해준다.cd ${ZEPPELIN_HOME}/interpreter/spark/scala-2.12 cp..