IT 잡동사니

Zeppelin spark interpreter 연동

케키키케 2024. 7. 1. 23:49

 

제플린 interpreter 설정에서

SPAKR_HOME 지정.

spark.master = yarn

spark.submit.deployMode = client

 

 

그리고 추가로 spark 세션 생성해서 hive 접속 시에 기존 spark-shell로는 hive 잘만 접속하는데, mysql.org 어쩌고 나와서 아래같이 처리하니까 정상적으로 조회됨.

{Zeppelin_HOME}/lib에 mysql-connector-java-8.0.23.jar 추가해줌.