메모장

Iceberg 시작하기 - 설치/SparkStreaming/Hive연동

환경Spark-3.5.1Hive-3.12Iceberg-1.5.0 (https://iceberg.apache.org/multi-engine-support/#apache-spark)호환 버전 확인 : https://iceberg.apache.org/multi-engine-support/#current-engine-version-lifecycle-status Multi-Engine Support - Apache IcebergMulti-Engine Support Apache Iceberg is an open standard for huge analytic tables that can be used by any processing engine. The community continuously improves Ic..

Spark scala - 컬럼 타입 변경과, ArrayType 컬럼의 element 타입 변경

코드로 보자import org.apache.spark.sql.functions._import org.apache.spark.sql.types._// 예시 DataFrame 생성val data = Seq( (1, Array(Row("1", "A"), Row("2", "B"), Row("3", "C"))), (2, Array(Row("4", "D"), Row("5", "E"), Row("6", "F"))))val schema = StructType(Seq( StructField("id", IntegerType, true), StructField("items", ArrayType(StructType(Seq( StructField("number", StringType, true), Struct..

Ubuntu OpenLDAP 설치

0. 용어 용어가 모르면 산으로 간다. 먼저 익히자DN (Distinguished Name) : 고유 명칭 (도메인)CN (Canonical Name) : 정식 이름 (사용자 이름)OU (Organizational Unit) : 조직 단위 (부서 이름)database : 데이터베이스 종류 (bdb)suffix : 최상위 dcrootdn : 관리용 DN, 사용자 추가 삭제 등 사용되는 DNrootpw : DN 인증을 위한 패스워드directory : 데이터베이스 위치출처: https://co-de.tistory.com/114 [코알못:티스토리] 1. OpenLDAP 설치sudo apt install slapd ldap-utilssudo dpkg-reconfigure slapd 아래 가이드 참고하여 설치ht..

Zeppelin 설치(Windows) - UI 안나오는 이슈 해결, 원격 접속 허용

1. 설치 파일 다운로드파일 : zeppelin-0.11.1-bin-all.tgz https://zeppelin.apache.org/download.html Downloadzeppelin.apache.org 2. 압축 풀기$ tar -zxvf zeppelin-0.11.1-bin-all.tgz  3. Zeppelin daemon 실행$ cd zeppelin-0.11.1-bin-all/bin$ zeppelin.cmd$ cd zeppelin-0.11.1-bin-all/bin $ zeppelin.cmd 브라우저에서 http://localhost:8080/#/ 접속 (default port: 8080) 실패~~~!!아니 서버는 실행됐는데..localhost:8080 접속은 가능하지만 화면에 아무것도 노출되지 않고..

Zeppelin spark interpreter 연동

제플린 interpreter 설정에서SPAKR_HOME 지정.spark.master = yarnspark.submit.deployMode = client  그리고 추가로 spark 세션 생성해서 hive 접속 시에 기존 spark-shell로는 hive 잘만 접속하는데, mysql.org 어쩌고 나와서 아래같이 처리하니까 정상적으로 조회됨.{Zeppelin_HOME}/lib에 mysql-connector-java-8.0.23.jar 추가해줌.