메모장

실행 {SPARK_HOME}bin/spark-shell --conf "spark.jars=/myhome/jars/delta-spark_2.12-3.1.0.jar" --conf "spark.jars=/myhome/jars/delta-hive-assembly_2.12-3.1.0.jar" --conf "spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension" --conf "spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog"new SparkSession.Builder() .appName(commandLineOptions.className()) .config("spar..

Spark Structured Streaming 서비스의 Kafka LAG 모니터링을 위해 kafka-offset-committer 적용 Kafka Offsets Committer Kafka를 DataSource로 사용하는 Structured streaming query 의 한 배치 작업에서 쿼리가 처리되면 offsets을 commit할 수 있도록 돕는다. 특정 cousumer 그룹의 파티션별 end offsets 추출하여 KafkaConsumer의 commitSync API를 호출하여 강제 commit한다. Kafka Offsets Committer 적용 1. 의존성 추가 : spark-sql-kafka-offset-committer_2.12 - https://mvnrepository.com/artif..

Hive와 연동 ! delta-hive connector 사용 delta-hive-assembly_2.12-3.1.0.jar 를 lib directory 에 추가 hive-site.xml의 hive.aux.jars.path 프로퍼티에 위에서 추가한 경로를 추가해줌. 혹은 아래와 같이 beeline 등으로 붙어서 CLI에서 설정도 가능SET hive.input.format=io.delta.hive.HiveInputFormat; SET hive.tez.input.format=io.delta.hive.HiveInputFormat; Hive와 연동하고 hdfs에 적재된 deltalake 테이블을 hive external table로 생성해보자. 데이터 타입이 정확히 일치하도록. set parquet.column..

logRotate (crontab or logRotate 적용) 1.crontab //crontab 실행 crontab -e //export VISUAL=vim; crontab -e //매일 23시 50분 사용자 시그널을 통해 신규 로그파일 생성하도록 설정 (로그 파일은 timestamp가 기록되며, UTC로 생성된다) 50 23 * * * /bin/kill -SIGUSR1 `ps -ef | grep mongod | grep -v grep | awk '{print $2}'` >> /home/test/mongodb/logs/logrotate.crontab.err 2>&1 //설정 조회 crontab -l //cron 재실행 service cron restart service cron status 2.3.5..