메모장

Spark Structured Streaming 서비스의 Kafka LAG 모니터링을 위해 kafka-offset-committer 적용 Kafka Offsets Committer Kafka를 DataSource로 사용하는 Structured streaming query 의 한 배치 작업에서 쿼리가 처리되면 offsets을 commit할 수 있도록 돕는다. 특정 cousumer 그룹의 파티션별 end offsets 추출하여 KafkaConsumer의 commitSync API를 호출하여 강제 commit한다. Kafka Offsets Committer 적용 1. 의존성 추가 : spark-sql-kafka-offset-committer_2.12 - https://mvnrepository.com/artif..

logRotate (crontab or logRotate 적용) 1.crontab //crontab 실행 crontab -e //export VISUAL=vim; crontab -e //매일 23시 50분 사용자 시그널을 통해 신규 로그파일 생성하도록 설정 (로그 파일은 timestamp가 기록되며, UTC로 생성된다) 50 23 * * * /bin/kill -SIGUSR1 `ps -ef | grep mongod | grep -v grep | awk '{print $2}'` >> /home/test/mongodb/logs/logrotate.crontab.err 2>&1 //설정 조회 crontab -l //cron 재실행 service cron restart service cron status 2.3.5..

도커를 설치해놓은지 너무 오래돼서 버전 업그레이드를 한다.이전 버전을 깔끔하게 지우고, 신규 버전으로 업그레이드 해보자. 이전에 설치해놓은 도커가 없다. 신규 설치다! 하는 사람들은 3번부터 시작~ 1. 일단 도커 종료sudo service docker stopsudo rm -rf /var/run/docker.sock 2. 기존 데이터 삭제for target in docker-compose docker.io docker-doc  docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $ target ; done 근데 잘 삭제가 안됐다.아래 명령어로 다시해보자.remove -> autoremove로 바꿈for target in doc..

Zeppelin H/A 구성하기 안정성을 위해 H/A 구성을 하려고 하는데.. 보통 싱글 노드로 많이 사용하는 것 같다.도큐먼트에도 멀티노드 구성에 대한 이야긴 없다.어떻게 하지. .ChatGPT한테 물어봤다.열심히 말하는데 믿음이 안간다. 구글에 찾아보니  Zeppelin distributed architecture design 문서를 발견! 이것이 좀 도움이 될 것 같다. 우선 H/A 구성을 위해서 아래의 작업을 진행했다. 시작해보자~!1. 클러스터 구성${ZEPPELIN_HOME}/conf/zeppelin.site.xml 에 클러스터 정보 추가 zeppelin.cluster.addr zeppelin-server1-ip:6000,zeppelin-server2-ip:6000,zeppelin-serv..

Robo3T 로 보는게 편하다.맨날 까먹는 MongoDB 명령어 모음집 DB조회show dbs 컬렉션 조회use test; //db선택. 없을 때는 만들어짐.show collections; 전체 조회db.getCollection('collectionName').find()db.getCollection('collectionName').find().pretty 조건 조회컬럼명="테스트" 인 document 조회db.getCollection('collectionName').find("컬럼명":"테스트") 특정 필드 업데이트db.collectionName.update( { name: "song" }, { $set: { age: 31 } } ) 도큐먼트 업데이트db.collectionName.update( { n..

0. 용어 용어가 모르면 산으로 간다. 먼저 익히자DN (Distinguished Name) : 고유 명칭 (도메인)CN (Canonical Name) : 정식 이름 (사용자 이름)OU (Organizational Unit) : 조직 단위 (부서 이름)database : 데이터베이스 종류 (bdb)suffix : 최상위 dcrootdn : 관리용 DN, 사용자 추가 삭제 등 사용되는 DNrootpw : DN 인증을 위한 패스워드directory : 데이터베이스 위치출처: https://co-de.tistory.com/114 [코알못:티스토리] 1. OpenLDAP 설치sudo apt install slapd ldap-utilssudo dpkg-reconfigure slapd 아래 가이드 참고하여 설치ht..

1. 설치 파일 다운로드파일 : zeppelin-0.11.1-bin-all.tgz https://zeppelin.apache.org/download.html Downloadzeppelin.apache.org 2. 압축 풀기$ tar -zxvf zeppelin-0.11.1-bin-all.tgz  3. Zeppelin daemon 실행$ cd zeppelin-0.11.1-bin-all/bin$ zeppelin.cmd$ cd zeppelin-0.11.1-bin-all/bin $ zeppelin.cmd 브라우저에서 http://localhost:8080/#/ 접속 (default port: 8080) 실패~~~!!아니 서버는 실행됐는데..localhost:8080 접속은 가능하지만 화면에 아무것도 노출되지 않고..

1. Zeppelin Interpreter - Spark 설정 아래 3개의 설정 지정 SPAKR_HOME 지정.spark.master = yarnspark.submit.deployMode = client그리고 spark.executor.cores, spark.driver.cores 등 메모리도.. 기본적으로 실행할 자원 설정근데 노트북 내에서 아래와 같이 따로 설정도 가능함 %spark.confspark.app.name test-app-namespark.executor.instances 10spark.executor.core 10spark.yarn.queue queue.test 2. 필요 라이브러리 설정cd ${ZEPPELIN_HOME}/interpreter/spark/ls -al //이렇게 보면 ._..

복제 복제? 네트워크로 연결된 여러 장비에 동일한 데이터의 복사본을 유지한다. - 지연 시간 감소 : 지리적으로 데이터를 가까운 위치에 둠으로써 지연 시간을 줄인다. - 고가용성 : 일부 시스템 장애에도 지속적으로 서비스를 제공할 수 있다. - 높은 처리량 : Read 쿼리를 수행하는 장비의 수를 늘려서 Read 처리량을 늘린다. * 데이터가 아주 작아 각 장비에 전체 데이터셋의 복사본을 보유할 수 있다고 가정한다. - 데이터셋이 너무 커서 파티셔닝이 필요한 경우는 6장에서 다룬다. 복제 알고리즘 복제 중인 데이터가 그대로 있으면 슥 옮기면 된다. 하지만 데이터가 변경되는 중에는 복제가 쉽지 않다. 대부분의 분산 데이터베이스는 아래 세 가지 복제 알고리즘 중 하나를 사용한다. -동기식/비동기식 -잘못된 ..

코드 작성 시 가독성과 효율성을 위해 fomatter를 적용해보자! 아래서 intellij-java-google-style.xml 을 다운받는다. https://github.com/google/styleguide GitHub - google/styleguide: Style guides for Google-originated open-source projects Style guides for Google-originated open-source projects - GitHub - google/styleguide: Style guides for Google-originated open-source projects github.com File>settings 에서 codestyle로 들어가보자. 톱니바퀴를 눌..