메모장

[Docker] Ubuntu 도커 설치 / 도커 삭제 / 버전 업그레이드 / 도커 명령어까지 쉽다쉬워

도커를 설치해놓은지 너무 오래돼서 버전 업그레이드를 한다.이전 버전을 깔끔하게 지우고, 신규 버전으로 업그레이드 해보자. 이전에 설치해놓은 도커가 없다. 신규 설치다! 하는 사람들은 3번부터 시작~ 1. 일단 도커 종료sudo service docker stopsudo rm -rf /var/run/docker.sock 2. 기존 데이터 삭제for target in docker-compose docker.io docker-doc  docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $ target ; done 근데 잘 삭제가 안됐다.아래 명령어로 다시해보자.remove -> autoremove로 바꿈for target in doc..

Zeppelin multi instance (H/A) 구성

Zeppelin H/A 구성하기 안정성을 위해 H/A 구성을 하려고 하는데.. 보통 싱글 노드로 많이 사용하는 것 같다.도큐먼트에도 멀티노드 구성에 대한 이야긴 없다.어떻게 하지. .ChatGPT한테 물어봤다.열심히 말하는데 믿음이 안간다. 구글에 찾아보니  Zeppelin distributed architecture design 문서를 발견! 이것이 좀 도움이 될 것 같다. 우선 H/A 구성을 위해서 아래의 작업을 진행했다. 시작해보자~!1. 클러스터 구성${ZEPPELIN_HOME}/conf/zeppelin.site.xml 에 클러스터 정보 추가 zeppelin.cluster.addr zeppelin-server1-ip:6000,zeppelin-server2-ip:6000,zeppelin-serv..

Zeppelin Spark interpreter - yarn client / cluster 모드 실행, pyspark추가

Spark interpreter 설정  1. spark-interpreter.jar 가 잘 있는지 확인하자${ZEPPELIN_HOME}/interpreter/spark/ 하위에 spark-interpreter-0.11.1.jar가 있어야 한다.ls -al로 조회해보면 사이즈가 0일 수 있다.껍데기만 있을 수도 있으니 꼭 확인할 것!  2. Spark interpreter 설정${ZEPPELIN_HOME}/conf/interpreter.json을 연다.spark 설정에서 아래 세가지 설정을 해준다.- SPARK_HOME : 스파크 경로 지정(로컬에 이미 구성되어 있어야 함)- spark.master : yarn- spark.sumit.deployMode : client 혹은 cluster 입력 * Clie..

1. 뷰 프로젝트 빌드 env.test 파일을 만들고, VUE_APP_으로 시작하는 변수를 생성하여 사용한다. 그리고, package.json의 script에 아래의 내용을 추가8080 포트가 기본이지만 8080씨는 너무 인기가 많아서.. 일단 8082로 변경해본다.script에 자주 사용하는 명령어들을 미리 지정해놓으면 유용하게 사용할 수 있다."script":{ "serve" : "vue-cli-service serve --port 8082" "build:test": "vue-cli-service build --mode op"}  빌드 해보자 ㅎㅎnpm installnpm run serve //원하는 포트로 잘 실행되는지 확인npm run build:test   2. 뷰 프로젝트 안에 server.j..

Robo3T 로 보는게 편하다.맨날 까먹는 MongoDB 명령어 모음집 DB조회show dbs 컬렉션 조회use test; //db선택. 없을 때는 만들어짐.show collections; 전체 조회db.getCollection('collectionName').find()db.getCollection('collectionName').find().pretty 조건 조회컬럼명="테스트" 인 document 조회db.getCollection('collectionName').find("컬럼명":"테스트") 특정 필드 업데이트db.collectionName.update( { name: "song" }, { $set: { age: 31 } } ) 도큐먼트 업데이트db.collectionName.update( { n..

환경Spark-3.5.1Hive-3.12Iceberg-1.5.0 (https://iceberg.apache.org/multi-engine-support/#apache-spark)호환 버전 확인 : https://iceberg.apache.org/multi-engine-support/#current-engine-version-lifecycle-status Multi-Engine Support - Apache IcebergMulti-Engine Support Apache Iceberg is an open standard for huge analytic tables that can be used by any processing engine. The community continuously improves Ic..

코드로 보자import org.apache.spark.sql.functions._import org.apache.spark.sql.types._// 예시 DataFrame 생성val data = Seq( (1, Array(Row("1", "A"), Row("2", "B"), Row("3", "C"))), (2, Array(Row("4", "D"), Row("5", "E"), Row("6", "F"))))val schema = StructType(Seq( StructField("id", IntegerType, true), StructField("items", ArrayType(StructType(Seq( StructField("number", StringType, true), Struct..

0. 용어 용어가 모르면 산으로 간다. 먼저 익히자DN (Distinguished Name) : 고유 명칭 (도메인)CN (Canonical Name) : 정식 이름 (사용자 이름)OU (Organizational Unit) : 조직 단위 (부서 이름)database : 데이터베이스 종류 (bdb)suffix : 최상위 dcrootdn : 관리용 DN, 사용자 추가 삭제 등 사용되는 DNrootpw : DN 인증을 위한 패스워드directory : 데이터베이스 위치출처: https://co-de.tistory.com/114 [코알못:티스토리] 1. OpenLDAP 설치sudo apt install slapd ldap-utilssudo dpkg-reconfigure slapd 아래 가이드 참고하여 설치ht..

1. 설치 파일 다운로드파일 : zeppelin-0.11.1-bin-all.tgz https://zeppelin.apache.org/download.html Downloadzeppelin.apache.org 2. 압축 풀기$ tar -zxvf zeppelin-0.11.1-bin-all.tgz  3. Zeppelin daemon 실행$ cd zeppelin-0.11.1-bin-all/bin$ zeppelin.cmd$ cd zeppelin-0.11.1-bin-all/bin $ zeppelin.cmd 브라우저에서 http://localhost:8080/#/ 접속 (default port: 8080) 실패~~~!!아니 서버는 실행됐는데..localhost:8080 접속은 가능하지만 화면에 아무것도 노출되지 않고..

1. Zeppelin Interpreter - Spark 설정 아래 3개의 설정 지정 SPAKR_HOME 지정.spark.master = yarnspark.submit.deployMode = client 2. 필요 라이브러리 설정cd ${ZEPPELIN_HOME}/interpreter/spark/ls -al //이렇게 보면 ._spark-interpreter-0.11.1.jar 파일이 껍데기만 있는 것을 볼 수 있다.cp spark-interpreter-0.11.1.jar ._spark-interpreter-0.11.1.jar // 정상 파일로 복사해준다. scala-2.12 버전도 사용해야 해서 똑같이 해준다.cd ${ZEPPELIN_HOME}/interpreter/spark/scala-2.12 cp..