메모장

1. 설치 파일 다운로드 - nvm-setup.zip https://github.com/coreybutler/nvm-windows/releases Releases · coreybutler/nvm-windowsA node.js version management utility for Windows. Ironically written in Go. - coreybutler/nvm-windowsgithub.com 2. nvm 버전 확인 : nvm vC:\Users\test>nvm -v1.1.12 3. 설치된 Node 목록 확인C:\Users\test>nvm list * 18.5.0 (Currently using 64-bit executable) 4. 설치 가능한 Node 목록 확인C:\Users\test>nvm..

가끔 parquet 파일의 스키마를 확인하거나 일부 데이터만 간단하게 확인해야 할 때가 있다.이럴 때 parquet-tool을 유용하게 사용할 수 있다. 내가 사용한 버전은 parquet-tools-1.9.0.jar 이다.hadoop이 설치된 환경이라 가정한다.  도움말 보기hadoop jar parquet-tools-1.9.0.jar --help 스키마 확인하기hadoop jar parquet-tools-1.9.0.jar schema 데이터경로ex) hadoop jar parquet-tools-1.9.0.jar --schema /user/test/trip/region=usa/part-m-00000.snappy.parquet 데이터 확인하기1.cathadoop jar parquet-tools-1.9.0...

버전 확인node -v npm -v  이 상태에서 vue 프로젝트를 생성하려고 하니 아래와 같은 오류가 발생한다. >vue create test-boardYou are using Node v10-, but this version of @vue/cli requires Node ^12.0.0 || >=14.0.0.Please upgrade tour Node version. Node 랑 NPM을 옛날 옛적 설치하고, 새로 뷰 를 설치했더니 버전들이 너무 낮나보다.요래저래 검색해서 Node 버전과 NPM 버전을 올리기로 결심!  Node 버전 업데이트 시도 1차 시도 : npm install -g  npm ERR! code EBADPLATFORMnpm ERR! notsup Unsupported platform ..

MySQL OutOfMemoryError: Java Heap Space 이슈 MySQL의 경우 데이터를 읽을 때 모든 row를 읽어 메모리에 올린다.가져오려는 데이터가 사용가능한 메모리의 양을 초과하는 경우, OutOfMemoryError: Java Heap Space 오류가 발생한다.JDBC connection에 아래의 옵션을 추가하여 이슈 해결하였다.heap은 프로그램을 실행하면서 생성한 모든 객체 인스턴스를 Heap에 올리기 때문에 FetchSize를 지정하여 한번에 올리지 않도록 설정하였다. 해결 방법)defaultFetchSize=1000&useCursorFetch=true

1. ALTER TABLE일반적인 파티션 추가 방법1-depthALTER TABLE DB명.테이블명 ADD IF NOT EXISTS PARTITION(파티션=1) LOCATION '/test/파티션=1' 2-depthALTER TABLE DB명.테이블명 ADD IF NOT EXISTS PARTITION(파티션1=a,파티션2=b ) LOCATION '/test/파티션1=a/파티션2=b'  2. MSCK REPAIR 신규 테이블 생성하거나 및 대량의 데이터 추가 적재로 인해 파티션을 새로 생성해야 하는 경우!추가할 파티션이 너무 많은 경우! 혹은 파티션이 2depth 여서 추가할 파티션이 더더더더 많은 경우! MSCK REPAIR를 통해 파티션을 추가할 수 있다.파티션 정보를 메타스토어에 관리하는데, MSC..

특정 문자열을 포함한 라인 삭제:%g/찾을문자열/d예시 ) :% g/test/d 특정 문자열을 포함한 라인 외 삭제:%v/찾을문자열/d예시 ) :% v/test/d  특정 문자열 치환 (g를 붙이면 전부 치환) acb를 abc로 전부! 바꾸는 경우:%s/변환대상문자열/새문자열/g예시) :%s/acb/abc/g  열삭제1. 커서가 있는 줄 삭제 (1줄 삭제) dd2. 커서가 있는 줄부터 10줄 삭제 10dd3. 특정 라인 부터 범위 삭제(1번부터 100번 줄까지 삭제) : 1,100d 4. 모든 열 삭제 :%d 행삭제 (범위 지정)ctrl + v 를 누르면 VISUAL BLOCK 모드로 진입방향키 이용하여 범위 지정 가능삭제 : d복사 : y붙여넣기 : p

테스트를 위해 하나의 노드에 여러 하이브 서버를 띄워야 하는 상황이 왔다.때문에 한 노드에서 어려 하이브 서버를 띄우기 위해 hiveserver2와 metastore의 포트를 변경하였다. hive-site.xml을 수정1. javax.jdo.option.ConnectionURlmetastore는 local에 설치된 mysql을 사용한다.기존 하이브 서버에서 사용하는 metastore database와 겹치면 안되기 때문에 DB명을 hive_test로 변경해준다. 2. hive.server2.thrift.portdefault thrift port는 10000이다. netstat -nltp로 현재 리스닝 중인 포트를 확인해보면, 이미 기존 hive 서버가 실행중이라면, 10000은 이미 점령되어 있다. 때문..

복제 복제? 네트워크로 연결된 여러 장비에 동일한 데이터의 복사본을 유지한다. - 지연 시간 감소 : 지리적으로 데이터를 가까운 위치에 둠으로써 지연 시간을 줄인다. - 고가용성 : 일부 시스템 장애에도 지속적으로 서비스를 제공할 수 있다. - 높은 처리량 : Read 쿼리를 수행하는 장비의 수를 늘려서 Read 처리량을 늘린다. * 데이터가 아주 작아 각 장비에 전체 데이터셋의 복사본을 보유할 수 있다고 가정한다. - 데이터셋이 너무 커서 파티셔닝이 필요한 경우는 6장에서 다룬다. 복제 알고리즘 복제 중인 데이터가 그대로 있으면 슥 옮기면 된다. 하지만 데이터가 변경되는 중에는 복제가 쉽지 않다. 대부분의 분산 데이터베이스는 아래 세 가지 복제 알고리즘 중 하나를 사용한다. -동기식/비동기식 -잘못된 ..

1. VisualStudioCode 설치2. 프로젝트를 생성할 폴더 열기 : File - Open Folder3. 터미널에 npx create-react-app [생성할 프로젝트명]  입력  ex) npx create-react-app todo :  View - Terminal- 성공하면 아래와 같은 메시지가 나온다.Success! Created todo at C:\Users\parksonghee\VisualStudioCode\parksonghee-react-todo-app\todoInside that directory, you can run several commands: npm start Starts the development server. npm run build Bundles th..

리텐션(Retention)을 왜 분석하는가? 서비스의 성장에서 중요한 것은 유입되는 사용자 수가 아닌 얼마나 많은 사용자가 지속해서 서비스를 사용하는지이다. 많은 서비스들이 서비스 오픈 전에 수많은 광고를 통해 사용자를 유입시키고자 한다. 이것은 성장을 위한 발판이 될 수 있다. 하지만 사용자가 지속적으로 서비스를 사용하지 않는다면, 성장하고 있다고 볼 수 없다. 리텐션은 서비스가 잘 되고 있을 때, 더 세심하게 분석해야 하는 지표이다. 리텐션 분석 리텐션은 일반적으로 '접속'을 기준으로 축정한다. 서비스에 따라 달라질 수 있다. 사용자가 서비스에 진입하는 자체가 유의미한 행동인 경우에 적합하다. 단순히 리텐션 수치를 계산한다고 해서 특별한 인사이트를 얻을 수 있는 것은 아니다. 코호트에 따른 리텐션 분..