메모장

MySQL OutOfMemoryError: Java Heap Space 이슈 MySQL의 경우 데이터를 읽을 때 모든 row를 읽어 메모리에 올린다.가져오려는 데이터가 사용가능한 메모리의 양을 초과하는 경우, OutOfMemoryError: Java Heap Space 오류가 발생한다.JDBC connection에 아래의 옵션을 추가하여 이슈 해결하였다.heap은 프로그램을 실행하면서 생성한 모든 객체 인스턴스를 Heap에 올리기 때문에 FetchSize를 지정하여 한번에 올리지 않도록 설정하였다. 해결 방법)defaultFetchSize=1000&useCursorFetch=true

1. ALTER TABLE일반적인 파티션 추가 방법1-depthALTER TABLE DB명.테이블명 ADD IF NOT EXISTS PARTITION(파티션=1) LOCATION '/test/파티션=1' 2-depthALTER TABLE DB명.테이블명 ADD IF NOT EXISTS PARTITION(파티션1=a,파티션2=b ) LOCATION '/test/파티션1=a/파티션2=b'  2. MSCK REPAIR 신규 테이블 생성하거나 및 대량의 데이터 추가 적재로 인해 파티션을 새로 생성해야 하는 경우!추가할 파티션이 너무 많은 경우! 혹은 파티션이 2depth 여서 추가할 파티션이 더더더더 많은 경우! MSCK REPAIR를 통해 파티션을 추가할 수 있다.파티션 정보를 메타스토어에 관리하는데, MSC..

특정 문자열을 포함한 라인 삭제:%g/찾을문자열/d예시 ) :% g/test/d 특정 문자열을 포함한 라인 외 삭제:%v/찾을문자열/d예시 ) :% v/test/d  특정 문자열 치환 (g를 붙이면 전부 치환) acb를 abc로 전부! 바꾸는 경우:%s/변환대상문자열/새문자열/g예시) :%s/acb/abc/g  열삭제1. 커서가 있는 줄 삭제 (1줄 삭제) dd2. 커서가 있는 줄부터 10줄 삭제 10dd3. 특정 라인 부터 범위 삭제(1번부터 100번 줄까지 삭제) : 1,100d 4. 모든 열 삭제 :%d 행삭제 (범위 지정)ctrl + v 를 누르면 VISUAL BLOCK 모드로 진입방향키 이용하여 범위 지정 가능삭제 : d복사 : y붙여넣기 : p

테스트를 위해 하나의 노드에 여러 하이브 서버를 띄워야 하는 상황이 왔다.때문에 한 노드에서 어려 하이브 서버를 띄우기 위해 hiveserver2와 metastore의 포트를 변경하였다. hive-site.xml을 수정1. javax.jdo.option.ConnectionURlmetastore는 local에 설치된 mysql을 사용한다.기존 하이브 서버에서 사용하는 metastore database와 겹치면 안되기 때문에 DB명을 hive_test로 변경해준다. 2. hive.server2.thrift.portdefault thrift port는 10000이다. netstat -nltp로 현재 리스닝 중인 포트를 확인해보면, 이미 기존 hive 서버가 실행중이라면, 10000은 이미 점령되어 있다. 때문..