메모장

1. ALTER TABLE일반적인 파티션 추가 방법1-depthALTER TABLE DB명.테이블명 ADD IF NOT EXISTS PARTITION(파티션=1) LOCATION '/test/파티션=1' 2-depthALTER TABLE DB명.테이블명 ADD IF NOT EXISTS PARTITION(파티션1=a,파티션2=b ) LOCATION '/test/파티션1=a/파티션2=b'  2. MSCK REPAIR 신규 테이블 생성하거나 및 대량의 데이터 추가 적재로 인해 파티션을 새로 생성해야 하는 경우!추가할 파티션이 너무 많은 경우! 혹은 파티션이 2depth 여서 추가할 파티션이 더더더더 많은 경우! MSCK REPAIR를 통해 파티션을 추가할 수 있다.파티션 정보를 메타스토어에 관리하는데, MSC..

테스트를 위해 하나의 노드에 여러 하이브 서버를 띄워야 하는 상황이 왔다.때문에 한 노드에서 어려 하이브 서버를 띄우기 위해 hiveserver2와 metastore의 포트를 변경하였다. hive-site.xml을 수정1. javax.jdo.option.ConnectionURlmetastore는 local에 설치된 mysql을 사용한다.기존 하이브 서버에서 사용하는 metastore database와 겹치면 안되기 때문에 DB명을 hive_test로 변경해준다. 2. hive.server2.thrift.portdefault thrift port는 10000이다. netstat -nltp로 현재 리스닝 중인 포트를 확인해보면, 이미 기존 hive 서버가 실행중이라면, 10000은 이미 점령되어 있다. 때문..

사전작업SQOOP 설치bachong.tistory.com/50 Sqoop(1.4.7)를 설치해보자! MySQL5 to Hadoop3Sqoop 다운로드 archive.apache.org/dist/sqoop/ $ tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz $ cp -r sqoop-1.4.7.bin__hadoop-2.6.0 /usr/local/sqoop $ sudo chown -R user명:그룹명 /usr/local/sqoop S..bachong.tistory.com MySQL 설치 및 샘플데이터 세팅bachong.tistory.com/48 MySQL을 설치해보자! (Ubuntu 18.04) + 샘플 데이터 불러오기!MySQL 설치 $ sudo apt-get upda..

Hive 다운로드wget archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz$ wget archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz$ tar -zxvf apache-hive-3.1.2-bin.tar.gz$ cp -r apache-hive-3.1.2-bin /usr/local/hive Hive 환경변수 설정$ cat ~/.bashrc | grep HIVEexport HIVE_HOME=/usr/local/hiveexport HIVE_CONF_DIR=/usr/local/hive/confexport PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HO..