메모장

1. 포트 조회 netstat -ano 2. 내가 찾고자 하는 포트 조회 netstat -ano | findstr 포트 파란글씨로 표시된 부분에 포트를 넣어 명령을 날린다. 예시) netstat -ano | findstr 8080 3. 포트를 점유중인 프로세스 죽이기 taskkill /f /pid PID 파란글씨로 표시된 부분에 죽일 PID를 넣어 명령을 날린다. 예시) taskkill /f /pid 25536

사전작업SQOOP 설치bachong.tistory.com/50 Sqoop(1.4.7)를 설치해보자! MySQL5 to Hadoop3Sqoop 다운로드 archive.apache.org/dist/sqoop/ $ tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz $ cp -r sqoop-1.4.7.bin__hadoop-2.6.0 /usr/local/sqoop $ sudo chown -R user명:그룹명 /usr/local/sqoop S..bachong.tistory.com MySQL 설치 및 샘플데이터 세팅bachong.tistory.com/48 MySQL을 설치해보자! (Ubuntu 18.04) + 샘플 데이터 불러오기!MySQL 설치 $ sudo apt-get upda..

Sqoop 다운로드 archive.apache.org/dist/sqoop/ $ tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz $ cp -r sqoop-1.4.7.bin__hadoop-2.6.0 /usr/local/sqoop $ sudo chown -R user명:그룹명 /usr/local/sqoop Sqoop 환경변수 설정 ~/.bashrc 를 열어 SQOOP_HOME를 추가하고, PATH를 추가한다. $ cat ~/.bashrc | grep SQOOP export SQOOP_HOME=/usr/local/sqoop export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$SPARK_HOME/bin:$SQOOP_HOME/bin:$HI..

Hive 다운로드wget archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz$ wget archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz$ tar -zxvf apache-hive-3.1.2-bin.tar.gz$ cp -r apache-hive-3.1.2-bin /usr/local/hive Hive 환경변수 설정$ cat ~/.bashrc | grep HIVEexport HIVE_HOME=/usr/local/hiveexport HIVE_CONF_DIR=/usr/local/hive/confexport PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HO..

MySQL 설치$ sudo apt-get update$ sudo apt-get intsall mysql-server설치 후 usr/bin 경로 아래 mysql 관련 파일들이 생긴 것을 확인할 수 있다.$ ls /usr/bin | grep mysqlmysqlmysql_config_editormysql_embeddedmysql_install_dbmysql_pluginmysql_secure_installationmysql_ssl_rsa_setupmysql_tzinfo_to_sqlmysql_upgrademysqladminmysqlanalyzemysqlbinlogmysqlcheckmysqld_multimysqld_safemysqldumpmysqldumpslowmysqlimportmysqloptimizemysqlp..

1. sparkApache Spark는 빅데이터 워크로드에 주로 사용되는 오픈소스 분산 쿼리 및 처리 엔진이다. 빠른 속도로 데이터를 변환할 수 있으며, 데이터가 메모리에 있는 경우 하둡보다 100배, 디스크에 있는 경우 10배 빠르다. 데이터 양이 많고, 다양한 형태의 데이터를 분석해야 할 경우 적합하다.하둡과 연동하여 사용할 수 있도록 설치해보자! 2. spark standalone & spark yarn cluster / clientspark는 standalone 모드와 yarn cluster, yarn client모드가 있다. 이 차이점을 살펴보자. standalone : 다른 클러스터 매니저를 사용하지 않고, spark만으로 클러스터를 구성하는 모드yarn cluster : 드라이버 프로세스가 ..

리눅스에는 많은 디렉토리들이 있다.수많은 디렉토리에 어떤 것들이 들어있고는지 살펴보자. ls 또는 tree를 통해 디렉토리/파일과 구조를 볼 수 있다.  디렉토리 설명1. bin :  리눅스 실행 파일들이 저장된 디렉토리.2. sbin : 관리자(root)가 사용할 수 있는 명령어를 저장한 디렉토리.3. boot : 리눅스 부탕 관련 파일들과, 커널이 저장된 디렉토리.4. dev : 장치(프린터, 마우스 등)를 저장하는 공간이며, 커널을 통해 하드웨어에 접근하고 자원을 할당받음.5. etc : 리눅스 내 주요 설정파일들이 저장된 디렉토리.6. home : 사용자 디렉토리로 사용자간 작업이 충돌되는 것을 방지.7. lib : 공유 라이브러리가 저장된 디렉토리.8. mnt : mount 명령을 사용하여, 마..

Linux는 운영체제로, 부팅되는 과정에 시스템을 초기화하고 필요한 서비스들을 위한 환경을 조성한다.systemd 등장 이전에는 init이 작업을 수행하고, 복잡하게 짜여진 쉘스크립트들로 관리되어 왔다.systemd는 .service와 .conf파일로 더 단순하게 관리하고 있으며 더 많은 일을 수행하게 되었다.systemd는 시스템 부팅, 서비스 관리, 프로세스 자원관리 등 다양한 일을 한다. systemd사용자 공간을 부트스트래핑하고, 최종적으로 모든 프로세스들을 관리하는 init시스템. pid 1번으로, 1번 프로세스가 가장 먼저 실행되어 OS에 필요한 각종 데몬을 실행시킨다.쉘스크립트가 아닌 .service라는 systemd만의 unit을 통해 관리된다.systemd는 /etc/systemd 아래 ..

원격저장소에 새로운 브랜치를 생성했다.뭔가 git pull origin master 라고 하면 가져와질 줄 알았다.git pull은 원격 저장소로부터 필요한 파일을 가져오는 것으로, 위와 같은 명령어는 원격 저장소에 있는 master를 가져오는 것이다.바보! 원격저장소에 있는 브랜치 가져오는 법>> git remote updateFetching origin//-r : 원격 저장소 브랜치 목록, -a : 로컬과 원격 저장소 브랜치 목록>> git branch -r origin/lssp-1 origin/master origin/testcode //git checkout -t 브랜치//checkout 명령어와 -t 옵션을 이용하여 원격 저장소에서 작업할 브랜치를 가져온다.>>git checkout -t..

설치!sudo apt update && sudo apt-get -y upgrade sudo apt-get install -y mariadb-server 접속!(계정 없을때)>> sudo mysql 유저 생성! 1) 계정정보 확인!> show databases;> use mysql> select host, user, password from user;그럼 유저와 비밀번호를 볼 수 있다. 2) 계정명 생성!root 비밀번호를 바꿔줘도 되지만 새로운 유저를 생성해보겠다.create user '계정명'@'%'; 3) 계정에 비밀번호 부여!이제 생성한 계정에 비밀번호를 부여하겠다.update user set password=password('비밀번호') where user='계정명';  권한 주기!모든 권한을 주..