메모장

Spark 스터디를 하기로 마음 먹었습니다! 스터디를 시작하기 전에 환경을 구축해봅시다! 1. Scala Plugin 설치 IntelliJ - [File] - [Settings] - [Plugins] scala를 검색하고 설치해줍니다. 설치 이후 인텔리제이를 재시작합니다. 2. 프로젝트 생성 IntelliJ - [File] - [New] - [Project] 저는 스칼라 버전 2.12로 선택하였습니다. 3. Scala Class 생성 [프로젝트] - [src] - [main] - scala 에서 오른쪽 버튼을 클릭하고 Scala Class를 선택하여 생성한다. *Scala Class가 보이지 않는 경우는 아래 방법을 참고한다. Object를 생성한다. 나는 Hello라는 Object를 하나 생성하였다. ..

1. sparkApache Spark는 빅데이터 워크로드에 주로 사용되는 오픈소스 분산 쿼리 및 처리 엔진이다. 빠른 속도로 데이터를 변환할 수 있으며, 데이터가 메모리에 있는 경우 하둡보다 100배, 디스크에 있는 경우 10배 빠르다. 데이터 양이 많고, 다양한 형태의 데이터를 분석해야 할 경우 적합하다.하둡과 연동하여 사용할 수 있도록 설치해보자! 2. spark standalone & spark yarn cluster / clientspark는 standalone 모드와 yarn cluster, yarn client모드가 있다. 이 차이점을 살펴보자. standalone : 다른 클러스터 매니저를 사용하지 않고, spark만으로 클러스터를 구성하는 모드yarn cluster : 드라이버 프로세스가 ..