메모장

  • 홈
  • 태그
  • 방명록

Hadoop 2

parquet-tool을 이용하여 parquet 파일 즉시 읽기/스키마 확인

가끔 parquet 파일의 스키마를 확인하거나 일부 데이터만 간단하게 확인해야 할 때가 있다.이럴 때 parquet-tool을 유용하게 사용할 수 있다. 내가 사용한 버전은 parquet-tools-1.9.0.jar 이다.hadoop이 설치된 환경이라 가정한다.  도움말 보기hadoop jar parquet-tools-1.9.0.jar --help 스키마 확인하기hadoop jar parquet-tools-1.9.0.jar schema 데이터경로ex) hadoop jar parquet-tools-1.9.0.jar --schema /user/test/trip/region=usa/part-m-00000.snappy.parquet 데이터 확인하기1.cathadoop jar parquet-tools-1.9.0...

Hadoop 2024.05.20

Hadoop3를 설치해보자! 윈도우 위에!

참고 https://kontext.tech/column/hadoop/246/install-hadoop-300-in-windows-single-node 설치http://mirror.navercorp.com/apache/hadoop/common/hadoop-3.2.2/ Index of /apache/hadoop/common/hadoop-3.2.2 mirror.navercorp.com 환경변수 설정시스템-고급시스템설정-환경변수-시스템변수-새로만들기 HADOOP_HOME 추가*설치 주의 ! 경로에 공백이 포함되면 안된다. ex) program file/hadoop.... path에 HADOOP_HOME/bin 추가  참고 링크에 가서 설정 파일들을 수정한다.그냥 복붙. 그리고 hadoop namenode -fo..

Hadoop 2021.06.07
이전
1
다음
더보기
프로필사진

메모장

나의 메모장

  • 분류 전체보기 (68)
    • IT 잡동사니 (18)
    • Kafka (8)
    • Spark (5)
    • Hadoop (2)
    • Hive (4)
    • MySQL. MariaDB (5)
    • Frontend (7)
    • SpringBoot (2)
    • Linux (6)
    • Git (3)

Tag

GitHub, sqoop mysql, Kafka 시작하기, zeppelin spark interpreter, 게시판만들기, npm설치, kafka, 카프카 자바, 프로그래머스 자바, vue게시판, nvm설치, 카프카 컨슈머, IntelliJ UTF-8, zeppelin spark, git remote, kafka 설치, mariadb 설치, vue.js게시판, 자바 큐, sqoop hive,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/08   »
일 월 화 수 목 금 토
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바