메모장

  • 홈
  • 태그
  • 방명록

Hadoop 2

parquet-tool을 이용하여 parquet 파일 즉시 읽기/스키마 확인

가끔 parquet 파일의 스키마를 확인하거나 일부 데이터만 간단하게 확인해야 할 때가 있다.이럴 때 parquet-tool을 유용하게 사용할 수 있다. 내가 사용한 버전은 parquet-tools-1.9.0.jar 이다.hadoop이 설치된 환경이라 가정한다.  도움말 보기hadoop jar parquet-tools-1.9.0.jar --help 스키마 확인하기hadoop jar parquet-tools-1.9.0.jar schema 데이터경로ex) hadoop jar parquet-tools-1.9.0.jar --schema /user/test/trip/region=usa/part-m-00000.snappy.parquet 데이터 확인하기1.cathadoop jar parquet-tools-1.9.0...

Hadoop 2024.05.20

Hadoop3를 설치해보자! 윈도우 위에!

참고 https://kontext.tech/column/hadoop/246/install-hadoop-300-in-windows-single-node 설치http://mirror.navercorp.com/apache/hadoop/common/hadoop-3.2.2/ Index of /apache/hadoop/common/hadoop-3.2.2 mirror.navercorp.com 환경변수 설정시스템-고급시스템설정-환경변수-시스템변수-새로만들기 HADOOP_HOME 추가*설치 주의 ! 경로에 공백이 포함되면 안된다. ex) program file/hadoop.... path에 HADOOP_HOME/bin 추가  참고 링크에 가서 설정 파일들을 수정한다.그냥 복붙. 그리고 hadoop namenode -fo..

Hadoop 2021.06.07
이전
1
다음
더보기
프로필사진

메모장

나의 메모장

  • 분류 전체보기 (68)
    • IT 잡동사니 (18)
    • Kafka (8)
    • Spark (5)
    • Hadoop (2)
    • Hive (4)
    • MySQL. MariaDB (5)
    • Frontend (7)
    • SpringBoot (2)
    • Linux (6)
    • Git (3)

Tag

zeppelin spark, sqoop hive, 게시판만들기, sqoop mysql, 자바 큐, zeppelin spark interpreter, 카프카 자바, mariadb 설치, npm설치, 카프카 컨슈머, vue게시판, 프로그래머스 자바, Kafka 시작하기, kafka, GitHub, nvm설치, git remote, IntelliJ UTF-8, kafka 설치, vue.js게시판,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/11   »
일 월 화 수 목 금 토
1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바