메모장

아파치 카프카의 도큐먼트에 따라 Jconsole을 이용하여 해당 브로커가 관리하는 토픽에 유입되는 메시지 수를 파악할 수 있다. InPerSec라고 해서 초당 메시지 수라고 생각했으나, 초당이 아닌 전체 메시지 수를 확인할 수 있다. 테스트를 위해 프로듀서를 생성하여 생성한 토픽(song-topic)으로 100개의 메시지를 보내는 프로그램을 실행하고, 이를 Jconsole에서 확인하였다. kafka.apache.org/090/documentation.html#monitoring Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 해당 브로커로 유입되는 초당 메시지 수를 확인하고, 토픽별로 확인을 할 수 있는지 다시 테..

Window환경에 Kafka Manager를 설치해보자! 1. sbt 설치 먼저, Kafka Manager를 설치하고 sbt를 이용하여 빌드해야 하므로, sbt가 없다면 이를 먼저 설치한다. www.scala-sbt.org/download.html sbt - Download  Mac SDKMAN! $ sdk install sbt Homebrew $ brew install sbt ⚠️ Homebrew maintainers have added a dependency to JDK 13 because they want to use more brew dependencies (brew#50649). This causes sbt to use JDK 13 even when java available on PATH i..

이전 글에서 Producer를 생성하여 Message를 발행하고, Consumer를 생성하여 Message를 수신하였다. 2020/07/19 - [Kafka] - Kafka Producer를 생성하여 Message를 보내보자! (Java) Kafka Producer를 생성하여 Message를 보내보자! (Java) 먼저, 지난 글에서 IntelliJ에 Kafka 개발 환경을 구축했다. 오늘은 Kafka Producer를 생성하여 새로운 Message를 보내보겠다. 이제 새로운 Class를 만들어보자. 나는 MyKafkaProducer Class를 생성했다. 다음으.. bachong.tistory.com 2020/07/19 - [Kafka] - Kafka Consumer를 생성하여 Message를 받아보자..

이전 글에서 Kfaka Producer를 생성하여 Message를 발행해보았다. 이번 글에서는 Consumer를 생성하여 Message를 받아보도록 하겠다. 스타또~ import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.Producer; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.cl..

먼저, 지난 글에서 IntelliJ에 Kafka 개발 환경을 구축했다. 오늘은 Kafka Producer를 생성하여 새로운 Message를 보내보겠다. 이제 새로운 Class를 만들어보자. 나는 MyKafkaProducer Class를 생성했다. 다음으로, 코드를 짜보자. 나는 '카프카, 데이터플랫폼의 최강자-실시간 비동기 스트리밍 솔루션 Kafka의 기본부터 확장 응용까지' 라는 책을 참고했다. import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.Producer; import org.apache.kafka.clients.producer.ProducerRecord; import jav..

Kafka 개발환경 구축에 관한 다른 블로그들의 글을 읽어보면, Spring boot로 생성하라고 하는데.. 나는 어디에서도 Spring Boot를 볼 수 없었다. Plug-in에 검색해도 나오지 않았다. 그 이유를 찾고보니 IntelliJ community 버전은 지원하지 않는 것 같다.ㅠㅠ 검색 결과, 다음 사이트에서 Spring boot 프로젝트를 생성할 수 있었다. https://start.spring.io/ 나는 Gradle프로젝트를 생성했고, ADD DEPENDENCIES 버튼을 눌러 다음과 같이 구성하였다. 설정을 한 후에 GENERATE 버튼을 눌러 프로젝트 압축 파일을 다운받는다. 파일은 다운로드 디렉토리에 받아지고, 나는 IntelliJ workspace에 압축을 풀었다. 이제 Inte..

이번 글에서는 Topic, Producer를 생성하여 Message를 보내고, Consumer를 생성하여 Message를 받아보겠다. 1. Topic 생성 및 Message 발행하기 1) Topic 생성 다음과 같은 명령어로 Topic을 생성한다. 토픽 명 tp-song으로 새로운 topic을 생성했다. topic명은 아무거나 입력해도 상관없다. 장비가 1대이기 때문에 replication-factor와 partitions를 1로 설정했다. .\kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic [토픽명] 토픽을 정상적으로 생성하면 Created topic [토픽명] ..

1. Kafka 설치 https://www.apache.org/dyn/closer.cgi?path=/kafka/2.5.0/kafka_2.12-2.5.0.tgz Apache Download Mirrors Copyright © 2019 The Apache Software Foundation, Licensed under the Apache License, Version 2.0. Apache and the Apache feather logo are trademarks of The Apache Software Foundation. www.apache.org 위 링크에서 Kafka를 설치한다. 2. 설치한 Kafka 압축 파일을 원하는 위치에 풀어준다. 바총이는 C드라이브에 풀었다. 3. Zookeeper를 실행하..