[Kafka] 리눅스 Centos6 환경 - 설치 및 실행

[Kafka] 리눅스 Centos6 환경 - 설치 및 실행

카프카(kafka)란?

대규모로 발생하는 메시지성 데이터를 비동기 방식으로 중계하는 역할을 한다.

 

 

다운로드 링크

https://kafka.apache.org/downloads

Apache Kafka

위 링크로 접속 하여 파일을 다운로드 받거나, 링크 주소 복사 후 wget 으로 다운로드 받아 준다.

wget http://apache.mirror.cdnetworks.com/kafka/2.6.0/kafka\_2.12-2.6.0.tgz

tar -zxvf kafka 2.12-2.6.0.tgz

압축을 풀어준후

 

원하는 디렉토리로 옮겨 준다.

mv ./kafka\_2.12-2.6.0.tgz /usr/local/lib/kafka

 

 

kafka 디렉토리로 이동

cd /usr/local/lib/kafka/

zookeeper 서버 실행

bin/zookeeper-server-start.sh config/zookeeper.properties

INFO binding to port 0.0.0.0/0.0.0.0:2181(org.apache.zookeeper.server.NIOServerCnxnFactory)

kafka 설정 확인 및 변경

vi ./config/server.properties

\# 변경전

#listeners=PLAINTEXT://:9092

zookeeper.connect=localhost:2181

\# 변경후

#listeners=PLAINTEXT://{호스트}:9092

zookeeper.connect={host}:2181

bin/kafka-server-start.sh config/server.properties

방화벽 포트 열기

iptables -I INPUT 1 -p tcp --dport 2181-j ACCEPT

iptables -I INPUT 1 -p tcp --dport 9092 -j ACCEPT

service iptables save

vi /etc/sysconfig/iptables

service iptables restart

토픽 Topic 생성

bin/kafka-topics.sh --create --zookeeper kafkaserver01:2181 --replication-factor 1 --partitions 1 --topic kafka-test

아래가 출력 되면 성공

 

Created topic kafka-test.

프로듀서 Producer 사용

bin/kafka-console-producer.sh --broker-list kafkaserver01:9092 -topic kafka-test

\>

컨슈머 Consumer 사용

Putty를 새로 실행

bin/kafka-console-consumer.sh --bootstrap-server kafkaserver01:9092 --topic kafka-test --from-beginning

Producer에 메세지 입력

Consumer 확인