producer 2

[kafka] consumer producer key value 확인

카프카는 토픽을 기본으로 파티셔닝을 한다. 하지만 하나의 파티션 안에서 또다른 기준 값이 필요하다면 key를 따로설정해줄수 있다. key 에대한 설정은 기본이 null값이기 때문에, 따로 지정하지 않으면 null로 들어감을 확인할 수 있다. 아래 옵션을 컨슈머, 프로듀서의 콘솔창 실행 옵션에 추가하여 key, value를 확인해 보자. key, value 설정 옵션 parsing.key : key와 value 파싱 활성화 여부 key.separator : key와 value 파싱 구분자 print.key : console 창 출력 여부 컨슈머, 프로듀서의 콘솔창 실행 옵션에 추가 1) producer PS C:\kafka\kafka_2.12-2.5.0\bin\windows> .\kafka-console-..

Programming/Kafka 2020.05.25

[kafka] quick start Single-broker cluster window/linux

참고 사이트 : kafka quickstart step 1. kafka 다운로드 공식홈페이지에서 kafka 다운로드 압축 해제 - 아래는 리눅스 압축해제 후 폴더 경로로 들어가기 tar -xzf kafka_2.12-2.4.1.tgz cd kafka_2.12-2.4.1 - OS가 윈도우인 경우는 압축해체 후 Powershell이나 cmd에서 실행하면 된다. step 2. 서버 시작 - 주의 : 유닉스 기반 OS에서는 ..bin/.....sh 파일에서 실행, Window에서는 ..\bin\windows\....bat 파일 실행 - Zookeeper 서버 시작 (kafka는 zookeeper 위에서 구동되기 때문에 Zookeeper 먼저 실행해줘야한다. ) kafka_2.12-2.2.0\bin\windows>..

Programming/Kafka 2020.03.26