춤추는 개발자

카프카는 토픽을 기본으로 파티셔닝을 한다. 하지만 하나의 파티션 안에서 또다른 기준 값이 필요하다면 key를 따로설정해줄수 있다. key 에대한 설정은 기본이 null값이기 때문에, 따로 지정하지 않으면 null로 들어감을 확인할 수 있다. 아래 옵션을 컨슈머, 프로듀서의 콘솔창 실행 옵션에 추가하여 key, value를 확인해 보자. key, value 설정 옵션 parsing.key : key와 value 파싱 활성화 여부 key.separator : key와 value 파싱 구분자 print.key : console 창 출력 여부 컨슈머, 프로듀서의 콘솔창 실행 옵션에 추가 1) producer PS C:\kafka\kafka_2.12-2.5.0\bin\windows> .\kafka-console-..

Consumer Connection Config bootstrap.servers Type: list Default: "" Valid Values: non-null string Importance: high 카프카 클러스터에 처음 연결을 하기 위한 호스트와 포트 정보로 구성된 리스트 정보. fetch.min.bytes Type: int Default: 1 Valid Values: [0,...] Importance: high 한번에 가져올 수 있는 최소 데이터 사이즈. 만약 지정된 사이즈 보다 작은 경우, 요청에 응답하지 않고 데이터가 누적될 때까지 기다림. group.id Type: string Default: null Valid Values: Importance: high 컨슈머가 속한 컨슈머 그룹을 식..

Consumer 주요기능 특정 파티션을 관리하고 있는 파티션 리더에게 메세지 가져오기를 요청하는 것 각 요청은 로그의 오프셋을 명시하고 그 위치로 부터 로그메시지 수신 그래서 Consumer는 가져온 메세지의 위치를 조정할 수 있고, 필요하다면 이미 가져온 데이터도 다시 가져오기 가능. 가져온 메시지를 다시 가져올 수 있는기능은 RabbitMQ와 같은 일반적인 메세지큐 솔루션에서는 제공하지 않음. (기존 다른 메세징큐 솔루션에선는 Consumer 가 메세지를 가져가면 큐에서 삭제되어 다른 Consumer 가 가져갈 수 없는 것과는 다른 방식임.) Consumer History Consumer 의 offset의 저장 위치에 따라 Old Consumer , New Consumer 로 나뉘어짐 Old Cons..

참고 사이트 : kafka quickstart step 1. kafka 다운로드 공식홈페이지에서 kafka 다운로드 압축 해제 - 아래는 리눅스 압축해제 후 폴더 경로로 들어가기 tar -xzf kafka_2.12-2.4.1.tgz cd kafka_2.12-2.4.1 - OS가 윈도우인 경우는 압축해체 후 Powershell이나 cmd에서 실행하면 된다. step 2. 서버 시작 - 주의 : 유닉스 기반 OS에서는 ..bin/.....sh 파일에서 실행, Window에서는 ..\bin\windows\....bat 파일 실행 - Zookeeper 서버 시작 (kafka는 zookeeper 위에서 구동되기 때문에 Zookeeper 먼저 실행해줘야한다. ) kafka_2.12-2.2.0\bin\windows>..