춤추는 개발자

카프카 운용시 브로커내에 생성되지 않는 토픽 이름으로 메시지를 보낼때, 카프카에서는 자동으로 토픽을 생성하게 해줄수 있다. 아래 옵션은 존재하지 않는 토픽에 메타데이터를 패치하거나 메세지를 생성하면 자동으로 토픽을 생성한다. 운영에서는 false로 설정하기를 가이드 하고 있다. # 기본값은 true로 설정. auto.create.topics.enable = true 토픽을 자동으로 생성하는 과정에서 partition 수와 replication-factor 값도 기본값을 설정할 수있다. # 기본 partition수 설정. # 기본값은 3이다. num.partitions # 기본 replication-factor 수 설정. # kafka version 2.12.x버전에는 해당 옵션이 없긴하지만, 항목을 그대..

Consumer 주요기능 특정 파티션을 관리하고 있는 파티션 리더에게 메세지 가져오기를 요청하는 것 각 요청은 로그의 오프셋을 명시하고 그 위치로 부터 로그메시지 수신 그래서 Consumer는 가져온 메세지의 위치를 조정할 수 있고, 필요하다면 이미 가져온 데이터도 다시 가져오기 가능. 가져온 메시지를 다시 가져올 수 있는기능은 RabbitMQ와 같은 일반적인 메세지큐 솔루션에서는 제공하지 않음. (기존 다른 메세징큐 솔루션에선는 Consumer 가 메세지를 가져가면 큐에서 삭제되어 다른 Consumer 가 가져갈 수 없는 것과는 다른 방식임.) Consumer History Consumer 의 offset의 저장 위치에 따라 Old Consumer , New Consumer 로 나뉘어짐 Old Cons..

Producer 주요 옵션 bootstrap.servers Type: list Default: "" Valid Values: non-null string Importance: high 카프카 클러스터는 마스터 개념이 없기 때문에 모든 서버가 클라이언트에게 요청받을 수 있음. 카프카 플러스터에 처음 연결하기 위한 호스트와 포트 정보로 구성된 리스트 정보 acks Type: string Default: 1 Valid Values: [all, -1, 0, 1] Importance: high 프로듀서가 카프카 토픽의 리더에게 메시지를 보낸 후 요청을 완료하기 전 ack(승인)의 수 해당 옵션의수가 작으면 성능은 좋아지만, 메시지 손실가능성이 있다. 옵션의 수가 커지면 성능이 좋지 않지만 손실 가능성이 줄어들거나..