카프카리스너 5

[실습] Kafka 배치 메세지 리스너 pub/sub 단순 구현

배치 메세지 리스너 구현 실습 내용이다.배치 메세지 리스너를 구현하고 한번에 메세지가 처리된다고 했는데 왜 컨슈머에서 메세지가 쪼개지지? 하고 의문이 들었었다. Kafka에서 배치 리스너를 사용하는 경우에도, Kafka의 기본 동작인 파티셔닝은 여전히 적용됩니다. 배치 리스너가 메시지를 처리할 때, 여러 파티션에서 가져온 메시지를 한 번에 전달받을 수 있습니다.  위와 같이 배치 리스너라고 해도 파티셔닝 기본 동작은 유지한 채로 읽어온다고 한다.결국 전체 메세지를 컨슈머에서 다 소비하긴 한다.  1. @RestController 생성    MyController에서 앞으로 url 호출 예정 (post: /message/b 호출) 얘는 메세지만 한번에 받는 것 테스트 하느라 호출만 하면 처리 된다. 2. ..

인프라/Kafaka 2024.12.11

카프카 리스너 - 단일 메시지 리스너와 배치 메시지 리스너의 차이

카프카의 리스너를 공부하면서 단일 메세지 리스너와 배치 메시지 리스너의 대해 알아봤다.그냥 이론만 보면 단건 , 뭉티기로 보낸다는 차이점이 있는데, 맨처음 예제 문제가 for문으로 한건씩 출력되게 하는 예제다 보니까배치나, 단일이나 둘다 20줄씩 나오게 되고 이게 왜 달라..? 라고 벙찐게 생각난다. 크게는 팩토리의 설정 값을 변경하여 단일건인지 한번에 보낼건지를 설정할 수 있는 것 같은데 말이지.. 그래서 두가지의 차이점을 일단 정리해봤다.차이점이라고 할 것도 없는게 단건,,, 복수건.. 그냥 명확하게 달라서 비교할 것이 있나 싶긴한데 그냥 해보고 싶다.내맘이다.. 1.처리 단위단일 메시지 리스너:한 번에 하나의 메시지를 처리합니다.Kafka에서 메시지를 가져올 때마다 리스너 메서드가 호출됩니다.배치 ..

인프라/Kafaka 2024.12.06

카프카 리스너 종류 2-배치 메시지 리스너

https://foulerback.tistory.com/27 카프카 리스너 종류 1- 단일 메시지 리스너카프카의 리스너 종류에 대해 이전에 알아봤다.https://foulerback.tistory.com/26 Kafka 리스너(Listener) 개념과 종류Kafka Listener는 Apache Kafka로부터 데이터를 소비하는 역할을 수행하는 Spring Kafka의 기능입foulerback.tistory.com 지난번에는 단일 메시지 리스너에 대해 알아봤고, 이번에는 단일 메세지 리스너와 배치 리스너의 차이점과배치 리스너가 뭔지 알아보려고 한다. 배치 리스너:한 번에 여러 메시지(배치)를 묶어서 처리합니다.Kafka에서 여러 메시지를 가져온 뒤, 배치 단위로 리스너 메서드가 호출됩니다.뭐 한글은 읽을..

인프라/Kafaka 2024.12.06

카프카 리스너 종류 1- 단일 메시지 리스너

카프카의 리스너 종류에 대해 이전에 알아봤다.https://foulerback.tistory.com/26 Kafka 리스너(Listener) 개념과 종류Kafka Listener는 Apache Kafka로부터 데이터를 소비하는 역할을 수행하는 Spring Kafka의 기능입니다.Kafka에서 토픽(topic)에 쌓인 메시지를 리스너가 구독하여 처리합니다. Spring Kafka는 이를 손쉽게 구현할foulerback.tistory.com 이 중에서 각각의 리스너들을 어떻게 사용되는지 내 의지가 닿는한 까지 파헤쳐 보려고 한다.중간에 스킵되면.. 의지가 떨어져 나갔다고 생각하길 바란다.. 단일 메시지 리스너:한 번에 하나의 메시지를 처리합니다.Kafka에서 메시지를 가져올 때마다 리스너 메서드가 호출됩니다..

인프라/Kafaka 2024.12.06

Kafka 리스너(Listener) 개념과 종류

Kafka Listener는 Apache Kafka로부터 데이터를 소비하는 역할을 수행하는 Spring Kafka의 기능입니다.Kafka에서 토픽(topic)에 쌓인 메시지를 리스너가 구독하여 처리합니다. Spring Kafka는 이를 손쉽게 구현할 수 있는 @KafkaListener 어노테이션을 제공합니다. Kafka Listener의 동작 원리Producer가 메시지를 토픽에 전송합니다.Consumer는 특정 토픽을 구독하여 메시지를 읽습니다.Kafka Listener는 Consumer 역할을 하며, Kafka 브로커에서 데이터를 가져와 비즈니스 로직을 실행합니다. Kafka Listener 기본 구성Kafka Listener를 사용하려면 다음을 설정해야 합니다:Kafka 설정 (Producer와 C..

인프라/Kafaka 2024.12.06