[메세지 브로커] RabbitMQ vs Apache KafKa

 

 

들어가며

메세지 브로커는 이벤트를 보내는 쪽과 받는 쪽 사이에서 적절한 분배를 도와주는 역할을 하고 있습니다. 메세지 브로커가 있기 때문에 Publisher와 Subscriber는 서비스의 본질에 따라 자신의 역할에 좀더 집중할 수 있죠. 메세지 브로커의 종류는 매우 다양합니다. 이번 글에서는 대표적인 메세지 브로커인 RabbitMQ와 Apache KafKa 서비스에 대해 알아보려고 합니다.

 

RabbitMQ와 Kafka는 둘 다 메시징 시스템이지만, 설계 철학과 주요 사용 사례에서 차이가 있습니다. 아래는 RabbitMQ와 Kafka의 주요 차이점입니다.

---

1. 설계 철학

• RabbitMQ:
  • AMQP(Advanced Message Queuing Protocol)를 기반으로 설계된 메시지 브로커.
  • 메시지 전달, 라우팅, 큐잉, 수신 확인(Acknowledgment) 등에 초점을 맞춘 범용 메시지 브로커.
  • 메시지를 소비자가 소비하면 큐에서 삭제(기본 설정).
  • 전통적인 In-Memory Message Queuing 방식
• Kafka:
  • 분산 로그 저장소 또는 이벤트 스트리밍 플랫폼으로 설계됨.
  • 대용량 데이터 처리와 실시간 이벤트 스트리밍에 적합.
  • 메시지는 로그(토픽)에 기록되며, 소비자가 처리한 이후에도 삭제되지 않고 유지 기간 설정에 따라 저장.
  • Log Based Message Streaming 방식

---

 

2. 메시지 전달 모델

• RabbitMQ:
  • Producer → Exchange → Queue → Consumer
  • Exchange를 통해 메시지를 다양한 방식(Direct, Topic, Fanout)으로 라우팅 가능.
  • 메시지 소비가 빠르고, 큐 기반 워크로드 분산에 적합.
• Kafka:
  • Producer → Topic → Partition → Consumer Group
  • Partition을 사용하여 병렬 처리가 가능하며, Consumer Group을 통해 메시지 소비 관리.
  • 이벤트 기반 데이터 스트리밍과 로그 기록에 더 적합.

---

 

3. 데이터 보존

• RabbitMQ:
  • 메시지가 소비되면 기본적으로 삭제.
  • 메시지 보존이 필요하다면 별도로 설정하거나, 메시지를 수동으로 Ack 처리해야 함.
• Kafka:
  • 메시지는 설정된 보존 기간 동안(예: 7일, 무제한 등) 저장.
  • 소비자가 동일한 메시지를 여러 번 읽을 수 있음.

---

 

4. 성능

• RabbitMQ:
  • 낮은 레이턴시(초당 수백 ~ 수천 메시지 처리)에 적합.
  • 전형적으로 워크로드 분산과 일괄 처리에 강점.
  • 비교적 적은 수의 클러스터
• Kafka:
  • 높은 처리량(초당 수백만 건의 메시지 처리)에 적합.
  • 데이터 스트리밍 및 실시간 분석과 같은 대규모 이벤트 처리에 최적.
  • 대규모 클러스터 운영

---

 

RabbitMQ 구조(https://www.cloudamqp.com/blog/rabbitmq-streams-and-replay-features-part-1-when-to-use-rabbitmq-streams.html)

 

카프카 작동 방식(https://www.scaler.com/topics/kafka-tutorial/configuring-zookeeper-for-a-kafka-cluster/)

 

5. 확장성

• RabbitMQ:
  • 수직적 확장이 주요 방식(서버 성능 강화).
  • 클러스터링 가능하지만 Kafka에 비해 확장성이 제한적.
• Kafka:
  • 분산 시스템으로 설계되어 있어 수평적 확장이 용이.
  • 대량 데이터 처리 시 유리.

---

 

6. 사용 사례

• RabbitMQ:
  • 주문 처리 시스템.
  • 작업 대기열(Worker Queue) 기반의 비동기 작업 처리.
  • 신속한 응답이 필요한 애플리케이션(예: 채팅, 알림).
• Kafka:
  • 로그 및 이벤트 스트리밍.
  • 실시간 데이터 분석(예: IoT 데이터, 실시간 사용자 이벤트).
  • 대규모 데이터 통합 및 데이터 파이프라인 구축.

---

 

7. 언어 지원 및 커뮤니티

• RabbitMQ:
  • AMQP 기반으로 대부분의 언어에서 지원.
  • 사용하기 쉽고, 설정 및 배포가 간단.
  • 커뮤니티와 생태계가 풍부.
• Kafka:
  • Java/Scala 기반으로 개발되었으며, 다양한 클라이언트 라이브러리(Java, Python, Go 등) 지원.
  • 대규모 분산 시스템 설계에 익숙한 사용자들에게 적합.

---

 

8. 운영 및 유지 보수

• RabbitMQ:
  • 관리 UI와 플러그인으로 관리가 용이.
  • 상대적으로 간단한 설정과 운영.
• Kafka:
  • Zookeeper(또는 Kafka Raft)와 같은 추가 컴포넌트 필요.
  • 초기 설정과 운영이 더 복잡하지만, 대규모 처리에 적합.

---

 

요약

---

 

선택 기준

1. RabbitMQ를 선택해야 할 때:
   • 메시지 전달과 라우팅이 필요한 작업.
   • 빠른 작업 큐 처리가 필요한 비즈니스 로직.
   • 사용자가 설정 및 운영에 익숙하지 않은 경우.
2. Kafka를 선택해야 할 때:
   • 실시간 데이터 스트리밍 또는 분석이 필요한 경우.
   • 대규모 데이터 처리 및 저장이 필요한 시스템.
   • 높은 처리량과 확장성이 중요한 경우.