Message Queue 와 ApacheKafka

 

 

 

Message Queue 의 정의 

메시지 큐(Message Queue)는 프로세스 또는 프로그램 간에 데이터를 교환할 때 사용하는 통신 방법 중에 하나로, 메시지 지향 미들웨어(Message Oriented Middleware:MOM)를 구현한 시스템을 의미한다. 메시지 지향 미들웨어란 비동기 메시지를 사용하는 응용 프로그램들 사이에서 데이터를 송수신하는 것을 의미한다. 여기서 메시지란 요청, 응답, 오류 메시지 혹은 단순한 정보 등의 작은 데이터가 될 수 있다.

 

큐는 여러 컴포넌트들이 데이터를 생성하고 또 저장하고 사용하는 과정에서 일종의 버퍼 역할을 수행함. 

큐가 있음으로 producer과 consumer간의 속도가 다를 때, 둘 중 어느 한 컴포넌트가 네트워크에 연결되지 못한 상황 등에 대응이 가능

 

 

Message Queue 의 장/단점

장점

• 비동기(Asynchronous): Queue에 넣어두기 때문에 나중에 처리할 수 있다.
• 분리 또는 비동조(Decoupling): 애플리케이션과 분리할 수 있다.
• 탄력성(Resilience): 일부가 실패 시 전체에 영향을 받지 않는다.
• 과잉(Redundancy): 실패 할 경우 재실행이 가능하다.
• 보증(Guarantees): 작업이 처리된 걸 확인할 수 있다.
• 확장성(Scalable): 다수의 프로세스들이 큐에 메시지를 보낼 수 있다.

단점

• 아키텍처에 외부 구성 요소인 메시지 전송 에이전트를 필요로 한다는 점. 일반적으로 새로운 요소를 추가하면 시스템 성능이 저하되고, 신뢰성도 떨어진다.
• 시스템 전체로 볼 때 관리가 어렵고 비용도 더 들어가게 된다.
• 즉각적인 서비스가 불가능

Message Queue 를 사용하는 케이스

• 다양한 어플리케이션에서 비동기 통신이 가능
• 이메일 발송 및 문서 업도르가 가능
• 많은 양의 프로세스들을 처리할 수 있음
• 다른 곳의 API로 부터 데이터 송수신이 가능

 

 

Message Queue 중에서도 가장 많이 쓰이는게 요 Apache Kafka 가 아닐까 한다...

 

 

1. Kafka의 정의

 

Apache Kafka는 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합 및 미션 크리티컬 애플리케이션을 위해 오픈 소스 분산 이벤트 스트리밍 플랫폼(distributed event streaming platform)입니다.

대용량 실시간 로그 처리에 특화되어 설계된 메시징 시스템으로 시스템 대비 TPS가 우수합니다.

• Publisher / Subscriber
• 모델확장성분산 처리 (Partitioning)
• 디스크 순차 저장 및 처리
• 고가용성 / 확장성
  • Kafka 는 Cluster 로 작동하기 때문에  고가용성이 제공됨
  • Cluster : 각기 다른 서버들을 하나로 묶어서 하나의 시스템같이 작동하게 함
  • 고가용성 : 오랜 기간 동안 지속적으로 정상 운영이 가능한 성질
    

기존의 메시징 시스템은 Broker가 Consumer에게 메시지를 Push 해주는 방식인 반면, 
Kafka는 Consumer가 Broker로부터 직접 메시지를 가지고 가는 Pull 방식으로 동작

즉, 기존 메시지 큐의 다양한 기능을 포기하고 대용량 메시지를 처리하기 위한 기능을 제공하는 메시지 큐  

 

 

 

 

 

출처

https://goyunji.tistory.com/125 
https://12bme.tistory.com/176