차례:
정의-Apache Kafka는 무엇을 의미합니까?
Apache Kafka는 실시간 데이터 피드의 빠르고 확장 가능하며 내결함성 처리를 제공하도록 설계된 오픈 소스 발행-구독 메시지 시스템입니다. 전통적인 엔터프라이즈 메시징 소프트웨어와 달리 Kafka는 회사를 통해 흐르는 모든 데이터를 처리하고 거의 실시간으로 처리 할 수 있습니다.
Kafka는 스칼라로 작성되었으며 원래 LinkedIn에 의해 개발되었습니다. 그 이후로 많은 회사들이이를 사용하여 실시간 플랫폼을 구축했습니다.
Techopedia는 Apache Kafka를 설명합니다.
Kafka는 트랜잭션 로그와 많은 유사점을 가지고 있으며 메시지 피드를 주제로 유지합니다. 생산자는 주제에 데이터를 쓰고 소비자는 해당 주제를 읽고 분산 된 시스템 형식으로 여러 노드에 분할되고 복제됩니다. Kafka는 각 주제 파티션을 로그로 취급한다는 점에서 고유하며 파티션의 각 메시지에는 고유 한 오프셋이 할당됩니다. 특정 시간 동안 모든 메시지를 유지하며 소비자는 각 로그에서 자신의 위치를 추적해야합니다. 이는 브로커가이 추적을 담당했던 이전 시스템과 다르며, 이는 소비자 수가 증가함에 따라 시스템의 확장 능력을 심각하게 제한했습니다. 이 구조를 통해 Kafka는 많은 소비자를 지원하고 매우 적은 오버 헤드로 많은 양의 데이터를 유지할 수 있습니다.
카프카를 사용할 수 있습니다 :
- 전통적인 메시지 브로커로서
- 웹 사이트 활동 추적
- 로그 집계
- 빅 데이터 스트림 처리
Kafka는 Apache Storm, Apache HBase 및 Apache Spark와 함께 스트리밍 데이터의 실시간 분석 및 렌더링에 사용될 수 있습니다.
