A distributed streaming platform

First a few concepts:

• Kafka is run as a cluster on one or more servers.
• The Kafka cluster stores streams of records in categories called topics.
• Each record consists of a key, a value, and a timestamp.

Topics and Logs

Kafka 클러스터는 다음과 같은 파티션 로그를 유지

• 보존 기간을 사용하여 레코드를 보유
• 오프셋은 소비자가 제어
• 병렬처리의 단위

Guarantees

• 생산자가 특정 주제 파티션으로 보낸 메시지는 전송 된 순서대로 추가
• 소비자 인스턴스는 로그에 저장된 순서대로 레코드를 봄
• 복제 인수 N이있는 항목의 경우 로그에 커밋 된 레코드를 손실하지 않고 최대 N-1 개의 서버 오류를 허용

Kafka as a Storage System

Kafka에 기록 된 데이터는 디스크에 기록되고 내결함성을 위해 복제