kafka의 zookeeper 란

Zookeeper는 분산 시스템에서 관리와 협업을 위한 코디네이션 서비스입니다. 주로 분산 애플리케이션이나 분산 시스템에서 구성 정보를 관리하거나, 분산 락, 리더 선출, 노드 상태 관리 등의 작업을 지원하는 도구로 사용됩니다.

Zookeeper의 역할과 주요 기능

1. 분산 환경에서의 데이터 관리:
   • Zookeeper는 분산 시스템에서 노드 간에 공유해야 하는 설정 값, 상태 정보 등을 관리합니다. 이를 통해 각 노드들이 일관된 정보를 갖도록 보장합니다.
   • 예를 들어, 클러스터에 속한 서버들이 공통된 정보를 필요로 할 때, Zookeeper를 사용하여 이를 관리하고, 각 서버에서 동기화된 상태를 유지할 수 있습니다.
2. 리더 선출:
   • Zookeeper는 분산 시스템에서 리더 선출을 위한 메커니즘을 제공합니다. 여러 서버가 있을 때, 특정 작업을 처리할 책임이 있는 "리더"를 자동으로 선출할 수 있습니다.
   • 예를 들어, 데이터베이스에 대해 단일 쓰기 노드만 필요할 때, Zookeeper를 사용하여 리더를 선출하고, 리더가 실패하면 새로운 리더를 선출하는 방식으로 시스템을 안정화할 수 있습니다.
3. 분산 락 관리:
   • 여러 서버가 공유 자원을 접근하는 상황에서, 분산 락을 사용하여 한 번에 하나의 서버만 자원에 접근하도록 할 수 있습니다. Zookeeper는 이를 관리하고, 자원에 대한 충돌을 방지할 수 있도록 도와줍니다.
4. 노드 상태 감지:
   • Zookeeper는 클러스터의 각 서버나 노드 상태를 모니터링할 수 있습니다. 예를 들어, 클러스터의 노드가 장애가 발생했을 때 이를 감지하여 다른 노드에게 정보를 전달하거나, 클러스터 상태를 업데이트할 수 있습니다.
5. 구성 관리:
   • 시스템의 구성 파일이나 설정을 중앙에서 관리하고, 이 정보들이 시스템의 모든 노드에 일관되게 반영되도록 할 수 있습니다.

Zookeeper의 아키텍처

Zookeeper는 주키퍼 서버(ensemble)와 클라이언트로 구성됩니다.

• Zookeeper 서버(ensemble): 여러 개의 Zookeeper 서버로 구성되어, 서버가 하나 실패해도 시스템이 계속 작동할 수 있도록 고가용성을 제공합니다. 보통 3개 이상의 서버로 구성하여 장애 발생 시에도 서비스가 지속되도록 합니다.
• Zookeeper 클라이언트: 애플리케이션은 Zookeeper 클라이언트를 통해 Zookeeper 서버에 접속하여 데이터를 조회하거나 변경하는 작업을 수행합니다.

Zookeeper의 데이터 모델

Zookeeper는 트리 구조를 사용하는 데이터 모델을 따릅니다. 이 구조는 파일 시스템과 유사합니다.

• ZNode: Zookeeper에서 데이터를 저장하는 기본 단위입니다. ZNode는 데이터를 저장할 수 있고, 자식 노드를 가질 수 있으며, 여러 속성(예: 버전, 데이터 길이, 시간 정보 등)을 포함할 수 있습니다.

Zookeeper와 Kafka의 관계

• Kafka는 초기에는 Zookeeper를 메타데이터 관리와 클러스터 관리를 위해 사용했습니다. 예를 들어, Kafka는 Zookeeper를 통해 파티션 배치 정보, 브로커 상태, 리더 선출 등을 관리했습니다.
• 그러나 Kafka의 최신 버전에서는 KRaft라는 새로운 프로토콜을 도입하여 Zookeeper 없이도 Kafka 클러스터를 운영할 수 있는 기능을 제공합니다. 이로 인해 Kafka는 Zookeeper의 의존성을 점차 줄여가고 있지만, 여전히 많은 기존 시스템에서는 Zookeeper를 사용합니다.

Zookeeper의 장점

1. 고가용성: Zookeeper는 분산 환경에서 여러 서버가 협업하여 데이터의 일관성을 보장합니다. 3개 이상의 서버로 구성되어 높은 가용성을 제공합니다.
2. 분산 환경에서의 동기화: 여러 노드 간의 동기화를 손쉽게 구현할 수 있으며, 상태 관리, 리더 선출, 분산 락 등을 간단하게 처리할 수 있습니다.
3. 빠른 응답 시간: Zookeeper는 낮은 지연 시간으로 빠르게 데이터를 제공하며, 데이터의 일관성을 보장하면서도 성능을 유지할 수 있습니다.

Zookeeper의 단점

1. 복잡한 설정: Zookeeper는 분산 시스템으로 설정이 복잡할 수 있으며, 운영 및 모니터링이 어려울 수 있습니다.
2. 단일 장애 지점: Zookeeper는 단일 장애 지점(Single Point of Failure) 문제를 해결하려면 다수의 Zookeeper 서버로 클러스터링해야 하며, 이를 유지하는 데 추가적인 자원이 필요합니다.
3. 스케일링 한계: Zookeeper는 대규모 분산 시스템에서 성능 저하가 발생할 수 있으며, 수천 개의 노드를 관리할 때 성능이나 확장성에 한계가 있을 수 있습니다.

결론

Zookeeper는 분산 시스템에서 중요한 코디네이션 서비스로, 여러 시스템 간의 동기화, 상태 관리, 리더 선출 등을 간편하게 처리할 수 있도록 도와줍니다. Kafka와 같은 분산 시스템에서 중요한 역할을 수행하며, 클러스터의 안정성을 보장합니다. 그러나 Zookeeper 자체의 설정과 운영이 복잡할 수 있으며, 이를 잘못 관리하면 성능이나 안정성에 문제가 생길 수 있습니다.