'2025/03/11'에 해당되는 글 1건

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
https://bit.ly/4hTSJNB

I. 학습 인증샷 4장 이상 포함

1. 공부시작: 날짜, 시각 다 나오도록

2. 공부 종료: 날짜 시각 다 나오도록

3. 1개 클립 수강 (강의장 목록 캡처, 수강화면이 보이지 않도록) 1장

4. 학습 인증샷 1장(필기 촬영이나 작업물 촬영)

II. 학습 후기 700자 이상 (공백 제외)

지난 강의의 Apache Kafka의 핵심 구성 요소인 Topic, Partition, Segment에 이어서
카프카 클러스터의 핵심 구성요소인 broker와 연관된 ZooKeeper, KRaft 모드에 대한 강의이다.

요약

• Kafka Broker
  • 역할:
    • Topic과 Partition관리
    • 데이터의 Read/Write 처리
  • Broker ID와 Partition ID와 무관하다
  • Partition은 자동 분산된다
  • Bootstrap Servers
    • 클라이언트가 하나의 broker연결만 되어도 전체 카프카 클러스터의 접근이 가능하다
    • 다만 장애 대비 전체 목록의 리스트를 넘겨주는 것이 권장된다
• ZooKeeper
  • 역할
    • Broker, Topic, Partition의 메타데이터(설정, 상태) 관리.
  • 홀수 개의 서버로 구성 (최소 3대, 권장 5대).
    (위의 브로커의 숫자는 홀수개와 상관없다. 주키퍼에 한해서 홀수)
  • Quorum (강사님 발음으로 유추하건대 쿼럼이라고 읽음) 알고리즘을 통해 장애 발생 시 시스템 일관성 유지.
  • ZooKeeper 모드: Kafka 3.3 이전의 기본 구성 방식
• KRaft 모드
  • 역할
    • ZooKeeper 의존성 제거 및 Kafka 자체 메타데이터 관리.
  • 배포 및 관리 단순화.
  • 수백만 파티션 지원 확장성.
  • 안정성 및 장애 조치 성능 향상.
  •  Kafka 3.3부터 신규 클러스터에(only) 대해 Production-Ready.

신규 클러스터에 대한 Ready이다. 기존 클러스터에 대한 마이그레이션이나 Ready가 아님

• 카프카 내부 아키텍처에 대한 이해가 깊어지는 강의이다.
• 주키퍼는 예전에 개발할때 스프링 클라우드 넷플릭스를 사용할 때 서비스 디스커버리로 사용하고 있었다.
  그래서 단순히 Eureka처럼 서비스 디스커버리 역할 정도만 생각했는데 여러 노드의 동기화나 
  카프카 노드의 동기화처럼 사실 더 복잡한 내용이 있었다는 것도 처음 알게 되었음.
• 현재 스프링 클라우드는 주키퍼의 복잡성과 관리 어려움으로 인해 Eureka나 Consul 등으로 대체되는 추세이다.
  카프카도 최신 버전에서 KRaft 모드로 기존 주키퍼의 의존성을 제거하는 부분에서 동일하게 가고 있는 것 같다.
• KRaft의 "수백만 개의 파티션"이라는 구문이 충격적이다. 수백만개의 파티션까지 필요한 것일까? 
  내가 생각하지 못한 규모의 데이터에서는 그렇게 필요한 건가?? 
  카프카가 어떻게 대규모 스트리밍을 효율적으로 처리하게 되는지 파티션 개수만 봐도 아주 조금 와닿는다.
• KRaft 모드가 신규 클러스터만 적용된다는 부분이 핵심이다. 내가 카프카를 더 일찍 공부했으면 망했을지도...
  적절한 타이밍에 들어왔고 적절한 이벤트(환급챌린지)로 보게 되는데 나름 재미있게 보고 있다.
• 주키퍼에는 Quorum 알고리즘으로 합의에 도달한다고 했는데 KRaft에서는 어떻게 도달하는지 설명이 빠져있다.
  지금은 아키텍처 전체 내용이니까 빠진것이겠지? 
  강사가 부록으로 KRaft전용 동영상을 만들었다고 하니 기대해 본다.
• 강의 동영상들이 20분 안쪽이지만 많은 부분이 압축되어 있다.
  이전에도 말했지만 패캠의 박성웅 vue.js 강의처럼 공식문서만 읽는 것으로 시간 때우는게 아니다.
• 패캠 강의에는 늘 퀄리티에 실망을 많이 했었는데.. 현재 7개밖에 듣지 않았지만 만족스럽다.
  강의슬라이드도 전부 공유해 주고 슬라이드도 대충 만드는 게 아니라 깔끔해서 복습하기에도 좋다.
• 내가 패캠강의를 칭찬할 줄이야.ㅋㅋ