'2025/04/04'에 해당되는 글 1건

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
https://bit.ly/4hTSJNB

I. 학습 인증샷 4장 이상 포함

1. 공부시작: 날짜, 시각 다 나오도록

2. 공부 종료: 날짜 시각 다 나오도록

3. 1개 클립 수강 (강의장 목록 캡쳐, 수강화면이 보이지 않도록) 1장

4. 학습 인증샷 1장(필기 촬영이나 작업물 촬영)

II. 학습 후기 700자 이상 (공백 제외)

이번 강의는 슬라이드도 제공하지 않는다. ㅅㅂ

요약

 Zookeeper의 역할

• 메타 정보 저장
  • broker IDs
  • racks
  • topics
  • partions
  • ISR information
• 아래의 상황에 사용.
  • Controller election
  • Watchers to determine broker availability
• 요약 
  • Kafka 의 쿼럼 및 메타데이터 관리를 포함하여 많은 중요한 분산 시스템 문제를 담당한다.
• 문제점
  • 제한된 확장성
    • 운영자가 2가지 시스템과 보안 모델을 관리해야 한다
    • 복잡성이 가중된다
  • Zookeeper 데이터가 컨트롤러에 반영되어야 한다.
    • 이중 캐싱 문제
    • 비동기화 상태 가능성 존재

KIP-500

• Zookeeper를 Kafka 자체의 일부인 메타데이터 관리 서비스로 대체하기 위한 카프카 개선제한

KRaft

• Zookeeper를 대체하는 새로운 메타데이터 관리 메커니즘
• KRaft는 Kafka를 더욱 사용하기 쉽고 효율적으로 만듬
• KRaft = Kafka + Raft Metadata Consensus

KRaft 장점

• 카프카 관리 및 배포 단순화
  • 주키퍼를 안배워도 된다..
    • 아니 이론에서 계속 나와서 공부했었는데
    • 아니 이러면 지금까지 Zookeeper 이론은 왜 배운거에요 ㅠㅠ
• 카프카 클러스터를 수백만 개의 파티션으로 확장
  • 기존 주키퍼의 제한성 : 수백만개 확장은 제한됨
  • 굉장히 높은 수의 파티션 수가 가능해짐
• 카프카의 안정성 및 장애 조치 성능 향상
  • 위 그림에서 보듯이 예기치 않은 장애 복구 장애가 탁월하다.

KRaft 하드웨어 권장 사항

• 일반적으로 ZK를 실행하는 서버와 사양이 비슷한 서버에서 KRaft를 실행
• 운영 권장사양
  • 최소 4GB RAM
  • 서버를 공유하는 경우(vm) 전용 cpu 코어 할당을 고려해야 한다
  • 최소 64GB SSD 권장
  • 최소 1GB Heap Memory 권장

이론편 파트1 끝이다..

• 이론편 강의 자체는 나쁘지 않음
  • 이론편의 강의 퀄은 좋은 것 같다. 다른 어떤 곳에서도 찾을수가 없다.
• 다만 지금 판단으론 이론 실습 이론 실습 이렇게 해야 하지 않을까 싶다. 왜냐면
  • 이론편의 후반인 트러블 슈팅 및 운영환경 튜닝은.... 제일 나중에 나와야 하지 않았을까 싶다.
  • 솔직히 나중에 보고 써먹을 강의 슬라이드 말고는 기억에 잘 남지 않는다.
  • 트러블 슈팅과 튜닝은 계속 상황에 맞게 조절하도록 명령어들이 나오는데 실제로  써먹질 못하니
  • 환급 아니었으면 솔직히 건너 뛰고 실습편 다 하고 마지막에 봤을 것 같음
• 드디어 다음부터 실습편이다.