패스트캠퍼스 환급챌린지 28일차 : 한번에 끝내는 KafkaEcosystem 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
https://bit.ly/4hTSJNB

---

I. 학습 인증샷 4장 이상 포함

1. 공부시작: 날짜, 시각 다 나오도록

공부 시작

2. 공부 종료: 날짜 시각 다 나오도록

공부 종료

3. 1개 클립 수강 (강의장 목록 캡쳐, 수강화면이 보이지 않도록) 1장

clip28

4. 학습 인증샷 1장(필기 촬영이나 작업물 촬영)

---

II. 학습 후기 700자 이상 (공백 제외)

브로커 튜닝에 다루고 있다.

•  브로커 및 토픽 모니터링, 성능 최적화 가이드라인, 프로듀서 요청 처리 메커니즘 등을 설명한다.
• 다른 동영상에 비해 엄청 길다.
• 브로커의 네트워크/디스크 리소스 관리, 파티션 리더 분배 전략, 로그 압축 시 주의사항 등 실무적 가이드라인을 제시한다.
  (튜닝은 에바지만.. 권장 값을 준다는 면에서는 너무 초보자에게 필요한 부분이다.)
• 브로커 간 리더십 분배 원리쪽을 보고 기존 내가 생각했던 아키텍처를 다 뒤집어야 했다.
  • 리더 1대가 팔로워 2대보다 4배 많은 부하를 처리한다는 설명을 보며 파티션 배분의 중요성을 다시 한번 실감
  • 위의 그림에서 봤듯이 잘못하면 12배가 될 수도..
• 충분한 OS Page 캐시가 필요하다!
  • 아주 중요한 부분이다.
  • 하지만 이 충분한(!)이라는 단어가 얼마나일까?
  • 해당 캐시에 대한 값들도 제시해줬으면
  • 아니면 실제 운영에 반영할 수 있는 캐시 관리 팁이라도 알려주면 좋았을 텐데..
• 프로듀서 요청 처리 단계의  다이어그램으로 설명한 부분은 아무리봐도 잘 이해가 안된다...
• 네트워크 스레드와 I/O 스레드의 협업 과정을 반복 학습하니 메시지 전달 부분은 조금 와닿기는 한데..어렵다.
• '로그 압축 실패 시 파티션이 무한히 커진다'
  • 역시 추가적인 메모리와 cpu리소스가 필요하다라고만 할뿐 구체적인 값을 주지 않는다.
  • 그나마 튜닝값들을 보면 기본값이 있으니 거기서부터 조절이 가능한 부분이라는 것을 알게되는 부분
• 성능 체크 리스트는 아주 도움이 될 것 같다.
  • CPU 사용률 확인, 네트워크 대역폭 포화 상태 진단 등 구체적인 항목들이 적혀있다.
  • 하지만 'num.io.threads' 값을 증가시키면 처리량이 개선된다'라는 문구를 보고 또 좌절했다.
    • 스레드 풀 크기와 하드웨어 사양의 상관관계를 어떻게 계산해야 하는가? ㅠ
• 메시지 크기는 1MB 를 초과하면 안된다.
  • Blob저장소의 payload를 저장하고 실제 메시지의 payload에  blob저장소의 uri를 전달하라고 가이드 되어있다.
  • 1메가는 생각보다 너무 적긴하다.
  • 큰 메시지가 꼭 필요한 경우에는 어떤 방법을 써야할까? ...알려주진 않는다.

아무리 봐도 이 강의는...목차가 잘못되었다.....에바다...
아니 실습 한번 안해보고 바로 트러블슈팅에 이제 튜닝이 나온다..이게 의미가 있는가?
실제로 뭘 해보면서 튜닝을 해야 하는게 아닐까? ㅠㅠ
그나마 위안은.. 기본 가이드라인에서 주는 값들..정도..