본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
https://bit.ly/4hTSJNB

I. 학습 인증샷 4장 이상 포함

1. 공부시작: 날짜, 시각 다 나오도록

2. 공부 종료: 날짜 시각 다 나오도록

3. 1개 클립 수강 (강의장 목록 캡쳐, 수강화면이 보이지 않도록) 1장

4. 학습 인증샷 1장(필기 촬영이나 작업물 촬영)

II. 학습 후기 700자 이상 (공백 제외)

강의 시작은 바로 localhost:8081로 붙어서 실습이 시작되지만...일단 똥인지 된장인지 알아야지?

Kafka UI는 뭘까?

 오픈소스 웹 기반 도구

• Apache Kafka 클러스터를 관리하고 모니터링하기 위한 오픈소스 웹 기반 도구 인 듯 하다
• 직관적인 사용자 인터페이스를 제공하여 Kafka의 주요 기능을 쉽게 접근하고 관리할 수 있도록 설계 
• 특히, Kafka UI는 다중 클러스터 관리, 성능 모니터링, 메시지 브라우징 등 다양한 기능을 지원

Kafka UI의 주요 기능 (구글링)

• 다중 클러스터 관리: 여러 Kafka 클러스터를 한 화면에서 모니터링하고 관리
• 성능 모니터링: 브로커, 토픽, 파티션, 생산 및 소비 지표를 실시간으로 추적할 수 있는 경량 대시보드를 제공
• 토픽 관리:  토픽 생성, 삭제, 설정 변경이 가능하며, 각 토픽의 파티션 수, 복제 상태 및 사용자 정의 구성을 확인 가능
• 컨슈머 그룹 관리: 토픽 생성, 삭제, 설정 변경이 가능하며, 각 토픽의 파티션 수, 복제 상태 및 사용자 정의 구성을 확인 가능
• 메시지 브라우징: JSON, Plain Text, Avro 인코딩을 지원하여 토픽 메시지를 탐색하고 필터링 가능
• 스키마 레지스트리 통합: Avro, JSON Schema, Protobuf 스키마를 등록 및 관리하여 메시지 인코딩을 간소화
• 보안 및 인증: OAuth 2.0(GitHub, GitLab, Google)을 통한 인증과 역할 기반 접근 제어(Role-Based Access Control)를 지원
• 데이터 마스킹: 민감한 데이터가 포함된 메시지를 보호하기 위해 데이터 마스킹 기능을 제공

역시 앞선 시간의 레서판다와 마찬가지로 설치와 설정에 대해서는 강의에서 나오지 않는다.
운영 전에 해당 부분은 따로 실습해보고 설치가 필요해 보임.
실습환경의 docker-compose를 보면 환경을 딸 수 있을 듯 하다.

아니.. 이게 최종 선택일 듯

• 지금 하루에 한번씩 내가 선택한 툴이 바뀌는데...
• 일단 더 모던한  느낌?
  • 정보 자체는 CMAK이나 Redpanda와 비슷한 정보와 ui를 보인다
  • Redpanda에서 감동을 먹었던 view도 똑같이 제공한데 더 세련되어보인다.
  • 일반 테마 다크테마도 지원하는 듯하다.
• 앞으로 강의에서도 이걸 계속 활용한다고 하니.. 이게 최종이다..

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
https://bit.ly/4hTSJNB

I. 학습 인증샷 4장 이상 포함

1. 공부시작: 날짜, 시각 다 나오도록

2. 공부 종료: 날짜 시각 다 나오도록

3. 1개 클립 수강 (강의장 목록 캡쳐, 수강화면이 보이지 않도록) 1장

4. 학습 인증샷 1장(필기 촬영이나 작업물 촬영)

II. 학습 후기 700자 이상 (공백 제외)

이전시간에 배웠던 CMAK처럼 GUI로 접근할 수 있는 듯

강의에선 바로 실습을 들어가서 찾아본 레서판다(https://www.redpanda.com)

• Apache Kafka 또는 Redpanda 클러스터를 관리하고 디버깅하기 위한 웹 기반 UI 도구
• 이전에는 Kowl로 알려졌음(그래서 그때는 로고가 올빼미였다고 함)
• Kafka API를 사용하는 모든 플랫폼과 호환
• 직관적인 인터페이스를 제공하여 개발자와 운영자가 Kafka 클러스터를 효율적으로 관리가능 하도록 함

Redpanda Console의 주요 기능

토픽 관리

• 토픽 생성, 삭제, 설정 편집이 가능하며, 각 토픽의 구성 및 공간 사용량을 확인이 가능
• 메시지 뷰어를 통해 토픽의 메시지를 탐색하고, JavaScript 필터를 사용하여 메시지를 검색 가능

컨슈머 그룹 관리

• 활성 컨슈머 그룹 목록을 표시하고, 오프셋을 편집하거나 삭제 가능
• 컨슈머 지연(Consumer Lag)을 분석하여 성능 최적화를 지원

클러스터 모니터링

• 브로커 상태, 파티션 분포, 메시지 처리량 등 클러스터 성능 지표를 실시간으로 확인 가능
•  ACL과 SASL-SCRAM 사용자 관리를 포함한 보안 설정을 지원

스키마 레지스트리 관리

• JSON, Avro, Protobuf 스키마를 등록
• 스키마 관리 가능

Kafka Connect 및 데이터 변환 관리

• 여러 커넥트 클러스터의 상태를 모니터링
• 작업을 재시작하거나 설정을 수정 가능

시간 여행 디버깅(Time Travel Debugging)

• 실시간 데이터 흐름을 탐색
• 과거 데이터를 디버깅하는 기능을 제공

강의에서는 Redpanda 설치 방법은 제공하지 않고 이미 실습 환경에 도커로 제공하고 있다.
추후 설치나 구성은 따로 공부가 필요해보인다.
인터넷을 찾아본 바론 강사님처럼 보통 Docker 를 사용하며, 
쿠버네티스 배포의 경우에는 Helm Chart를 통해 배포하는 것 같다.
운영에 반영을 생각해보면.. config 파일 편집해서 설정 추가하는 것도..꽤 일이 많아 보였다.

아 이번엔 이게 더 좋아보이네;;

• 지난 시간에 CMAK보고 감동먹어서.. 이걸 어떻게 써먹지 이러고 있었는데...하루만에..
• 일단 CMAK보다 훨씬 더 많은 정보를 주는 듯 하다. 특히 

• 메시지 의 키와  value와 타임스탬프, 어느 파티션에 있는지와,  offset까지 한 번에 볼 수 있다.
• 심지어 검색 기능까지도 있음
• 필터 옵션을 커스텀하게 edit할 수도 있을 거 같은데.. 이건 모르겠음..
• 여튼 다시 너로 정했다.. . 하루만에 맘이 바뀜;

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
https://bit.ly/4hTSJNB

I. 학습 인증샷 4장 이상 포함

1. 공부시작: 날짜, 시각 다 나오도록

2. 공부 종료: 날짜 시각 다 나오도록

3. 1개 클립 수강 (강의장 목록 캡쳐, 수강화면이 보이지 않도록) 1장

4. 학습 인증샷 1장(필기 촬영이나 작업물 촬영)

II. 학습 후기 700자 이상 (공백 제외)

CMAK??

강사님 설명

• 지난 시간에 살펴본 Kcat이 produce /consume에 특화된 거라면
• CMAK은 좀 더 클러스터 브로커 관리에 특화
• CLI가 아닌 UI 제공
• 아후에서 kafka manager로 개발하다가 kafka요청으로 바뀜
• 강의 실습환경에 docker-compose로 이미 설정해서 9000포트로 바로 접속 가능

설명이 너무 짧아서 ㅎ 와닿지 않아서 더 찾아봄

구글링

• CMAK: Cluster Manager for Apache Kafka
• 아파치 카프카를 관리하기 위한 GUI 기반 관리도구
• 웹기반 UI로 직관적으로 클러스터와 토픽 관리가 가능해서 편리
• 카프카의 복잡한 설정과 운영 작업 간소화
• 실시간으로 클러스터상태 확인 가능 , 관리 가능
• 브로커와 컨슈머 그룹 상태 모니터링 가능
• 토픽 관리(생성,삭제 조회) , 파티션 추가 및 설정 변경 가능
• 파티션 리밸런싱 가능
•  

접속해보기

• localhost:9000

• 일단 클러스터를 세팅해보자

• 현재 강의 실습 환경으로 주어진 컨테이너의 카프카는 3.6인데
• cmak에서 설정할 수 있는 가장 높은 버전이 2.4이다..
• 강의나 실습에서는 이상이 없는 것 같은데 이를 운영에 쓰기에는 어떨까... 싶다.

• Topics

• 각 토픽을 눌러볼 수 도 있다.

• 솔직히 진짜 감동이다.
• 특정 토픽을 클릭했을때 표시되는 화면은 그동안 커맨드 라인에서 확인이 어려웠던 토픽의 상세 정보가 시각적으로 제공된다.
• 강의에서는 짚어주지는 않지만 하나씩 확인해본봐 다음과 같다
• Topic Summary:
  • 토픽의 이름, 파티션 수, 복제본(replication factor) 수와 같은 기본 정보를 표시
• Operations:
  • 토픽 삭제, 파티션 추가, 재분배(rebalance), 설정 변경 등 관리 작업을 수행할 수 있는 메뉴.
• Partitions by Broker:
  
  • 위 스샷처럼 가장 감동 받은 부분...
  • 각 브로커에 생성된 파티션의 정보를 확인할 수 있다
  • 이를 통해 데이터가 어떤 브로커에 분산되어 있는지 확인 가능하다
  • "토픽의 파티션을 브로커의 입장에서 바라보는 관점"이라는게 정말 훌륭하다.
• Partition Information:
  • 각 파티션의 리더(Leader)와 복제본(replication)이 어떤 브로커 노드에 위치하는지 상세 정보 제공
  • 데이터 복제 및 리더 역할 분배를 결정하는데 유용할 듯

• skewed : 쏠림 현상
  • 몰라서 찾아봤는데 쏠림현상이 일어나면 해당 옵션이 true가 된다
  • 현재는 쏠림 현상이 없음
  • 만약 쏠림 현상이 보여진다면
    • "Manual Partition Assignments"버튼을 눌러서 특정 파티션을 다른 브로커로 보내면 된다 

위의 작업 마치고 Done 해도 그대로 보이는데. 설정 반영을 위해선
"Reassign Partition"버튼을 눌러야 반영이 된다

솔직히 지금 까지 설명한 툴중에 가장 와닿는다.

클러스터 관리를 실시간으로 모니터링하고 필요한 작업을 수행하는 것은
이게 제일인 것 같다.