패스트캠퍼스 환급챌린지 37일차 : 한번에 끝내는 KafkaEcosystem 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
https://bit.ly/4hTSJNB

 

---

I. 학습 인증샷 4장 이상 포함

1. 공부시작: 날짜, 시각 다 나오도록

공부 시작

2. 공부 종료: 날짜 시각 다 나오도록

공부 종료

3. 1개 클립 수강 (강의장 목록 캡쳐, 수강화면이 보이지 않도록) 1장

Redpanda Console

4. 학습 인증샷 1장(필기 촬영이나 작업물 촬영)

현재 docker-compose에서 실행되는 카프카 클러스터 상태

---

II. 학습 후기 700자 이상 (공백 제외)

레서판다

이전시간에 배웠던 CMAK처럼 GUI로 접근할 수 있는 듯

강의에선 바로 실습을 들어가서 찾아본 레서판다(https://www.redpanda.com)

• Apache Kafka 또는 Redpanda 클러스터를 관리하고 디버깅하기 위한 웹 기반 UI 도구
• 이전에는 Kowl로 알려졌음(그래서 그때는 로고가 올빼미였다고 함)
• Kafka API를 사용하는 모든 플랫폼과 호환
• 직관적인 인터페이스를 제공하여 개발자와 운영자가 Kafka 클러스터를 효율적으로 관리가능 하도록 함

Redpanda Console의 주요 기능

토픽 관리

• 토픽 생성, 삭제, 설정 편집이 가능하며, 각 토픽의 구성 및 공간 사용량을 확인이 가능
• 메시지 뷰어를 통해 토픽의 메시지를 탐색하고, JavaScript 필터를 사용하여 메시지를 검색 가능

컨슈머 그룹 관리

• 활성 컨슈머 그룹 목록을 표시하고, 오프셋을 편집하거나 삭제 가능
• 컨슈머 지연(Consumer Lag)을 분석하여 성능 최적화를 지원

클러스터 모니터링

• 브로커 상태, 파티션 분포, 메시지 처리량 등 클러스터 성능 지표를 실시간으로 확인 가능
•  ACL과 SASL-SCRAM 사용자 관리를 포함한 보안 설정을 지원

스키마 레지스트리 관리

• JSON, Avro, Protobuf 스키마를 등록
• 스키마 관리 가능

Kafka Connect 및 데이터 변환 관리

• 여러 커넥트 클러스터의 상태를 모니터링
• 작업을 재시작하거나 설정을 수정 가능

시간 여행 디버깅(Time Travel Debugging)

• 실시간 데이터 흐름을 탐색
• 과거 데이터를 디버깅하는 기능을 제공

강의에서는 Redpanda 설치 방법은 제공하지 않고 이미 실습 환경에 도커로 제공하고 있다.
추후 설치나 구성은 따로 공부가 필요해보인다.
인터넷을 찾아본 바론 강사님처럼 보통 Docker 를 사용하며, 
쿠버네티스 배포의 경우에는 Helm Chart를 통해 배포하는 것 같다.
운영에 반영을 생각해보면.. config 파일 편집해서 설정 추가하는 것도..꽤 일이 많아 보였다.

아 이번엔 이게 더 좋아보이네;;

• 지난 시간에 CMAK보고 감동먹어서.. 이걸 어떻게 써먹지 이러고 있었는데...하루만에..
• 일단 CMAK보다 훨씬 더 많은 정보를 주는 듯 하다. 특히 

메시지 의 키와  value와 타임스탬프, 어느 파티션에 있는지와,  offset까지 한 번에 볼 수 있다. 누르면 각 value도 pretty하게 볼 수 있다.

• 메시지 의 키와  value와 타임스탬프, 어느 파티션에 있는지와,  offset까지 한 번에 볼 수 있다.
• 심지어 검색 기능까지도 있음
• 필터 옵션을 커스텀하게 edit할 수도 있을 거 같은데.. 이건 모르겠음..
• 여튼 다시 너로 정했다.. . 하루만에 맘이 바뀜;