'2025/03/28'에 해당되는 글 1건

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
https://bit.ly/4hTSJNB

I. 학습 인증샷 4장 이상 포함

1. 공부시작: 날짜, 시각 다 나오도록

2. 공부 종료: 날짜 시각 다 나오도록

3. 1개 클립 수강 (강의장 목록 캡쳐, 수강화면이 보이지 않도록) 1장

4. 학습 인증샷 1장(필기 촬영이나 작업물 촬영)

II. 학습 후기 700자 이상 (공백 제외)

브로커 트러블슈팅 첫시간

요약

 트러블 슈팅체크리스트

• 어떤 일이 일어나고 있나? : 정확한 이슈 사항
• 정확한 설명: 
• 타임라인: 언제 발생, 언제 시작했는지 (시작시간을 최대한 정확하게 )
• 변경사항 : 관찰된 문제의 발생직전이나 도중에 변경된 사항
  • 비난하는 것이 아니라, 되대한 빨리 근본 원인을 찾는 것
• 모니터링
• node에 대한 ssh
  • broker에 연결할 수 없는 경우 Broker에 실행된 서버나 vm에 ssh login이 가능한가?
  • 로그인할 수 없다면 클러스터 노드에 문제가 있는 것
• 로그 찾기
  • ssh로 연결할 수 있으면 broker의 로그를 찾아라
  • 디폴트 위치에서 찾을 수 없다면 Broker의 log4j.properties파일을 찾아서 정보를 얻어라
• 로그 분석
  • 문제 증상에 대한 정확한 정보를 가지고 있는 것이 좋다

일반적 트러블 슈팅 

• TLS
  • SSL 성능이 좋지 않은 이유 
  • 종종 OS 수준 문제
  • cpu부하가 너무 높다면 코어 추가 필요
• NW
  • java.io broken pipe가 Broker 로그에 보고 됨 - 심각한 네트워크
• Out Of Memory 
  • JVM에 충분한 Heap Memory를 설정하지 않은 경우
  • 각 구성 요소들의 HEAP 권장설정
    • https://docs.confluent.io/platform/current/installation/system-requirements.html

• Security
  • ex: Active Directory integration, Kerberos
  • 많은 보안 관련 문제
  • 원인 : 대부분 이해 부족
• Open File 수 제한
  • 주로 브로커 및 주키퍼 관련, 카프카 커넥트에서 발생
  • OS 수준 뿐 아니라 서비스 수준의 지정 필요

브로커의 주요한 파일들

• recovery-point-offset-checkpoint
  • 디스크에 플러시된 마지막 Offset(from-to)
• cleaner-offset-checkpoint
  • Cleaner가 청소한 마지막 Offset (Compacted Topics만 해당)
• replication-offset-checkpoint 
  • 마지막 커밋된(Committed) Offset(from-to)
• log-start-offset-checkpoint
  • 각 Topic Partition의 First/Earliest Offset
• leader-epoch-checkpoint
  • Per partition
  • epoch 와 offset이 있는 row들을 포함
  • 각 row는 가장 최근에 기록된 Leader Epoch 그리고
    Leader가 된 그 Leader의 최신 Offset에 대한 체크포인트

위 파일들은 Broker의 server.properties 파일의 log.dirs 파라미터로 지정된 각 directory 들에 존재함