'2025/03/05'에 해당되는 글 1건

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
https://bit.ly/4hTSJNB

I. 학습 인증샷 4장 이상 포함

1. 공부시작: 날짜, 시각 다 나오도록

2. 공부 종료: 날짜 시각 다 나오도록

3. 1개 클립 수강 (강의장 목록 캡쳐, 수강화면이 보이지 않도록) 1장

4. 학습 인증샷 1장(필기 촬영이나 작업물 촬영)

II. 학습 후기 700자 이상 (공백 제외)

1. 카프카의 핵심은 실시간 이벤트 처리

카프카의 핵심은 실시간 이벤트 처리인 것 같다.

"이벤트"는 단순히 데이터 변화나 사용자 행동(예: 결제 완료, 로그인 시도)을 의미하며 이는 내가 생각 하는 모든게 이벤트가 될 수 있음도 의미한다..

 이벤트를 ‘비즈니스에서 발생하는 모든 데이터 포인트’로 정의한 부분은 실제 활용 사례(택시 GPS 추적, 금융 거래 감시 등)와 연결지어서 설명하는 예시는 아주 괜찮다.

예전에는 데이터베이스나 API로만 처리하던 것을 카프카는 스트림 형태로 관리해 더 유연하고 빠르게 만든다는 점이 인상적이다.

2. 카프카의 특징: 왜 다른 도구보다 특별할까?

• 메시지 분리:
  • 프로듀서(생산자)와 컨슈머(소비자)가 서로 독립적으로 작동한다는 점이 신기했다
  • 예를 들어, 결제 시스템에서 데이터를 보내는 쪽과 분석하는 쪽이 서로 영향을 주지 않는다는 점!
• 디스크 저장:
  • 메시지를 메모리가 아닌 디스크에 저장해 데이터 손실을 막는다는 건 큰 장점.
  • "실시간"이면서도 안전하다는 게 요샌 이렇게 당연한건가? 나만 놀랍나?
• 확장성:
  • 클러스터로 서버를 추가하면 트래픽이 폭발해도 대응할 수 있다는 설명을 듣고,
    왜 Netflix나 Uber 같은 대기업이 카프카를 쓰는지 알 것 같음.
  • 특히 강사님이 실제 해봤다던 2천만건은 상상도 못했던 부분인데.. 국내에서 가능한가 그게
  • 특히 계속 브로커를 쌓으면 선형적인 증가가 이뤄진다는 것도 너무 신기하다.

3. 탄생 배경: 링크드인의 고민에서 시작된 혁신

• 카프카가 LinkedIn에서 탄생했다는 사실이 흥미롭다.
  내 생각에 링크드인은 사람인의 그냥 사람 많은 버전처럼 느껴지는데..
  그안에서 이전의 기술 스택으로 담지 못한 트래픽과 이벤트가 발생했다는 것이.. 놀랍다
• 내가 생각한건 수백만 수천만 정도였는데..
• LinkedIn에서 하루 4.5조 개 이벤트 처리라는 실제 사례를 통해 카프카의 확장성을 체감할 수 있었다
• 일반 수준의 장비  3대로 초당 200만 건 쓰기 처리가 가능하다는 벤치마크는 충격적이다.
  이래서 카프카 카프카 하는건가
• 다른 메시징 시스템 대비 월등한 성능
•  RabbitMQ와의 비교 표에서 처리량(605MB/s vs 38MB/s)과 지연 시간(5ms vs 1ms)을 수치화한 부분이 특히 도움이 되는 것 같다. 회사에서 현재 rabbitmq를 쓰고 있어서 회사내 경영진 설득에도 이 그래프가 도움이 될 것 같다.

4. 실제 사례: 카프카는 어디에 쓰일까?

• 실시간 추천 시스템: 사용자의 클릭이나 검색 이력을 즉시 분석해 추천하는 기술.
• 금융 사기 감지: 계좌 이상 거래를 실시간으로 탐지해 알림을 보내는 경우.
• IoT 센서 데이터 수집: 공장 기계나 자동차의 센서 데이터를 모아 분석하는 데 활용.
  이런 예시들을 보니 카프카가 "데이터의 고속도로" 역할을 한다는 표현이 와닿는다.

5. RabbitMQ vs 카프카

강사님이 비교해준 비교 표를 보며 깨달은 점은 목적이 다르다는 것.

• RabbitMQ: 주문 접수 후 이메일 발송처럼 작업을 순차적으로 처리해야 할 때 적합.
• 카프카: 실시간으로 유입되는 데이터(예: SNS 댓글, 주식 시세)를 병렬 처리해야 할 때 강점을 발휘.
  
  

6. 요약

• 실시간 시대의 필수 도구: 스마트폰, IoT 기기가 보편화되며 순간적인 데이터 처리 수요가 급증했고, 카프카는 이를 효율적으로 해결.
• 데이터 파이프라인의 혁신: 기존에는 데이터를 모아서 일괄 처리(Batch)했지만, 카프카는 스트리밍으로 접근해 지연 시간을 줄임.

느낀 점

• 아직은 알지 못하지만 이후강의도 기대된다
• 오랜만에 필기하느라 아이패드도 애썼고 내 손도 애썼다.
• 솔직히 이걸 50일 넘게 할 수 있을지는 아직도 자신이 없다.
• 그래도 vue.js 환급 챌린지보단 나은 거 같다. 그땐 강의 자체가 병신이어서...

• 가프카 돞아보기라는 오타는 챕터 뿐 아니라 강의 화면에도 나온다.
  이게 나온지 1년이 다 되어가는 강의로 알고 있는데 아직까지 안고쳐진 건
  패캠이 관리를 하지 않는 것인가? 아니면 이 강의 자체가 안팔린 것인가...
  그렇다면 아무도 안산 이 강의를 듣는 내가 호구인 것인가....
• 돞아보기라는 게 있는 말인줄 몰랐음...ㅠㅠ 내가 바보였음..