'2025/03/09'에 해당되는 글 1건

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
https://bit.ly/4hTSJNB

I. 학습 인증샷 4장 이상 포함

1. 공부시작: 날짜, 시각 다 나오도록

2. 공부 종료: 날짜 시각 다 나오도록

3. 1개 클립 수강 (강의장 목록 캡쳐, 수강화면이 보이지 않도록) 1장

4. 학습 인증샷 1장(필기 촬영이나 작업물 촬영)

II. 학습 후기 700자 이상 (공백 제외) 

Data Mesh

• 강사님 정의:
  • 기존 DW(Data Warehouse), DL(Data Lake)에서 중앙집중적으로 관리 되었던 분석 데이터들을 탈중앙해서 관리하는 데이터 아키텍처 패턴
• 굼금해서 찾아본 내용
  • 데이터 메시는 분산된 데이터 아키텍처이다
  • 2019년 Zhamak Dehghani가 제안
  • 모놀리식 데이터 레이크/웨어하우스의 문제점(데이터 병목, 유연성 부족 등)을 해결하기 위해 등장
  • 전통적 접근과 달리 "데이터 생산자와 소비자를 직접 연결해 실시간 협업을 촉진"하는 것이 특징

4가지 핵심 원칙 심층 분석

1. 도메인 중심의 탈중앙화: Domain-driven Decentralization
   1. 도메인 주도 분산 소유권 : 데이터는 특정 도메인이 소유한다(Data ownership by domain)
   2. 도메인 전문가가 자체 데이터를 소유/관리하며 중앙 팀의 의존도를 낮춘다
   3. 데이터 접근도 역시 분산됨
   4. 조직 구조 개편 필요
   5. 데이터 아피프라인보다 도메인 경계 정의 우선이 중요
2. 데이터를 제품으로 관리: Data as a product
   1. 데이터는 그것을 게시하는 각 팀에 따라서 제품으로 간주된다.
   2. 일류제품(고객에 제공하는 제품 수준)으로서의 데이터(Data as a First-class Product)
   3. 검색 가능, 신뢰성 보장, 문서화가 완비 되어 있어야 한다
   4. 강의 예시에선 카프카 스트림을 활용한 데이터 전파 매커니즘으로 기술 구현 구체화
      
      > 강의에서는 밑의 3, 4에 대한 설명은 없어서 인터넷으로 찾아 봄
3. 셀프 서비스 데이터 플랫폼: Self-serve Data Platform
   1. 데이터는 어디서나 셀프 서비스가 가능해야 한다. (Data available everywhere, selfserve)
   2. 중앙팀은 표준화 된 도구 (예: 카프카 커넥트)를 제공한다.
   3. 도메인 팀은 이를 조립해서 사용한다.
   4. 데이터 카탈로그와 거버넌스 자동화의 연계가 필요하다 : (이것은 솔직히 무슨말인지 모르겠다..아직..)
4. 연합 거버넌스: Federated Governance
   1. 데이터는 (어디에 있든) 통제하에 잘 관리되어야 한다(Data governed wherever it is)
   2. 강의에서 언급하진 않지만 중앙정책과 지역적 실행의 균형을 유지하는 매커니즘이 핵심인듯 하다.

서비스 메시 내의 노드간의 연결: 카프카 기반의 데이터 스트리밍이 제일 적합하고 자연스럽다

• 카프카가 실시간 스트리밍, 확장성, 불변성 감사 추적 측면에서 데이터 메시 구현에 적합하다
• 특히 이벤트 기반 아키텍처와 마이크로서비스 패턴이 결합될 때 시너지가 발생한다

Mesh is a logical view, not physical!
메시는 물리적이 아닌 논리적 뷰이다.

Data Streaming이 Data Mesh에 적합한 이유

1. Streams are real-time, low latency: 데이터를 즉시 전파한다(pub/sub)
2. Streams are highly scalable: 오늘날의 방대한 데이터량을 처리
3. Streams are stored, replayable: 실시간 및 과거 데이터를 모두 캡처
4. Streams are immutable: Audit 가능한 레코드 소스
5. Streams are addressable, discoverable, ...: 메시 데이터에 대한 주요 기준을 충족
6. Streams are popular for Microservices: 데이터 메시 적용에 쉽다.

강사님이 알려주신 참고 사이트 : developer.confluent.io

• 카프카와 데이터 스트림에 대한 모든 것이 공짜
• 데이터 스트리밍 패턴 50개가 넘음
• 퀵스타트, 튜토리얼 전부 포함
• 괜히 들어갔음.. 할거 존나많음.ㅠ

1주 느낌

• 21년에 했던 VUE.JS 강의 환급 때와 비교가 안되게 좋음..
• 머 더 깐깐하게 준비하는 거 같은데 그것도 그냥 날마다 하면 문제가 안되고...
• 박영웅 강사의.. 진짜 내가 이걸 내가 내돈 주고 사서 내시간 쓰면서 듣고 있나...
  했던 강의와는 다른 것 같다 .(아직까지는..)
• 아이패드 좋다 ㅎ