(데이터 마트) 메달리온 아키텍처란 ?
메달리온 아키텍처란 무엇일까? 정의와 장점,Tip을 알아보자
메달리온 아키텍처는 데이터 마트를 점진적인 3개의 계층으로 나눠서 구축하는 방식을 말한다.
각 계층이 연쇄적으로 연결된 형태라 관리가 용이하다는 장점이 있다.
스포츠 경기에서 성적에 따라 메달을 상으로 주고 그 등급을 브론즈,실버,골드 3개의 계층으로 나누는데
이 체계에 빗대 메달리온 아키텍처라고 부른다. 짐작하다시피 Bronze, Silver, Gold 계층이다.
Bronze → Silver → Gold 로 연결되어있다.
Bronze를 이용해서 Silver 테이블을 구축하고 Silver 테이블을 이용해서 Gold 테이블을 만든다고 보면 된다.
일반적으로 Bronze는 원본 데이터, Silver는 정제 데이터, Gold는 최종 집계 형태를 띈다
- Bronze : 원본 데이터를 그대로 저장. 데이터의 형태를 변경하지 않고 나중에 문제가 생겼을때 추적할 수 있는 보관소 역할을 한다.
- Silver : 브론즈 데이터를 분석 가능한 형태로 다듬는 단계. 중복 제거, 결측치 처리, 타입 변환 , 필터링등으로 정제하여 데이터 분석에 적합하도록 품질을 높인 상태를 말한다. 이 시점부터 데이터 품질이 어느 정도 보장이 되며 분석가가 탐색용으로 가장 많이 참조하는 계층이기도 하다.
- Gold : 비즈니스 요구사항에 맞춰 최종 가공된 데이터를 만드는 단계로 최종 사용자가 쓸수있는 형태로 집계 , 요약된 데이터가 모인 단계다. 예를 들어 지역별 월매출, 고객 세그먼트별 이탈률 같은 비즈니스 지표가 이 단계에 위치한다.
메달리온 아키텍처의 장점은 크게 2가지를 뽑을 수 있다.
- 관리가 용이하다.
- 연쇄적 구조라 파이프라인 관리가 용이하다.
- 직관적인 구조라 테이블 명세서에 정리하기 편해 구조 파악이 쉽다.
- 지표 리소스를 줄일 수 있다.
- BI툴을 통해 지표 제작시 추출할때마다 원본을 집계하지않고 바로 Gold 테이블을 이용하면 되기때문에 리소스를 줄일 수 있다.
- Gold 테이블을 바라보면 배치 처리할때 한번만 집계하면 된다.
Silver 단계를 유저별 집계 테이블로 구성하여 활용도를 높이는 것을 추천한다.
특히 아래 세 항목을 고려하는것을 추천한다.
- 브론즈 : 원본 → 실버 : 유저별 집계 → 골드 : KPI 집계로 구현
- 실버 테이블간 조인이 될수있게 키값을 공유하도록 구성
- 특히 실버 테이블중에서 활용이 잦은 필드들을 모아놓은 마스터 실버 테이블을 만들어서 분석시 조인 최소화.
( 많은 조인은 쿼리 작성시 부담이 됨.)
실버를 유저별 일별 집계 테이블로 구성했을때 보는 관점에 따라서 골드로 볼수도 있다. 편의상 3단 구조이기 때문에 실버로 설명했지만
만약 정제 과정을 깊게 거쳐야한다면 골드를 2단계로 나눴다고 봐도 된다. 포인트는 유저별,일별 집계 테이블이 필요하다는 것이다.
깊이있는 데이터 분석을 위해서는 유저별로 쪼개서 보는 것 (드릴다운) 이 꼭 필요하다.
예를 들어 DAU가 50,000명에서 40,000명으로 감소했다고하자.이 지표를 보고 단순히 10,000명 감소했으니 위기다에서
끝나는게 아니라 감소한 DAU 10,000명이 어떤 유저인지? 신규 유저가 감소한것인지 , 복귀 유저가 감소한 것인지
그리고 그중에서 고레벨 유저가 감소한 것인지 저레벨 유저가 감소한것인지등 다각도로 데이터를 뜯어볼수있다.
이렇게 얼마나 상세하게 뜯어보느냐에 따라 현황 파악이 달라지며 대응 방안이 달라진다.
결국 데이터분석에는 드릴다운 분석이 꼭 필요하고 이를 효율적으로 하기 위해 유저별, 집계 테이블을 구축한다고 보면 된다.
특히 이는 점점 사용이 많아지고 있는 데이터분석 AI Agent의 답변 정확성을 올리고 효과를 극대화하는데에도 도움이 된다.
AI Agent가 최종 요약 집계된 테이블만 사용할 수 있다면 드릴다운 분석을 할 수 없고 이런상황임에도 답변 결과를 내야하기때문에
잘못된 테이블을 바라볼 가능성이 크다. 결국 할루시네이션으로 이어질수있다. Silver 테이블을 활용함으로써 이를 보완할 수 있다.
