결정 트리는 「예/아니오 질문을 차례로 던져서 답을 찾는 트리 구조의 모델」입니다.
「오늘 우산을 가져갈까?」를 결정한다면 「비가 올 확률이 30% 이상인가?
→ 그렇다 → 우산을 가져간다」 같은 식의 흐름도와 똑같이 작동합니다.
학습 단계에서는 「데이터를 가장 잘 둘로 나누는 질문」을 매 단계에서 자동으로 골라 트리를 자라게 합니다.
「어느 변수의 어느 값을 기준으로 자르면 두 그룹이 가장 깔끔하게 분리되는가」를 정보이득(information gain)이나 지니계수(Gini index) 같은 지표로 평가해 결정합니다.
결정 트리의 가장 큰 장점은 「사람이 읽을 수 있다」는 점입니다.
학습된 트리를 그림으로 그리면 어떤 질문이 어떤 순서로 던져지는지 한눈에 보이며, 의사·은행원 같은 도메인 전문가가 「이 모델이 왜 이 결정을 했는지」 쉽게 이해할 수 있습니다.
단점은 한 번 학습된 트리가 작은 데이터 변동에 민감하다는 점입니다.
같은 데이터에서 한두 개의 샘플만 빼도 트리 모양이 크게 달라질 수 있습니다.
또 트리가 너무 깊어지면 과적합(학습 데이터에는 잘 맞지만 새 데이터에는 약함)이 쉽게 옵니다.
이 한계를 극복하기 위해 등장한 것이 랜덤 포레스트(여러 트리의 평균)와 부스팅(순차적으로 보완하는 트리들)입니다.
둘 다 결정 트리를 「하나가 아닌 여럿으로」 쓰는 아이디어로, 오늘날 정형 데이터(표 형태) 분야에서 가장 강력한 방법군에 속합니다.
한 줄 요약
결정 트리는 예·아니오 질문을 차례로 던져 답을 찾는 흐름도형 모델로, 사람이 읽기 쉽다는 큰 장점이 있지만 단독으로는 과적합에 약합니다.
더 알아볼 것
- 정보이득과 지니계수의 차이
- 트리 가지치기(pruning)
- CART·ID3·C4.5 — 결정 트리 알고리즘 변천
