나이브 베이즈(Naive Bayes)는 베이즈 정리를 응용한 가장 단순하면서도 놀랄 만큼 잘 통하는 분류 알고리즘입니다.
「입력의 모든 특징이 서로 독립적이라고 순진하게(naive) 가정한 뒤, 각 범주에 속할 확률을 곱해서 가장 큰 확률의 범주로 분류하는」 방식입니다.
스팸 메일 필터를 예로 들면, 메일 안의 단어들을 보고 「이 메일이 스팸일 확률」과 「정상일 확률」을 각각 계산해 더 큰 쪽으로 분류합니다.
「무료」, 「당첨」, 「클릭」 같은 단어가 스팸에서 더 자주 나타난다는 통계를 이용합니다.
「순진한」 가정이라는 이름이 붙은 이유는 「각 단어가 다른 단어와 무관하게 독립적으로 등장한다」는 비현실적 가정을 두기 때문입니다.
실제 언어에서는 단어들이 서로 영향을 주는데, 이 가정을 무시하고도 나이브 베이즈는 의외로 잘 작동합니다.
비유하자면 나이브 베이즈는 「혼자서 빠르게 결정을 내리되 너무 깊이 생각하지 않는 결정자」와 같습니다.
정밀하지는 않아도 빠르고 단순하므로 작은 메모리·짧은 학습 시간·적은 데이터로도 동작합니다.
지금도 스팸 필터, 감정 분석, 문서 분류처럼 「텍스트 분류」 분야에서 강력한 기본기로 쓰입니다.
데이터가 적거나 빠른 응답이 필요할 때 먼저 시도해 볼 만한 알고리즘입니다.
한 줄 요약
나이브 베이즈는 「특징들이 서로 독립적」이라는 순진한 가정으로 베이즈 정리를 응용한 분류 모델로, 단순하면서도 텍스트 분류에서 매우 강력합니다.
더 알아볼 것
- 베이즈 정리의 직관적 이해
- 가우시안·다항·베르누이 나이브 베이즈
- 스팸 필터에서의 라플라스 스무딩
