Whisper(2022, OpenAI)는 「음성을 텍스트로 받아 적는」 자동 음성 인식(ASR, Automatic Speech Recognition) 분야에서 새 기준을 세운 오픈소스 모델입니다.
인터넷에서 수집한 68만 시간의 다국어 음성 데이터로 학습되어 한국어를 포함한 99개 언어를 다룰 수 있습니다.
Whisper의 가장 큰 매력은 강건성입니다.
잡음이 많은 환경, 강한 억양, 빠른 발화, 음악이 깔린 영상에서도 비교적 정확하게 텍스트를 만들어 냅니다.
그 전까지의 음성 인식이 「조용한 환경에서 표준 발음」에 강했다면 Whisper는 「현실의 거친 음성」에 강합니다.
구조는 표준 인코더-디코더 Transformer입니다.
인코더는 음성 스펙트로그램을 받아 의미 표현으로 바꾸고, 디코더는 그 표현을 받아 텍스트를 한 단어씩 생성합니다.
또 「이 음성의 언어가 무엇인지」, 「번역해 줄지」 같은 추가 정보를 토큰으로 받아 한 모델로 다양한 작업을 처리할 수 있습니다.
비유하자면 Whisper는 「세계 언어를 다 알고 잡음 속에서도 잘 듣는 슈퍼 통역사」와 같습니다.
한국어를 영어로 옮겨 받아 적는 것도, 영어 영상에 한국어 자막을 다는 것도 한 모델로 가능합니다.
Whisper는 코드와 가중치가 모두 공개되어 누구나 자기 컴퓨터에서 실행할 수 있습니다.
5가지 크기(tiny, base, small, medium, large)가 제공되고, 작은 것은 휴대폰에서도 실시간으로 돌아갑니다.
유튜브 자동 자막, 회의록 작성, 팟캐스트 전사 등 음성 → 텍스트 변환의 사실상 표준이 되었습니다.
한 줄 요약
Whisper는 OpenAI의 오픈소스 다국어 음성 인식 모델로, 99개 언어와 잡음·억양에 강건한 ASR을 제공합니다.
자동 자막·회의록·전사의 사실상 표준입니다.
더 알아볼 것
- Whisper의 다섯 가지 모델 크기
- faster-whisper — 추론 가속 구현
- WhisperX — 화자 분리·시간 정렬 강화
