Mistral AI는 2023년 4월 프랑스 파리에 설립된 신생 AI 회사로, 메타·구글 출신 연구자들이 만들었습니다.
짧은 시간에 오픈 LLM 분야에서 강한 존재감을 보여 「유럽의 OpenAI」로 불립니다.
첫 모델 Mistral 7B(2023.9)는 7B 파라미터로 같은 크기의 Llama 2를 능가하는 성능을 보여 주며 화제가 됐습니다.
슬라이딩 윈도우 어텐션·그룹화 쿼리 등 효율적 기법을 결합한 결과였습니다.
Mixtral 8×7B(2023.12)는 「Mixture-of-Experts(MoE)」 구조의 첫 오픈 모델입니다.
전체 파라미터는 47B이지만 한 번의 추론에 13B만 활성화하는 영리한 구조로, 13B 모델 속도로 47B 모델 성능을 냅니다.
「작은 모델의 추론 비용으로 큰 모델의 능력」을 가능케 한 결정적 모델로 평가됩니다.
비유하자면 Mistral의 강점은 「작지만 단단한 부티크 와이너리」와 같습니다.
메타·구글 같은 거대 기업의 「대량 생산 와인」이 아닌, 「적은 인력으로도 매우 정교한 와인」을 만들어 내는 식입니다.
실제로 Mistral의 직원은 100명 안팎이었지만 결과물은 수천 명 회사와 경쟁합니다.
Mistral은 오픈 모델뿐 아니라 폐쇄형 「Mistral Large」도 운영하며, 두 시장을 모두 노립니다.
또 유럽이라는 지역적 특성을 살려 「데이터 주권」, 「GDPR 준수」 같은 가치를 강조하며 유럽 기업·정부 시장에서 입지를 다지고 있습니다.
한 줄 요약
Mistral은 프랑스의 신생 AI 회사로, Mistral 7B와 Mixtral 8×7B(MoE)로 오픈 LLM 분야에 강한 발자국을 남긴 「유럽의 OpenAI」입니다.
더 알아볼 것
- Mixture-of-Experts(MoE) — Mixtral의 핵심
- Mistral Large — 폐쇄형 변종
- Apache 2.0 라이선스 — Mistral의 개방 정책
