Ollama는 「LLM을 자기 컴퓨터에서 손쉽게 실행할 수 있게 해 주는」 도구입니다.
2023년 등장 후 빠르게 인기를 모으며 「LLM의 Docker」 같은 위치를 차지하고 있습니다.
명령어 한 줄로 Llama·Mistral·Qwen 같은 오픈 모델을 다운로드해 즉시 사용할 수 있습니다.
사용법은 매우 단순합니다.
1) ollama.com에서 설치 프로그램을 받아 설치(macOS·Windows·Linux 모두 지원).
2) 터미널에서 「ollama run llama3.2」 — 모델이 자동 다운로드되고 채팅이 시작됩니다.
3) 종료는 「/bye」, 모델 삭제는 「ollama rm 모델명」.
Ollama가 인기를 모은 이유는 세 가지입니다.
첫째, 「복잡한 설정 불필요」 — CUDA·드라이버·양자화 등을 신경 쓰지 않아도 알아서 처리.
둘째, 「표준 라이브러리」 — Llama·Mistral·Phi·Qwen·Gemma 등 거의 모든 오픈 모델을 한 명령어로.
셋째, 「OpenAI 호환 API」 — 로컬에서 OpenAI API와 같은 형식으로 호출 가능.
비유하자면 Ollama는 「LLM의 Spotify」와 같습니다.
음악을 들으려고 MP3를 일일이 다운로드·관리하지 않고 Spotify 한 앱에서 재생하듯, 모델을 일일이 다루지 않고 Ollama 한 명령어로 사용합니다.
성능은 컴퓨터 사양에 따라 다릅니다.
M1·M2 맥북에서는 7B 모델이 충분히 빠르게 돌아가고, RTX 4090 같은 고성능 GPU가 있으면 70B 모델도 가능합니다.
데이터를 외부로 보내지 않고 자기 컴퓨터에서 모든 처리를 한다는 「프라이버시」가 가장 큰 매력입니다.
한 줄 요약
Ollama는 명령어 한 줄로 오픈 LLM을 자기 컴퓨터에서 실행하는 도구로, 「LLM의 Docker」 같은 위치를 차지합니다.
데이터 외부 유출 없이 LLM을 사용할 수 있는 가장 쉬운 방법입니다.
더 알아볼 것
- Ollama의 모델 라이브러리
- OpenWebUI — Ollama용 웹 UI
- Ollama의 OpenAI 호환 API
