Transformers 라이브러리는 Hugging Face가 만든 「Transformer 기반 모델을 쉽게 사용하게 해 주는」 파이썬 패키지입니다.
BERT·GPT·Llama·T5·CLIP 등 수만 개의 모델을 통일된 인터페이스로 다룰 수 있어, 사실상 NLP·LLM 분야의 표준 라이브러리가 됐습니다.
가장 단순한 사용법은 「pipeline」 함수입니다.
「pipeline("sentiment-analysis")」 한 줄로 감정 분석 모델을, 「pipeline("translation_ko_to_en")」으로 번역 모델을 즉시 가져와 쓸 수 있습니다.
모델 다운로드, 토크나이저 준비, 전·후처리가 모두 자동입니다.
더 정교한 제어가 필요하면 「AutoModel」, 「AutoTokenizer」를 직접 사용합니다.
모델 이름만 주면 적합한 모델 클래스와 토크나이저를 자동으로 골라 줍니다.
「model = AutoModel.from_pretrained("klue/bert-base")」 한 줄로 한국어 BERT를 가져옵니다.
Transformers의 가장 큰 매력은 「표준 인터페이스」입니다.
모든 모델이 비슷한 메서드(forward, generate)를 가져 모델을 바꾸는 비용이 매우 낮습니다.
BERT를 RoBERTa로, GPT-2를 Llama로 바꾸려면 모델 이름 한 단어만 바꾸면 됩니다.
최근에는 LLM 학습·추론 기능까지 확장됐습니다.
Trainer 클래스로 미세조정, generate 메서드로 텍스트 생성, AutoModelForCausalLM으로 LLM 로딩이 모두 표준화돼 있습니다.
PEFT(LoRA), TRL(RLHF·DPO), bitsandbytes(양자화) 같은 형제 라이브러리들과 함께 쓰면 LLM 작업의 거의 모든 단계가 가능합니다.
한 줄 요약
Transformers는 BERT·GPT·Llama 등 수만 개 모델을 통일된 인터페이스로 사용하는 사실상 표준 라이브러리입니다.
pipeline 한 줄부터 LLM 학습까지 모두 지원합니다.
더 알아볼 것
- pipeline의 다양한 task 종류
- TRL — RLHF·DPO 학습 라이브러리
- PEFT — LoRA·QLoRA 미세조정
