Chain-of-Thought(CoT) 프롬프팅은 「모델에게 답을 바로 내지 말고 단계별 추론을 글로 적게 한 뒤 마지막에 답을 내게 하는」 기법입니다.
2022년 구글의 논문에서 제안됐고, 복잡한 추론 문제의 정확도를 극적으로 끌어올렸습니다.
구체적 사용법은 단순합니다.
프롬프트 끝에 「단계별로 생각해 봐(Let's think step by step)」 한 줄을 추가하거나, Few-shot 예시 안에 「풀이 과정 → 답」 구조의 예시를 보여 주면 됩니다.
그 단순한 변화로 수학 문제 정확도가 17% → 78%로 뛴 사례가 보고됐습니다.
왜 잘 통할까요?
LLM은 본질적으로 「다음 단어 예측」으로 학습됐는데, 답을 바로 내라고 하면 「복잡한 중간 계산을 한 토큰에 압축해야」 하는 부담이 큽니다.
단계별로 풀이를 적게 하면 그 「풀이 토큰」들이 모델의 작업 메모리 역할을 해 더 깊은 추론이 가능해집니다.
비유하자면 CoT는 「학생이 시험에서 답만 적지 않고 풀이 과정을 적도록 지도하는 것」과 같습니다.
풀이를 적으면서 학생 자신도 자기 생각을 정리하고 실수를 발견하게 됩니다.
최근의 「추론 강화 모델」(o1·o3·DeepSeek R1·Claude의 Extended Thinking)은 CoT의 발전된 형태입니다.
사용자가 「단계별로 생각해」라고 시키지 않아도 모델이 내부적으로 긴 추론 과정을 거친 뒤 답을 내며, 프롬프트 한 줄이 아니라 모델 자체에 추론 단계가 내장된 셈입니다.
한 줄 요약
Chain-of-Thought는 모델에게 단계별 풀이를 글로 적게 한 뒤 답을 내도록 지시하는 기법으로, 「풀이 토큰」이 작업 메모리 역할을 해 추론 정확도를 극적으로 끌어올립니다.
더 알아볼 것
- Self-Consistency — 여러 추론 경로 다수결
- Tree of Thought — 가지를 치는 추론
- o1·R1 — 추론을 모델 자체에 내장한 후속 모델
