추론 모델은 같은 가중치, 다른 사후학습이다
추론 모델은 별도의 아키텍처가 아니다. DeepSeek-R1은 V3-Base와 같은 671B MoE 가중치에서 출발했고, Qwen3의 사고 모드는 같은 체크포인트 안의 템플릿 플래그이며, Claude의 extended thinking은 토큰 예산으로 켜고 끈다. 차이는 사후학습의 목적함수다. 일반 사후학습이 "사람이 선호하는 짧은 응답"을 보상하는 반면, 추론 학습은 "검증 가능한 정답에 도달하는 긴 사고사슬"을 보상한다.
| 항목 | 베이스 모델 | 일반 사후학습(chat) | 추론 모델 |
|---|---|---|---|
| 가중치 출처 | 무작위 초기화 → 사전학습 | 베이스에서 SFT/DPO/RLHF | 베이스(또는 chat)에서 추론 RL |
| 목적함수 | 다음 토큰 예측 | 선호 보상 최대화 | 검증 가능한 결과 보상(+형식) 최대화 |
| 출력 | 텍스트 연속 | 짧은 조수 응답 | 사고사슬 + 최종 답 |
| 보상 원천 | 없음 | 사람/AI 선호 | 규칙 검증기(정답 일치, 테스트 통과); 학습된 RM은 마지막 단계에만 |
| 테스트 타임 연산 | 고정 | 고정 | 사고 토큰·병렬 샘플로 조절 |
DeepSeek-R1 — 유일하게 완전 공개된 프론티어 추론 레시피
R1-Zero: SFT 없이 베이스에 바로 RL. 보상은 규칙 기반 둘뿐이다. 정답이면 1 아니면 0인 정확도
보상과 <think> 태그를 쓰면 주는 형식 보상. 신경망 보상 모델은 "대규모 RL에서 보상
해킹에 취약"하다는 이유로 배제했다. 학습률 3e-6, KL 계수 0.001, 문항당 16개 출력, 배치 512, 최대 길이
32,768→65,536, 총 10,400 step. AIME 2024 pass@1은 15.6%에서 77.9%로 올랐고(arXiv v1은 71.0%, Nature
개정판은 77.9%라 인용 시 버전을 밝혀야 한다), 약 8.2k step에서 "wait" 토큰이 늘어나는 "aha moment"가
관찰됐다. 이 실험이 중요한 이유는 긴 사고사슬·자기 검증·되돌아가기가 사람이 쓴 예시 없이 결과 보상만으로
창발했음을 보였기 때문이다.
R1: 4단계. (1) "수천 개"의 긴 CoT를 읽기 쉽게 다듬은 콜드스타트 SFT → (2) 언어 일관성 보상을 더한 추론 RL → (3) 2단계 체크포인트에서 샘플링해 약 60만 추론 + 20만 비추론 = 약 80만 개로 V3-Base에 다시 SFT → (4) 검증 가능한 과제는 규칙 보상, 도움성·무해성은 모델 보상으로 1,700 step. 최종 R1은 AIME 2024 79.8%, MATH-500 97.3%. 비용은 RL 단계에 512 H800으로 198시간 + 80시간 + SFT 데이터 생성 약 5,000 GPU시간, 총 약 29.4만 달러다(V3 사전학습 약 558만 달러 제외). 증류는 80만 세트로 Qwen·Llama를 SFT만 해서(RL 없음) 추론 능력을 옮겼다. 실패한 시도: 단계별 보상 모델(PRM)은 라벨링이 어렵고 보상 해킹이 생겼고, MCTS는 탐색 공간 폭발로 포기했다.
각 부품의 역할
- 베이스 모델은 RL이 탐색할 행동 공간을 정한다. R1-Zero가 바로 성공한 건 V3-Base의 사전학습에 이미 수학·프로그래밍 강화가 있었기 때문이고, Qwen3는 사전학습 2단계에 5T의 추론 데이터를 넣었다.
- SFT는 두 곳에서 쓰인다. 콜드스타트(형식·가독성)와 거부 샘플링 후 대규모 재학습(일반 능력 복원). s1 연구는 단 1,000개의 선별 예시와 "Wait"를 덧붙이는 budget forcing만으로 o1-preview를 앞섰다.
- RL의 표준은 critic 없는 정책 경사(GRPO)다. Kimi K1.5도 "MCTS·가치 함수·PRM에 의존하지 않는 단순한 RL"로 AIME 77.5를 얻었다.
- 보상 모델 vs 검증기가 핵심 구분이다. 학습된 RM은 어떤 응답에도 점수를 주지만 해킹당하고, 검증기는 정답이 확정된 과제에서만 쓸 수 있지만 해킹이 어렵다. R1·K1.5·Qwen3·Tulu 3 모두 학습에는 검증기를 택했다.
사고 길이는 서비스 비용이라 제어 장치가 필요하다. Qwen3는 /think /no_think
플래그, Claude와 Gemini는 thinking budget, Kimi는 long2short. 보상 해킹은 추론 RL의 상수다. Anthropic은
표시된 사고가 "내부 과정을 진정으로 대표하는지 확인할 수 없다"고 명시한다.
OpenAI·Anthropic·Google이 공개한 것과 하지 않은 것
OpenAI o1은 "대규모 RL이 사고사슬로 생산적으로 사고하는 법을 가르친다"는 것과 학습 시 RL 연산·테스트 시
사고 시간 두 축의 스케일링을 밝혔고, GPT-5는 fast/thinking 라우터를, GPT-5.6 Sol은 max 추론
강도를 공개했다. RL 알고리즘, 보상 설계, 데이터 양, CoT 길이는 공개되지 않았다. Anthropic은 직렬·병렬
스케일링 결과와 RLHF+RLAIF 사용을 밝혔고 그 외 학습 방법은 미공개다. Gemini 2.5는 "thinking 모델"과 Deep
Think를 공개했으나 레시피는 미공개다. o-시리즈가 R1과 비슷한 골격을 따를 거라는 판단은 추론이고,
확정된 사실은 공개 진술과 벤치마크 수치뿐이다.
출처: DeepSeek-R1 · Nature (2025-09) · The Register (R1 비용) · DeepSeekMath (GRPO) · s1 · Kimi K1.5 · Lightman et al. (PRM) · OpenAI o1 · Anthropic · Gemini 2.5