베이스 모델은 챗봇이 아니다
사전학습이 끝난 베이스 모델은 웹 텍스트의 다음 토큰을 예측하는 확률 분포일 뿐이다. 대화 턴의 구조도, "사용자에게 답한다"는 개념도, 멈추거나 거절할 이유도 없다. 질문을 넣으면 비슷한 질문을 이어 쓰거나 광고 문구를 붙일 수 있다. InstructGPT(2022)가 이걸 정면으로 다뤘고 결론이 지금도 유효하다. SFT → 보상 모델 → RL 3단계를 거친 1.3B 모델의 출력이 "100배 큰 175B GPT-3보다 선호되었다". 이후의 모든 단계는 베이스의 출력 분포를 "도움이 되고 정직하며 안전한 조수"의 분포로 옮기는 작업이고, 연산은 사전학습의 0.2%(V3: 5K/2.788M GPU시간)지만 사람과 데이터 설계가 집중된다.
| 단계 | 무엇을 가르치나 | 왜 필요한가 | 규모·사례 |
|---|---|---|---|
| SFT | (프롬프트, 응답) 쌍으로 채팅 템플릿과 형식. 프롬프트 토큰은 손실에서 마스킹 | 베이스 목적함수에 "답하고 멈추라"는 보상이 없음. 형식을 옮기는 가장 싼 방법 | Tulu 3 939K · V3 1.5M · Llama 3 lr 1e-5, 거부 샘플링으로 생성 · LIMA는 1,000개로 충분 |
| 선호 학습 (DPO) | (선택, 거부) 쌍으로 "어느 쪽이 나은가" | 선호는 단일 정답으로 못 쓰고 비교로만 표현됨. SFT보다 수집이 쌈 | Llama 3: PPO 대신 DPO(β=0.1), "대규모 모델에서 연산이 덜 듦" |
| RLHF / RLAIF | 학습된 보상 모델을 KL 페널티 아래 최대화 | RL은 모델이 스스로 생성한 응답에 보상을 받아 데이터에 없던 행동을 탐색 | Constitutional AI(헌법으로 자기 비판·수정) · Claude 캐릭터 학습 · Opus 4.6 카드는 "RLHF와 RLAIF"로만 기술 |
| 추론 RL (RLVR/GRPO) | 검증 가능한 정답을 보상으로 긴 사고사슬 유도 | 사전학습 데이터엔 "정답에 이르는 탐색 과정"이 거의 없음 | Qwen3: 3,995개 검증기 쌍, 170 step에 AIME'24 70.1→85.1 (11강) |
| 도구 사용 | 검색·코드 실행을 언제 어떻게 부를지 | 파라미터 안의 지식은 오래되고 계산은 부정확함 | o4-mini는 Python으로 AIME 2025 99.5% · Kimi K2 SWE-bench Verified 65.8 · Opus 4.6 80.8 |
| 안전 | 스펙 추론(모델 자체) + 입출력 분류기 + 사고사슬 감시 | RL은 보상을 최대화할 뿐이라 보상이 불완전하면 지름길을 찾음 | Deliberative Alignment · Constitutional Classifiers: 탈옥 86%→4.4%, 오버헤드 약 1%, 1,700시간 레드팀 · GPT-5 CoT 모니터링 기만율 4.8→2.1% |
| 보정 | 확신도가 실제 정답률과 일치하게 | RLHF는 언어화된 과신을 낳음(GPT-4 Figure 8) | 확신 인식 보상 모델(PPO-M) 제안 · 프론티어 랩의 실제 방법은 미공개 |
2024년 이후 산업의 합의는 이렇다추론. 스타일·선호에는 DPO 계열, 검증기가 있는 곳에는 critic 없는 온라인 RL(GRPO), 학습된 보상 모델은 개방형 도움성·안전성에 마지막 단계에서만. 평가도 두 번이다. 사전학습 중엔 held-out perplexity와 MMLU/ARC/HellaSwag few-shot으로 "예측대로 학습되었는가"를, 사후학습 뒤엔 AIME·GPQA·SWE-bench·τ²-bench·ASL 등급으로 "사용 가능한가·안전한가"를 묻는다. 오염 압력 때문에 Tulu 3는 미공개 벤치마크 분할을 따로 만들었다.
실제 파이프라인은 다단계 루프다
위 단계들은 한 번씩 순서대로가 아니라 여러 라운드로 돈다. Llama 3는 (보상 모델 → 거부 샘플링 → SFT → DPO)를 6라운드, Qwen3는 4단계, Tulu 3는 SFT → DPO → RLVR, DeepSeek-V3는 SFT → GRPO. 거부 샘플링(많이 뽑고 보상 모델이나 검증기로 걸러 SFT로 되돌리기)이 RL과 SFT를 잇는 다리다. 작은 모델은 이 전체를 다시 돌리지 않고 증류한다. Qwen3의 strong-to-weak 증류는 4단계 파이프라인의 1/10 GPU시간으로 더 높은 Pass@1을 냈다.
출처: InstructGPT · Tulu 3 · LIMA · DPO · Constitutional AI · Claude character · Deliberative Alignment · Constitutional Classifiers (2026-01) · GPT-5 시스템 카드 · Leng et al. · Qwen3