만드는 순서는 직선이 아니라 루프다
연구 → 설계 → 토크나이저 → 데이터 → 인프라 → 초기화 → 사전학습 → 사후학습 → 서빙. 이 순서는 실제 랩의 작업 순서와 거의 맞다. 다만 두 가지를 먼저 짚어야 한다. 첫째, 평가가 두 번 이상 끼어드는 루프다. 사전학습 중엔 체크포인트마다 손실과 벤치마크를 재서 스케일링 예측과 맞는지 보고, 사후학습 뒤엔 다른 벤치마크와 안전성 평가를 다시 돌린다. 둘째, 단계별 비용 비중이 극단적으로 비대칭이다. DeepSeek-V3의 총 278.8만 H800 GPU시간 중 사전학습이 266.4만, 문맥 확장이 11.9만, 사후학습은 단 5천 시간이었다.
| 단계 | 실제로 하는 일 | 대표 수치 |
|---|---|---|
| Research | 40M~16B 프록시 모델로 스케일링 법칙·소거 실험, 하이퍼파라미터 전이 규칙 | Llama 3: 6×10¹⁸~10²² FLOPs 실험으로 3.8×10²⁵ 예산에서 402B/16.55T 예측 |
| Architecture | 층·폭·head·FFN·vocab·문맥·dense/MoE·정밀도 결정 | V3: 61층, d=7168, 256+1 expert, top-8 |
| Tokenizer | 코퍼스 샘플로 BPE 학습, 정규식, 특수토큰 | Llama 3 128K, Gemma 3 262K |
| Data 수집→정제→필터→혼합 | CC 스냅샷·코드·논문·도서·합성 → 추출·언어·휴리스틱·중복제거·분류기 → 비율 | DCLM: 240T 중 3.8T(1.6%) 유지 · Llama 3 혼합 50/25/17/8 |
| Training Infra | 클러스터·네트워크·스토리지·병렬화·체크포인트·장애 복구 | Llama 3: 24K GPU Clos, 400Gbps, 2~7TB/s 스토리지 |
| Init → Pretraining | 정규분포 초기화, 수십만 step forward/backward/AdamW | 405B: 1.2M step, 16M 토큰 배치, LR 8e-5 · 54일간 466회 중단 |
| Mid-training / 장문맥 | 고품질 데이터로 annealing, 4K→128K 확장 | Qwen3: 30T 일반 → 5T 추론 → 수천억 장문맥 |
| SFT → RL → Alignment | ~100만 쌍 지도학습, 검증기 보상 GRPO, DPO/RLHF | V3 SFT 1.5M · R1-Zero 10,400 step · Llama 3 6라운드 |
| Inference → Deployment | FP8/FP4 양자화, 페이지드 KV, 추측 디코딩, prefill/decode 분리, 라우터·분류기 | DeepSeek: 평균 226.75 노드, 일 $87K, KV 적중 56.3% |
Research는 "무엇을 만들지"를 숫자로 정하는 단계다. 본 학습의 1~3% 규모 프록시 모델을 여러 개 학습해 손실 곡선을 외삽하고 최종 크기와 토큰 수를 정한다. Kimi K2는 sparsity를 8·16·32·48로 바꿔 가며 실험해 48을 택했고, head 수를 64→128로 늘리면 추론 FLOPs가 83% 늘지만 손실 개선은 0.5~1.2%뿐이라 64를 유지했다. muP 논문은 40M 모델에서 찾은 하이퍼파라미터를 옮겨 GPT-3 6.7B의 공개 성능을 넘겼고, 튜닝 비용은 전체의 7%였다고 보고한다.
토크나이저는 데이터 수집과 병행되지만 논리적으로 앞선다. 토큰 데이터셋을 만들려면 토크나이저가 먼저 확정돼야 하니까. "데이터 일부 → 토크나이저 → 전체 데이터 토큰화" 순서가 된다. 인프라는 데이터와 독립적으로 수개월 전부터 준비된다. DeepSeek는 H800의 NVLink 제약에 맞춰 FP8 프레임워크와 DualPipe, 20개 SM만으로 통신 대역폭을 채우는 all-to-all 커널을 직접 썼다.
Mid-training은 2024년 이후 "annealing"이라는 이름으로 표준이 됐다. 본 학습 말미에 고품질·수학·코드·지시형 데이터를 올리고 학습률을 0으로 내린다. OLMo 2는 50B~300B 토큰으로 이걸 하고 3~4개 run의 가중치를 평균했는데 전체 FLOPs의 5~10%였다. Llama 3는 annealing으로 8B 모델의 GSM8K를 24.0%p 올렸다. 사후학습은 연산은 작지만 사람과 데이터 설계가 집중되는 곳이다. 2025~2026년 공통 레시피는 (1) 소량 장문 사고사슬 SFT 콜드스타트 → (2) 검증 가능한 보상으로 GRPO → (3) 거부 샘플링으로 대규모 SFT 세트 재구성 → (4) 검증기+보상 모델 혼합 최종 RL → (5) 작은 모델로 증류다. R1·Qwen3·Tulu 3·Kimi K2 보고서에서 공통으로 확인된다.
출처: DeepSeek-V3 · Llama 3 · muP · OLMo 2 · Qwen3 · DeepSeek Day 6