파인튜닝과 처음부터는 사는 것이 다르다
경로 A(Qwen → 파인튜닝 → 내 모델)는 Qwen이 36조 토큰·119개 언어·증류로 만든 능력을 형식과 행동만 바꿔 쓰는 거다. 경로 B(랜덤 초기화 → 내 사전학습 → 내 파운데이션 모델 → SFT)는 4~12강의 모든 결정을 스스로 내리는 대신 비용을 전부 부담한다. 결정적 차이는 지식이 어디서 오는가다. LIMA는 "거의 모든 지식은 사전학습에서 배운다"고, Ovadia 등은 "LLM은 미세조정으로 새 사실을 배우는 데 어려움을 겪는다"고 보였다. 파인튜닝은 행동을 바꾸고, 사전학습은 지식을 만든다.
| 축 | A: Qwen3 파인튜닝 | B: 처음부터 사전학습 |
|---|---|---|
| 비용 | LoRA SFT(7~8B, 1만 예시): GPU 한 장, 한 자릿수~수십 달러추정. SmolLM3의 1.8B 토큰 SFT가 상단(≈$40) | 1B×100B ≈ 421 H100시간 ≈ $790~1,680 · 7B×1T ≈ $55~118K · 7B×15T ≈ $0.8~1.8M · Qwen3-1.7B의 36T 재현 ≈ $0.5~1.0M계산 |
| 데이터 | 10³~10⁶개 예시. 형식은 1,000개면 충분 | 10⁹~10¹¹ 토큰(개인), 10¹²~10¹³(랩) + 파이프라인 전체 |
| GPU | 24GB 1장(LoRA)~H100 1장 | 100M: 4090 1장 · 1B: 8×H100 수 시간~일 · 7B: 수백 H100 수 주 |
| 성능 | Qwen3-1.7B-Base MMLU 62.63, GSM8K 75.44 · 0.6B도 MMLU 52.81 | 1B×10¹¹ 토큰은 GPT-2-XL 근처(llm.c 1.6B: HellaSwag 57.7@33.6B 토큰) |
| 자유도 | 어휘·아키텍처·문맥·정밀도 고정, 라이선스 조건 상속 | 모든 것을 선택, 라이선스는 내 결정 |
| 모델 내부 지식 | Qwen이 본 36T가 곧 내 지식. 새 도메인 사실은 SFT로 거의 안 들어감 | 내 데이터가 곧 지식 |
| 아키텍처 변경 | 불가(DUS·가지치기만 예외, 둘 다 10¹¹ 토큰급 추가 학습) | 완전 자유 |
| 연구 가치 | 낮음. TRL로 며칠 안에 결과 | 높음. 스케일링·소거 실험은 여기서만 |
중간 경로 — 두 극단 사이
계속 사전학습(CPT): Code Llama는 Llama 2에서 시작해 500B 코드 토큰을 더 학습했고 "Llama 2로 초기화하는 것이 코드만으로 학습하는 것보다 낫다"고 보고했다. 비용은 약 14,700 H100시간 ≈ $27~59K계산. 어휘 확장 CPT: EEVE-Korean은 SOLAR-10.7B에 한국어 토큰 8,960개를 추가하고 새 임베딩부터 단계적으로 풀어 "단 20억 토큰으로 비영어 능력을 크게 향상"시켰다. 약 91 H100시간 ≈ $270~360계산. 깊이 확장(DUS)과 가지치기+증류: Kakao Kanana는 8B→9.8B를 DUS로 만들어 "전체 연산의 11.06%를 절약"했고, 8B→2.1B 가지치기+증류가 "처음부터 대비 1/10 데이터로 더 나은 성능"을 냈다. 이 중간 경로들은 "자체 베이스가 있을 때" 파생 모델을 싸게 만드는 방법이고, 남의 베이스 위에서는 경로 A의 제약을 대부분 상속한다.
아래에서 필요한 것과 예산을 골라 보자. 13강의 결정 매트릭스가 그 자리에서 경로를 고른다. 지식 문제의 첫 해법은 파인튜닝이 아니라 검색이다 — Ovadia 등은 RAG가 미세조정을 "일관되게 능가"한다고 보였다.
한국 사례로 보는 두 경로
한국의 공개 모델들은 두 경로와 중간을 모두 보여 주는 드문 표본이다분류는 공개 자료 기준. 경로 B: SK텔레콤 A.X K1(519B MoE, 약 10T 토큰, H200 1,536장, 73일, 2.548×10²⁴ FLOPs, 160K 어휘 자체 제작), 업스테이지 Solar Open 100B(19.7T, B200), Trillion Tri-21B(2.3T, 2.95×10²³ FLOPs), Kakao Kanana 8B/26.8B(3T), KT Mi:dm 2.0("기존 오픈소스 가중치를 쓰지 않음" 명시). 중간: Motif 2 12.7B는 자사 2.6B 위에 5.5T, Kanana Essence/Flag는 자체 모델의 DUS. 경로 A: 2023년 SOLAR 10.7B는 Mistral 초기화 위의 DUS+CPT, EEVE와 Bllossom은 한국어 어휘 확장+CPT.
규모 격차를 숫자로 보면계산, 가장 작은 "주권 모델급" run인 Tri-21B의 2.95×10²³ FLOPs는 약 207,000 H100시간 ≈ 40~80만 달러이고, A.X K1은 약 180만 H100시간 ≈ 330~700만 달러다. 정부의 팀당 지원(6개월 약 400억 원)은 14강의 개인 1B 예산보다 3~4자릿수 크다. 라이선스는 경로마다 다르다. Mi:dm 2.0은 MIT, EXAONE 4.0은 비상업, Tri-21B는 MAU·매출 상한, 경로 A로 만든 모델은 베이스의 조건까지 겹친다.
출처: LIMA · Ovadia et al. · Code Llama · EEVE-Korean · SOLAR · Kanana · Mi:dm 2.0 · A.X K1 · SmolLM3 · 정책브리핑 (2026-08-19)