교과서

파운데이션 모델

「파운데이션 모델을 처음부터 만든다」는 말은 가중치 얘기지 아이디어 얘기가 아니다. Llama 3·DeepSeek-V3·Qwen3·OLMo 2 보고서에 적힌 숫자로만 15강을 썼고, 파라미터·비용·손실을 계산기로 직접 눌러 본다.

15강 · 5부 · 다 읽으면 77분

1강부터 읽기 →

차례

1부 · 뜻

무엇을 만든다는 건가 — 가중치·데이터·시스템

  1. 01"처음부터"는 가중치를 말하고, 아이디어를 말하지 않는다LLM 업계에서 "처음부터(from scratch)"는 세 가지를 동시에 뜻한다. 첫째, 모델의 모든 가중치 가 다른 모델에서 복사되지 않고 무작위 초기화에서…5분
  2. 02만드는 순서는 직선이 아니라 루프다연구 → 설계 → 토크나이저 → 데이터 → 인프라 → 초기화 → 사전학습 → 사후학습 → 서빙. 이 순서는 실제 랩의 작업 순서와 거의 맞다. 다만 두 가지를…4분

2부 · 설계

학습 전에 정하는 것 — 숫자·어휘·토큰

  1. 03아키텍처 설계는 숫자를 고르는 일이다디코더 전용 Transformer 한 층은 "attention → 잔차 덧셈 → MLP → 잔차 덧셈"의 반복이고, 앞뒤로 임베딩과 출력 헤드가 붙는다. 설계자…7분
  2. 04토크나이저는 "처음부터"에서만 결정권이 생기는 첫 자리다토크나이저는 문자열을 정수 ID의 열로 바꾸는 함수고, 모델은 이 정수만 본다. Hugging Face tokenizers 의 정의를 따르면 네 단계다. (1)…4분
  3. 05데이터는 240조에서 3.8조만 남긴다웹 의 원천은 사실상 하나, Common Crawl이다. DCLM-Pool은 2023년 이전 CC 전체를 모아 2,000억 문서·240T 토큰을 확보했고, Fi…5분

3부 · 학습

랜덤이 모델이 되는 길 — step·행렬·GPU·법칙

  1. 06랜덤 가중치가 모델이 되는 한 step의 생애초기화 는 모든 가중치 행렬을 평균 0, 작은 표준편차의 정규분포에서 뽑는 거다. GPT-2·nanoGPT·OLMo 2는 std 0.02, DeepSeek는 0…6분
  2. 07"다음 토큰 예측"은 8×4 행렬로도 재현된다"The cat is sitting on the mat"에서 "mat"을 예측하는 학습은 이 문장 하나만으로 6개의 예측 문제를 동시에 푼다. 입력을 한 칸 왼…5분
  3. 08만 장의 GPU는 네 축으로 쪼갠다두 벽이 있다. 메모리 벽은 16바이트/파라미터에서 온다. 405B의 상태만 6.48TB인데 H100은 80GB, H200은 141GB다. 시간 벽은 6·N·D…5분
  4. 09스케일링 법칙은 두 번 고쳐졌다스케일링 법칙은 손실 L이 파라미터 N, 토큰 D, 연산 C의 거듭제곱 함수로 예측 가능하게 떨어진다는 경험 법칙이다. Kaplan 등(2020)은 "폭/깊이…4분

4부 · 그 뒤

베이스가 제품이 되기까지 — SFT·RL·추론·안전

  1. 10베이스 모델은 챗봇이 아니다사전학습이 끝난 베이스 모델은 웹 텍스트의 다음 토큰을 예측하는 확률 분포일 뿐이다. 대화 턴의 구조도, "사용자에게 답한다"는 개념도, 멈추거나 거절할 이유도…4분
  2. 11추론 모델은 같은 가중치, 다른 사후학습이다추론 모델은 별도의 아키텍처가 아니다. DeepSeek-R1은 V3-Base와 같은 671B MoE 가중치에서 출발했고, Qwen3의 사고 모드는 같은 체크포인…4분
  3. 12논문·알고리즘은 공공재고, 가중치는 자산이다새 회사가 파운데이션 모델을 만들 때 Transformer·Attention·RoPE·AdamW·MoE, SFT·DPO·RLHF·GRPO, 증류·추측 디코딩·K…5분

5부 · 나라면

실제로 해 본다면 — 경로·비용·그림

  1. 13파인튜닝과 처음부터는 사는 것이 다르다경로 A(Qwen → 파인튜닝 → 내 모델)는 Qwen이 36조 토큰·119개 언어·증류로 만든 능력을 형식과 행동만 바꿔 쓰는 거다. 경로 B(랜덤 초기화 →…4분
  2. 141B 모델은 이틀과 이백만 원이면 된다 — 그리고 Qwen3-1.7B에 못 미친다모든 추정은 6·N·D FLOPs와 "피크 TFLOPS × MFU"에서 나오고, 실측 run이 MFU 가정을 검증한다. Karpathy의 llm.c는 GPT-2…7분
  3. 15한 장의 그림 — 랩은 무엇을 가져오고 무엇을 만드나각 단계에서 "외부에서 가져오는 것"(왼쪽)과 "직접 만드는 것·결정하는 것"(오른쪽)을 붙인 그림이다. 오른쪽의 수치는 앞 강들에서 인용한 공개 사례고, 폐쇄…8분

"정말 처음부터인가" 검증 체크리스트 — 10문

어떤 모델이 "from scratch"라고 주장할 때, 또는 내가 그렇게 주장하려 할 때 이 목록을 한 바퀴 돈다. 체크는 이 브라우저에 저장된다.

0 / 10 통과
가중치
토크나이저·데이터
사후학습·라이선스
주장
10개가 다 켜지는 모델은 OLMo 2 정도다 — 몇 개가 꺼져 있는지 아는 게 이 교과서의 목적이다.