한 장의 그림 — 랩은 무엇을 가져오고 무엇을 만드나
각 단계에서 "외부에서 가져오는 것"(왼쪽)과 "직접 만드는 것·결정하는 것"(오른쪽)을 붙인 그림이다. 오른쪽의 수치는 앞 강들에서 인용한 공개 사례고, 폐쇄형 랩의 값은 공개되지 않았다. 평가 결과는 설계와 데이터로 되돌아가고, 거부 샘플링은 SFT로 되돌아간다(Llama 3는 6회).
랩별로 — 어디까지 직접 통제하고 무엇을 공개하나
● 직접 통제, ○ 공개 연구·외부 기술 활용, ✕ 공개되지 않음. 폐쇄형 랩의 "직접 통제"는 그 단계를 스스로 수행한다는 뜻이지 내용이 알려졌다는 뜻이 아니다.
| 단계 | OpenAI | Anthropic | Meta | DeepSeek | Qwen | |
|---|---|---|---|---|---|---|
| Architecture | ○ gpt-oss만; GPT-5 ✕ | ✕ 완전 미공개 | ○ Gemma 공개; Gemini ✕ | ○ 표준 dense | ● 자체 부품 + ○ 골격 | ○ 골격 + ● Gated DeltaNet |
| Tokenizer | ● tiktoken 공개 | ✕ | ● 262K SentencePiece | ○ tiktoken + ● 28K | ● 128K BBPE | ● 151,669 BBPE |
| Data Pipeline | ● 범주만 공개 | ● 범주만; 도서는 소송으로만 | ● Gemma 토큰 예산만 | ● 방법·4범주 비율 공개 | ● 14.8T 총량만 | ● 36T·119언어·3단계 |
| Training Infra | ● gpt-oss 2.1M H100시간만 | ● Trainium/TPU/GPU; 프레임워크 ✕ | ● TPU Ironwood, JAX | ○ PyTorch + ● NCCLX, 16K H100 | ● HAI-LLM, FP8, 2,048 H800 | ● GPU 수·프레임워크 ✕ |
| Pretraining 수치 | ✕ | ✕ | ● Gemma만 | ● 15.6T, 3.8e25 | ● 비용까지 전부 ($5.576M) | ● 36T; 비용 ✕ |
| Foundation Model 공개 | gpt-oss만 Apache 2.0 | ✕ | Gemma만 | ● 커뮤니티 라이선스 | ● MIT | ● Apache 2.0 |
| Reasoning / RL | ● 스케일링 진술만 | ● 스케일링 결과만 | ● 방법 ✕ | ○ DPO 채택 이유 공개 | ● GRPO·R1 전 과정·비용 | ○ GRPO + ● 3,995 쌍 |
| Safety | ● Deliberative Alignment, Model Spec | ● Constitutional AI, Classifiers, ASL | ● 제한적 | ● Llama Guard 3 | ○ 모델 보상(106K 주석) | ● 일반 RL 20+ 과제 |
| Inference | ● 라우터만 | ● 분류기 오버헤드만 | ● TPU 서빙; 세부 ✕ | ○ 공개 엔진 | ● EP32/EP144, $87K/일 | ● MTP·양자화 체크포인트 |
이 표의 ✕는 2026년 9월 21일 기준 이번 조사에서 1차 자료를 찾지 못했다는 뜻이고, 2차 자료의 추정치는 의도적으로 싣지 않았다. 폐쇄형 3사의 ✕는 GPT-4 보고서의 명시적 비공개 방침("경쟁 환경과 안전상의 함의"), GPT-5 시스템 카드, Claude Opus 4.6 시스템 카드, Gemini 2.5 보고서에 근거한다.
표가 말하는 세 가지
첫째, 여섯 랩 모두 파이프라인의 모든 단계를 직접 수행하며, 차이는 "무엇을 공개하는가"와 "부품을 스스로 발명하는가 조립하는가"뿐이다. DeepSeek가 가장 많은 자체 부품을 만들고 가장 많이 공개하며, Meta와 Qwen은 공개 골격을 조립하되 데이터·인프라·사후학습을 직접 만들고, OpenAI·Anthropic·Gemini는 수행 사실만 확인될 뿐 내용은 GPT-4(2023) 이후 공개하지 않는다. 둘째, 공개 여부와 무관하게 재사용되는 층은 왼쪽 열이다. 논문·토크나이저 어휘·프레임워크·공개 코퍼스·서빙 엔진. 이 층에서는 OpenAI의 어휘가 Meta로, Google의 GQA가 OpenAI로, DeepSeek의 GRPO와 레이아웃이 Qwen·Moonshot으로 흐른다. 셋째, 경쟁 우위가 만들어지는 층은 오른쪽 상자 안, 특히 데이터 파이프라인·학습 인프라·사후학습 데이터·안전 시스템이고, 이 층은 공개 랩조차 비율·임계값·소스 목록을 공개하지 않는다.
결국 "처음부터 만든다"는 것은 무엇을 직접 만드는 것인가
- 가중치 — 다른 모델에서 한 개의 숫자도 가져오지 않고 N(0, 0.02~0.006)에서 시작해 6·N·D FLOPs로 채운 수십억~수조 개의 파라미터
- 토크나이저 — 코퍼스에서 학습한 병합 테이블·정규식·어휘 크기·언어 배분
- 데이터 파이프라인 — 수집·추출·언어 판별·중복제거·품질 분류기·PII·오염 제거·혼합 비율·에폭·커리큘럼과 그 결과인 토큰 파일
- 아키텍처의 수치 — 층·폭·head·FFN·expert 수·top-k·문맥·정밀도. 부품은 공개 논문에서, 조합과 값은 프록시 실험에서
- 학습 인프라 — 클러스터·네트워크·스토리지·병렬화 코드·체크포인트·장애 복구·MFU를 끌어올리는 커널
- 학습 run 자체 — 하이퍼파라미터·스케줄·배치 램프·손실 감시·수십만 step의 운영과 그 중간 체크포인트(독자성의 증거)
- 사후학습 데이터와 보상 — SFT 예시, 선호 쌍, 검증기와 문제 세트, 보상 모델, 헌법·스펙, 안전 분류기
- 평가 체계 — 미공개 분할, 오염 제거, 스케일링 예측과의 대조, 시스템 카드
- 서빙 시스템 — 양자화·KV 캐시·추측 디코딩·prefill/decode 분리·라우터·분류기
- 가져오는 것은 아이디어와 도구(Transformer, RoPE, AdamW, MoE, GRPO, PyTorch, CUDA, 공개 코퍼스)고, 만드는 것은 결정과 결과물이며, 그 경계는 "남의 학습된 가중치를 초기값으로 쓰지 않았는가"다
출처: 이 장의 표는 1~14강의 출처와 같다. 특히 GPT-4 보고서 · GPT-5 시스템 카드 · Claude Opus 4.6 시스템 카드 · Gemini 2.5 · Google Cloud (Ironwood)
마지막 한 줄 — "처음부터 만든다"는 말을 들으면 아키텍처를 묻지 말고 초기값을 묻자. 논문은 누구나 쓰고, 가중치는 누군가가 만든 것이다. 그 사이의 결정(숫자·어휘·비율·보상)이 파운데이션 모델 회사가 실제로 파는 것이다.
여기 실린 수치·단가·날짜는 2026-09-21 조사 기준이라 인용하기 전에 원문으로 다시 확인해야 한다. 추정·계산 표시는 원문에 없는 값을 원 조사자가 산술·추론으로 낸 것이니 그만큼만 믿자.