"처음부터"는 가중치를 말하고, 아이디어를 말하지 않는다
LLM 업계에서 "처음부터(from scratch)"는 세 가지를 동시에 뜻한다. 첫째, 모델의 모든 가중치가 다른 모델에서 복사되지 않고 무작위 초기화에서 출발한다. 둘째, 사전학습 데이터를 자체 파이프라인으로 모으고 거르고 섞는다. 셋째, 수천~수만 GPU에서 이 학습을 돌리는 학습 코드와 인프라를 스스로 운영한다. 반면 아키텍처와 알고리즘은 거의 전부 공개 논문에서 가져온다.
세계 최대 규모의 from-scratch 학습도 예외가 아니다. Meta는 Llama 3 논문에서 "표준적인 밀집 Transformer에 사소한 변경만 가했다"고 적었고, 128K 어휘 중 100K는 OpenAI의 tiktoken에서 가져왔다고 밝힌다. Moonshot의 Kimi K2는 DeepSeek-V3의 61층·hidden 7168 레이아웃을 그대로 쓰고 expert 수와 head 수만 바꿨다고 보고서에 적었다. OpenAI의 gpt-oss도 GPT-3의 교대 attention 패턴과 Google의 GQA를 쓴다고 명시한다. 가장 투명한 OLMo 2는 가중치·데이터·코드·로그·중간 체크포인트를 전부 공개했는데, 그 아키텍처 역시 RMSNorm·SwiGLU·RoPE·QK-norm이라는 공개 부품의 조합이다.
가중치를 가져오는 것과 논문을 쓰는 것은 층위가 다르다
가중치 재사용은 다른 조직이 수천만 달러를 들여 학습한 숫자 행렬 자체를 가져오는 거다. 그 순간 모델의 지식·언어 분포·토크나이저·아키텍처가 그 모델에 고정된다. Qwen3를 파인튜닝하면 Qwen3가 36조 토큰에서 배운 것이 내 모델의 지식 전부가 되고, 어휘 151,669개와 36층·4096차원 구조를 바꿀 수 없다. 아이디어 재사용은 "행렬을 어떻게 배치하고 어떤 수식으로 갱신할지"라는 설계도를 가져오는 거다. 설계도가 같아도 무작위 초기화에서 시작하면 학습된 숫자는 완전히 다르고, 데이터·토크나이저·문맥 길이·expert 수·정밀도를 전부 직접 정해야 한다.
2026년 한국 정부의 "독자 AI 파운데이션 모델" 사업이 정확히 이 기준을 썼다. 1차 평가에서 네이버클라우드 팀은 "가중치 초기화 이후 전면 학습을 수행한 독자 모델로 보기 어렵다"는 판단으로 탈락했고, SK텔레콤의 A.X K1(519B MoE, 약 10T 토큰, H200 1,536장, 73일)과 업스테이지의 Solar Open 100B(19.7T 토큰)는 무작위 초기화부터 학습한 모델로 인정받았다. "처음부터"는 규제와 조달의 기준으로도 쓰이는 정의다.
| 랩 | 직접 만드는 것 (확인된 것) | 공개 연구에서 가져오는 것 | 공개되지 않은 것 |
|---|---|---|---|
| Meta (Llama 3/4) | 가중치, 3단계 중복제거 데이터 파이프라인, 4D 병렬 학습 코드, NCCL 포크, 16K H100 운영 | Transformer, GQA(Google), RoPE, SwiGLU, AdamW, tiktoken 100K 어휘(OpenAI) | Llama 4 상세 논문, 데이터 소스 목록 |
| DeepSeek (V3/R1/V4) | 가중치, MLA·DeepSeekMoE·aux-loss-free 라우팅·MTP, FP8 프레임워크, DualPipe, DeepEP 커널 | Transformer, RoPE, SwiGLU, AdamW→Muon, Switch Transformer의 MoE 개념 | 데이터 소스와 도메인 비율 |
| Alibaba (Qwen3/3.5) | 가중치, 36T 토큰 119개 언어 데이터, 인스턴스 단위 혼합, Gated DeltaNet 하이브리드 | GQA, SwiGLU, RoPE, QK-Norm, DeepSeekMoE식 expert, MTP | 언어별 비율, 필터 임계값 |
| Google (Gemini/Gemma) | 가중치, TPU Ironwood 9,216칩 pod, JAX/XLA 스택, 262K SentencePiece | Transformer, GQA, RoPE, RMSNorm, 지식 증류 | Gemini의 크기·층·expert·연산량·데이터 |
| OpenAI (GPT-5, gpt-oss) | 가중치, tiktoken(o200k 공개), RLHF, 추론 RL | gpt-oss 기준: GPT-3 교대 attention, GQA, RoPE, YaRN, SwiGLU | GPT-4 이후 모든 모델의 아키텍처·크기·연산량·데이터·학습법 |
| Anthropic (Claude) | 가중치, Constitutional AI·RLAIF·캐릭터 학습·Constitutional Classifiers, Trainium/TPU/GPU 혼합 운용 | 확인 불가 (아키텍처 미공개) | 아키텍처, 파라미터 수, 연산량, 토크나이저, 프레임워크 |
왜 다들 Transformer·Adam·PyTorch를 그대로 쓰나
이유는 넷이다. 예측 가능성 — GPT-4 보고서는 1,000~10,000배 적은 연산의 작은 모델로 최종 성능을 예측했다고 밝힌다. 수천만 달러짜리 학습은 결과가 예측돼야 시작할 수 있고, 예측은 검증된 부품 위에서만 된다. 하드웨어 적합성 — FlashAttention-3는 H100에서 FP16 forward 740 TFLOPs/s(75% 활용)를 내는데, 커널이 Transformer 구조에 맞춰 짜여 있기 때문이다. 구조를 바꾸면 커널을 다시 써야 한다. 안정성 — Llama 3는 학습 안정성을 위해 MoE 대신 dense를 택했고, Qwen3는 안정적 학습을 위해 QK-Norm을 넣었다. 차별화의 위치 — 공개 모델들의 부품은 사실상 같은데 성능이 갈리는 건 데이터·규모·사후학습 레시피 때문이다추론.
"완전히 0부터"는 기술적으로 애매하다
어느 층에서든 외부 산출물이 섞인다. Llama 3의 어휘 100K는 OpenAI에서 왔다. NVIDIA의 Nemotron-CC-v2 데이터셋 6.6T 토큰 중 2.28T는 Qwen3와 Mistral이 생성한 합성 데이터라서, 이걸로 학습한 모델은 가중치가 무작위였어도 다른 모델의 출력 분포를 흡수한다. DeepSeek-V3의 SFT 데이터는 R1에서 증류했고, R1은 다시 V3-Base 위에서 만들었으니 세대 간 순환이 생긴다. 그래서 실무에서 의미 있는 경계선은 두 개다. 남의 학습된 가중치를 초기값으로 쓰지 않았는가, 그리고 데이터·토크나이저·학습 시스템의 결정권이 우리에게 있는가.
출처: Llama 3 · Kimi K2 · gpt-oss · OLMo 2 · AI타임스 (2026-01-15) · A.X K1 · GPT-4 보고서 · Nemotron-CC-v2