논문·알고리즘은 공공재고, 가중치는 자산이다
새 회사가 파운데이션 모델을 만들 때 Transformer·Attention·RoPE·AdamW·MoE, SFT·DPO·RLHF·GRPO, 증류·추측 디코딩·KV 캐시는 전부 공개 논문에 있고 공개 구현이 존재하며, 어느 프론티어 랩도 그 사용을 "베낀 것"으로 취급하지 않는다. 그 랩들 자신이 서로의 논문을 인용하며 그대로 쓰니까.
| 기술 | 원 출처 | 새 회사가 쓰는 방식 | 재사용 뒤 남는 결정 |
|---|---|---|---|
| Transformer | Vaswani 2017; 디코더 전용은 GPT-2 | 그대로 | 층·폭·head·norm 배치 |
| Attention (GQA/MLA/슬라이딩) | GQA: Ainslie 2023 · MLA: DeepSeek-V2 · FlashAttention-3 커널 | 그대로, 커널은 공개 저장소 | KV head 수, 윈도우, 하이브리드 비율 |
| RoPE | Su 2021; 확장은 YaRN | 그대로 | θ(10k~1M), 단계적 확장 |
| AdamW / Muon | Loshchilov & Hutter · Kimi K2 | 그대로 (β 0.9/0.95, 감쇠 0.1) | LR·스케줄·배치 램프 |
| MoE | Switch Transformer · DeepSeekMoE · aux-loss-free | 그대로, DeepEP 커널 공개 | expert 수, top-k, shared, 균형 방식 |
| SFT / DPO / RLHF | InstructGPT · Rafailov · Constitutional AI | 알고리즘은 그대로, TRL 구현 | 데이터(직접 만들어야 함), 보상 모델, 헌법·스펙 |
| GRPO / RLVR | DeepSeekMath · Tulu 3 · R1 | 그대로, 하이퍼파라미터 공개됨 | 검증기·문제 세트 |
| 증류 | R1 증류 · Qwen3 strong-to-weak | 방법은 그대로 | 교사가 남의 모델이면 가중치 재사용에 준하는 의존 |
| 추측 디코딩 · KV 캐시 | EAGLE-3 · vLLM · Mooncake | 그대로, 오픈소스 서빙 엔진 | 초안 모델 학습, GQA/MLA 설계 |
왜 "베낀 것"과 다른가
재사용의 대상이 다르다. 위 기술들은 "행렬을 어떻게 곱하고 어떤 손실을 최소화할지"를 기술한 수식과 절차이며 학습된 숫자를 포함하지 않는다. 같은 수식을 써도 무작위 초기화에서 시작하면 수십억 개의 숫자는 완전히 달라진다. 한국 정부 사업이 네이버 팀을 "가중치 초기화 이후 전면 학습을 수행한 독자 모델로 보기 어렵다"고 판정하면서 Transformer·MoE·RoPE를 쓴 A.X K1과 Solar Open 100B는 독자 모델로 인정한 게 정확히 이 구분이다. 논문 발표는 재사용을 전제로 한다. Switch Transformer·muP·DPO·GRPO·vLLM은 방법을 널리 쓰이게 하려고 발표된 논문이고, DeepSeek는 DeepEP 코드를, OpenAI는 tiktoken을, Meta는 PyTorch를 공개 저장소로 배포한다. 가중치에는 라이선스가 붙고 논문에는 안 붙는다. Qwen3·gpt-oss·Gemma 4는 Apache 2.0, DeepSeek는 MIT, Llama는 자체 커뮤니티 라이선스, EXAONE 4.0은 비상업, Tri-21B는 MAU 100만 초과 시 상업 라이선스 필요, Solar Open 100B는 Upstage Solar License다. 가중치를 쓰면 이 조건에 묶이지만 논문의 알고리즘을 쓰는 데는 그런 조건이 없다.
경계가 흐려지는 세 지점
증류는 회색지대다. 자체 큰 모델에서 작은 모델로 증류하는 건 완전한 자체 파이프라인이지만, 남의 모델 출력으로 학습하면 가중치를 복사하지 않아도 그 모델의 행동 분포를 흡수한다. Nemotron-CC-v2의 합성 토큰 2.28T가 Qwen3·Mistral 출력인 것이 그 예다. 레이아웃 복제는 합법적이고 명시적이지만 독창성 주장과는 별개다. Kimi K2가 V3 레이아웃을 그대로 쓴 건 보고서에 적혀 있다. 가중치 유사성 의혹은 from-scratch 주장의 검증 문제를 낳는다. 2026년 1월 Solar Open 100B에 층별 유사성 의혹이 제기됐을 때 업스테이지는 "사실과 다르다"며 중간 체크포인트 전체 공개를 약속했고 이후 정부 심사를 통과했다. "무작위 초기화부터"를 입증하는 수단이 중간 체크포인트와 학습 로그라는 걸 보여 주는 사례다. OLMo 2와 Trillion Labs(Tri-70B)가 중간 체크포인트를 공개하는 것도 같은 맥락이다.
전부 재사용해도 남는 일
- 수치 결정 — 층·폭·head·expert·top-k·문맥·어휘·정밀도·학습률·배치·스케줄은 논문이 알려주지 않는다 (3강)
- 토크나이저 학습 — 알고리즘은 공개지만 병합 테이블은 내 코퍼스에서만 나온다 (4강)
- 데이터 파이프라인과 혼합 — 도구와 공개 코퍼스는 있지만 임계값·분류기·비율·에폭은 직접 정하고, 그 결과인 토큰 파일은 내 것 (5강)
- 학습 시스템 운영 — 클러스터 토폴로지에 맞춘 병렬화, 체크포인트, 장애 복구, MFU 튜닝 (8강)
- 사후학습 데이터와 보상 — SFT 예시, 선호 쌍, 검증기와 문제 세트, 보상 모델, 헌법·스펙은 방법이 아니라 자산 (10~11강)
- run 자체와 그 증거 — 수십만 step의 운영과 중간 체크포인트·로그는 재현 불가능한 결과물이자 from-scratch 주장의 증거
"베꼈다"는 비난이 성립하는 경우는 둘뿐이다. (a) 다른 모델의 가중치를 초기값으로 쓰고 from scratch라고 주장하거나, (b) 라이선스가 금지한 방식으로 가중치·출력을 쓴 경우. 이 둘을 피하면서 남는 일이 곧 "직접 만들어야 하는 것"이다.
출처: GQA · DeepSeek-V2 (MLA) · EAGLE-3 · vLLM · ZDNet Korea (2026-01-01) · 정책브리핑 (2026-08-19) · Tri-21B · Tri-70B 체크포인트 · Solar Open 100B