스케일링 법칙은 두 번 고쳐졌다

스케일링 법칙은 손실 L이 파라미터 N, 토큰 D, 연산 C의 거듭제곱 함수로 예측 가능하게 떨어진다는 경험 법칙이다. Kaplan 등(2020)은 "폭/깊이 같은 세부는 최소한의 영향"이고 "큰 모델을 적은 데이터로 학습하고 수렴 훨씬 전에 멈추라"고 했다. Hoffmann 등(2022, Chinchilla)이 400개 이상 모델로 이를 뒤집었다. "모델 크기와 토큰 수를 같은 비율로 키워야" 하며, 같은 연산으로 4배 많은 데이터를 쓴 Chinchilla(70B, 1.4T)가 Gopher(280B)를 MMLU 7점 이상 앞섰다. "파라미터당 20 토큰"은 1.4T/70B의 비율이다. 손실이 왜 거듭제곱인지는 아직 정설이 없다.

수정 1 — Epoch AI의 재적합, 수정 2 — 추론 비용

Epoch AI(2024)는 Hoffmann의 그림에서 데이터를 복원해 공개 상수가 복원 데이터와 잘 맞지 않는다고 밝히고 L = 1.8172 + 482.01/N^0.3478 + 2085.43/D^0.3658로 재적합했다. 공개 상수를 C=6e23에서 최소화하면 N≈33B, D≈3.0T(약 91 토큰/파라미터)가 나와 모순이 드러나고, Epoch 재적합은 N≈74B, D≈1.35T(약 18 토큰/파라미터)로 20 규칙과 일치한다계산. Sardana 등(2024)은 "Chinchilla는 추론 비용을 빠뜨렸다"며, 수십억 번 서빙될 모델은 "더 작고 더 오래 학습한" 쪽이 답이고 파라미터당 최대 10,000 토큰까지 품질이 계속 오른다고 보였다.

패턴은 명확하다. 플래그십 dense는 약 2배 과학습, 서빙용 소형 모델은 100~60,000배 과학습, MoE는 "총 파라미터 기준 Chinchilla 근처, 활성 기준 수백 배". 추론 비용은 활성 파라미터에 비례하고 작은 모델은 큰 모델의 증류 대상이라 제약이 연산이 아니라 교사 데이터다추론. 2024년 9월 이후엔 테스트 타임 연산이 새 축으로 더해졌다. OpenAI o1은 AIME 2024에서 GPT-4o의 13%를 83%로 올렸고, Anthropic은 AIME 정확도가 사고 토큰에 대해 로그적으로 향상한다고 보고했다.

"10B를 10T로" vs "100B를 1T로" — 같은 연산, 다른 모델

두 run의 연산은 동일하게 6.0×10²³ FLOPs, H100 40% MFU 기준 약 421,000 H100시간, RunPod 단가면 약 147만 달러다계산. 손실 예측은 공개 Hoffmann 적합으로 사실상 동률이고 Epoch 재적합은 10B/10T가 약 0.04 nat 나쁘다. 실제 차이는 다른 곳에 있다. 추론 비용은 100B가 10배 비싸고 가중치 메모리도 200GB 대 20GB. 학습 형태는 100B가 상태만 1.6TB라 20장 이상에 샤딩하고 TP·PP가 필요한 반면 10B는 160GB라 FSDP 몇 장이면 된다. 능력의 결은 손실이 같아도 다르다. 100B는 희귀 사실·지식 집약 과제에서, 10B는 표면 커버리지와 서빙 비용에서 유리할 가능성이 있다추론, 측정되지 않음. 서빙할 모델이면 10B/10T가 정답이고, 실제 모든 오픈 랩의 소형·중형 라인이 500~60,000 토큰/파라미터 구간에 있다. 100B/1T는 중간 체크포인트, 서빙하지 않는 교사 모델, 고유 데이터가 1T 근처로 제한된 상황에서만 합리적이다.

아래에서 N과 D를 바꿔 보자. 두 적합식의 손실 예측과 토큰/파라미터, 연산량이 같이 움직인다. 적합 범위(≤16B, ≤500B 토큰) 밖은 외삽이라 방향만 믿고 절대값은 믿지 말자.

출처: Kaplan et al. · Hoffmann et al. (Chinchilla) · Epoch AI 재현 · Sardana et al. · DeepSeek LLM · OpenAI o1 · Anthropic · RunPod (2026-09)