데이터는 240조에서 3.8조만 남긴다
웹의 원천은 사실상 하나, Common Crawl이다. DCLM-Pool은 2023년 이전 CC 전체를 모아 2,000억 문서·240T 토큰을 확보했고, FineWeb은 96개 스냅샷에서 15T를, FineWeb-2는 1,868개 언어-문자 쌍을 제공한다. 한국어는 6,087만 문서·486억 단어로 중국어의 약 1/10, 영어의 약 1/100 규모다. 책은 2025년 이후 "구매·라이선스한 입력"이 됐다. Bartz v. Anthropic에서 법원은 합법 구매 도서로의 학습은 공정이용이지만 해적판 사용은 아니라고 판시했고, Anthropic은 약 50만 작품에 작품당 약 3,000달러, 총 15억 달러에 합의했다. 코드는 Software Heritage의 Stack v2가 표준이고, Wikipedia는 놀랄 만큼 작아 Dolma 전체의 0.14%다.
합성 데이터가 2025~2026년의 가장 큰 변화다. Nemotron-CC는 저품질 층을 Mistral NeMo 12B로 Wikipedia 스타일로 재서술하고 고품질 층을 QA·지식 목록으로 확장해 약 1.9T의 합성 토큰을 만들었고, v2는 Qwen3-30B와 Mistral-Nemo로 2.28T를 생성했다. Qwen3는 PDF를 Qwen2.5-VL로 OCR하고 자체 수학·코드 모델로 합성 데이터를 만들었다. 데이터 파이프라인이 이제 다른 LLM을 대규모로 돌리는 추론 클러스터를 포함한다는 뜻이다.
필터링 파이프라인 — 각 단계의 실제 규칙과 수율
공개 레시피(FineWeb, DCLM, Dolma, RefinedWeb, Nemotron-CC, Llama 3)는 순서가 거의 같다.
| 단계 | 실제 규칙·도구 | 수율 사례 |
|---|---|---|
| 본문 추출·언어 | trafilatura/resiliparse로 HTML 본문, fastText 영어 ≥0.65 | Dolma: CC의 61.7% 제거 |
| 휴리스틱 | Gopher·C4 규칙(단어 수·기호 비율·문장부호 끝맺음), FineWeb 추가 3규칙 | FineWeb: 기본 필터 후 약 22% 추가 제거 |
| 중복제거 | URL 정확 → MinHash 5-gram(14버킷×8, ~75% Jaccard) → 문단·줄 수준 | FineWeb: 36T → 20T → 15T · Dolma URL 중복 53.2% |
| 모델 기반 품질 | DCLM fastText 상위 10% · FineWeb-Edu 0~5점 교육성 분류기(≥3) · Nemotron 5개 층 | FineWeb-Edu: 15T → 1.3T, 분류기 추론에 6,000 H100시간 |
| 독성·PII | Jigsaw 분류기 τ=0.4 · 이메일/IP/전화 정규식 마스킹 | Dolma: 5.5~7.3% 제거 (τ를 낮추면 30%가 날아가 목표를 못 채움) |
| 오염 제거 | 13-gram(GPT-3) / 50자(GPT-4) 중복, Bloom 필터 | 재서술된 테스트로 학습한 13B가 MMLU 85.9 — n-gram은 못 잡음 |
단계별 수율을 곱하면추론 원본 CC 중 언어 판별 후 15~20%가 살아남고, 휴리스틱이 20~25%를, 중복제거가 12~45%를 더 걷어내며, 분류기는 10~30%만 남긴다. DCLM의 240T→3.8T(1.6%)가 이 곱셈의 결과다. DCLM의 결론은 "모델 기반 필터링이 핵심"이었다. r/ExplainLikeImFive를 양성 예시로 학습한 fastText 분류기 하나가 perplexity 필터와 PageRank를 이겼다.
혼합 비율 — 무엇을 얼마나 섞나
DoReMi는 280M 프록시 모델로 도메인 가중치를 찾아 8B 모델에 적용했더니 기준 정확도에 2.6배 빨리 도달했다. RegMix는 1M 파라미터 모델 512개로 회귀식을 맞췄고, "Wikipedia 같은 고품질로 여겨지는 데이터보다 웹 코퍼스가 다운스트림 성능과 가장 강한 양의 상관"이라는 발견을 냈다. Llama 3의 최종 혼합은 일반 지식 50% / 수학·추론 25% / 코드 17% / 다국어 8%다. 한국어 모델은 HyperCLOVA X가 한국어·영어·코드를 약 1/3씩, Trillion-7B가 영어:한국어:기타=8.5:1:0.5를 썼다. DeepSeek-V3·Qwen3·Gemma 3의 비율은 공개되지 않았다.
에폭은 4번까지다. Muennighoff 등의 400회 실험은 "최대 4 에폭의 반복은 고유 데이터 대비 손실 변화가 무시할 만하다"고 확인했고 그 이상은 가치가 0으로 수렴한다. 혼합은 학습 전체에서 고정되지 않는다. Qwen3는 1단계 일반 30T → 2단계 추론 5T → 3단계 장문맥 순으로, Kakao Kanana는 2.7T 다양성 단계 후 300B 고품질 단계로 KMMLU +2.79를 얻었다.
한국어 중심 모델의 현실
FineWeb-2 한국어 486억 단어는 대략 700억~1,200억 토큰이다추정. 한국어만으로 15T를 채울 수는 없다. 그래서 Kanana의 품질 우선 필터, K-EXAONE의 합성 추론 데이터, Trillion의 영어+한국어 교차 패킹이 나온 거다. 한국어 중심이라면 다국어 비중을 1/3이나 10%로 올리고 한국어를 3~4 에폭 반복하는 걸 받아들여야 한다.
흐름은 "더 세게 거르기"에서 "거른 뒤 합성하기"로 바뀌었다. 상위 10% 필터링은 고유 실제 토큰을 0.2~1.0T만 남기니 15T 이상 지평에서는 반복이 불가피하다. Nemotron-CC는 덜 세게 걸어 4.4T 실제 토큰을 지키고 1.9T를 합성해 15T 지평에서 Llama 3.1 8B 대비 MMLU +5를 얻었다. 폐쇄형 랩의 데이터 파이프라인은 어느 것도 1차 자료가 없다. GPT-5 카드는 "인터넷 공개 정보, 제3자 제휴 정보"라는 범주만, Claude Opus 4.6 카드도 범주만 밝힌다.
출처: DCLM · FineWeb · FineWeb-2 · Dolma · Nemotron-CC · NPR (2025-09-05) · DoReMi · RegMix · Muennighoff et al. · Yang et al. · Kanana