분류
AI · 3쪽
AI 를 직접 부려 보며 겪은 것과 AI 교과서를 모았다. 프롬프트·에이전트·AI 앱의 속, 파운데이션 모델이 만들어지는 길, 오픈웨이트의 기준, AI 소설의 속, LLM 실전 위키까지 한곳에서 읽는다.
106편 · 글 15 · 강 91 · 마지막 글 2026.10.23
교과서AI 소설 20강파운데이션 모델 15강LLM 위키 31쪽오픈웨이트 16강REA 해설 — AI 에게 디컴파일러를 쥐여 주면 9강
AI 글
106편 중 25–36
"처음부터"는 가중치를 말하고, 아이디어를 말하지 않는다
LLM 업계에서 "처음부터(from scratch)"는 세 가지를 동시에 뜻한다. 첫째, 모델의 모든 가중치 가 다른 모델에서 복사되지 않고 무작위 초기화에서 출발한다. 둘째, 사전학습 데이터 를 자체 파이프라인으로 모으고 거르고 섞는다. 셋째, 수…
만드는 순서는 직선이 아니라 루프다
연구 → 설계 → 토크나이저 → 데이터 → 인프라 → 초기화 → 사전학습 → 사후학습 → 서빙. 이 순서는 실제 랩의 작업 순서와 거의 맞다. 다만 두 가지를 먼저 짚어야 한다. 첫째, 평가가 두 번 이상 끼어드는 루프 다. 사전학습 중엔 체크포인트…
아키텍처 설계는 숫자를 고르는 일이다
디코더 전용 Transformer 한 층은 "attention → 잔차 덧셈 → MLP → 잔차 덧셈"의 반복이고, 앞뒤로 임베딩과 출력 헤드가 붙는다. 설계자가 정하는 건 각 요소의 숫자 다.
토크나이저는 "처음부터"에서만 결정권이 생기는 첫 자리다
토크나이저는 문자열을 정수 ID의 열로 바꾸는 함수고, 모델은 이 정수만 본다. Hugging Face tokenizers 의 정의를 따르면 네 단계다. (1) 정규화기 가 유니코드 정규화·소문자화 등을 선택적으로 적용하고, (2) 사전토큰화기 가…
데이터는 240조에서 3.8조만 남긴다
웹 의 원천은 사실상 하나, Common Crawl이다. DCLM-Pool은 2023년 이전 CC 전체를 모아 2,000억 문서·240T 토큰을 확보했고, FineWeb은 96개 스냅샷에서 15T를, FineWeb-2는 1,868개 언어-문자 쌍을…
랜덤 가중치가 모델이 되는 한 step의 생애
초기화 는 모든 가중치 행렬을 평균 0, 작은 표준편차의 정규분포에서 뽑는 거다. GPT-2·nanoGPT·OLMo 2는 std 0.02, DeepSeek는 0.006을 쓴다. 여기에 깊이 보정이 붙는다. GPT-2 논문은 잔차 층의 가중치를 1/√…
"다음 토큰 예측"은 8×4 행렬로도 재현된다
"The cat is sitting on the mat"에서 "mat"을 예측하는 학습은 이 문장 하나만으로 6개의 예측 문제를 동시에 푼다. 입력을 한 칸 왼쪽, 정답을 한 칸 오른쪽에 놓고( teacher forcing ), 인과 마스크 덕분에…
만 장의 GPU는 네 축으로 쪼갠다
두 벽이 있다. 메모리 벽은 16바이트/파라미터에서 온다. 405B의 상태만 6.48TB인데 H100은 80GB, H200은 141GB다. 시간 벽은 6·N·D에서 온다. Llama 3 405B의 3.8×10²⁵ FLOPs를 H100 한 장이 40%…
스케일링 법칙은 두 번 고쳐졌다
스케일링 법칙은 손실 L이 파라미터 N, 토큰 D, 연산 C의 거듭제곱 함수로 예측 가능하게 떨어진다는 경험 법칙이다. Kaplan 등(2020)은 "폭/깊이 같은 세부는 최소한의 영향"이고 "큰 모델을 적은 데이터로 학습하고 수렴 훨씬 전에 멈추라…
베이스 모델은 챗봇이 아니다
사전학습이 끝난 베이스 모델은 웹 텍스트의 다음 토큰을 예측하는 확률 분포일 뿐이다. 대화 턴의 구조도, "사용자에게 답한다"는 개념도, 멈추거나 거절할 이유도 없다. 질문을 넣으면 비슷한 질문을 이어 쓰거나 광고 문구를 붙일 수 있다. Instru…
추론 모델은 같은 가중치, 다른 사후학습이다
추론 모델은 별도의 아키텍처가 아니다. DeepSeek-R1은 V3-Base와 같은 671B MoE 가중치에서 출발했고, Qwen3의 사고 모드는 같은 체크포인트 안의 템플릿 플래그이며, Claude의 extended thinking은 토큰 예산으로…
논문·알고리즘은 공공재고, 가중치는 자산이다
새 회사가 파운데이션 모델을 만들 때 Transformer·Attention·RoPE·AdamW·MoE, SFT·DPO·RLHF·GRPO, 증류·추측 디코딩·KV 캐시는 전부 공개 논문에 있고 공개 구현이 존재하며, 어느 프론티어 랩도 그 사용을 "…
조건에 맞는 글이 없다. 브루니가 숨었나 보다.