모든 글 · 5쪽
전체 글 292편 중 49–60번째 글이다. 최신 글이 앞에 있다.
5쪽 글 목록
292편 중 49–60
추론 모델은 같은 가중치, 다른 사후학습이다
추론 모델은 별도의 아키텍처가 아니다. DeepSeek-R1은 V3-Base와 같은 671B MoE 가중치에서 출발했고, Qwen3의 사고 모드는 같은 체크포인트 안의 템플릿 플래그이며, Claude의 extended thinking은 토큰 예산으로…
논문·알고리즘은 공공재고, 가중치는 자산이다
새 회사가 파운데이션 모델을 만들 때 Transformer·Attention·RoPE·AdamW·MoE, SFT·DPO·RLHF·GRPO, 증류·추측 디코딩·KV 캐시는 전부 공개 논문에 있고 공개 구현이 존재하며, 어느 프론티어 랩도 그 사용을 "…
파인튜닝과 처음부터는 사는 것이 다르다
경로 A(Qwen → 파인튜닝 → 내 모델)는 Qwen이 36조 토큰·119개 언어·증류로 만든 능력을 형식과 행동만 바꿔 쓰는 거다. 경로 B(랜덤 초기화 → 내 사전학습 → 내 파운데이션 모델 → SFT)는 4~12강의 모든 결정을 스스로 내리는…
1B 모델은 이틀과 이백만 원이면 된다 — 그리고 Qwen3-1.7B에 못 미친다
모든 추정은 6·N·D FLOPs와 "피크 TFLOPS × MFU"에서 나오고, 실측 run이 MFU 가정을 검증한다. Karpathy의 llm.c는 GPT-2 124M을 FineWeb 100억 토큰으로 8×A100에서 약 90분, 약 $20 에 재…
한 장의 그림 — 랩은 무엇을 가져오고 무엇을 만드나
각 단계에서 "외부에서 가져오는 것"(왼쪽)과 "직접 만드는 것·결정하는 것"(오른쪽)을 붙인 그림이다. 오른쪽의 수치는 앞 강들에서 인용한 공개 사례고, 폐쇄형 랩의 값은 공개되지 않았다. 평가 결과는 설계와 데이터로 되돌아가고, 거부 샘플링은 S…
뤼튼에 "소설 써 줘"라고 치면 벌어지는 일
뤼튼은 2023년 12월에 전면 무료가 됐고, 2025년 4월 「뤼튼 3.0」 개편 뒤로는 AI 서포터 가 질문에 맞는 모델을 알아서 골라 부른다. 앱스토어 설명에는 GPT-4o·GPT-4.5·o1·Claude 3.7· Gemini 2.5를 작업에…
국내 지도 — 뤼튼·크랙·제타·노벨챗, 그리고 집필 에디터들
국내는 두 갈래다. 하나는 캐릭터와 대화하며 이야기를 굴리는 캐릭터챗 이고, 다른 하나는 작가가 원고를 쓰는 데 AI를 붙인 집필 에디터 다. 뤼튼·크랙·제타가 앞쪽, 노벨라·펜시브·타이피가 뒤쪽이다. 표의 "커뮤니티"는 회사가 공개하지 않아 사용자…
해외 지도 — 노벨AI·수도라이트·AI 던전·노벨크래프터·Character.AI
해외는 갈래가 더 뚜렷하다. 원고를 이어 쓰는 소설 도구 (노벨AI·수도라이트·노벨크래프터), 주인공이 되어 노는 텍스트 어드벤처·롤플레이 (AI 던전·Character.AI·재니터AI), 그리고 이 전부를 내 손으로 조립하는 오픈소스 프론트엔드 (…
모델은 다음 글자를 맞히는 기계다
어떤 서비스를 쓰든 한가운데에는 언어 모델 하나가 있다. 이 기계가 하는 일은 한 가지다. 지금까지의 글을 보고 다음에 올 토큰(글자 조각)의 확률표 를 만드는 것. 거기서 하나를 뽑아 붙이고, 붙인 글을 다시 보고, 또 확률표를 만든다. "소설을…
프롬프트 조립기 — 모델이 실제로 보는 다섯 층
내가 "다음 장면 써 줘"라고 치면 모델이 그 한 줄만 보는 게 아니다. 도구가 뒤에서 여러 조각을 정해진 순서로 이어 붙인다. 이름은 서비스마다 다르지만 층은 다섯이다.
로어북 — 키워드로 깨어나는 설정
세계관 설정을 전부 프롬프트에 넣으면 창이 금방 찬다. 그래서 모든 소설 도구가 같은 꾀를 쓴다. 설정을 항목별로 쪼개 두고, 본문 최근 부분에 그 항목의 키워드가 보일 때만 끼워 넣는다. 노벨AI는 로어북, SillyTavern은 World Inf…
조건에 맞는 글이 없다. 브루니가 숨었나 보다.