2026년, 어떤 모델이 소설을 잘 쓰나
"잘 쓴다"를 재는 공개 지표는 EQ-Bench Creative Writing v3가 사실상 유일하다. 같은 과제로 짧은 글을 쓰게 하고 심판 모델(Claude Sonnet 4.6)이 짝 비교로 Elo를 매긴다. 별도의 Longform 지표는 8장짜리 중편을 쓰게 해 100점 만점으로 채점한다. 2026-09-03에 사이트에서 직접 읽어 온 값이다. 영어 기준이라는 걸 잊으면 안 된다(한국어 얘기는 13강).
| 모델 | Elo (단편) | 장편 /100 | 크기 · 라이선스 | 어디서 굴리나 |
|---|---|---|---|---|
| Claude Opus 5 클로즈드 | 2116 | 86.3 | — | API · Claude 구독 |
| Kimi K3 | 2071 | 79.6 | 2.8T (활성 104B) · 자체 라이선스 | API |
| GLM-5.3 | 2062 | 81.8 | 753B MoE · 자체 라이선스 | API |
| Muse-Glimmer-30B (Meta) | 1789 | — | 29.6B dense · Apache 2.0 | 로컬 24GB (4비트 17GB) |
| GLM-5.2 | 1751 | 77.9 | ~744B (활성 40B) · MIT | OpenRouter 무료 |
| Kimi K2.6 | 1725 | 78.5 | ~1T · 수정 MIT | API (장편에서 떨어진다는 평) |
| Qwen3.8-27B | 1669 | 53.3 | 27B dense · Apache 2.0 | 로컬 24GB · Groq 무료 |
| DeepSeek V4-Flash / V4-Pro | 1556 / 1552 | 66.0 / 75.6 | MoE · MIT | API (매우 쌈) |
| Gemma 4 31B | 1366 | 56.5 | 31B · Apache 2.0 | 로컬 24GB · OpenRouter 무료 |
| Gemma 3 27B · Mistral Small 3.2 24B | 1263 · 1253 | 41.9 · 41.6 | dense | 로컬 16~24GB |
| gpt-oss-120b · 20b (OpenAI) | 959 · 663 | 35.8 · 21.2 | Apache 2.0 | Groq·Cerebras·Workers AI 기본값 — 소설엔 최악 |
| Mistral Nemo 12B | 879 | 28.7 | 12B · Apache 2.0 | 로컬 8~16GB (소설 파인튜닝의 단골 바탕) |
표가 말하는 것. 첫째, 클로즈드 1등과 오픈 1등의 차이가 50점 안쪽이다. "오픈 모델은 글을 못 쓴다"는 2024년 얘기다. 둘째, 집에서 돌릴 수 있는 크기 중 최고는 Meta의 Muse-Glimmer-30B다. 라마의 후속으로 Meta가 이름을 "Muse"로 바꾼 계열이고, Apache 2.0이라 마음대로 쓴다(그 위의 Muse Spark 1.2는 가중치를 약속만 하고 아직 안 냈다). 셋째, gpt-oss는 무료 API의 기본 모델로 자주 걸려 있는데 산문 점수가 가장 낮다. 무료라고 그걸 고르면 "AI 소설은 역시 별로"가 된다.
파인튜닝 — 롤플레이 쪽의 실물
리더보드 밖에서 롤플레이·성인 창작 커뮤니티가 쓰는 건 따로 있다. TheDrummer의 Cydonia 24B v4.3(Mistral Small 3.2 바탕)과 2026년의 Artemis-31B·Skyfall-31B, Latitude의 Wayfarer 12B·Muse-12B·Harbinger 24B·Equinox-31B(Gemma 4 바탕, 2026-05), anthracite의 Magnum v4. 검열 없는 모델을 따로 재는 UGI 리더보드에서는 Cydonia 24B가 40점대다. 이 계열은 대부분 Mistral Nemo 12B와 Mistral Small 24B 위에 서 있다. 라이선스가 자유롭고 문장이 부드럽고 16~24GB에 들어가서다.