한국어라는 변수 — 토큰이 두 배, 벤치마크는 없음
같은 글이라도 한국어는 토큰이 더 든다. 한글 한 글자가 UTF-8로 3바이트이고 모델의 어휘표가 영어 중심이라서다. 2026-09-03에 웹소설풍 지문 두 편(725자·793자)으로 직접 세어 봤다.
| 토크나이저 | 글자당 토큰 | 5,000자 한 회차 ≈ | 비고 |
|---|---|---|---|
| o200k (GPT-4o · 4.1 · 5.x) | 0.63~0.65 | 3,200 | 영어는 토큰당 4.3자 — 한국어가 2.7배 |
| cl100k (GPT-4 · 3.5) | 1.0 | 5,100 | 옛 세대. 한 글자 한 토큰 |
| Claude (4.6 이하, Haiku 4.5) | 1.13 | 5,700 | Bedrock CountTokens로 실측 |
| Claude (4.7 이후 · 5 · Fable) | ≈1.47 (추정) | ≈7,400 | Anthropic 문서: 새 토크나이저가 "약 30% 더" — 직접 실측은 못 했다 |
| Gemini · DeepSeek · GLM · Qwen | 미실측 | — | 키가 없어 못 쟀다. 14강 계산기는 추정값(0.8)을 쓰고 표시한다 |
그래서 가격표의 "토큰당 값"으로 비교하면 틀린다. 글자당 값으로 봐야 한다. 예를 들어 Claude Sonnet 5(출력 $10/1M)와 gpt-5.4($15/1M)를 5,000자 한 회로 비교하면 Sonnet은 7,400토큰이라 $0.074, gpt-5.4는 3,200토큰이라 $0.048이다. 토큰 단가는 gpt-5.4가 1.5배 비싼데 글자 단가는 Sonnet이 1.5배 비싸다. 14강 계산기가 이걸 자동으로 해 준다.
존댓말이 흔들리는 문제
한국어에는 상대 높임이 여섯 등급이고, 모델은 이걸 자주 놓친다. 상대가 분명해지면 반말로 미끄러지는 경향이 측정됐고(LREC 2026), 한국어 지시 평가 KITE는 "높임법 전환 실패"를 따로 셀 만큼 흔한 오류로 본다. 6강의 조립기로 다스리는 법이 있다.
- ②기억에 서술 어미와 인물 간 말투 관계를 적는다. "3인칭 과거 「~다」. 하은→도윤 반말,
도윤→하은 해요체." 카드의
description에 넣어도 된다. - 같은 규칙을 ⑤작가 노트에 한 번 더. 끝에 가까운 글이 이긴다.
- 원하는 문체의 문장 2~3개를 예시로 준다. 번역투(문장마다 "그는", 대명사 남발)는 반례로 적는다.
- 뽑은 뒤 화자별 어미를 정규식으로 검사한다.
-요/-습니다대-다/-냐/-어. 어긋난 줄만 다시 뽑는다. 18강 코드에 이 검사를 한 줄 붙이면 된다.
한국어로 길러진 오픈 모델
2025~2026년에 국내 회사들이 가중치를 잔뜩 열었다. 정부의 「독자 AI 파운데이션 모델」 사업이 불을 붙였고, 2026년 7~8월에 네 팀이 모두 거대 모델을 공개했다. 다만 그 거인들은 집 컴퓨터에 안 들어간다. 실제로 쓸 수 있는 크기 위주로 추렸다.
| 모델 | 크기 | 라이선스 | 어디서 |
|---|---|---|---|
| Kanana 1.5 (카카오) | 2.1B · 8B | Apache 2.0 | 로컬 8~16GB — 부담 없는 첫 선택 |
| Mi:dm 2.0 (KT) | 2.3B · 11.5B | MIT | 로컬 16GB |
| A.X 4.0 Light (SKT) | 7B | Apache 2.0 (72B는 Qwen 라이선스) | 로컬 8~16GB |
| HyperCLOVA X SEED (네이버) | 0.5B · 1.5B · 3B · Think 14B · Think 32B | 자체 — MAU 1,000만 미만·네이버와 비경쟁이면 상업 가능, "Powered by HyperCLOVA X" 표기 | 3B는 노트북, Think 32B는 24GB |
| EXAONE 4.0 (LG) | 1.2B · 32B | 비상업(NC) — 상업은 별도 계약 | 로컬 24GB (개인 창작은 OK) |
| Kanana-2 30B-A3B · K-EXAONE 2.0 750B · A.X K2 688B · Solar Open 2 250B · Motif 3 314B | 거대 MoE | NC · Apache · Apache · Solar · MIT(보도) | 서버급. 무료 API로 열린 곳은 2026-09-03 확인 못 함 |
한국어 창작을 재는 공개 벤치마크는 없다. KoMT-Bench에 "글쓰기" 항목이 있는 정도라, 위 표의 어느 모델이 소설을 잘 쓰는지는 아무도 숫자로 모른다. 20강에서 말할 "내 원고로 짝 비교"가 유일한 방법이다. 참고로 글로벌 오픈 모델 중엔 Qwen3.8(201개 언어)·Gemma 4(140개 이상)· GLM·DeepSeek이 한국어를 받고, Llama 4는 지원 언어 12개에 한국어가 없다.