③ 내 컴퓨터에서 — 한도도 정책도 로그도 없다
가중치 파일을 받아 내 기계에서 돌리는 길이다. 파일 하나 받아 실행하는 KoboldCpp(Story 모드가 있어 원고 이어 쓰기에 제일 맞다), 명령줄이 편하면 Ollama(MIT), 화면이 편하면 LM Studio(무료, 소스는 비공개)나 Jan(Apache). 모델은 GGUF라는 압축 형식으로 받는데, Q4_K_M 정도가 크기와 품질의 균형점이다.
| 크기 | Q4_K_M 파일 | 예 | 필요한 메모리 (VRAM 또는 맥 통합 메모리) |
|---|---|---|---|
| 4B · 8B | 2.5 · 5.0 GB | Qwen3-8B · Kanana-1.5-8B · A.X 4.0 Light | 8GB면 여기까지 (창 8~16K) |
| 12B · 14B | 7.5 · 9.0 GB | Wayfarer 12B · Muse-12B · Mi:dm 2.0 11.5B · Gemma 4 12B | 16GB 편안. 8GB는 Q3나 CPU 분담 |
| 24B · 27B | 14.3 · 16.6 GB | Cydonia 24B · Qwen3.8-27B · Gemma 3 27B | 16GB는 IQ4에 짧은 창, 24GB 편안 |
| 30~32B | 17~20 GB | Muse-Glimmer-30B · Equinox-31B · EXAONE 4.0 32B · SEED Think 32B | 24GB (창 8~16K) · 맥 32GB면 Q5·Q6 |
| 70B | 42.5 GB (IQ2로 24GB) | Llama 3.3 70B · Wayfarer Large 70B | 48GB 이상. 24GB는 IQ2로 품질을 깎아야 한다 |
규칙 하나. 모델 파일에 KV 캐시 1~3GB를 더한 값이 메모리의 90% 안에 들어야 한다. 속도는 메모리 대역폭이 정한다(써드파티 벤치, 참고치). 8B는 RTX 4090에서 초당 100~160토큰, M4 Max에서 50~75. 27~32B는 4090에서 30~45, M4 Max에서 25~30, 24GB M4 Pro에서 8~15. RTX 4060 8GB는 12B를 20~25로 돌린다. 초당 20토큰이면 5,000자 한 회가 3~6분이다.
목적별 모델
- 영어 소설 품질 최우선 — Muse-Glimmer-30B(Apache 2.0, 24GB) 또는 Qwen3.8-27B. 12강 표의 로컬 1·2위다.
- 롤플레이·성인·어두운 장르 — Cydonia 24B v4.3, Artemis-31B, Equinox-31B, 16GB면 Wayfarer 12B· Muse-12B. "주인공 보정 없음"으로 길러진 계열이다(11강).
- 한국어 — 8~16GB면 Kanana-1.5-8B(Apache) · Mi:dm 2.0 11.5B(MIT) · A.X 4.0 Light 7B(Apache), 24GB면 HyperCLOVA X SEED Think 32B · EXAONE 4.0 32B(비상업). 13강 표다.
- GPU가 없으면 — Google Colab의 KoboldCpp 노트북(T4 16GB, 24B가 상한. 2026년에도 도는지는 확인 못 했다)이나 Kaggle(주 30 GPU시간, T4 두 장)로 임시 서버를 띄우고 Mikupad를 연결한다.
KoboldCpp 실행 파일 하나를 받는다. 윈도우·맥·리눅스 다 한 파일이다. 설치가 없다.
허깅페이스에서 GGUF Q4_K_M을 받는다. 위 표로 내 메모리에 맞는 크기를 고른다. bartowski·unsloth 계정의 양자화가 표준이다.
실행하고 브라우저로
localhost:5001. Story 모드로 바꾸면 채팅 턴 없이 원고를 그대로 이어 쓴다.샘플러는 10강대로. 온도 1.0~1.2 · min-p 0.05~0.1 · DRY 0.8/1.75/2 · XTC 확률 0.5 임계 0.1. 반복 벌점(repetition penalty)은 끈다.
로컬은 유일하게 한도·정책·로그가 없는 길이다. 값은 메모리 크기로 미리 치르고, 그다음부턴 공짜다.