모델은 다음 글자를 맞히는 기계다

어떤 서비스를 쓰든 한가운데에는 언어 모델 하나가 있다. 이 기계가 하는 일은 한 가지다. 지금까지의 글을 보고 다음에 올 토큰(글자 조각)의 확률표를 만드는 것. 거기서 하나를 뽑아 붙이고, 붙인 글을 다시 보고, 또 확률표를 만든다. "소설을 쓴다"는 건 이 뽑기를 수천 번 반복한 결과다.

여기서 갈림길이 하나 있다. 같은 기계도 두 가지 성격으로 길러진다. 베이스 모델은 순수하게 "이어 쓰기"만 배운 상태라, 내 글의 목소리·시점·시제를 그대로 이어 간다. 인스트럭트 모델은 그 위에 "사람 말에 비서처럼 대답하기"를 덧입힌 것이다. ChatGPT·Claude·Gemini, 그리고 뤼튼처럼 채팅창으로 소설을 시키는 서비스는 전부 이쪽이다.

• 인스트럭트에 "소설 써 줘" → 비서의 목소리가 섞인다. 요약하려는 버릇, 결말을 서두르는 버릇, 위험한 장면 앞에서 멈추는 거절층이 같이 따라온다.
• 베이스에 원고를 주고 이어 쓰게 하면 → 목소리는 이어지는데, 줄거리를 붙들어 줄 장치가 없으면 금방 삼천포로 빠진다. 그래서 6강의 조립기가 필요하다.
• 노벨AI는 채팅 턴이 없는 "이야기 그대로" 형식이라 후자에 가깝다. 명령을 내리고 싶으면 본문 안에 { 기호로 인스트럭트 모드를 켜는 식이다.

인스트럭트 학습이 다양성을 깎는다는 건 측정된 사실이다. 정렬(alignment)을 거친 Llama-2 계열은 토큰 예측의 엔트로피가 낮아지고 특정 "끌개 상태"로 수렴한다는 연구가 있다 (arXiv 2406.05587). 비서 목소리가 밋밋하게 느껴지는 데는 이유가 있다.