토큰
tokenisation · tokenizer
한 줄로
토큰은 언어모델이 처리하는 최소 단위로, 토크나이저가 만들어내는 흔한 단어 조각이다. 영어에서 토큰 하나는 평균 네 글자, 약 0.75단어다. 컨텍스트 한도와 API 가격은 모두 단어가 아니라 토큰으로 센다.
모델은 글자나 단어를 보지 않는다. 텍스트는 먼저 토크나이저가 학습 데이터에서 자주 나타난 조각으로 쪼갠다. 흔한 단어는 토큰 하나가 되고, 드문 단어는 여러 조각으로 나뉘며, 공백과 문장부호도 자기 몫을 차지한다.
"unbelievable" → "un" + "believ" + "able"
"the" → "the"
" " → 코드에서 들여쓰기 단계마다 1토큰세 가지 결과가 따라오고, 셋 다 돈이 든다.
언어는 평등하지 않다. 영어 위주로 학습한 토크나이저는 한국어·일본어를 더 공격적으로 쪼갠다. 같은 문서라도 토큰이 더 들고, 따라서 돈이 더 들며 컨텍스트 윈도우도 더 먹는다.
글자 단위 과제는 어렵다. 단어의 글자 수를 세라는 요구를 받은 모델은 글자가 아니라 조각을 다루고 있다. 다른 능력에 비해 철자 퍼즐이 우스울 만큼 자주 틀리는 이유다.
출력 길이는 비용 레버다. 비싼 쪽이 출력이므로, "세 줄로 답해"는 서식 취향이기 전에 예산 결정이다.
자주 묻는 질문
- 1,000단어는 몇 토큰인가?
- 영어 기준 약 1,300토큰이다. 한국어·일본어·중국어는 같은 «보이는 길이»라도 토큰이 훨씬 많이 나온다. 흔히 쓰이는 토크나이저에서 이 문자 체계들이 더 잘게 부서지기 때문이다.
- 입력과 출력을 왜 따로 청구하나?
- 입력은 시퀀스 전체를 병렬로 처리할 수 있지만, 출력은 한 번에 한 토큰씩 만들어야 하고 토큰마다 모델을 한 번씩 통과한다. 그래서 출력이 토큰당 몇 배 비싸다.