Токен
Маленькая единица текста — примерно часть слова, — которую модели читают и порождают; в AskClear баланс показан как деньги, а не токены.
Определение
Модели читают текст не как буквы или целые слова, а как токены: небольшие куски, которые часто являются целым словом, частью слова или знаком препинания. Грубое правило: один токен — это примерно четыре символа, или три четверти слова, в английском, так что короткая фраза вроде 'мне нужна помощь с договором' — это примерно семь токенов. Это просто единица, в которой модель считает текст.
Почему это важно
Токены — скрытая единица и для контекстного окна, и для объёма работы над ответом, поэтому длинные документы расходуют их больше. Но в AskClear вы никогда не видите и не покупаете токены: ваш баланс всегда показан как денежная сумма, а расход по тарифу — как простой процент. Токены лишь объясняют за кулисами, почему у очень длинного источника есть предел размера и почему крупный запрос немного больше расходует ваш баланс.