Единица текста, в которой считают объём работы и цену модели
Кусок текста, которым модель оперирует: примерно слово или его часть. Объём работы модели и её цена считаются в токенах — обычно за миллион, отдельно на вход и на выход.
Почему это важно: сравнивать модели по цене «за запрос» бессмысленно, потому что запросы разной длины. Токены — единственная общая мера, и на ней же строится честная юнит-экономика: цену надо брать после скидок и по фактическому соотношению входа и выхода, а не по рекламному тарифу.
Порядок величин. Модели «Доубао» у ByteDance обрабатывают около 180 трлн лексем в сутки — двумя месяцами раньше было 120 трлн. На площадке OpenRouter недельный объём обращений ко всем моделям DeepSeek — 5,74 трлн токенов при мировых 28,9 трлн.
Токен и параметр — разные вещи. У модели V4-Pro 1,6 трлн параметров, но на каждом токене работают только 49 млрд из них: так устроена разреженная архитектура. Число параметров описывает модель, число токенов — сделанную работу.
Ещё пишут: токены, tokens.