Почему на «2 + 3» нейросеть потратила 570 токенов? Что такое токены и за что вы платите
На вопрос «Сколько будет 2 + 3?» Qwen3 думала 570 токенов, Qwen3.8 — 32, а без рассуждений хватает 8. За что на самом деле платят в нейросетях? Разбираем токены — кусочки текста, которыми читают и пишут GPT-4o, Claude, DeepSeek, Qwen, Llama и все остальные языковые модели. По шагам, без формул: как BPE собирает словарь, почему модель путается в буквах strawberry и в цифрах, почему русский текст дороже английского, почему ответ дороже вопроса, сколько видеопамяти занимает каждый токен и как создатели моделей и разработчики приложений учат нейросети тратить токены меньше. Русский налог посчитан на 250 задачах MGSM в 9 токенизаторах: от ×4,46 у GPT-2 до ×1,03 у GigaChat 3. На RTX 3090 Ti проверяем KV-кэш Qwen2.5-14B (192 КБ на токен, 32 тысячи токенов — 6 ГБ) и кэш промпта в llama.cpp: 1,77 секунды при первом чтении, 0,017 при повторе — пока не поменяешь первую строку. Таймкоды: 0:00 570 токенов на «2 + 3» 1:00 Что такое токен 1:32 Как рождается словарь (BPE) 2:32 Странности: пробелы, числа, strawberry 4:08 Насколько русский дороже 5:20 Можно ли вырезать лишние языки 6:09 Куда уходят токены 7:44 Токены и видеопамять: KV-кэш 8:36 Как модели экономят память 10:01 Как модели учатся думать короче 11:21 Экономия в приложениях: кэш промпта 12:24 Проверим сами: кэш на 3090 Ti 13:14 Подвох 14:16 Итог Статья, с которой в нейросети пришли токены-кусочки (BPE): «Neural Machine Translation of Rare Words with Subword Units» (Эдинбургский университет, 2016). #нейросети #ИИ #токены
Название:
Почему на «2 + 3» нейросеть потратила 570 токенов? Что такое токены и за что вы платите
Категория:
Разное