Спекулятивное декодирование: как драфт-модель ускоряет LLM

12+
12+

1 просмотр

3 дня назад

ПожаловатьсяНарушение авторских прав
12+
12+

1 просмотр

3 дня назад

ПожаловатьсяНарушение авторских прав
12+
12+

1 просмотр

3 дня назад

В мае 2025-го NVIDIA замерила больше 1000 токенов в секунду на пользователя на 400-миллиардной Llama 4 Maverick — в 4 раза быстрее прошлого результата, на том же железе и без новой модели; скорость подтвердила независимая проверка Artificial Analysis. Разберём механику спекулятивного декодирования: как драфтер пишет черновик, а большая модель проверяет его одним прогоном через modified rejection sampling, чем Medusa, EAGLE-3 и MTP DeepSeek отличаются друг от друга, что умеют Predicted Outputs у OpenAI — и почему в большом батче весь трюк выключают. Разбор по первоисточникам: arXiv, model cards, официальные блоги и changelog'и — ссылки в research-заметках. Главы: 0:00 — Рекорд без новой модели 0:38 — Почему LLM печатает медленно 1:41 — Стажёр и ревизор 3:24 — Зоопарк драфтеров 5:28 — Цифры и три яруса 6:41 — Где ломается 7:43 — Финал — драфтер без последовательности 📚 Источники · Fast Inference from Transformers via Speculative Decoding (2022) · Draft & Verify: Lossless Large Language Model Acceleration via Self-Speculative Decoding (2023) · Accelerating Large Language Model Decoding with Speculative Sampling (2023) · Beyond the Point Mass: Acceptance-Derived Weights and Distributional Losses for Speculative Decoding (2026) · Blockwise Parallel Decoding for Deep Autoregressive Models (2018) · Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads (2024) · EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty (2024) · EAGLE-3: Scaling up Inference Acceleration of Large Language Models via Training-Time Test (2025) · DeepSeek-V3 Technical Report (2024) · Blackwell Breaks the 1,000 TPS/User Barrier With Meta's Llama 4 Maverick (2025) · OpenAI API docs — Predicted Outputs (2024) · vLLM docs — Speculative Decoding (2025) · Parallel All the Way Down: Beyond Single-Token Generation with Speculative Decoding (2026) · SpecForge v0.3.0: Unified Speculative Decoding Stack (2026) · DFlash: Block Diffusion for Flash Speculative Decoding (2026) · How we trained the fastest DSpark for Kimi-K3 using GB300 NVL72 (2026) · Benchmarking Speculative Decoding in Production Serving (vLLM) (2026) · An Interpretable Latency Model for Speculative Decoding in LLM Serving (2026) · Nightjar: Dynamic Adaptive Speculative Decoding for LLM Serving (2025) · vLLM issue #49548 — dynamic speculative decoding throughput collapse (2026) · New OpenAI feature: Predicted Outputs (2024) #спекулятивноедекодирование #speculativedecoding #инференс #nvidia #eagle

Название:

Спекулятивное декодирование: как драфт-модель ускоряет LLM

Категория:

Разное