Nemotron Bolt 74B-A9B от NVIDIA: 2 бита

12+
12+

13 часов назад

ПожаловатьсяНарушение авторских прав
12+
12+

13 часов назад

ПожаловатьсяНарушение авторских прав
12+
12+

13 часов назад

В этом видео я рассматриваю новую модель и набор методов, которые NVIDIA использовала для того, чтобы эта 2-битная модель показала результаты намного лучше, чем ожидалось. Отчет об исследовании: https://research.nvidia.com/labs/nemotron/Nemotron-3.5-Bolt-24GB/ HF: https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB ParetoQ: https://arxiv.org/pdf/2502.02631 Второй канал: https://www.youtube.com/channel/UCUF7WtR4JpVbQqcQGrLeADw 🕵️ Интересуетесь созданием LLM-агентов? Заполните форму ниже Форма для создания агентов LLM: https://drp.li/dIMes 👨💻Github: https://github.com/samwit/llm-tutorials ⏱️Временные метки: 0:00 Вступление 0:14 Секретная 2-битная модель Microsoft 1:02 Nemotron 3.5 Bolt 74B-A9B 1:54 Почему важен рецепт 3:00 Как работает обычное квантование 3:43 Почему переход ниже 4 бит приводит к сбоям 4:38 ParetoQ 5:31 Почему важен 2-битный код 7:04 Смешанная точность 8:02 Этап 1: Отсечение 9:23 Этап 2: После обучения 9:40 Этап 3: Обучение с учетом квантования 11:48 Особенность NVIDIA: QAD 14:29 Демонстрация на ZGX Fury 16:00 Тест Pelican SVG 17:55 Тесты вызова инструментов Agentic 19:42 Тесты параллельного выполнения 20:47 Для какого оборудования предназначен Bolt 22:04 Заключение

Название:

Nemotron Bolt 74B-A9B от NVIDIA: 2 бита

Категория:

Разное