Латентная диффузия простыми словами: что лежит в основе Stable Diffusion | Генеративный ИИ 37

12+
12+

2 дня назад

ПожаловатьсяНарушение авторских прав
12+
12+

2 дня назад

ПожаловатьсяНарушение авторских прав
12+
12+

2 дня назад

Модель диффузии в пиксельном пространстве выполняет тысячу проходов по 786 432 числам для одного изображения размером 512×512 пикселей, в основном на текстуре, которую едва видно. Скрытая диффузия, идея, лежащая в основе стабильной диффузии, происходит в небольшом сжатом пространстве и декодируется один раз. В этом видео демонстрируется двухэтапный алгоритм, запускается он на тестовом примере, где имеет значение только одно число, и вычисляется экономия для реальных изображений. Что вы сможете сделать после просмотра: • Увидеть, почему диффузия в пиксельном пространстве обходится дорого: 1000 проходов сети по 786 432 числам для одного изображения 512×512 • Понять двухэтапный алгоритм: сначала обучить кодировщик E_φ и декодер D_θ (например, VQ-VAE), затем обучить DDPM на латентах z₀ = E_φ*(x₀) • Проработать 2D-модель вручную: данные на линии, 1D-латент z = x·u с u = (1, 2)/√5, диффузия в 1D, обратное декодирование (z = 2,236 ↔ (1, 2); z = −1 → (−0,447, −0,894)) • Сгенерировать: обратная диффузия в латентном пространстве дает z_novel, затем x_novel = D_θ*(z_novel) • Подсчитайте экономию: изображение размером 64×64×4 содержит в 48 раз меньше чисел и в 64 раза меньше пространственных позиций, чем изображение размером 512×512×3 Разделы 0:00 Зачем рассеивать каждый пиксель? 0:38 Что вам нужно: автокодировщики и диффузия 1:15 Двухэтапный рецепт 2:10 Игрушка, которой можно следовать 3:50 Сколько это экономит 4:41 Итоги Чтобы увидеть диффузию, сэмплированную за гораздо меньшее количество шагов, посмотрите видео о DDIM. #ГенеративныйИИ #СтабильнаяДиффузия #ЛатентнаяДиффузия #ДиффузионныеМодели #ГлубокоеОбучение ▶ Полный плейлист курса: https://www.youtube.com/playlist?list=PLWgwObe1CVMU 🔔 Подпишитесь здесь: https://www.youtube.com/@myowncampus 📬 Свяжитесь с нами Электронная почта: Rishu24oct@gmail.com 📱 Следите за нами в социальных сетях LinkedIn: https://www.linkedin.com/in/rishurajgautam

Название:

Латентная диффузия простыми словами: что лежит в основе Stable Diffusion | Генеративный ИИ 37

Категория:

Разное