Цикл лекций TUM AI — Приключение 3D Gaussian Splatting: прошлое, настоящее, будущее (Джордж Дретт...

12+
12+

3 дня назад

ПожаловатьсяНарушение авторских прав
12+
12+

3 дня назад

ПожаловатьсяНарушение авторских прав
12+
12+

3 дня назад

Аннотация: Нейронный рендеринг в последние годы развивается с невероятной скоростью, особенно с появлением нейронных полей излучения (NeRF), обычно основанных на объемном трассировании лучей. В прошлом году наша группа разработала альтернативный подход, 3D-гауссовское сплэттинг, который демонстрирует лучшие показатели по обучению, скорости отображения и визуальному качеству и получил широкое распространение как в академической среде, так и в промышленности. В этом докладе мы опишем более чем 20-летний процесс, приведший к разработке этого метода, и обсудим некоторые будущие направления. Мы начнем с краткого исторического обзора нашей работы над рендерингом на основе изображений и нейронным рендерингом за эти годы, описав несколько разработок, которые направляли наше мышление на протяжении многих лет. Затем мы обсудим последовательность из трех методов растеризации на основе точек для синтеза новых видов — разработанных в контексте докторской диссертации Г. Копанаса и гранта ERC Advanced Grant FUNGRAPH — которые завершились созданием 3D-гауссова сплэттинга. Мы подчеркнем, как мы постепенно преодолевали трудности по мере развития исследований. Сначала мы обсудим дифференцируемое точечное сплэттинг и то, как мы расширили его в нашем первом подходе, который улучшает точки с помощью нейронных признаков, оптимизируя геометрию для исправления ошибок реконструкции. Мы кратко рассмотрим наш второй метод, который обрабатывает сильно отражающие объекты, где мы используем многослойные перцептроны (MLP) для изучения движения отражений и выполнения окончательного рендеринга захваченных сцен. Затем мы обсудим 3D гауссовское сплэттинг, которое обеспечивает высококачественный рендеринг в реальном времени для синтеза новых видов с использованием нового 3D представления сцены на основе 3D гауссовых функций и быстрой растеризации на графическом процессоре, и представим некоторые недавние улучшения. В заключение мы обсудим будущие направления развития 3D гауссового сплэттинга с примерами из недавних работ.

Название:

Цикл лекций TUM AI — Приключение 3D Gaussian Splatting: прошлое, настоящее, будущее (Джордж Дретт...

Категория:

Разное