Ясаман Бахри | О возникновении репрезентативной геометрии из статистики естественного языка
Семинар «Новые технологии в математике» 04.11.2026 Докладчик: Ясаман Бахри (Google DeepMind) Название: О возникновении репрезентативной геометрии из статистики естественного языка Аннотация: Большие языковые модели организуют свои внутренние представления в богатые геометрические структуры, которые отражают понятия естественного языка. Например, категориальные понятия часто отображаются в линейные направления, в то время как слова и фразы, имеющие понятие пространства или времени, описывают извилистые многообразия. Примечательно, что эти геометрии возникают в различных условиях, несмотря на различия в нейронной архитектуре и алгоритмах обучения. Более того, эта репрезентативная структура является ключом к пониманию того, как модели выполняют вычисления. Каково происхождение этой универсальной геометрии? Мы обращаемся к более простым языковым моделям — классическим методам векторного представления слов — чтобы пролить свет на этот вопрос. Мы разрабатываем теоретическую основу для статистики совместной встречаемости в естественном языке, предсказания которой демонстрируют поразительное соответствие с эмпирическими данными. Наша работа предоставляет единое объяснение предыдущих наблюдений репрезентативной геометрии и строгую основу для дальнейшего теоретического развития.
Название:
Ясаман Бахри | О возникновении репрезентативной геометрии из статистики естественного языка
Категория:
Разное