BabyTransformer CODL изучает латентные домены — Синь Бин (Университет Торонто)

Контекстные векторные представления на уровне токенов для текстовых корпусов теперь легко доступны как для естественного языка, так и для генетических последовательностей. Мы используем подход «сверху вниз» и представляем CODL, непрерывную тематическую модель, которая использует эти векторные представления для выявления скрытых областей, представленных в корпусе. Модель представляет собой очень большую $p$-смесь высокоразмерных гауссовых распределений, где сами веса смеси представляют собой смеси $K$ векторов вероятностей Softmax, поддерживаемых $p$ средними значениями гауссовых распределений. Мы разрабатываем стратегию подгонки, предназначенную для прямого теоретического анализа и интерпретации. Сначала, изучив множество скрытых средних значений гауссовых распределений из токенизированного корпуса, мы создаем специфический для корпуса словарь. Этот словарь формирует основу дискретного ансамбля $K$-смешанных распределений Softmax, атомы которого кодируют скрытые области корпуса в пространстве векторных представлений. Эти изученные скрытые атомы затем могут быть сопоставлены с естественным языком — с помощью специфического для корпуса словаря — что позволяет интерпретировать обнаружение тем. Мы предоставляем сквозные теоретические гарантии для окончательных оценок атомов на основе EM, подкрепленные эмпирическими доказательствами. [ИНФОРМАЦИЯ О МЕРОПРИЯТИИ И РЕСУРСЫ] Запись сделана в 2026 году в рамках тематической семестровой программы IVADO: «Статистические основы ИИ». 🔗 Узнайте больше о тематической программе: https://ivado.ca/en/thematic-programs/statistical-foundations-of-ai/