Внутренняя размерность текстовых эмбеддингов LLM

137 подписчиков

12+
12+

день назад

ПожаловатьсяНарушение авторских прав

137 подписчиков

12+
12+

день назад

ПожаловатьсяНарушение авторских прав
12+
12+

день назад

В этом выпуске обзора исследований в области ИИ Алекс обсуждает статью: «Раскрытие внутренней размерности текстов: от академического реферата до креативной истории». Авторы изучают, что внутренняя размерность (ВР) текстовых вложений раскрывает о сложности текста, стиле и жанре в современных больших языковых моделях. Они сравнивают несколько оценок ВР на вложениях последнего слоя из таких моделей, как GEMMA-2, QWEN и RoBERTa, на большом наборе текстовых данных и показывают, что ВР ведет себя иначе, чем метрики, основанные на прогнозировании, такие как энтропия. Связывая ВР с лингвистической диагностикой и разреженными признаками автокодировщика, они определяют интерпретируемые направления в пространстве активации и проверяют их причинно-следственно с помощью вмешательств в скрытые состояния. В статье также исследуется, как жанр, температура выборки и целевые текстовые возмущения систематически влияют на ВР. Авторы изучают, что внутренняя размерность (ВР) текстовых вложений раскрывает о сложности текста, стиле и жанре, а также о целенаправленных текстовых возмущениях. Ссылка на статью: https://arxiv.org/abs/2511.15210 #AI #МашинноеОбучение #ГлубокоеОбучение #ЯзыковыеМодели #Эмбеддинги #NLP #ВнутреннееИзмерение

Название:

Внутренняя размерность текстовых эмбеддингов LLM

Категория:

Разное