Ультрамерное внимание на основе иерархической древовидной индексации

12+
12+

2 дня назад

ПожаловатьсяНарушение авторских прав
12+
12+

2 дня назад

ПожаловатьсяНарушение авторских прав
12+
12+

2 дня назад

Мы представляем метод иерархического внимания Zyphra (ZHA) для преодоления узкого места в обработке длинного контекста в больших языковых моделях. Для решения проблемы квадратичной вычислительной стоимости традиционного механизма внимания, ZHA рекурсивно сжимает кэши ключ-значение, используя иерархическую древовидную структуру индекса, и выполняет разреженное внимание, зависящее от запроса. Согласно источнику, даже при коротком обучении методом дистилляции KL, состоящем всего из 1 миллиарда токенов, он может поддерживать производительность существующих предварительно обученных моделей практически без потерь. Кроме того, этот метод демонстрирует превосходную производительность и эффективность по сравнению с традиционным плотным вниманием или разреженным вниманием с фиксированным бюджетом в задачах математического анализа, кодирования и поиска длинных документов. Результаты теоретического моделирования производительности показывают, что ZHA достигает почти субквадратичного масштабирования, когда длина контекста превышает один миллион токенов, демонстрируя отличную масштабируемость. https://arxiv.org/pdf/2610.42112

Название:

Ультрамерное внимание на основе иерархической древовидной индексации

Категория:

Разное