Ультрамерное внимание на основе иерархической древовидной индексации
Мы представляем метод иерархического внимания Zyphra (ZHA) для преодоления узкого места в обработке длинного контекста в больших языковых моделях. Для решения проблемы квадратичной вычислительной стоимости традиционного механизма внимания, ZHA рекурсивно сжимает кэши ключ-значение, используя иерархическую древовидную структуру индекса, и выполняет разреженное внимание, зависящее от запроса. Согласно источнику, даже при коротком обучении методом дистилляции KL, состоящем всего из 1 миллиарда токенов, он может поддерживать производительность существующих предварительно обученных моделей практически без потерь. Кроме того, этот метод демонстрирует превосходную производительность и эффективность по сравнению с традиционным плотным вниманием или разреженным вниманием с фиксированным бюджетом в задачах математического анализа, кодирования и поиска длинных документов. Результаты теоретического моделирования производительности показывают, что ZHA достигает почти субквадратичного масштабирования, когда длина контекста превышает один миллион токенов, демонстрируя отличную масштабируемость. https://arxiv.org/pdf/2610.42112
Название:
Ультрамерное внимание на основе иерархической древовидной индексации
Категория:
Разное