В докладе рассматриваются сходимость градиентных методов при наличии относительной неточности в градиенте, актуальная для задач машинного обучения. Анализируются классический градиентный спуск и ускоренный метод Нестерова, показывающий оптимальную сходимость. Обсуждается, что при относительной ошибке градиента (меньше 1) методы сохраняют работоспособность, но для ускоренных методов возникает критический порог (альфа < 2/3), после которого сходимость ухудшается. Результаты показывают, что относительный шум в градиенте существенно влияет на эффективность ускоренных методов оптимизации в ИИ.
