Приёмка ИИ-фич: как тестировать то, что каждый раз отвечает по-разному

196 подписчиков

12+
12+

21 час назад

ПожаловатьсяНарушение авторских прав

196 подписчиков

12+
12+

21 час назад

ПожаловатьсяНарушение авторских прав
12+
12+

21 час назад

У LLM-фичи нет одного ожидаемого результата: на тот же запрос ответ каждый раз другой, и сравнение со строкой не работает. Разберём, как задать критерии приёмки для недетерминированного ответа, чем мерить качество и как ловить деградацию раньше пользователя. Содержание: - Почему обычный тест-кейс ломается на недетерминизме - Критерии приёмки: от точного ответа к проверяемым свойствам - Мониторинг деградации: golden dataset и LLM-as-Judge После урока смогут: - Формулировать критерии приёмки для ответа ИИ-фичи - Собирать golden dataset и гонять на нём регрессию - Отличать галлюцинацию от допустимого разброса ответов Кому будет интересно: - QA-инженерам, в чей продукт уже приехала ИИ-фича - Тест-лидам, которым нужно защитить критерии качества перед бизнесом - Аналитикам и разработчикам, отвечающим за приёмку ИИ-функциональности «ИИ в тестировании: ускорение процессов и проверка ИИ-функций» - https://otus.pw/Rxkf/ Преподаватель: Дмитрий Золотов - Flutter+Kotlin Developer в Yandex Пройдите опрос по итогам мероприятия - https://otus.pw/ewiN/ Следите за новостями проекта: → Хабр: https://otus.pw/S0nM/ → Макс: https://otus.pw/wVga/

Название:

Приёмка ИИ-фич: как тестировать то, что каждый раз отвечает по-разному

Категория:

Разное