Формула доверия: аналитические доверительные интервалы для Ratio- и Uplift-метрик / Диля Хакимова
Диля Хакимова, ХХ в Яндексе, прочитала этот доклад на конференции AHA!25. Диля Хакимова поделилась полным практическим гайдом аналитических расчётов доверительных интервалов, в том числе для доверительного интервала uplift for ratios, который в явном виде она нигде не встречала. Вы узнаете, почему «серые» (незначимые) метрики нельзя игнорировать и как доверительные интервалы добавляют надёжности в анализ A/B-тестов. А ещё получите практическое руководство к расчёту доверительных интервалов для 4 кейсов — per-user-метрики (value): CI для средних (классика A/B-тестов), per-user-метрики (value): CI для процентного изменения средних, ratio-метрики: CI для отношений, ratio-метрики: CI для процентного изменения отношений (NEW). Этот метод расчёта доверительных интервалов легко интегрируется в классический пайплайн анализа A/B-тестов, так как формулы основаны на классических статистиках (с небольшой доработкой), которые и так считаются при анализе. Такой инструментарий позволит сделать процессы анализа прозрачнее, повысить доверие к результатам тестов со стороны коллег из бизнеса и менеджмента. #аналитика #ABтесты #доверительныйинтервал #uplift #Яндекс #YandexForAnalytics #статистика #метрики #dataanalysis #продуктоваяаналитика #CI #datadriven
Название:
Формула доверия: аналитические доверительные интервалы для Ratio- и Uplift-метрик / Диля Хакимова
Категория:
Разное