«Многорукий бандит» вместо A/B — Кирилл Фейн, hh.ru

Баннер с подборкой онлайн-курсов — один из главных входов в карьерные сервисы hh, и продукт регулярно тестирует на нём новые актуальные посылы для клиентов. Проверка каждого посыла через классический A/B-тест стала забирать слишком много ресурсов, при этом по итогам месяца эффект был близок к нулю. Но мы нашли решение этой проблемы. В докладе расскажу, как аналитики hh заменили цикл A/B-тестов «многоруким бандитом»: он сам перераспределяет показы между вариантами баннера и оптимизирует переходы на курс. Покажу, как требования бизнеса превратились в конкретные настройки алгоритма, и разберу контрольный A/B-тест «бандит против ручной раскатки каждого варианта» — и что он показал на реальных данных. В конце поговорим о граблях, на которые мы наступили, чтобы вам их избежать.