Рекомендательные системы (Product Recommendation Systems)
Когда ассортимент состоит из сотен, тысяч или миллионов позиций, задача бизнеса уже не только в том, чтобы предоставить клиенту выбор. Не менее важно помочь ему найти среди этого выбора именно то, что подходит ему сейчас. Эту задачу решают рекомендательные системы — Product Recommendation Systems.
Они анализируют предыдущие действия клиента, поведение похожих людей, характеристики товаров и контекст взаимодействия, чтобы определить, какие товары, услуги или предложения стоит показать конкретному человеку.

При этом слово «товар» здесь условно. Рекомендовать можно одежду, продукты питания и электронику, но тем же классом алгоритмов можно выбирать фильм, ресторан, отель, банковский продукт, страховой тариф, образовательный курс или следующую услугу.

Именно поэтому recommender systems давно вышли за пределы классического e-commerce и стали одной из базовых технологий персонализации цифрового бизнеса.

Классическая академическая классификация выделяет три основных семейства рекомендательных подходов: content-based, collaborative и hybrid recommendations. За два десятилетия поверх них появились embeddings, neural networks, sequential models, graph models, multimodal и foundation-model architectures, однако базовый принцип остался тем же: найти для конкретного клиента наиболее релевантный объект среди большого количества вариантов.
Что такое товарные рекомендации
В простейшей форме задача рекомендательной системы выглядит так:
из всего доступного ассортимента выбрать несколько объектов, которые с наибольшей вероятностью окажутся полезными конкретному клиенту.

Например, клиент купил кофемашину. Система может рекомендовать совместимые капсулы и средство для очистки.
Покупатель fashion-магазина несколько раз смотрел минималистичные вещи нейтральных цветов. Система может подобрать одежду со схожими визуальными и текстовыми характеристиками.

Клиент продуктового ритейлера каждые три недели покупает корм для питомца. Система может заранее вернуть этот товар в персональный блок или следующую корзину.
Пользователь стримингового сервиса посмотрел несколько скандинавских криминальных сериалов. Здесь «товаром» становится следующий фильм или сериал.

Клиент банка регулярно путешествует. Объектом рекомендации может стать не SKU, а премиальная карта со страховкой и lounge-доступом.

Поэтому более точное определение технологии звучит так:
Recommendation System — система, которая ранжирует множество доступных объектов по предполагаемой полезности или вероятности отклика конкретного пользователя.

А объектом рекомендации может выступать практически всё, между чем клиенту приходится выбирать.
Зачем рекомендательные системы бизнесу
Главная задача recommendation engine — не просто показать клиенту «интересные товары». Система должна изменить его поведение таким образом, чтобы одновременно улучшился клиентский опыт и выросла экономическая ценность взаимодействия.

  • Для e-commerce это чаще всего означает рост вероятности перехода в карточку товара, добавления товара в корзину и покупки.
  • Для retail — увеличение среднего количества позиций в чеке, cross-sell и повторных покупок.
  • Для subscription-бизнеса — рост использования продукта и снижение churn. Для marketplace — повышение вероятности успешного мэтчинга спроса и предложения.
Коммерческая ценность рекомендателя обычно складывается из нескольких эффектов.
Бизнес-задача
Что меняет рекомендательная система
Conversion Rate
Помогает быстрее найти релевантный объект и снижает «стоимость выбора»
Average Order Value
Создаёт персональный cross-sell и upsell
Items per Order
Предлагает дополнения, комплекты и совместимые товары
Repeat Rate
Предсказывает повторную покупку и следующую корзину
Retention
Делает взаимодействие с продуктом более релевантным
LTV
Через рост частоты, retention и среднего дохода увеличивает ценность клиента
Long-tail sales
Даёт шанс быть найденными товарам за пределами самых популярных позиций
Customer Experience
Сокращает время поиска и информационную перегрузку
Важный эффект рекомендательных систем состоит именно в управлении long tail. Без персонализации большая часть клиентов видит одни и те же хиты. Персональный ranking позволяет распределять внимание по значительно большей части каталога.

Хорошая иллюстрация этого эффекта — Netflix. В опубликованном компанией исследовании 2015 года система рекомендаций влияла примерно на 80% часов просмотра. Авторы также связывали развитие персонализации со снижением churn на несколько процентных пунктов и оценивали совокупный экономический эффект персонализации и рекомендаций более чем в $1 млрд в год. Это собственная оценка Netflix, а не независимый аудит, но она хорошо показывает масштаб роли recommender system в subscription-бизнесе.

[Исследование Netflix: Gomez-Uribe & Hunt, 2015] The Netflix Recommender System: Algorithms, Business Value, and Innovation
Как работает на базовом уровне
Корректно интегрированные данные (в облачную базу) открывают возможности для прогнозного моделирования и способны предсказывать практически любое действие клиента (покупку товара/категории, открытие электронной почты, отписку, отклик на промо предложение и т. д.).

После того, как прогноз готов, каждому из клиентов присваивается разная вероятность совершения определенных действий. Затем прогностическая модель выводится в продакшн. Это означает, что она корректирует значение прогноза в режиме реального времени по мере записи новых данных о клиенте.

В результате значение прогноза, хранящееся в едином едином представлении клиента, всегда актуально и передается обратно в CDP/CRM для запуска/обновления характеристик тригерных механик.
Интегрирование всех источников данных в единую БД
Подготовка модели данных (витрина) с перебором атрибутов
Создание моделей Next Best Offer (NBO): time, day, channel, promo, dicsount итд
Верификация качества на АБ тестах, анализ метрик качества, добор данных
Вывод в продакшн лучших конфигураций моделей для real-time обсчета
1
2
3
4
5
Примеры использования моделей персонализации
Сценариев использования NBO моделей на практике может быть бесконечно много. Обзорно, рассмотрим самые простые:

  1. Розничная торговля: потребитель покупает очиститель воздуха, а затем ему показывают рекламу сменных фильтров, совместимых с той моделью, которую он только что купил. Если они купят прямо сейчас, они получат скидку 50%. В конце концов им понадобятся фильтры, поэтому они пользуются скидкой.
  2. Телекоммуникации: после анализа использования данных клиентом оператор сотовой связи отправляет ему ограниченное по времени предложение для плана с большим объемом данных. Поскольку это помогает пользователю избежать платы за превышение объема данных, он соглашается.
  3. Мобильные устройства: анализ издателя мобильных игр показывает, что игроки, достигшие определенного уровня, с большей вероятностью совершат покупки в приложении, поэтому они предлагают пользователям, приближающимся к этому уровню, повышение. Игроки пользуются виртуальными наградами со значительной скидкой.

В общем виде, цель маркетинговых коммуникаций состоит в том, чтобы коммуницировать с клиентами с помощью максимально релевантных маркетинговых предложений.

И данная релевантность основывается на различных свойствах самой коммуникации.

Чрезвычайно важные свойства — это:
- насколько оно ожидаемо и соответствует текущим интересам (явным или латентным) определенного клиента;
- попадает в коридор его ценовых предпочтений;
- насколько точно оно рассчитано по времени;
- в каком канале происходит.

Для обеспечения максимального эффекта (конверсии), требуется оптимизировать все данные свойства.
Предельная персонализация - вот ультимативная суть современного маркетинга, в котором основное внимание уделяется превращению разовых покупателей в постоянных лояльных клиентов.
Андрей Муратов, Управляющий партнер Coffee Analytics
Как создаются простые модели персонализации
Одним из базовых вариантов создания модели является метод коллаборативной фильтрации, центральным объектом которой является покупки клиента. Собранные данные о его покупательском поведении сравниваются с аналогичными всех других клиентов в базе компании для определения наиболее близких по профилю (вектору) их них.

После их нахождения, за счет близости таких профилей, продуктовые предложения и характеристики коммуникаций, приведшие в прошлом к покупкам будут высоковероятно успешными для использования другим близким клиентам.

Чаще всего данным методом определяются именно товарные рекомендации.
Отметим, в академических исследованиях, Динг и Ли заметили, что методы коллаборативной фильтрации не чувствительны к изменениям покупательских интересов пользователей с течением времени [1].

Они предположили, что любой продукт или элемент, который недавно был оценен пользователем, должен иметь большее влияние на предсказание будущего поведения конкретного пользователя по сравнению с элементом, который был оценен тем же пользователем давным-давно.

Был предложен алгоритм для вычисления временных весов для различных продуктов/предметов, оцененных пользователем, таким образом, который присваивает старым данным уменьшающийся вес, тем самым вводя персонализированный коэффициент снижения интереса.

[1] Ding, Y., & Li, X. (2005). Time weight collaborative filtering. In Proceedings of the 14th ACM international conference on Information and knowledge management (pp. 485-492)
Корен отмечал, что склонности и вкусы клиентов меняются и что для повышения точности рекомендателей необходимо фиксировать временные паттерны в поведении пользователей [2]. Однако он утверждал, что классические подходы временного окна или затухания экземпляра ограничены, поскольку они теряют слишком много сигнала при отбрасывании экземпляров данных. Он предложил более чувствительную модель, которая может лучше различать временные эффекты и долгосрочные закономерности в интересах клиентов, и оценил модель на большом наборе данных о рейтингах фильмов от Netflix, показав повышенную точность прогнозов.

[2] Koren, Y. (2009). Collaborative filtering with temporal dynamics. In
Proceedings of the 15th ACM SIGKDD international conference on
Knowledge discovery and data mining (pp. 447-456)

Baltrunas и Amatriain представили рекомендательную систему с учетом времени, цель которой точно предсказать музыкальные вкусы пользователя с учетом времени дня, недели или года [3]. Их подход предполагает, что пользовательские предпочтения меняются со временем, но повторяются во времени. Основная идея подхода состоит в том, чтобы разделить профиль пользователя на более мелкие, зависящие от времени профили и использовать эти микропрофили для задачи прогнозирования вместо одного профиля.

[3] Baltrunas, L., & Amatriain, X. (2009). Towards time-dependant recommendation based on implicit feedback. In Workshop on context-aware recommender systems (CARS'09) (pp. 25-30).
Продвинутые NBO модели (ecom кейс ASOS)
Данный кейс был опубликован в ноябре 2020 года в International Journal of Advanced Computer Science and Applications (IJACSA) и акцентирует внимание на NBO моделях в категории потребительских товаров.

Исследование посвящено проблеме автоматического выбора оптимальной даты и времени для отправки персонализированных маркетинговых сообщений. Особое внимание уделено продуктовым категориям с регулярным потреблением.

Цель состоит своевременном предсказании потребностей потребителя, чтобы повысить уровень их вовлеченности и скорость, с которой они выкупают продукты. Предлагаемое решение основано на регрессионной XGBoost модели, обученной на транзакционных данных и метаданных обмена мгновенными сообщениями.

Предоставлены результаты пилотной оценки, которые показывает значительное (х3) повышение эффективности маркетинга.
Персонализированный подход привел к значительному увеличению количества взаимодействий с клиентами и конверсий в течение 1, 2, 12 и 24 часов после отправки напоминания. Заметно увеличилась доля клиентов, которые взаимодействовали с сообщением после его получения (до 17,5% выше), а также увеличилась доля клиентов, совершивших операцию обратной покупки (до 12,5% выше).
Как работает ансамбль моделей персонализации
Как видно из предыдущего кейса, разработчики NBO моделей и исследователи сталкиваются со сложностями, преодолевать которые позволяет ансамбль связанных моделей. Те результаты одной используются в расчетах другой.

Схематично они связаны следующим образом:

Компания, создающая сразу весь ансамбль моделей, выигрывает и в качестве совокупного результата и скорости разработки.
Сравнение с решениями "из коробки"
В СНГ несколько вендоров предлагают решения из "коробки" в упаковке Next best offer, например Mindbox, Retail Rocket, Exponea. Для получения быстрого аплифт эффекта и подтверждения гипотез они будут крайне полезны, особенно в случае тематической однородности ассортимента магазина.

Важно учитывать, какие параметры оптимизируют решения вендоров. Например, в Mindbox под NBO будет определять оптимальный день отправки сообщения.

Кейсы на эту тему:
- Старая Ферма (рост конверсии)
- Петрович* (увеличить возврат клиентов)
- Book24 (сократить кол-во отписок)

* сейчас работает два отдельных модуля: первый определяет день, второй - время отправки.

Стандартные решения от Retail Rocket и Exponea также несколько ограничены в возможностях, так как тренировка таких моделей опирается на ограниченный набор данных, транзакционные и часть поведенческих.

Тем не менее, уже с ними можно ожидать значимого роста ключевых операционных метрик, как в примере Старой Фермы.
    Из зарубежных вендоров, активных в РФ и имеющих интеграции с ключевыми CDP/CRM/CMS системами, можно выделить:
    - Dynamic Yield
    - Insider
    - Wappier
    Как можно сравнить качество моделей
    Выбрать лучшее решение на рынке или собственного производства помогут несколько методов.

    • Провести АБ тесты (группе А отправляются сообщения по рекомендации модели вендора А1, группе Б - от модели вендора Б1, итд);
    • Рассмотреть базовые метрики качества, те оценить в какой проценте случаев модели ошибаются (к таким часто относятся Precision, Recall, Accuracy, ROC AUC, R2 и др в зависимости от примененного метода)

    Выгоды построения и внедрения кастомных Next Best Offer (NBO) моделей:
    • повышение конверсии в покупку через директ каналы и их оптимальное сочетание
    • рост ключевых тактических метрик (OR, CTR, CR) для каждого директа канала
    • увеличение retention и
      рост LTV клиента
    • снижение оттока (churn) и отписок (UR)
    Остались вопросы по NBO моделям?
    Проконсультируем за чашечкой кофе
    Ищете решение
    сложной задачи на доступных данных?
    Нажимая кнопку "Отправить заявку" вы принимаете политику обработки персональных данных сайта
    Задать вопрос
    Telegram
    Phone
    WhatsApp