Улучшение прогнозов. Запуская рекламные кампании, менеджеры по маркетингу полагаются на свои личные знания и опыт. Однако при разработке прогностических моделей эффективность прогнозов возрастает. Это происходит потому, что все результаты основаны на добытых данных. Так, точность предсказаний значительно возрастает.

Увеличение ROI. Компании необходимо провести множество тестов, чтобы найти лучшие связки "продукт + его продвижение", приносящие наибольший доход. Хорошая модель проанализирует все прошлые условия совершившихся покупок и фактический LTV их покупателей. И таким образом даст маркетологам понимание оптимальных конфигураций РК на определенные сегменты клиентов в настоящем.

Экономия времени и бюджета. Все компании стремятся эффективно использовать свой бюджет. Модели вероятности перебирают множество тактик и молниеносно выбрать наиболее прибыльную из них для определенного клиента (или сегмента). Тестирование же реальных сценариев может потребовать много времени и денег.

Избежать ограничений. Иногда бизнес может столкнуться со многими проблемами, потому что запрещено проводить определенные эксперименты. Например, некоторые тесты запрещены, поскольку считаются неэтичными. В таком случае машинное обучение может анализировать поведение людей на основе предоставленных данных и строить прогностические модели.

Анализ оттока. Компании обращают пристальное внимание на показатели оттока, чтобы избежать потери доходов. Анализируя прогностическое поведение людей, компании получают полезную информацию. И определят факторы роста оттока клиентов для их корректировки.

Корректно интегрированные данные (в облачную базу) открывают возможности для прогнозного моделирования и способны предсказывать практически любое действие клиента (покупку товара/категории, открытие электронной почты, отписку, отклик на промо предложение и т. д.).

После того, как прогноз готов, каждому из клиентов присваивается разная вероятность совершения определенных действий. Затем прогностическая модель выводится в продакшн. Это означает, что она корректирует значение прогноза в режиме реального времени по мере записи новых данных о клиенте.

В результате значение прогноза, хранящееся в едином едином представлении клиента, всегда актуально и передается обратно в CDP/CRM для запуска/обновления характеристик тригерных механик.

Сценариев использования моделей на практике может быть много. Обзорно, рассмотрим самые простые:

1. Розничная торговля: потребитель покупает очиститель воздуха, а затем ему показывают рекламу сменных фильтров, совместимых с той моделью, которую он только что купил. Если они купят прямо сейчас, они получат скидку 50%. В конце концов им понадобятся фильтры, поэтому они пользуются скидкой.
2. Телекоммуникации: после анализа использования данных клиентом оператор сотовой связи отправляет ему ограниченное по времени предложение для плана с большим объемом данных. Поскольку это помогает пользователю избежать платы за превышение объема данных, он соглашается.
3. Мобильные устройства: анализ издателя мобильных игр показывает, что игроки, достигшие определенного уровня, с большей вероятностью совершат покупки в приложении, поэтому они предлагают пользователям, приближающимся к этому уровню, повышение. Игроки пользуются виртуальными наградами со значительной скидкой.

Компании часто адресуют несколько видов прогнозов для экономии ресурсов разработчиков. Так, для персонализации директ маркетинга разрабатываются Next best offer модели.

Они позволяют определить конфигурацию лучшего предложения на основе поведения и покупок клиентов.

Совместная работа над моделями позволяет исследователям преодолевать сложности в обработке данных и экономить время на подготовку предикторов (фичей). Помимо этого, результаты одних моделей могут использоваться в расчетах другой.

Ансамбль связанных моделей схематично может выглядеть следующим образом:

Компания, создающая сразу весь ансамбль моделей, выигрывает и в качестве совокупного результата и скорости разработки.

В СНГ несколько вендоров предлагают коробочные решения по прогнозу оттока и LTV, например Retail Rocket и Exponea. Для получения быстрого аплифт эффекта и подтверждения гипотез они будут крайне полезны, особенно в случае тематической однородности ассортимента магазина.

Стандартные решения от Retail Rocket и Exponea также несколько ограничены в возможностях, так как тренировка таких моделей опирается на ограниченный набор данных, транзакционные и часть поведенческих.

Из зарубежных вендоров, активных в РФ и имеющих интеграции с ключевыми CDP/CRM/CMS системами, можно выделить:
- Dynamic Yield
- Insider
- Wappier

Выбрать лучшее решение на рынке или собственного производства помогут несколько методов.

• Провести АБ тесты (группе А отправляются сообщения по рекомендации модели вендора А1, группе Б - от модели вендора Б1, итд);
  
• Рассмотреть базовые метрики качества, те оценить в какой проценте случаев модели ошибаются (к таким часто относятся Precision, Recall, Accuracy, ROC AUC, R2 и др в зависимости от примененного метода)

Целью проекта было повышение эффективности процесса взаимодействия с клиентами. Под эффективностью понималось отношение среднего дохода с продаж к средним затратам на взаимодействие с клиентом (в относительных единицах), те ROI.

Для достижения выбранной цели поставлены следующие задачи:

1. Увеличение конверсии потенциальных покупателей в сделки.
   
2. Разработка маркетинговой стратегии взаимодействия с клиентами на основе предсказанной вероятности покупки.

Модель разработана с использованием ручной выгрузки данных из системы Mindbox по датам первых действий пользователей.

Была разработанная система предикторов для опытной модели. Ее часть представлена в таблице.

Для оценки модели используются следующие метрики:

1. AUC (Area Under the Curve) ₋ площадь, ограниченная ROC-кривой (Receiver Operating Characteristic) и осью FPR (False Positive Rate).
   
2. Recall (True Positive Rate) ₋ доля истинно-положительных результатов классификации, характеризует способность алгоритма правильно определять целевой класс (чувствительность).
   
3. Precision (Positive Predictive Value) ₋ доля истинно- положительных результатов классификации в отношении общего количества предсказанных положительных результатов, характеризует точность предсказания
   

Показатели качества (метрики) модели:
AUC = 0,98,
Recall = 0,96,
Precision = 0,76.

Оптимальный порог по вероятности, обеспечивающий наилучшее соотношение Recall и FPR, составил 0.4726.

Суммируя, весь процесс работы можно представить в следующие этапы, работа над которыми может продолжаться по мере подключения в проект новых данных, проведения экспериментов, а также улучшения качества модели за счет объема и качества данных.

Для тестирования разработанной модели в отношении контрольной группы применяется механизм стимулирования спроса, основанный на экспертном опыте сотрудников компании заказчика и существующих механизмах BI, внедренных в бизнес-процесс;

в отношении тестовой ₋ механизм стимулирования спроса на основе предсказанной вероятности совершения сделки и разработанных рекомендаций по взаимодействию с сегментами клиентов.

Материалы для самостоятельного изучения
https://jelvix.com/blog/propensity-model
https://medium.com/artefact-engineering-and-data-s...
https://www.altexsoft.com/blog/propensity-model/

датасеты
https://www.kaggle.com/datasets/benpowis/customer-...
https://www.kaggle.com/code/benpowis/customer-prop...