Как данные превращаются в деньги: от АБ-тестов до причинно-следственных связей

В 2025 году число компаний, регулярно проводящих АБ-тестирование, выросло на 40%. Это не случайность: продвинутое тестирование позволяет увеличивать средний доход на пользователя до 20% и ускорять внедрение изменений на 30%.

Фото: из личного архива Ивана Китова is licensed under Pravda.Ru

Иван Китов, Senior Data Scientist в Wolt

Иван Китов, Senior Data Scientist в Wolt, подтверждает эту статистику реальными результатами: в Drops он увеличил доход на пользователя на 20% и остановил падение выручки после пандемии, в Prisma Labs сократил время экспериментов на 30%, а в Яндексе помог подразделению выйти на миллиард рублей выручки.

Мы поговорили с Иваном о том, как данные превращаются в деньги, почему компании до сих пор боятся сложных методов аналитики и как причинно-следственные связи меняют подход к экспериментированию.

— Иван, вы работаете на стыке продукта, аналитики и машинного обучения. Расскажите, в чем специфика такой роли и почему она редкая?

— Я бы описал свою роль как связующее звено между бизнесом и данными. Моя задача найти закономерности, понять, почему они возникают и с какой вероятностью действительно существуют. По сути, это многоступенчатая работа.

Сначала нужно глубоко разобраться в продукте: что именно мы хотим изменить и какая метрика на самом деле отражает успех, затем включается аналитика и эконометрика и уже на финальном этапе подключаются машинное обучение и дата-инжиниринг.

Такая комбинация редкая, потому что обычно специалисты фокусируются на чём-то одном. Продукт формулирует запросы, аналитика интерпретирует данные, ML-модели делают прогнозы. Часто эти три направления живут отдельно и даже тянут в разные стороны.

— Вы начинали карьеру в маркетинговом агентстве MGCom в 2015 году, занимались оптимизацией рекламы и АБ-тестами. Как этот опыт повлиял на ваш подход к анализу данных? Что вы узнали тогда, что применяете до сих пор?

— Это был очень интенсивный старт. В маркетинге довольно быстро понимаешь две вещи:

• во-первых, без данных решения просто не работают,
• во-вторых, красивый рост часто существует только на слайдах и разваливается при более внимательном анализе.

Тогда же я начал постоянно задавать себе вопрос: что здесь является причиной, а что — просто совпадением? Например, рост метрик может быть связан не с нашим изменением, а с сезонностью, каналом трафика или тем, что в продукт пришла другая аудитория.

Позже, уже в стартапах и крупных компаниях, это оформилось в мой ключевой навык — умение строить мост между экспериментами, причинно-следственным анализом и продуктовым решением.

— В Яндексе ваше подразделение вышло на миллиард рублей выручки. Какую роль в этом сыграли данные? Какие конкретные решения, основанные на аналитике, дали наибольший результат?

— В Яндексе я работал над монетизацией геосервисов. Выручка там напрямую зависит от того, насколько точно мы понимаем ценность рекламного размещения в конкретной локации и для конкретного бизнеса, который часто вообще работает в офлайне.

Мои ключевые задачи можно описать так:

• Перевести табличные показатели в алгоритмы.
  Я занимался тем, чтобы заменить этот подход на алгоритмическое ценообразование, которое учитывает контекст: локацию, уровень конкуренции, особенности рекламодателя и вовлечённость аудитории.
• Построить модель, близкую к реальной ценности.
  Цель была не просто назначать цену, а делать это максимально близко к той ценности, которую реклама реально приносит бизнесу, а не к усреднённой оценке.
• Корректно измерять эффект.
  Я использовал причинно-следственные методы в ситуациях, где классический A/B-тест либо невозможен, либо даёт искажённые результаты из-за сетевых эффектов.
• Сделать модель управляемой и объяснимой.
  Важно было не просто построить "умную" модель, а такую, поведение которой можно объяснить бизнесу: почему она меняет цену и какие факторы на это влияют.
• Связать модель с юнит-экономикой.
  Целевым показателем было выстроить такое ценообразование, при котором рекламодатель оставался доволен результатом своих вложений.

— В Prisma Labs вы построили систему предсказания LTV (lifetime value) для маркетингового трафика. Как это работает на практике? Как понять, сколько будет стоить пользователь, который только что установил приложение?

— Идея LTV-модели в том, чтобы понять качество пользователя раньше, чем он успеет прожить в продукте месяцы.

Если упростить, логика работы системы выглядит так:

Пользователь устанавливает приложение

↓

Контекст привлечения (канал, кампания, страна)

+

Раннее поведение в продукте (первые события, вовлечённость)

↓

LTV-модель

↓

Прогноз выручки на 90 дней

↓

Решение: масштабируем канал / ограничиваем бюджет / меняем цену или сегмент

В Prisma Labs это позволило одновременно снизить затраты на привлечение и увеличить общую доходность — за счёт работы с ценами, сегментами и отказа от оптимизации одного-единственного рычага.

— Там же вы создали систему АБ-тестирования, которая сократила среднее время эксперимента на 30%. В чем была проблема до вашего решения, и как вам удалось ускорить процесс?

— Проблема была довольно базовой и, к сожалению, до сих пор распространённой. Использовался стандартный набор инструментов — t-тесты, тесты пропорций, — но при этом сами гипотезы часто были сформулированы слишком размыто.

Я начал с того, что выстроил пайплайн, в котором гипотезы проходили предварительную фильтрацию ещё на уровне продактов. Ключевым требованием стал MDE — минимальный эффект, который мы ожидаем увидеть от изменения.

Дальше ускорение происходило за счёт комбинации методологии и процесса, в итоге эксперименты стали не только быстрее, но и более управляемыми: команда лучше понимала, зачем запускается тест, когда его стоит останавливать и как использовать результат в продукте.

— В Drops вы увеличили ARPU (средний доход на пользователя) на 20%. За счет чего? Какие методы анализа данных помогли найти точки роста?

— Если говорить по шагам, то работа выглядела так:

• Аудит текущей ценовой модели.
  Когда я присоединился к Drops, во всех странах использовалась одна и та же цена подписки — по сути, адаптированная под крупнейшие рынки, в первую очередь США. При этом в большинстве стран пользователи просто не были готовы платить такую сумму за изучение языка в приложении.
• Построение базовой LTV-модели.
  Я начал с простой, но устойчивой модели предсказания двухлетнего LTV для всех типов подписок. Это позволило понять реальное базовое состояние продукта и задать отправную точку для дальнейших решений.
• Эксперимент с ценами на глобальном масштабе.
  Далее был задизайнен эксперимент с несколькими уровнями цен, который раскатывался сразу на все страны. Цель — собрать данные об эластичности спроса на подписки в разных регионах.
• Причинно-следственный анализ ценовой чувствительности.
  На основе собранных данных мы провели причинно-следственное исследование, используя комбинацию методов вроде difference-in-differences и propensity score matching. Это позволило отделить эффект цены от фоновых факторов.
• Формирование ценовых сегментов.
  В результате удалось выделить четыре ценовых сегмента стран, которые были применены глобально. Это не только дало рост ARPU примерно на 20%, но и помогло выйти из просадки прибыли после ковида.

— Какой совет вы бы дали компаниям, которые хотят перейти к решениям, основанным на данных? С чего начать?

— Я бы начал не с инструментов и не с найма, а с самой базы:

1. Договориться, какие решения вы хотите принимать на данных. Например: мы хотим понять, какие скидки выдавать и как они влияют на нашу компанию.
2. Привести в порядок метрики и определения
3. Построить короткий цикл проверки гипотез

Дальше уже имеет смысл масштабироваться, стандартизировать эксперименты, автоматизировать сбор данных, инвестировать в качество, и только потом усложнять модели.