Всем привет, меня зовут Андрон, я CEO платформы для подготовки к собеседованиям IT Resume и образовательных симуляторов Simulative. Мы стараемся строить data-driven бизнес, т.е. принимать решения не «на ощупь», а на основании цифр. Однако я постоянно встречаюсь с ошибкой «поверхностных выводов». Ее допускают и члены моей команды, и я сам, и другие опытные предприниматели, и наши студенты, и вообще все. Это особенность работы мозга: он пытается минимизировать трудозатраты и побыстрей решить сложную задачку. Но такая ошибка может привести к сливу миллионов рублей, поэтому очень важно ее фиксировать и гнать в шею. Кстати, я веду канал в телеграме, где рассказываю про аналитику в бизнесе, маркетинге и вообще везде. Только мясной контент, никакой воды и продаж - подписывайся, будет интересно 🙂   Ошибка поверхностных выводов - это когда мы принимаем решение, т.к. оно кажется нам «очевидным». Но при дальнейшем исследовании выясняется, что мы совершили серьезную ошибку. Давайте приведу несколько показательных примеров. Все цифры и метрики изменены из соображений конфиденциальности, но отображают общую картину. Ситуация: Мы используем несколько маркетинговых воронок. Например, вебинарную и бесплатный курс. Вебинарную воронку мы продвигаем через посевы в Телеграме, и воронку бесплатного курса - через таргетированную рекламу. Начинается новый месяц и мы хотим вырасти х2 по выручке. Воронка бесплатного курса идет вяло (CR2 - 0.8%), а вот вебинары дают крутую конверсию (CR2 - 3.5%) - стоимость клиента составляет 10% от среднего чека. Поверхностный вывод: Увеличиваем рекламный бюджет на посевы в телеграме в 2 раза и за счет этого наша выручка вырастет вдвое. Реальность: Если разложить вебинарную воронку на холодных лидов (кто пришел с посевов) и теплых (наши подписчики), то мы увидим совсем другую картинку. CR2 с посевов всего 0.5%, это даже меньше бесплатного курса! То есть с первого касания люди покупают плохо - основная масса продаж происходить за счет наших подписчиков и людей, которые уже были на наших вебинарах. Последствия: При увеличении бюджета мы уйдем в убыток почти на всю сумму рекламного бюджета. Ситуация: У нас есть 3 вебинара, которые больше всего зашли аудитории. Мы хотим сделать автовебинарную воронку и запустить ее в таргетированную рекламу на холодный трафик. Давайте выберем, какой вебинар запускать: Расчет продуктовых метрик с помощью SQL (CR2 - 2.9%) Анализ рекламы в Pandas (CR2 - 3.6%) Разбор тестового задания в банк Открытие (CR2 - 4.5%) Поверхностный вывод: Конечно, разбор тестового в Открытие, т.к. у него самый высокий CR2. Реальность: Как и в предыдущем пункте, если разбить лидов на две группы, станет видно, что продаж с холодного трафика почти не было - все продажи были с теплой базы. В то же время первые два вебинара проводили только на холодную аудиторию и показали супер крутой результат по CR2. Последствия: Запуск воронки потребует неделю и около 20 000 рублей, бюджет на тест - несколько сотен тысяч, длительность теста - 3 недели. Итого мы бы потеряли около 400 000 рублей и месяц времени. Кстати, здесь интересно упомянуть еще об одной распространенной ошибке - ложной корреляции. Подробно рассказал про это здесь.   Ситуация: В феврале мы запустили рекламную кампанию. В марте - другую. В апреле - опять поменяли. Основная цель была - привлекать более вовлеченную аудиторию и увеличивать количество денег. Сервис развивается по модели подписки. Замерили n-day retention 90 дня и получили такие показатели: когорта февраля - 38% когорта марта - 31% когорта апреля - 43% Поверхностный вывод: Самое большое удержание у апрельской когорты, значит эта рекламная кампания самая эффективная и нужно ее масштабировать. Реальность: Когорта апреля показывает самый высокий retention, но и самый низкий LTV. То есть пользователи активные, но подписку не покупают. Последствия: Влили деньги в неэффективную с точки зрения ROI кампанию, слили рекламный бюджет, ушли в минус. Ситуация: Мы проводим опрос пользователей о том, насколько они довольны нашим продуктом (производим замер метрики NPS). Просим всех пользователей заполнить анкетку. Поверхностный вывод: Заполнено 350 анкет, средний NPS составил 89%. Получается, мы красавчики. Реальность: У нас еще 2000 пользователей, которые плюются от качества наших продуктов - они поставили бы не больше 10%, но настолько раздражены, что даже не стали заполнять анкету. Последствия: Мы продолжаем делать плохой продукт, тратим деньги на разработку и маркетинг, но на масштабе наша финансовая модель становится все более убыточной. Ситуация: При регистрации в нашем сервисе пользователь получает письмо на почту и должен подтвердить свой email-адрес. На данный момент у нас % активации составляет всего 40% - это очень низкий показатель. Мы работаем над его увеличением. Поверхностный вывод: Пользователям не нравится, как мы шлем им письма. Мы экспериментируем с дизайном, с формулировками, с почтовыми сервисами. Реальность: У нас не настроены DNS-записи на корпоративной почте и большинство писем просто не доходят до своих адресатов (как раз примерно 60%). Последствия: Мы теряем 60% базы клиентов и тратим кучу времени на улучшение того, что и так работает. Таких примеров я могу привести еще очень много и с разными метриками - они встречаются каждый день в большом количестве. Но теперь вы знаете, в каких ситуациях таится засада поверхностных выводов и как с ней бороться - просто ковыряться глубже 🙂 Кстати, недавно я проводил челлендж в своем канале на примере реального маркетингового кейса. На нем хорошо можно проверить - усвоили ли вы ошибку поверхностных выводов или продолжаете ее делать. Проверьте себя 😉