Давайте представим, что вы управляете продуктом, который помогает малому бизнесу осуществлять техническую поддержку своих клиентов. Вы ищете способы увеличить степень вовлечённости (engagement) и возвращаемости (retention) своих клиентов. У вас есть две идеи: Дашборд – это фича, которая уже несколько раз обсуждалась с пользователями и вы чувствуете, что у неё есть большой потенциал, но также осознаёте риск того, что только один крупный пользователь будет пользоваться дашбордами. Чат-бот – это то, что нравится всем сотрудникам вашей компании и продавливается руководством – это похоже на очень нужную вещь для клиентов, это классный проект. И да, чат-боты сейчас в моде. Что вы выберете?  Такие вопросы приоритизации – сердце управления продуктами. Цена ошибки за неправильный выбор может быть достаточно высока: стоимость разработки + стоимость деплоя в продакшн + стоимость поддержки + издержки упущенной выгоды + все прочие издержки. У нас часто возникают соблазны принимать решения на слабых сигналах: голосах большинства, мнении авторитетных людей (HiPPO), трендах индустрии и др., но, как показывает опыт, это плохая эвристика, такой подход не лучше, чем подбрасывание монетки. В этой статье я продемонстрирую, что, по моему мнению, является лучшим способом находить удачные идеи. Этот подход включает в себя три составляющие: Расчёт коэффициента ICE – это метод приоритизации, придуманный Шоном Эллисом, человеком, который помог вырасти таким компаниям, как DropBox, Eventbrite и придумавшим термин “growth hacking”. Расчёт коэффициента ICE изначально предназначался для приоритизации экспериментов роста, но также может быть применён для любых других идей. Вы рассчитываете коэффициент для каждой идеи по следующей формуле: Коэффициент ICE = Impact (влияние) * Confidence (уверенность) * Ease (простота),  где: Все три показателя заполняются значениями по относительным шкалам от 1 до 10, поэтому ни один из них не переоценён. Каждая команда сама для себя определяет, чему соответствуют показатели 1-10, чтобы каждый эквивалент был уместным. В конечном счёте, цель оценки – получить “Банк идей”, который выглядит как-то так: Давайте разберём пример, чтобы наглядно увидеть, как это работает. Вы решили посчитать коэффициенты ICE для двух идей – дашборда и чат-бота. На ранней стадии вы используете грубые величины, основываетесь на собственной интуиции. Влияние – вы предполагаете, что дашборд увеличит retention значительно, но только для некоторых пользователей, поэтому ставите 5 из 10. Чат-бот, с другой стороны, может затронуть большое число пользователей, поэтому вы ставите 8 из 10. Простота – вы полагаете, что дашборд потребует 10 человеко-недель разработки, а чат-бот – 20, основываясь исключительно на данных похожих предыдущих проектов. Вы получите оценки получше от команды разработки позже, а пока используете эту простую таблицу (составленную совместно с командой) для конвертации оценок в значение параметра Простота: В итоге дашборд получает значение Простоты 4 из 10, а чат-бот – 2. Существует только один способ рассчитать показатель Уверенности – взглянуть на подтверждающие доказательства. С этой целью я создал инструмент, который описывает типовые тесты и доказательства, которые у вас могут быть, и значения параметра Уверенности, которые они имеют. Когда будете использовать этот инструмент, учитывайте, какие артефакты у вас уже есть, насколько их много и что нужно сделать, чтобы получить ещё бОльшее значение. Текст на картинке – Уровень Уверенности: Примечание. Если в вашем продукте или индустрии используются другие доказательства, вы можете создать свою версию Инструмента Уверенности, просто учитывайте, что является сильным, а что – слабым доказательством. Больше информации в более раннем посте (англ.). Давайте вернёмся к нашему примеру и рассмотрим Инструмент Уверенности в действии. Расчёт коэффициента ICE:  Текст на картинке: по оси Y – оценка ICE, по оси X – раунд приоритизации. Синяя точка – дашборд, красная – чат-бот. На данный момент дашборд выглядит как более подходящая идея, но Инструмент показывает, что уровень уверенности низкий. Пока просто недостаточно информации, чтобы принимать решение. Далее вы встречаетесь с коллегами из разработки и UX, а затем вместе обсуждаете обе идеи. Оба проекта на первый взгляд выглядят вполне реализуемыми. Тимлид разработки возвращается с примерными оценками трудозатрат: дашборд займёт 12 человеко-недель для запуска, а чат-бот – 16. Согласно вашей шкале Простоты, это означает показатели 4 и 3 соответственно. Параллельно с этим вы делаете расчёты на салфетке и обновляете графу “Влияние”. При ближайшем рассмотрении дашборд выглядит слегка менее перспективным и получает 3. Чат-бот по-прежнему выглядит основательно, на 8. Использование Инструмента Уверенности показывает, что обе идеи теперь проходят тест “Оценки и планы” и получают новые показатели параметра Уверенности. Дашборд теперь имеет 0.8, чат-бот – 0.4.  Таким образом, чат-бот устранил отрыв. Однако уровень уверенности до сих пор низкий по уважительной причине – это в основном цифры, полученные из воздуха, и вы понимаете, что нужно собрать больше доказательств. Вы рассылаете текущим пользователям анкету с опросом, в котором просите их выбрать одну из 5 потенциальных фичей, список включает чат-бот и дашборд. Вы получаете сотни ответов. Результаты очень позитивные для чат-бота – это фича №1, 38% респондентов выбрали её. Дашборд занимает третье места с 17% голосов. Это даёт обеим фичам немного поддержки данными с рынка, но у чат-бота показатель выше – 1.5. Дашборд тоже получает увеличенное значение для столбца “Уверенность”, но пока только до 1.  Чат-бот становится сильным лидером. Кажется, ваши коллеги и индустрия оказались правы. Не пора ли нажать на курок? Наверное, нет. Проекты довольно дорогостоящи и у нас до сих пор есть только небольшая уверенность в успехе. К сожалению, результаты опроса не создают достаточно сильного сигнала. Продолжаем работать! Чтобы узнать больше, вы проводите исследование с десятью текущими пользователями, показывая им интерактивные прототипы каждой из фичей. Параллельно вы проводите телефонное интервью и опрашиваете 20 респондентов, которые должны выбрать одну из двух функций-кандидатов. Исследование демонстрирует более детальную картину: Это качественное исследование дало пищу для размышлений. Дашборд выглядит более востребованным, чем предполагалось ранее. А чат-бот теперь выглядит как проект с более высокими рисками и с бОльшим потенциалом. Взглянув на Инструмент Уверенности, вы ставите дашборду и чат-боту значения 3 и 2.5 соответственно. Вы обновляете значения Влияния до 6 для дашборда и 9 для чат-бота. Также по результатам юзабилити-исследования вы понимаете, что UI чат-бота потребует больше работы, поэтому вы уменьшаете параметр Простоты до 2.  Таблица снова преобразилась и теперь лидирует дашборд. Вы приносите результаты своей команде и руководству. Прогноз, базирующийся строго на ICE, декларирует дашборд победителем, с другой стороны, уровень Уверенности всё так же далёк от высокого. Не хочется отпускать потенциально хорошую фичу, поэтому команда решает продолжить тестирование обеих. Вы решили начать создавать MVP для чат-бота – разработка заняла шесть недель и вы запустили его для 200 респондентов, участвовавших в предыдущем опросе, которые озвучили желание поучаствовать в бета-тестировании. 167 включили фичу, но количество использований драматически падало день ото дня, и к концу второй недели только 24 человека были активными пользователями. В последующих опросах и звонках картина прояснилась. Чат-бот сложнее в использовании и значительно менее полезен, чем ожидали участники, хуже того, он недружелюбен к клиентам, которые, похоже, ценят личный контакт. Фактически эта фича заставляет владельцев бизнеса работать больше.  Анализируя результаты, вы с командой приходите к выводу, что запуск удобной версии чат-бота, которая будет соответствовать ожиданиям клиентов, потребует минимум 40-50 дополнительных человеко-недель (Простота = 1) и это очень рискованно. Также ясно, что гораздо меньшее число пользователей воспринимают чат-бота удобным, чем ожидалось изначально. Поэтому вы уменьшили Влияние до 2. Это меняет первоначальную идею фундаментальным образом, так что вы больше не можете верить результатам пользовательского исследования и принимать их, поэтому уменьшаете показатель Уверенности до 0.5. MVP дашборда запущен за пять недель для других 200 пользователей. Результаты очень хорошие. 87% участников используют его, большинство ежедневно, отток небольшой. Обратная связь чрезвычайно позитивна, большинство просит доступ к полной функциональности. Вы понимаете, что Влияние больше, чем вы ожидали – 8. Команда разработки оценивает, что доработка полной версии займёт 10 недель, поэтому Простота 4. Согласно инструменту, вы устанавливаете Уверенность в значение 6.5 из 10.  Теперь приоритизация очень проста. Никто не спорит, что дашборд – та фича, которой следует заниматься. Вы оставляете чат-бота в вашем Банке идей, чтобы записывать будущие находки, но он, естественно, отсортирован в самый конец из-за низкого коэффициента ICE. Этот пример иллюстрирует, насколько рискованно делать ставки на фичи, требующие больших усилий и основанных на чутье, мнениях, трендах рынка и др. Большинство идей больше похожи на чат-бота, чем на дашборд. Они приносят меньший результат и стоят гораздо больше, чем вы думаете. Единственный способ найти идеи-победители – протестировать их и уменьшить уровень неопределённости.  Это выглядит как трудоёмкий и медленный способ создания продуктов, но на самом деле это более эффективный путь, чем альтернативы. Тестирование для определения показателя Уверенности не только сокращает количество потраченных впустую усилий на плохие идеи, но ещё и фокусирует команды на короткие и осязаемые майлстоуны обучения с быстрыми измеримыми результатами, что улучшает фокус и производительность. В процессе мы узнаём очень много о нашем продукте, пользователях, рынке и в результате имеем лучший итоговый продукт, который уже протестирован клиентами. По этой причине нас реже удивляют результаты запуска и исправлений требуется гораздо меньше. В реальности зачастую нам приходится делать выбор не между двумя идеями, а между десятками. Ограничивая количество усилий на каждую, учитывая уровень Уверенности, мы получаем возможность тестировать параллельно множество идей, избегая ловушек традиционной подхода к разработке. Более подробно об этом можно прочитать в статье “Почему вам стоит перестать использовать продуктовые роадмапы и попробовать GIST”.  В этом примере команда тестирует четыре идеи параллельно, запуская несколько шаг-проектов. Каждый инкрементально улучшает идею, в результате тестирования увеличивая уровень уверенности в результатах. Что беспокоит людей больше всего, когда я объясняю данную тему, так это вопрос, как “продать” её руководству и стейкхолдерам. Можем ли мы на самом деле заставить их ограничить свой уровень влияния на продукт? Что ж, вы будете удивлены. От многих руководителей я слышал, что они предпочли бы не принимать решения в вопросах продукта, но если команда предлагает слабые варианты, они чувствуют необходимость вовлекаться. Что есть слабые и сильные варианты – это, конечно, субъективное мнение до тех пор, пока вы показываете не просто отполированную презентацию, а приходите с реальными доказательствами, вызывающими доверие. Вы будете очень удивлены, когда поймёте, насколько проще происходит обсуждение. С другой стороны, когда в следующий раз ваш CEO придёт с очередной порцией маст-хэв идей, попробуйте показать ему, как такие идеи оцениваются: какие показатели Влияния, Простоты и Уверенности вы указываете, какой коэффициент ICE в итоге получается, как происходит сравнение с другими идеями и как можно их протестировать, чтобы увеличить показатель Уверенности.  Большинство разумных людей согласится, что это хороший способ. Если они до сих пор не убеждены, скиньте им ссылку на данный перевод или оригинальный пост Итамара, где он готов отстоять этот подход в комментариях. В объединённую компанию “Колёса | Крыша | Маркет” мы ищем менеджеров продуктов, которые готовы экспериментировать, быстро и недорого проверяя гипотезы. Откликнуться на вакансию можно на Headhunter и корпоративном сайте. Product manager