Привет всем! Предлагаю вашему вниманию перевод статьи Dr. Philip Hodgson (@bpusability в Twitter). Он имеет BSc, MA и PhD в экспериментальной психологии. У него за спиной более чем 20-летний опыт работы в качестве исследователя, консультанта и тренера по юзабилити, пользовательскому опыту, человеческим факторам и экспериментальной психологии. Его работа повлияла на продуктовый и системный дизайн в областях потребления, телекоммуникаций, производства, упаковки, общественной безопасности, веб- и медицинских областей для рынков Северной Америки, Европы и Азии. Концепция «силы доказательства» играет важную роль во всех областях научных исследований, но редко обсуждается в контексте исследования пользовательского взаимодействия. Мы узнаем то, что это означает в UX-исследовании, и сгруппируем методы исследований по силе данных, которые они предоставляют. Кто-то однажды сказал: «В юзабилити нет вопросов». Я думаю, это был я. Признаю, что это было не лучшее высказывание. Оно не стоит рядом с такими словами как “Никогда на полях человеческих конфликтов” и “Один маленький шаг для человека”, но, тем не менее, оно имеет смысл и подводит к полезному эмпирическому правилу для UX-исследователей. Позвольте мне объяснить. Несколько лет назад во время работы на большую корпорацию и подготовки юзабилити-теста, проджект менеджер позвонил мне и попросил отправить ему список вопросов по юзабилити. «В юзабилити нет вопросов» — ответил я. «Что ты имеешь в виду?» — спросил он, «Как там не может быть вопросов? Как ты планируешь понять, нравится ли людям наш новый дизайн?». «А я и не пытаюсь понять, нравится ли он им или нет» — проворчал я. «Я пытаюсь понять, могут ли они им пользоваться. У меня есть список заданий, а не вопросов». Просьбы добавлять явные вопросы типа «как вы считаете?» в UX исследования не только говорит о том, что некоторые заинтересованные стороны не понимают цели юзабилити-тестирования, но и том, что они верят в огромную ценность каждого ответа участника тестирования. Это показывает, что они не в курсе концепции хороших и плохих данных и, как результат, верят в то, что всё сказанное пользователем — полезно. Но это не так. Существуют сильные и слабые данные. Это справедливо для всех областей научных исследований, будь то разработка нового препарата, открытие новой планеты, раскрытие преступления или оценка нового интерфейса софта. UX-исследование это непосредственное наблюдение за тем, что делают люди. Это не сбор их мнений. Это потому что как данные, мнения бесполезны. На каждые 10 человек, которым нравится ваш дизайн, найдется 10 других, которые будут ненавидеть его, и еще 10, которым вообще будет все равно. Мнения — это не доказательства. Поведение же, напротив, является доказательством. Именно поэтому детектив скорее поймает кого-нибудь за руку в момент совершения преступления, чем просто поверит кому-то на слово. Поэтому часто повторяется совет: «Обращай внимание на то, что люди делают, а не на то, что говорят». Этот совет уже почти стал клише в UX, но с этого можно начать дискуссию о чём-то важном, например, о силе доказательства. Это хорошая идея, что некоторые данные подкрепляются сильными доказательствами, некоторые относительно сильными, а некоторые слабыми. Никто не хочет, чтобы в основе разработки их продукта были слабые доказательства.  Доказательства — это то, что мы используем для подкрепления наших заявлений и доводов. Это то, что дает нам авторитет, когда мы выносим решения по конкретным параметрам дизайна, особенностям продукта, по тому, когда нужно закончить очередную итерацию в дизайне, по решениям типа «делать/не делать» и по запуску нового продукта, сервиса или сайта. Доказательство — это то, что мы предоставляем своей команде разработчиков и что выкладываем на стол во время несогласий и споров. Мы подкрепляем наши доводы доказательствами, основанными на хороших данных. Данные — это часть исследования. «Данные! Данные! Данные!», — кричал Шерлок Холмс. «Я не могу слепить кирпичи без глины». Может казаться, что UX-исследования это мероприятия, проводимые по принципу «сначала метод» («нам нужен юзабилити-тест», «я хочу провести контекстный опрос», «давайте зафичим карточную сортировку»), но UX-исследователь, фокусирующийся на первичных вопросах исследования, действует по принципу «сначала данные»: «Какой тип данных я должен собрать, чтобы предоставить достоверные и убедительные доказательства по этой проблеме?». А уже далее следует метод.  Сильное доказательство следует из данных, которые достоверные и надежные. В юзабилити-тестировании достоверные данные — это вещи типа показателя завершения заданий и эффективности, но никак не эстетическая привлекательность или личное предпочтение. Надежные данные — это данные по итогам исследования, которое было проведено ещё раз по тому же методу, что и в прошлый раз, но с участием других респондентов. Независимо от метода, исследовательские данные должны быть достоверными и надёжными. В противном случае, они просто выбрасываются. В UX-исследованиях сильные данные исходят из выполнения заданий, из наблюдений за пользователем (объективных и независимых), и когда пользователя непредвзято ловят “за руку”. Данные становятся сильными вместе с уровнем нашей уверенности и уверяют нас в том, что продолжение исследования вряд ли изменит уровень нашей уверенности в наших выводах. Ниже — краткая систематика методов, основанных на уровнях доказательств. По сути, это систематика типов данных, которые дают методы. Предполагается, что каждый метод был грамотно продуман. Это не исчерпывающий список, но он включает список основных методов, которые UX-исследователи обычно применяют в процессе создания дизайна, ориентированного на пользователя. Сильные UX-доказательства неизбежно включают в себя целевых пользователей, выполняющих задания, или вовлечённых в активность, которая имеет отношение к разрабатываемой концепции или исследуемой проблеме. Вот они: Для того, чтобы определить эту категорию, данные должны исходить из результатов исследований, которые как минимум включают в себя выполнение заданий — или пользовалями, или экспертами, или включать самостоятельную отчетность о фактическом поведении. Эти методы зачастую являются предшественниками методов из “сильной” категории. Они попали в эту категорию, потому что данные, которые они дают, обычно менее постоянны и менее точны. Решения, основанные на слабых или ошибочных данных, могут стоить компаниям миллионы долларов, если эти решения выливаются в плохой дизайн, плохой маркетинг или неверные утверждения о продукте. Возникает очевидный вопрос: зачем проводить исследование, результат которого — плохие данные? Незачем. Данные из этих методов не нужны в UX-исследованиях. Они лишь немногим лучше, чем простые предположения. Если вы можете выбрать, тратить бюджет проекта на такие методы или на благотворительность, выберите последнюю. Начните задавать эти вопросы: В этих вопросах нет подвохов: любой, кто представляет выводы исследования, должен быть в состоянии ответить на них. В ходе исследования спросите себя: Некоторое время назад я создал чеклист оценки методов исследований. Если вы хотите дать исследованию хорошую встряску, вы найдете там много интересного. Я начал эту статью, поообещав эмпирическое правило. Вот оно. Используйте его как мантру, когда оцениваете силу пользовательских исследований:  Называют айтишником