Ошибки первого и второго рода

Оши́бка пе́рвого ро́да(𝛼-ошибка, ложноположительное заключение) — ситуация, когда отвергнута вернаянулевая гипотеза(об отсутствии связи между явлениями или искомого эффекта).
Оши́бка второ́го ро́да(β-ошибка, ложноотрицательное заключение) — ситуация, когда принята неверная нулевая гипотеза.
Данные понятия являются ключевыми в задачахпроверки статистических гипотезвматематической статистике. Эти понятия широко применяются в различных областях, когда требуется принять «бинарное» решение — да или нет — на основе определенного критерия (теста, проверки, измерения). Однако такие решения могут быть ненадежными с определенной вероятностью, поскольку критерий может давать ложные результаты.
Области рассмотрения ошибок первого и второго рода также включают инженерию, экономику, медицину, социологию, экологию и другие области, гдестатистические методыиспользуются дляпринятия решенийна основе данных. Понимание и управление ошибками первого и второго рода являются важными аспектами при проведении статистических исследований и принятии решений на основе статистических выводов.
Пусть дана выборкаX=(X1,…,Xn)⊤{\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }}из неизвестного совместного распределенияPX{\displaystyle \mathbb {P} ^{\mathbf {X} }}, и поставлена бинарная задача проверки статистических гипотез:
гдеH0{\displaystyle H_{0}}—нулевая гипотеза, аH1{\displaystyle H_{1}}—альтернативная гипотеза, или конкурирующая гипотеза. Предположим, что задан статистический критерий
сопоставляющий каждой реализации выборкиX=x{\displaystyle \mathbf {X} =\mathbf {x} }одну из имеющихся гипотез. Тогда возможны следующие четыре ситуации:
Во втором и четвёртом случае говорят, что произошла статистическая ошибка, и её называютошибкой первого и второго родасоответственно.
Из определения выше видно, чтоошибки первого и второго родаявляются взаимно-симметричными, то есть если поменять местами гипотезыH0{\displaystyle H_{0}}иH1{\displaystyle H_{1}}, тоошибки первого родапревратятся вошибки второго родаи наоборот. Тем не менее, в большинстве практических ситуаций путаницы не происходит, поскольку принято считать, чтонулевая гипотезаH0{\displaystyle H_{0}}соответствует состоянию «по умолчанию» (естественному, наиболее ожидаемому положению вещей) — например, что обследуемый человек здоров, или что проходящий через рамку металлодетектора пассажир не имеет запрещённых металлических предметов. Соответственно,альтернативная гипотезаH1{\displaystyle H_{1}}обозначает противоположную ситуацию, которая обычно трактуется как менее вероятная, неординарная, требующая какой-либо реакции.
С учётом вышесказанного,ошибку первого родачасто называютложной тревогой,ложным срабатываниемилиложноположительным срабатыванием. Если, например, анализ крови показал наличие заболевания, хотя на самом деле человек здоров, или металлодетектор выдал сигнал тревоги, сработав на металлическую пряжку ремня, то принятая гипотеза не верна, а следовательно совершена ошибка первого рода. Слово «ложноположительный» в данном случае не имеет отношения к желательности или нежелательности самого события.
Термин широко используется в медицине. Например, тесты, предназначенные для диагностики заболеваний, иногда дают положительный результат (то есть показывают наличие заболевания у пациента), когда на самом деле пациент этим заболеванием не страдает. Такой результат называетсяложноположительным.
В других областях обычно используют словосочетания со схожим смыслом, например, «ложное срабатывание», «ложная тревога» и т. п. В информационных технологиях часто используют английский термин false positive без перевода.
Из-за возможности ложных срабатываний не удаётся полностью автоматизировать борьбу со многими видами угроз. Как правило, вероятность ложного срабатывания коррелирует с вероятностью пропуска события (ошибки второго рода). То есть: чем более чувствительна система, тем больше опасных событий она детектирует и, следовательно, предотвращает. Но при повышении чувствительности неизбежно вырастает и вероятность ложных срабатываний. Поэтому чересчур чувствительно (параноидально) настроенная система защиты может выродиться в свою противоположность и привести к тому, что побочный вред от неё будет превышать пользу.
Соответственно,ошибку второго родаиногда называютпропуском событияилиложноотрицательным срабатыванием. Человек болен, но анализ крови этого не показал, или у пассажира имеется холодное оружие, но рамка металлодетектора его не обнаружила (например, из-за того, что чувствительность рамки отрегулирована на обнаружение только очень массивных металлических предметов). Данные примеры указывают на совершение ошибки второго рода. Слово «ложноотрицательный» в данном случае не имеет отношения к желательности или нежелательности самого события.
В других областях обычно используют словосочетания со схожим смыслом, например, «пропуск события», и т. п.
Так как с ростом вероятности ошибки первого рода обычно уменьшается вероятность ошибки второго рода, и наоборот, настройка принимающей решение системы должна представлять собой компромисс. Где именно находится точка получаемого такой настройкой баланса, зависит от оценки последствий при совершении обоих видов ошибок.
Вероятность ошибки первого рода при проверкестатистических гипотезназываютуровнем значимостии обычно обозначают греческой буквойα{\displaystyle \alpha }(отсюда название 𝛼-ошибка).
Вероятность ошибки второго рода не имеет какого-то особого общепринятого названия, она обозначается греческой буквойβ{\displaystyle \beta }(отсюда названиеβ{\displaystyle \beta }-ошибка). Однако с этой величиной тесно связана другая, имеющая большое статистическое значение —мощность критерия. Она вычисляется по формуле(1−β).{\displaystyle (1-\beta ).}Таким образом, чем выше мощность критерия, тем меньше вероятность совершить ошибку второго рода.
Обе эти характеристики обычно вычисляются с помощью так называемойфункции мощностикритерия. В частности, вероятность ошибки первого рода есть функция мощности, вычисленная при нулевой гипотезе. Для критериев, основанных на выборке фиксированного объёма, вероятность ошибки второго рода есть единица минус функция мощности, вычисленная в предположении, что распределение наблюдений соответствует альтернативной гипотезе. Дляпоследовательных критериевэто также верно, если критерий останавливается с вероятностью единица (при данном распределении из альтернативы).
В статистических тестах обычно приходится идти на компромисс между приемлемым уровнемошибок первого и второго рода. Зачастую для принятия решения используется пороговое значение, которое может варьироваться с целью сделать тест более строгим или, наоборот, более мягким. Этим пороговым значением являетсяуровень значимости, которым задаются при проверкестатистических гипотез. Например, в случае металлодетектора повышение чувствительности прибора приведёт к увеличению рискаошибки первого рода(ложная тревога), а понижение чувствительности — к увеличению рискаошибки второго рода(пропуск запрещённого предмета).
В задаче радиолокационного обнаружения воздушных целей, прежде всего, в системе ПВО ошибки первого и второго рода, с формулировкой «ложная тревога» и «пропуск цели» являются одним из основных элементов как теории, так и практики построениярадиолокационных станций. Вероятно, это первый пример последовательного применения статистических методов в целой технической области.
Понятия ошибок первого и второго рода широко используются в области компьютеров и программного обеспечения.
Наличие уязвимостей в вычислительных системах приводит к тому, что приходится, с одной стороны, решать задачу сохранения целостности компьютерных данных, а с другой стороны — обеспечивать нормальный доступ легальных пользователей к этим данным (см.компьютерная безопасность). В данном контексте возможны следующие нежелательные ситуации:
Ошибка первого родапроисходит, когда механизм блокировки/фильтрацииспамаошибочно классифицирует легитимноеemail-сообщение как спам и препятствует его нормальной доставке. В то время как большинство«антиспам»-алгоритмовспособны блокировать/фильтровать большой процент нежелательных email-сообщений, гораздо более важной задачей является минимизировать число «ложных тревог» (ошибочных блокировок нужных сообщений).
Ошибка второго родапроисходит, когда антиспам-система ошибочно пропускает нежелательное сообщение, классифицируя его как «не спам». Низкий уровень таких ошибок является индикатором эффективности антиспам-алгоритма.
Пока не удалось создать антиспамовую систему без корреляции между вероятностью ошибок первого и второго рода. Вероятность пропустить спам у современных систем колеблется в пределах от 1 % до 30 %. Вероятность ошибочно отвергнуть валидное сообщение — от 0,001 % до 3 %. Выбор системы и её настроек зависит от условий конкретного получателя: для одних получателей риск потерять 1 % хорошей почты оценивается как незначительный, для других же потеря даже 0,1 % является недопустимой.
Понятиеошибки первого родатакже используется, когдаантивирусноепрограммное обеспечение ошибочно классифицирует безвредный файл каквирус. Неверное обнаружение может быть вызвано особенностямиэвристики, либо неправильнойсигнатурой вирусав базе данных. Подобные проблемы могут происходить также и с антитроянскимии антишпионскимипрограммами.
При поиске в базе данных кошибкам первого родаможно отнести документы, которые выдаются поиском, несмотря на ихиррелевантность(несоответствие) поисковому запросу. Ошибочные срабатывания характерны дляполнотекстового поиска, когда поисковыйалгоритманализирует полные тексты всех хранимых в базе данных документов и пытается найти соответствия одному или нескольким терминам, заданным пользователем в запросе.
Большинство ложных срабатываний обусловлены сложностьюестественных языков, многозначностью слов: например, «home» может обозначать как «место проживания человека», так и «корневую страницу веб-сайта». Число подобных ошибок может быть снижено за счёт использования специальногословаря. Однако это решение относительно дорогое, поскольку подобный словарь и разметка документов (индексирование) должны создаваться экспертом.
Разнообразные детектирующие алгоритмы нередко выдаютошибки первого рода. Программное обеспечениеоптического распознавания текстовможет распознать букву «a» в ситуации, когда на самом деле изображены несколько точек.
Ошибки первого родарегулярно встречаются каждый день в компьютерных системах предварительного досмотра пассажиров в аэропортах. Установленные в них детекторы предназначены для предотвращения проноса оружия на борт самолёта; тем не менее,уровень чувствительностив них зачастую настраивается настолько высоко, что много раз за день они срабатывают на незначительные предметы, такие как ключи, пряжки ремней, монеты, мобильные телефоны, гвозди в подошвах обуви и т. п. (см.обнаружение взрывчатых веществ,металлодетекторы).
Таким образом, соотношение числаложных тревог(идентифицикация благопристойного пассажира как правонарушителя) к числуправильных срабатываний(обнаружение действительно запрещённых предметов) очень велико.
Ошибкипервогоивторогорода являются большой проблемой в системахбиометрическогосканирования, использующих распознаваниерадужной оболочкиилисетчаткиглаза,черт лицаи т. д.
Такие сканирующие системы могут ошибочно отождествить кого-то с другим, «известным» системе человеком, информация о котором хранится в базе данных (к примеру, это может быть лицо, имеющее право входа в систему, или подозреваемый преступник и т. п.). Противоположной ошибкой будет неспособность системы распознать легитимного зарегистрированного пользователя, или опознать подозреваемого в преступлении.
В медицинской практике есть существенное различие междускринингомитестированием:
К примеру, в большинстве штатов в США обязательно прохождение новорожденными процедурыскрининганаоксифенилкетонуриюигипотиреоз, помимо другихврождённых аномалий. Несмотря на высокий уровеньошибок первого рода, эти процедурыскринингасчитаются целесообразными, поскольку они существенно увеличивают вероятность обнаружения этих расстройств на самой ранней стадии.
Простые анализы крови, используемые дляскринингапотенциальныхдоноровнаВИЧигепатит, имеют существенный уровеньошибок первого рода; однако в арсенале врачей есть гораздо более точные (и, соответственно, дорогие) тесты для проверки, действительно ли человек инфицирован каким-либо из этих вирусов.
Возможно, наиболее широкие дискуссии вызываютошибки первого родав процедурах скрининга на рак груди (маммография). В США уровеньошибок первого родав маммограммах достигает 15 %, это самый высокий показатель в мире. Самый низкий уровень наблюдается вНидерландах, 1 %.
Ошибки второго родаявляются существенной проблемой вмедицинском тестировании. Они дают пациенту и врачу ложное убеждение, что заболевание отсутствует, в то время как в действительности оно есть. Это зачастую приводит к неуместному или неадекватному лечению. Типичным примером является доверие результатамвелоэргометриипри выявлении коронарногоатеросклероза, хотя известно, что велоэргометрия выявляет только те затруднения кровотока вкоронарной артерии, которые вызваныстенозом.
Ошибки второго родавызывают серьёзные и трудные для понимания проблемы, особенно когда искомое условие является широкораспространённым. Если тест с 10%-ным уровнемошибок второго родаиспользуется для обследования группы, где вероятность «истинно-положительных» случаев составляет 70 %, то многие отрицательные результаты теста окажутся ложными. (См.теорему Байеса).
Ошибки первого родатакже могут вызывать серьёзные и трудные для понимания проблемы. Это происходит, когда искомое условие является редким. Если уровеньошибок первого родау теста составляет один случай на десять тысяч, но в тестируемой группе образцов (или людей) вероятность «истинно-положительных» случаев составляет в среднем один случай на миллион, то большинство положительных результатов этого теста будут ложными.
Терминошибка первого родабыл взят на вооружение исследователями в областипаранормальных явленийипривиденийдля описания фотографии или записи или какого-либо другого свидетельства, которое ошибочно трактуется как имеющее паранормальное происхождение — в данном контекстеошибка первого рода— это какое-либо несостоятельное «медиасвидетельство» (изображение, видеозапись, аудиозапись и т. д.), которое имеетобычноеобъяснение.