第一種過誤と第二種過誤
1948年にフレデリック・モステラー(1916年 - 2006年) は「第三種過誤」を次のように定義することを提唱した。
第一種過誤: 真である帰無仮説を棄却する
第二種過誤: 偽である帰無仮説を採択する
第三種過誤: 間違った理由で、正しく帰無仮説を棄却する
偽陰性率 β {\displaystyle \beta } とは、陽性の標本集団のうち、誤って陰性と判定された標本の割合である。すなわち、1 から感度を引いた値と同じである。
false negative rate β = FN TP + FN {\displaystyle {\text{false negative rate }}\beta ={\frac {\text{FN}}{{\text{TP}}+{\text{FN}}}}}
1 − β {\displaystyle 1-\beta } を検出力と呼ぶ。
セキュリティ上の脆弱性は、適切なユーザーからのアクセスのみを受け付け、コンピュータのデータを安全に保つ際に考慮すべき重要な概念である(コンピュータセキュリティ参照)。Moulton (1983) では以下のよう点が強調されている(p.125)。 「認証されたユーザー」を「不正アクセス者」と分類してしまう第一種過誤(偽陽性)を防ぐ。 「不正アクセス者」を「認証されたユーザー」と分類してしまう第二種過誤(偽陰性)を防ぐ。
統計学において、証拠を無に帰するような「帰無仮説」を置いて検証を進める。 帰無仮説の例には、「個人は病気ではない」とか、「被告人は無実である」とか、「潜在的なログイン対象が認可されていない」などが挙げられる。
一方で、帰無仮説と全く逆の状況に対応する「対立仮説」がある(こちらが証明したい事象に対応する)。 すなわち、「個人が病気にかかっている」とか、「被告人が有罪である」とか、「ログイン対象が許可されたユーザである」といったことを表す。
目標は、偽である帰無仮説が棄却されて真である対立仮説が採用されることである。ある種のテスト(血液検査、裁判、ログイン試み)を実施し、データを得る。
テストの結果は、陰性かもしれない(つまり、病気でない、有罪でない、ログインが許されない)。 一方、それは陽性かもしれない(つまり、病気、有罪、ログイン成功)。
テストの結果と実際の状態が一致していないなら過誤が発生したことになる。 テストの結果と実際の状態が一致しているなら、判断は正しいことになる。 どちらの仮説を誤って採用してしまったかによって、過誤を「第一種過誤」と「第二種過誤」に分類する。