スレットスコア
ある事象を2値のカテゴリ(発生する/発生しない、有る/無い、等)で予報・推定し、実際の結果・状態との関係を見た場合に、その件数を以下の様な分割表で表す。
以下の数式では、TP, FP, FN, TN がそれぞれ TP, FP, FN, TN の件数を表す。
通常の意味での正解率(Accuracy、精度とも)は以下の様に定義される。
A c c u r a c y = T P + T N T P + F P + F N + T N {\displaystyle \mathrm {Accuracy} ={\frac {TP+TN}{TP+FP+FN+TN}}}
しかし、稀な事象を扱う場合は TN が非常に大きな値になるため、注目すべき TP や FP, FN の値が変わっても適中率はほとんど変化しない。そのため稀な事象の予報手法の評価には適していない。
一方、スレットスコア又は CSI は以下の様に TN を無視して定義される。スレットスコアが高い方が稀な事象を適中する性能が高いと評価できる。 前述の「ほとんど晴れている地域で常に晴れの予報を出す」という手法は常に TP=FP=0 であるためスレットスコアが0であり、価値が無い手法であることが示される。
T h r e a t S c o r e = C S I = T P T P + F P + F N {\displaystyle \mathrm {Threat\,Score} =\mathrm {CSI} ={\frac {TP}{TP+FP+FN}}}