統計学および機械学習の評価指標

統計学および機械学習の評価指標（とうけいがくおよびきかいがくしゅうのひょうかしひょう）では統計学および（教師ありの）機械学習の評価指標について述べる。

 回帰に対する評価指標 
以下のものがある。観測値を、推定値をと表す。これらの評価指標は代表的なPythonのオープンソース機械学習ライブラリscikit-learnではmetricsモジュールに実装されており、評価指標を計算する関数を併記する。

+略称名称（英語）名称（日本語）定義scikit-learnのmetricsモジュールでの関数MSEMean Squared Error平均二乗誤差mean_squared_error(y_true,y_pred)RMSERoot Mean Squared Error二乗平均平方根誤差np.root(mean_squared_error(y_true,y_pred))MAEMean Absolute Error平均絶対誤差mean_absolute_error(y_true,y_pred)MAPEMean Absolute Percentage Error平均絶対誤差率RMSPERoot Mean Squared Percentage Error平均二乗パーセント誤差の平方根RMSLERoot Mean Squared Logarithmic Errormean_squared_log_error(y_true,y_pred)coefficient of determination決定係数、ここでr2_score(y_true,y_pred)
ただし、決定係数は上に挙げたものの他に7種類の定義が知られている。

 二値分類 

 混同行列 

実際の値正負予
測

値正真陽性
True Positive(TP)偽陽性
False Positive(FP)負偽陰性
False Negative(FN)真陰性
True Negative(TN)
scikit-learnではmetricsモジュールの「confusion_matrix(y_true, y_pred)」。

 各種指標 
以下のものがある：
実際の値総数割合正負正負予
測

値総
数正真陽性
True Positive(TP)偽陽性
False Positive(FP)

第一種の過誤陽性適中率(Positive Prediction Value、PPV)
適合率(Precision)(False Discovery Rate、FDR)負偽陰性
False Negative(FN)

第二種の過誤真陰性
True Negative(TN)False Omission Rate (FOR) 陰性適中率(Negative Predictive Value 、NPV) 割
合正真陽性率(True Positive Rate 、TPR)、再現率(Recall)、感度(Sensitivity)、Hit Rate偽陽性率(False Positive Rate 、FPR)、
Fall-out負偽陰性率(False Negative Rate、FNR)、Miss Rate真陰性率(True Negative Rate 、TNR)、
特異性(Specificity)、

Selectivity

scikit-learnではmetricsモジュールの下記の関数を呼び出すことで計算可能：

 適合率：precision_score(y_true, y_pred)
 再現率：recall_score(y_true, y_pred)

+名称名称（英語）定義直観的意味、備考scikit-learnのmetricsモジュールでの関数検査前確率Pre-test Probability全データにおける正例の割合。
医学では「有病割合」(Prevalence)とも呼ばれる精度Accuracy予測が正解したものの割合。
「正解率」とも呼ばれる。accuracy_score(y_true, y_pred)誤分類率classification error ratebalanced accuracy (BA)スレットスコアThreat score(TS)「重要成功指数」(Critical Success Index、CSI)とも呼ばれる。
精度の分母からTNを削ったもの。正例に比べ負例が極端多い場合、TNは大きな値になるため精度よりも有効な指標となる。値-rate適合率と再現率の重み付き調和平均。特にのケースである値がよく使われる。
であり、分母にTNがないので、スレットスコアと同様、正例に比べ負例が極端多い場合、有効な指標となる。fbeta_score()
f1_score()Markedness (MK)「deltaP」とも呼ばれるBookmaker Informedness (BM)単に「Informedness」とも呼ばれる。「deltaP'」とも呼ばれる。  -マシューズ相関係数(Matthews Correlation Coefficient
、MCC)不均衡なデータに対しても性能を適切に評価できる指標。matthews_corrcoef()  -Fowlkes–Mallows index(FM)  -Prevalence Threshold (PT)陽性尤度比Positive likelihood ratio(LR+)LR+==検査後オッズ/検査前オッズ

が成立する。陰性尤度比Negative likelihood ratio(LR−)Diagnostic odds ratio(DOR)交差エントロピーcross entropylog損失(log loss)とも。
は番目のデータが正例なら1、負例なら0、は予測器が正例だと予測した確信度∈[0,1]。log_loss()

 脚注 

Category:統計学
Category:機械学習
Category:評価方法