研究レポート2011 年 7 月 14 日

No.2

～ROC 解析によるモデル精度評価～

株式会社アイズファクトリー

https://bodais.com/company/

概要
ダイレクトメールの効率化のために顧客データから予測入会率の高い顧客を抽出したり、医療診断において、Ｘ線画像から陽性部位を判別するなど、正解と不正解の混在するデータから効率よく正解を拾い出す技術が重要となってきている。その際、抽出技術の精度を評価する手法として重要なのが ROC 解析である。本レポー
トでは、ROC 解析による精度評価手法を説明し、その適用事例を紹介する。

1. はじめにダイレクトメールの効率化のために顧客データから予測入会率の高い顧客を抽出する場合、予め入会有無が正解データとして紐づいている顧客リストをもとに、ロジスティック回帰などの手法で顧客ごとの予測入会率を算出し、その値の降順に顧客を抽出する。その場合、モデルの精度は、スコア上位に占める正解データの比率が高いほど良い。これを図式化したのがゲインチャートであるが、その精度評
価指標となるゲインチャート面積比は、後述するように同じモデルでもデータ群により上限値、下限値が異なる。例
えば、昨年の顧客リストによる予測モデルと今年の顧客リストによる予測モデルとを比較する場合［1］、ゲインチャ【図 1】ゲインチャートートをそのまま比較することはできない。異なるデータ間で精度比較を行うには、通常のゲインチャートを規格化した曲線を定義する必要がある。本レポートで取り上げる
ROC が、正にそのような曲線である。ROC 解析では、ゲインチャートの縦横の両軸をデータ群の正解率に依存性しないように規格化して、異なるデータ間での精度比較を可能にする。さらに、ROC 解析は正解が定義されているデータならば、その背後にモデルが想定されてなくても使えるので、画像診断技術の精度評価などでも使用されている。
2. 正解予測モデルとゲインチャート
入会率予測のような正解予測モデルでは、各サンプルの予測正解率がスコアとして算出される。予測正解率（スコ【図 2】ROCア）の降順にサンプルを並べたとき、スコア順位 x までのサンプル集合をスコア上位群 A( x ) 、 A( x ) における正解数

具体的には、横軸の最大値をサンプル数 A 、縦軸の最大値を p 、非正解数を n と定義しよう。 A( x ) のサンプル数は x

を正解数 P としたとき、面積比の最小値は、正解率 P A 、であるから p + n = x が常に成り立つ。ゲインチャートとは、 最大値は 2 − P A となる。ゆえに正解率の異なる 2 つのデ横軸にスコア順位 x 、縦軸にスコア順位 x までの累計正解ータ間でゲインチャート面積比による精度比較を行うと、数 p を取って描かれる曲線のことである。一般的に、ゲイ間違った結論に達してしまう可能性がある。これを回避すンチャートは、図 1 のような増加曲線となる。図に点線でるためにゲインチャートを規格化する必要がある。

示された対角線は、サンプルをランダム抽出して並べた場

図 1 のように、ゲインチャートは底辺の長さが非正解数合に対応する。ゲインチャートが対角線より上に膨らむほN ( = A − P ) 、高さが正解数 P に等しい平行四辺形の内部にどランダム抽出に比べて抽出効率がよく精度が高いことに収まる。ゲインチャートの規格化は、平行四辺形領域を、なる。従って、ゲインチャートの精度評価は、その曲線下一辺の長さが 1 の正方形領域に射影する線形写像として実面積と対角線下面積との比率で決まるが、この値の上限値現される（次式）。と下限値はデータに含まれる正解データの比率に依存する。

点 ( x, p )  点 (( x − p ) N , p P )Copyright© 2011 i’s FACTORY Co., Ltd. All Rights Reserved.

ここで、スコア上位群 A( x ) に対して、 x − p はそれに含まれる非正解数 n であるから、ゲインチャートの各点は、非正解再現率 n N と正解再現率 p P を座標値とする点に射影される（図 2）。スコア順位 x を変化させて得られるこれら射影点の集合が ROC である。ROC 下面積は 0 から 1の連続値をとり上限値と下限値はデータによらない。
3. ROC 解析の検索理論による理解
ROC とは、Recieiver Operating Characsteristic Curve の略であり受診者動作特性曲線と訳される。ROC を用いた識別精度評価法は ROC 解析と呼ばれている。もともとは、第 2【図 3】正解データ、非正解データのスコア分布

次大戦中に米国のレーダーの研究において、識別精度の評が右から左に動いて行く。図の場合、正解分布は非正解分価法として利用された解析手法である。
データ全体は、正解データと不正解データとに分かれる。

布より高スコア側に位置するので、スコア下限線の位置に一方、正解予測モデルにより予測正解率がスコア（確信度）依らず TPF＞FPF であり、ROC が対角線（TPF=FPF）よりとして算出されると、スコア上位群 A( x ) を以って予測正解上に膨らんだ曲線になることが理解できる。

群を定義できる。 A( x ) に含まれるサンプルは、予測によりここで、ROC の傾きを考えてみる。TPF、FPF の積分定正解と判断されただけであり、実際には正解サンプルも非義式を微分して次式が得られる。

正解サンプルも含んでいる。医療診断にならって正解を陽d TPF ( s ) ds = − ( s ),d FPF ( s ) ds = − ( s )性（Positive）、非正解を陰性（Negative）と呼ぶことにすれ

正解データ、非正解データの確率密度関数は、ROC 上のス

ば、 A( x ) に含まれる正解群は、真陽性（TP：True Positive）

コア s に対応する点における接線ベクトルの各成分に対応であり、 A( x ) 中の非正解群は、偽陽性（FP：False Positive）している。従って、スコア s における ROC の傾きは、両密となる。予測正解群での正解データの再現率は真陽性率度関数の比として定義される（次式）。

（TPF：True Posiotive Fraction）、不正解データの再現率は偽陽性率（FPF：False Posiotiove Fraction）と解釈できる［2］。
これとは逆に、非正解抽出群での正解データの再現率は偽陰性率（FNF）、不正解データの再現率は真陰性率（TNF）と解釈でき、定義上、 FNF = 1 − TPF, TNF = 1 − FPF が成り立っている［2］。ROC は、スコア降順にサンプルを並べたとき、当該順位における FPF を横軸、TPF を縦軸にに取って描かれる曲線である。
スコア順位 x を変化させたとき、スコア上位群 A( x ) が拡大するに従って ROC の座標点が動いていく様子は、正解データ、非正解データのスコア分布からも理解できる（図 3）。

d TPF ( s ) d FPF ( s ) =  ( s )  ( s )スコア順位 x* において正解データ、非正解データの確率密度関数が互いに等しくなる場合（  ( s ( x* )) =  ( s ( x* )) ）、ROC 上の対応する点における接線の傾きは 1 になる。スコ
ア順位 x が x* より下位になるとスコア下限線 s (x ) が境界線 s (x* ) より左側に位置し、ROC の傾きは定義により 1 より小さくなる。すなわちスコア順位 x* より下位では正解データに比して非正解データの増加率が大きくなるので、予測正解群を定義する切断点としてスコア順位 x* を採用することが考えられる。

一般に、予測正解率の高スコア側に正解データが分布し、低スコア側に非正解データが分布している。スコア上位群

4. まとめA( x ) のスコア下限値を s (x ) と定義すると（図 3 の縦実線）、

本レポートでは、統計モデルの精度評価の手法として ROC 解析

正解データの確率分布曲線の下側面積のうちスコア下限線を紹介した。本手法は、ダイレクトメールの入会率予測モデル等の右側面積が正解再現率 TPF ( s ( x )) であり、ROC の縦軸座の正解予測モデルの精度評価に利用できる。その他にも、SVM や標となる。一方、非正解データの確率分布曲線の下側面積決定木など判別モデルの精度評価や複数モデル間での精度比較にのうちスコア下限線の右側面積が非正解再現率 FPF ( s ( x ))おいても使われている。また、医療現場におけるＸ線画像診断なであり、ROC の横軸座標となる。正解データの確率密度関

どの画像診断技術における精度評価法としても使われている［3］。

数を  (s ) 、非正解データの確率密度関数を  (s ) とすると、スコア上位群の TPF、FPF はそれぞれ次式で定義できる。

TPF ( s ( x )) =





s( x)

 ( s ) ds, FPF ( s ( x )) =





s( x)

5. 参考文献[1] 研究レポート（2011）No.1

 ( s ) ds

[2] 桂川（2004）：日本放射線技術學會雜誌、第 60 巻 3 号, 309-316

スコア順位 x が下がるにつれて、図 3 のスコア下限線 s (x )[3] 池田（2005）：画像診断のための ROC 解析概論、現代図書.

Copyright© 2011 i’s FACTORY Co., Ltd. All Rights Reserved.