データサイエンス・リテラシー
予測精度と学習方法

イラスト︓©いらすとや

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

予測精度と学習方法

Table of Contents
4-1. 予測精度と学習⽅法

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

予測精度と学習⽅法

識別モデル・技術の評価

例︓ウイルスに感染しているかどうかの検査
検査でウイルスを持っている１⼈

陽性

検査でこういう人をもれなく見つけたい！
でも、持ってないのに「持っている」となっては困る…

ウイルスを持っていない

陰性

p1000⼈に1⼈が感染するようなウイルスだと︖

９９９⼈

è 常に「陰性」を⽰す偽検査でも精度は 99.9
? %本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

ウイルスを持っているのに「持っていない」となってはま
ずい…

イラスト︓©いらすとや予測精度と学習⽅法

識別モデル・技術の評価

検査が100%正しいとは⾔えないので、いろんなケースが考えられる
本当にウイルスを持っている◯真陽性

True Positive (TP)検査で陽性

本当はウイルスを持っていない◯偽陽性

False Positive (FP)ウイルスあり?!
本当にウイルスを持っていない◯真陰性

True Negative (TN)

検査で陰性

本当はウイルスを持っている◯偽陰性

イラスト︓©いらすとや
本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

False Negative (FN)

予測精度と学習⽅法

識別モデル・技術の評価

コンフュージョンマトリックス（Confusion Matrix: 混同⾏列）
p識別精度の評価（例︓ウイルスに感染しているかどうかの検査）
検査の結果（予測結果）
検査で

実
際
#状態

検査で

陽性

陰性

真陽性

偽陰性

偽陽性

真陰性

True Positive (TP)

False Positive (FP)

False Negative (FN)

True Negative (TN)
イラスト︓©いらすとや

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

予測精度と学習⽅法

識別モデル・技術の評価

精度・正答率・正解率（Accuracy︓アキュラシー）p識別精度の評価（例︓ウイルスに感染しているかどうかの検査）
検査の結果（予測結果）
検査で

実
際
#状態

検査で

陽性

陰性

真陽性

偽陰性

偽陽性

真陰性

True Positive (TP)

False Positive (FP)

False Negative (FN)

True Negative (TN)

今まで考えていた精度︓
全検査のうち正解の割合[真陽性]＋[真陰性][全検査]＝正答率、精度（Accuracy）
イラスト︓©いらすとや

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

予測精度と学習⽅法

識別モデル・技術の評価

適合率・陽性的中率（Precision︓プレシジョン）
p識別精度の評価（例︓ウイルスに感染しているかどうかの検査）
検査の結果（予測結果）
検査で

実
際
#状態

検査で検査が陽性の⼈のうち実際に陽性だった割合

陽性

陰性

真陽性

偽陰性

[真陽性]
[真陽性]+[偽陽性]

偽陽性

真陰性

＝適合率（Precision）

True Positive (TP)

False Positive (FP)

False Negative (FN)

True Negative (TN)※「適合率(陽性的中率)」を分野によって「精度」と呼ぶことがあるので注意
本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

イラスト︓©いらすとや予測精度と学習⽅法

識別モデル・技術の評価

再現率・真陽性率・検出率・感度（Recall︓リコール）
p識別精度の評価（例︓ウイルスに感染しているかどうかの検査）
検査の結果（予測結果）
検査で

実
際
#状態

検査で陽性

陰性

真陽性

偽陰性

偽陽性

真陰性

True Positive (TP)

False Positive (FP)

False Negative (FN)

True Negative (TN)

実際に陽性の⼈のうち検査も陽性だった割合[真陽性][真陽性]+[偽陰性]＝再現率（感度）（Recall）
イラスト︓©いらすとや

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

予測精度と学習⽅法

識別モデル・技術の評価

特異度（Speciﬁcity︓スペシフィシティ）p識別精度の評価（例︓ウイルスに感染しているかどうかの検査）
検査の結果（予測結果）
検査で

実
際
#状態

検査で

陽性

陰性

真陽性

偽陰性

偽陽性

真陰性

True Positive (TP)

False Positive (FP)

False Negative (FN)

True Negative (TN)

実際に陰性の⼈のうち検査も陰性だった割合[真陰性][偽陽性]+[真陰性]＝特異度（Specificity）
イラスト︓©いらすとや

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

予測精度と学習⽅法

識別モデル・技術の評価

計算例
p 識別精度の評価（例︓新型コロナウイルスに感染しているかどうかの検査）※数値は予想される概算値で厳密な値ではありません
検査の結果（予測結果）
検査で検査で陽性

陰性

真陽性 (TP)
実際#状
態

3,500+94,905
精度 == 𝟗𝟖. 𝟒%
100,000
3,500
適合率 == 𝟗𝟕. 𝟒%3,500 + 95

偽陰性 (FN)

3500
偽陽性 (FP)1500
真陰性 (TN)

95

94905

10万⼈の検査に対して感染者が5%の場合

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

3,500
再現率 =
= 𝟕𝟎. 𝟎%3,500 + 1,500
特異度 =94,905= 𝟗𝟗. 𝟗%94,905 + 95
イラスト︓©いらすとや予測精度と学習⽅法

識別モデル・技術の評価

計算例
p 識別精度の評価（例︓新型コロナウイルスに感染しているかどうかの検査）※数値は予想される概算値で厳密な値ではありません
検査の結果（予測結果）
検査で検査で陽性

陰性

真陽性 (TP)
実
際#状態

3,500+94,905
精度 == 𝟗𝟖. 𝟒%
100,000
3,500
適合率 == 𝟗𝟕. 𝟒%3,500 + 95

偽陰性 (FN)

3500
偽陽性 (FP)1500
真陰性 (TN)

95

94905

10万⼈の検査に対して感染者が5%の場合

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

3,500
再現率 =
= 𝟕𝟎. 𝟎%3,500 + 1,500
特異度 =94,905= 𝟗𝟗. 𝟗%94,905 + 95
イラスト︓©いらすとや予測精度と学習⽅法

識別モデル・技術の評価

計算例
p 識別精度の評価（例︓新型コロナウイルスに感染しているかどうかの検査）※数値は予想される概算値で厳密な値ではありません

検査の結果（予測結果）
検査で検査で陽性

陰性

真陽性 (TP)
実
際
#状態

精度 =

偽陰性 (FN)

56,000
偽陽性 (FP)

適合率 =24,000 再現率 =真陰性 (TN)

20

19,980

10万⼈の検査に対して感染者が80%の場合

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

特異度 =イラスト︓©いらすとや予測精度と学習⽅法

識別モデル・技術の評価

計算例
p 識別精度の評価（例︓新型コロナウイルスに感染しているかどうかの検査）※数値は予想される概算値で厳密な値ではありません

検査の結果（予測結果）
検査で検査で陽性

陰性

真陽性 (TP)
実
際#状態

偽陰性 (FN)

56,000
偽陽性 (FP)

24,000精度 =56,000+19,980~𝟕𝟔. 𝟎%100,000

適合率 =56,000
再現率 == 𝟕𝟎. 𝟎%56,000 + 24,000

真陰性 (TN)

20

19,980

10万⼈の検査に対して感染者が80%の場合

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

56,000~𝟏𝟎𝟎. 𝟎%56,000 + 20

特異度 =19,980= 𝟗𝟗. 𝟗%19,980 + 20
イラスト︓©いらすとや予測精度と学習⽅法

識別モデル・技術の評価

多クラス分類のコンフュージョンマトリックスと適合率・再現率
予測結果

A
実
際
#状態

True A
A (TA)
False A(B)
B(FAB)C False A(C)
(FAC)

B

C

False B(A)(FBA)
True B(TB)
False B(C)(FBC)

False C(A)(FCA)
False C(B)(FCB)
True C(TC)

正答率 =[TA]+[TB]+[TC]

[全検査]

[TA]
Aの適合率 =
[TA]+[FAB]+[FAC][TA]
Aの再現率 =
[TA]+[FBA]+[FCA]

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

予測精度と学習⽅法

識別モデル・技術の評価

多クラス分類での再現率のヒートマップ
l対⾓線上が濃い⻘⾊になると識別精度（再現率）が⾼い。

犬

正解のラベル猫馬lこの分析器では「熊」は「パンダ」と間違えやすい。
l逆に「パンダ」は「熊」や「⽜」と間違えやすい

牛熊兎パンダ犬猫

馬 牛 熊 兎 パンダ
予測されたラベル※例として作成した図で実際に分析した結果ではありません。
本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

予測精度と学習⽅法

識別モデル・技術の評価

教師あり学習でのモデル構築

p識別精度の評価
取得データ

トレーニングデータ

予測モデルの構築

予測モデルを評価

実運用

テストデータイラスト︓©いらすとや
本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

予測精度と学習⽅法

識別モデル・技術の評価

教師あり学習でのモデル構築 ークロスバリデーション（交差検証）ー

p予測モデルの評価
取得データトレーニングデータ

クロスバリデーション
バリデーション
データ

バリデーション
データ
トレーニングデータ

バリデーション
データ
トレーニングデータ

バリデーション
データ
トレーニングデータ

ベストの予測モデルを選択予測モデルを評価

実運用

テストデータイラスト︓©いらすとや
本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．