3-6 予測・判断

東京⼤学

東京⼤学 数理・情報教育研究センター

数理・情報教育研究センター
2021年5⽉7⽇

4-4. 時系列データの解析
東京⼤学 数理・情報教育研究センター
郡⼭知樹，2021 CC BY-NC-SA

1

概要• データを⽤いた予測や予測の種類を学びます．
• 機械学習の予測モデルや，予測された結果の評価⽅法を学びます．

東京⼤学 数理・情報教育研究センター

4-4. 時系列データの解析
東京⼤学 数理・情報教育研究センター
郡⼭知樹，2021 CC BY-NC-SA

2

本教材の⽬次
1．予測とは

4

2．機械学習モデルによる予測

5

3．予測結果の評価

12

4．その他の予測

18

東京⼤学 数理・情報教育研究センター

4-4. 時系列データの解析
東京⼤学 数理・情報教育研究センター
郡⼭知樹，2021 CC BY-NC-SA

3

予測とは
• 数理モデルを仮定して何かしらの推測することを予測と呼びます．
• 機械学習モデルによる予測• すでにあるデータから数理モデルを学習した後で，新たなデータに対する出⼒を数理モデルから予測します．
• 線形回帰，ランダムフォレスト，サポートベクタマシン，ニューラルネットワークなどの，教師あり学習モデルを使⽤します．

• 時系列モデルによる予測• 現在までの時系列の変動から，未来の変動を予測します．

• 数値シミュレーションによる予測• ⾃然現象など観測の難しい物理現象を仮定した数理モデルからコンピュータ上での計算で予測します．

東京⼤学 数理・情報教育研究センター

4-4. 時系列データの解析
東京⼤学 数理・情報教育研究センター
郡⼭知樹，2021 CC BY-NC-SA

4

機械学習モデルによる予測(1)• クラス分類…質的データの予測• 2クラス分類：はい／いいえ，陽性／陰性など• 多クラス分類：動物の種類，⽂字，⼈物など• 回帰…量的データの予測• 価格，⼈数，重量，温度，体積など• クラス分類と回帰で，使⽤する機械学習モデルや評価基準が変化します．
• ⼀般化線型回帰モデルは，線形回帰モデルを回帰以外にも拡張したものです．この場合，クラス分類はロジスティック回帰，⼈数や回数などカウントデータの予測はポアソン回帰と呼ばれます．

東京⼤学 数理・情報教育研究センター

4-4. 時系列データの解析
東京⼤学 数理・情報教育研究センター
郡⼭知樹，2021 CC BY-NC-SA

5

機械学習モデルによる予測(2)• モデル𝑓(#)に⼊⼒𝑥を⼊⼒したときの𝑓(𝑥)が予測したい変数𝑦に近づくようにモデル𝑓(#)を学習します．
• 𝑥は⼊⼒変数，説明変数，独⽴変数𝑦は出⼒変数，被説明変数，従属変数とそれぞれ呼ばれます．

学習時
データベースの出力

データベースの入力
𝑥! , 𝑥" , ⋯ , 𝑥#

モデル
𝑓(#)

𝑦! , 𝑦" , ⋯ , 𝑦#

モデル
𝑓(#)

𝑓(𝑥∗)

予測時
新たな入力𝑥∗

東京⼤学 数理・情報教育研究センター

4-4. 時系列データの解析
東京⼤学 数理・情報教育研究センター
郡⼭知樹，2021 CC BY-NC-SA

6

決定⽊• 決定⽊は，Yes/Noを返す質問を繰り返す⼆分⽊の⽊構造によって予測を⾏う機械学習モデルです．
• どのような質問をすればよいかを学習します．

晴れ？

Yes

No

降水量>5mm

風速>10m/s
Yes
中⽌

東京⼤学 数理・情報教育研究センター

No決⾏

Yes
中⽌

4-4. 時系列データの解析
東京⼤学 数理・情報教育研究センター
郡⼭知樹，2021 CC BY-NC-SA

No
決⾏
7

ランダムフォレスト• 決定⽊は解釈性が⾼いものの，性能はあまり⾼くありません．
• ランダムフォレストは複数の決定⽊（いわゆる“森”）を組合せることで推定精度を向上させる⼿法です．
• 複数の弱い機械学習モデル（弱学習器）を組み合わせる⼿法はアンサンブル学習と呼ばれ決定⽊以外でも広く使⽤されています．

東京⼤学 数理・情報教育研究センター

4-4. 時系列データの解析
東京⼤学 数理・情報教育研究センター
郡⼭知樹，2021 CC BY-NC-SA

8

サポートベクタマシン• サポートベクタマシン（Support Vector Machine; SVM）はデータの代表点であるサポートベクタによって予測の識別境界を決定する⼿法です．
• 異なるクラス間の距離（マージン）が最⼤になるように学習を⾏います．
• 識別境界が直線で表されるSVMは線形SVMと呼ばれます．
識別境界クラスA
マージン

クラスB

東京⼤学 数理・情報教育研究センター

4-4. 時系列データの解析
東京⼤学 数理・情報教育研究センター
郡⼭知樹，2021 CC BY-NC-SA

9カーネルSVM• 線形SVMは分離境界が直線になるため，データによっては必ずしもうまく予測ができません．
• カーネルSVMは，データ点同⼠の類似度を表すカーネル関数を⽤いる⼿法で，複雑な識別境界を実現可能です．

線形SVM

RBFカーネルSVM

2次元入力変数を2クラス（赤or青）で2クラス分類した例．赤い領域は赤のクラスに，青の領域は青のクラスに分類されます．
東京⼤学 数理・情報教育研究センター

4-4. 時系列データの解析
東京⼤学 数理・情報教育研究センター
郡⼭知樹，2021 CC BY-NC-SA

10

2クラス分類の⼿法の⽐較• 予測⼿法ごとに，得られる識別境界は⼤きく異なります．
そのため，データに合った予測⼿法の選択が重要です．(参考)

線形ロジスティック
回帰(1-4参照)

線形SVM

カーネルSVM

ガウス過程による分類

決定木

ランダムフォレスト

k-近傍法

ニューラルネット(3-4 参照)

東京⼤学 数理・情報教育研究センター

4-4. 時系列データの解析
東京⼤学 数理・情報教育研究センター
郡⼭知樹，2021 CC BY-NC-SA

11

2クラス分類の評価• 2クラス（陽性／陰性）の分類の評価はRecallやPrecisionなど複数の指標によって評価されます．
実際のクラス

予測ク
ラス

陽性

陰性陽性(positive)○真陽性(TP)true positive

×偽陽性(FP)
false positive

陰性(negative)×偽陰性(FN)
false negative○真陰性(TN)
true negative

Recall, Sensitivity(再現率，感度)𝑇𝑃
𝑇𝑃 + 𝐹𝑁

Specificity(特異度)
𝑇𝑁𝑇𝑁 + 𝐹𝑃

東京⼤学 数理・情報教育研究センター

4-4. 時系列データの解析
東京⼤学 数理・情報教育研究センター
郡⼭知樹，2021 CC BY-NC-SAPrecision(適合率，精度)𝑇𝑃
𝑇𝑃 + 𝐹𝑃Accuracy(正解率)𝑇𝑃 + 𝐹𝑁
𝑇𝑃 + 𝑇𝑁 + 𝐹𝑁 + 𝐹𝑃
12

ACCURACY/RECALL/PRECISION• Accuracy• 単純に予測モデルがどの程度正解できるかを表す指標です．
陰性が珍しい場合などバランスが異なるときには適していません．

• Recall(Sensitivity, 再現率, 感度)• 実際の陽性を，どれだけ検出できるかを表す指標です．

• Specificity(特異度)• 実際の陰性を，どれだけ検出できるかを表す指標です．

• Precision(適合率，精度)• 陽性と判断されたうち，どれだけが正解かを表す指標です．

• F値とはトレードオフの関係にあるRecallとPrecisionをまとめて評価する指標で次の式で定義されます．
recall # precision
𝐹=2
recall + precision
東京⼤学 数理・情報教育研究センター

4-4. 時系列データの解析
東京⼤学 数理・情報教育研究センター
郡⼭知樹，2021 CC BY-NC-SA

13

ROC曲線／AUC (1)• RecallとPrecisionのどちらが有効かはシステムに依存します．
• 病気を検出する場合，病⼈を取りこぼさないことを重要視したい
ときには，Recallを重視します．

• 予測モデルによっては，陽性／陰性の判断基準の調整が可能で，Recall・Precisionのどちらを重要視するか選べます．
Recallを重視した
識別境界

Precisionを重視した
識別境界陽性陰性

東京⼤学 数理・情報教育研究センター

4-4. 時系列データの解析
東京⼤学 数理・情報教育研究センター
郡⼭知樹，2021 CC BY-NC-SA

14

ROC曲線／AUC (2)• ROC曲線(receiver operating characteristics curve)は，偽陽性率(=1−Specificity)を横軸，Recallを縦軸にとって陽性/陰性の判断基準を変えたときの変化を表す曲線です．
• AUC(area under curve)は，ROC曲線とx軸の間の⾯積で，値が1に近いほど，予測モデルの性能が⾼いと判断できます．

Recall

ROC曲線

AUC

偽陽性率(1−Specificity)
東京⼤学 数理・情報教育研究センター

4-4. 時系列データの解析
東京⼤学 数理・情報教育研究センター
郡⼭知樹，2021 CC BY-NC-SA

15

多クラス分類の評価• 多クラス分類ではAccuracyの他に，混同⾏列(confusion matrix)を⽤いた評価も有効です．
• 混同⾏列によって予測の誤りの傾向の調査が可能です．

予測されたクラス

実際のクラス

東京⼤学 数理・情報教育研究センター

ABC

D

A

25

1052B

31339C03204

D242154-4. 時系列データの解析
東京⼤学 数理・情報教育研究センター
郡⼭知樹，2021 CC BY-NC-SA16回帰問題の評価• 実際の数値と予測した数値の誤差を調べることによって，回帰モデルの性能評価が可能です．
• 実際のデータ𝑦% と予測した値𝑦:% の差の⼆乗に対して，データ全体で平均をとったものを，平均⼆乗誤差(mean squared error; MSE)と呼びます．
#1MSE = ? 𝑦% − 𝑦:% "𝑁%&!

• 平均絶対誤差(mean absolute error; MAE)を使⽤することもあり#ます．
1
MAE = ? 𝑦% − 𝑦:%𝑁%&!

• MSEはMAEと⽐較して，⼤きい予測誤差の影響を受けやすい特徴があります．
東京⼤学 数理・情報教育研究センター

4-4. 時系列データの解析
東京⼤学 数理・情報教育研究センター
郡⼭知樹，2021 CC BY-NC-SA

17

数値シミュレーションによる予測• 数値シミュレーションは，現実に起こりうる問題に対して，あるモデルを仮定し，数値計算によってモデルから予測を⾏う⼿法です．
• 離散型シミュレーションは、ATMなどの混雑状況をコンピュータの数値計算によって予測する⼿法です。
• ⼈の到着確率および処理の終了時間の分布によって定義される待ち⾏列モデルに対して，乱数を実際に与えることで，待ち⾏列の⻑さが予測可能です．

• 連続型シミュレーションは，複雑な物理現象など微分⽅程式で与えられるモデルに対して，数値計算によって現象を予測する⼿法です．

東京⼤学 数理・情報教育研究センター

4-4. 時系列データの解析
東京⼤学 数理・情報教育研究センター
郡⼭知樹，2021 CC BY-NC-SA

18

気象予測
• 気象予測は気象学から得られる物理モデルや，観測データに基づく機械学習モデルによって⾏われます．
• ⼤気の遷移などを表した数値予報モデルから未来の⼤気の状態を数値的に予測することができます．
• さらに，⼤気の状態と⽇照量や降⽔量などを関連付けた過去のデータから機械学習モデルを学習することで，未来の気象を予測することができます．
• 物理モデルで予測した空間的に疎な背景値と，実際の観測値との差分を⽤いて，モデルの修正を⾏う⼿法をデータ同化と呼びます．

東京⼤学 数理・情報教育研究センター

4-4. 時系列データの解析
東京⼤学 数理・情報教育研究センター
郡⼭知樹，2021 CC BY-NC-SA

19