THE UNIVERSITY OF TOKYO

数理情報工学特論第一【機械学習とデータマイニング】
2章：回帰（２）

かしま ひさし鹿島 久嗣（数理 6 研）kashima@mist.i.～

DEPARTMENT OF MATHEMATICAL INFORMATICS

1THE UNIVERSITY OF TOKYO

教師つき学習の王道である「回帰」について学びます

回帰問題の定義

線形回帰問題の定式化



線形回帰問題の初等的解法



リッジ回帰：L2正則化による過学習の回避

交差確認によるハイパーパラメータの決定–2

Leave-one-out交差確認

回帰問題の確率モデル的解釈



回帰の応用



カーネル回帰L1正則化

THE UNIVERSITY OF TOKYO交差確認法によるハイパーパラメータの決定

3

THE UNIVERSITY OF TOKYO

正則化で出てくるハイパーパラメータは、モデルの真の性能を比較することで選びます 正則化によって汎化能力の現象に対処できることは分かったが、これによって、ユーザが指定する余分なパラメータ（ハイパーパラメータ）¸ が出てきてしまう 訓練データを使った目的関数をハイパーパラメータ¸について直接最適化すると、単に¸=0（正則化しないのが最良）となってしまう モデルの真の性能（の見積もり）によって¸を決定する
 真の性能の見積もりに最も良く用いられているのが交差確認（クロスバリデーション）である

4

THE UNIVERSITY OF TOKYO交差確認では、モデルの真の性能を計ることができます 交差確認では、訓練データ集合をモデル推定用データ集合と、モデル検証用データ集合に分割する。

– モデル推定は、前者のモデル推定用データ集合のみを用いて行う– 得られたモデルを、モデル検証用データ集合に適用し（予測値を計算し、損失を計算する）モデルの実際の性能を測る

 K-分割交差確認 (K-fold cross validation)– 訓練データ集合をK個に分割し、そのうちK-1個の塊をモデル推定に、残り1つの塊を検証に用いる– K 回繰り返して、平均の性能を得る
 Leave-one-out 交差確認（LOOCV）– 訓練データ集合のうち1つだけを検証用に残し、残りのN-1個の訓練データをモデル推定に用いる
5

THE UNIVERSITY OF TOKYOハイパーパラメータは交差確認によって決定できます ハイパーパラメータの決定には、交差確認を、ハイパーパラメータを変えながら繰り返す

 例えば、線形回帰の例では¸=0の場合、¸=0.1の場合…などと、いくつかの¸について、それぞれK-分割交差確認を行い、もっとも性能のよい¸を採用する
 結構な計算量になる

6

THE UNIVERSITY OF TOKYO線形回帰の場合には、leave-one-out交差確認(LOOCV)を非常に効率よく実行できます LOOCVの2乗誤差見積もりは– ここで、 は、i番目の訓練データを除いた訓練データで推定したパラメータw(-i)による、i番目の訓練データに対する出力の予測値

 問題は、w(-i)は全てのiに対して異なるので、leave-one-out交差確認(LOOCV)を行うには、逆行列計算をN回行う必要がある点
 実は、全ての訓練データを用いたときのパラメータ推定値wをもとに N 個のw(-i)を（逆行列の計算なしに）直接計算できる

7

THE UNIVERSITY OF TOKYO

LOOCVをナイーブに計算するとかなりの計算量が必要となってしまいます 訓練データ集合を全て用いて最尤推定されたパラメータはと書くことができた。
– これは計算できたものとする。
 ここで我々が欲しいのは全ての i = 1,…,N に対する w(-i)– ©(-i)は、©の i 行目を抜いたもの– y(-i)はyのi番目の要素を抜いたもの
 それぞれの逆行列計算がO(D3)くらいかかる
8

THE UNIVERSITY OF TOKYOシャーマン-モリソンの公式(Sherman-Morrison’s formula)がw(-i)の効率的な計算の実現に重要な役割を果たします シャーマン-モリソンの公式(Sherman-Morrison’s formula)：– Aは正方行列、uとv
 この公式のポイントは：– Aにランク1の行列u v>を加えた行列の逆行列がA-1から計算できる– 一旦、A-1を計算しておけば、A + u v>の逆行列は、逆行列よりもずっと尐ない計算量で計算することができる。

9THE UNIVERSITY OF TOKYOシャーマン-モリソンの公式を使うことで、LOOCVを高速化できます 問題となっている©(-i)>©(-i)を以下のように書き換える この形はまさに、既に逆行列を計算した©>©に、ランク1の行列
Á(x(i)) Á(x(i))>を加えたものの逆行列になっている。
 ここで、シャーマン-モリソンの公式の公式を使えば、– シャーマン-モリソンの公式においてA≡ ©>©、u ≡v≡Á(x(i)) とする

 結果、w(-i)をwから逆行列なしで計算することができ、これをもとにi番目の訓練データに対する出力の予測値を予測値を計算できる。
 （L2）正則化を行っている場合には、A≡ ©>©+¸ I
10THE UNIVERSITY OF TOKYOシャーマン-モリソンの公式を使わない（もうちょっと真面目な）導出 ポイントは等式：–は、yの i 番目の要素をで置き換えたベクトル、

 「i番目の訓練データを除いたときの推定パラメータw(-i)は、w(-i)をつかってi番目の訓練データの予測値を書き換えたデータを使った推定パラメータと等しい」– ある損失関数を最小化するパラメータで予測した出力値をもつデータを訓練データセットに加えても、これらについては初めからモデルの予測値と訓練データの出力値が一致しているため、損失関数は増加しない

11THE UNIVERSITY OF TOKYO

別の導出
式

を用いれば、

 i 番目の訓練データに対するleave-one-outの予測値
 簡単のためはとおくと

 右辺を展開すると

12

THE UNIVERSITY OF TOKYO回帰の確率モデル的解釈

13

THE UNIVERSITY OF TOKYO回帰の確率モデル的解釈：「損失の最小化」は最尤推定として解釈できます 「教師つき学習とは条件付き確率P(y|x)を推定する問題である」とひとまず定義し、 最尤推定がその推定手段であると述べたが、ここまでの議論にはそのような確率モデル的な観点は現れていない

 ここでは、実はここまでに述べたことは、条件付き確率 P(y|x) の最尤推定と等価である
 最尤推定は、訓練データ集合{ (x(i),y(i))}i=1Nに対して、対数尤度の和を最大化するようなパラメータを、推定パラメータw*とする考え方

14THE UNIVERSITY OF TOKYO線形回帰モデルの確率モデル的解釈：
出力にガウス的ノイズが載るものとします 回帰問題に対応する条件付き確率P(y|x)を定義する
 出力yが、平均が f (x; w)=w> Á(x)で分散が¾2であるような正規分布に従って発生するものと仮定する。

– なお、N(¹, ¾2) は平均¹、分散¾2をもつ一次元の正規分布

15THE UNIVERSITY OF TOKYO線形回帰に対する対数尤度の最大化は2乗損失の最小化と一致します 回帰問題の場合に対数尤度の和を計算すると

 1項目がwに依存しないことに注意すると、最尤推定の解はとなり、まさに2乗損失を損失関数とした線形回帰に一致する
16

THE UNIVERSITY OF TOKYOリッジ回帰は、ベイズ統計的な解釈ができます 正則化によって、目的関数の2乗損失にパラメータのノルムを加えることで、過学習を緩和できる
 目的関数に2乗損失を用いることが最尤推定に対応しているならばこれにパラメータのノルムを加えたものは何に対応しているだろうか？
 正則化の枠組みは、ベイズ統計の立場から解釈できる

17

THE UNIVERSITY OF TOKYO

ベイズ統計では「パラメータの上での確率分布」を考えます これまで、パラメータwには「真の値」があるとしており、これをデータから計り知るための方法が最尤推定などであった ベイズ統計では、パラメータは一意に決まっているようなものではなく、何らかの確率分布に従って発生するもの、もしくは、パラメータの分布自体がパラメータの性質や意味を示していると考える ベイズ統計で重要な役割を果たすのが、事後分布と呼ばれるP(w|D)– 訓練データ集合Dが与えられた時のパラメータの上での確率分布– 事後分布P(w|D)は訓練データ集合Dを「見た後」に、どういったwが確からしいかを表す

18THE UNIVERSITY OF TOKYO

ベイズ統計における「学習」は、訓練データを見る前の事
前分布から、観た後の事後分布への変化に対応します 事前分布と事後分布– 事前分布 P(w) ：訓練データ集合Dを見る前のパラメータ上の分布– 事後分布 P(w|D)：訓練データ集合Dを見た後のパラメータ上の分布
 事前分布は、そもそもどのあたりのパラメータがそれらしいかを表す事前知識
 訓練データ集合を与えられることによって、パラメータの上での確率分布が、事前分布P(w)から、事後分布P(w|D)に変化する– これが、ベイズ統計における「学習」である– このあたりが、ベイズ統計に初めて触れる際、違和感を感じる部分

19

THE UNIVERSITY OF TOKYO実は、正則化は事後確率最大化に対応します ベイズ統計ではパラメータは点ではなく分布で与えられるが、正則化の枠組みでは、確かに何か一つにパラメータが決まった
 実は、正則化は、事後分布を最大化するようなパラメータが最良であるとする事後確率最大化(MAP; Maximum A Posteriori)}という考え方に従ってパラメータを決定していることと等価である

20

THE UNIVERSITY OF TOKYO

事後確率最大化の目的関数は、最尤推定の目的関数＋事前分布による項 で補正したものと解釈できます ベイズの公式によってP(w|D)を書き換えてみる

 形式的に、対数を取ると 事後確率最大化

は、– 1項目は対数尤度– 2項目は事前分布の対数を取ったもの– 最尤推定の目的関数に、事前分布で補正をかけている 最尤推定で求まるパラメータを、事前分布最大となるパラメータに「尐し引き戻す」というイメージ
21
THE UNIVERSITY OF TOKYOリッジ回帰の事後確率最大化としての解釈 事前分布P(w) を各次元wd が平均0、分散η2の正規分布とする– パラメータwはなるべく0に近いものがよいとする正則化の気持ち 事前分布の対数を取ると、より– 2項目に正則化項と同じ、パラメータの2-ノルムが現れる– 1項目はwを含まないため無視できる 事後確率最大化がリッジ回帰に一致する（¸ ≡ ¾2 /η2）

22

THE UNIVERSITY OF TOKYO