実用的な教師あり学習●ニューラルネットワーク（？）●

深層学習への準備●

サポートベクトルマシン●

アンサンブル学習●●

特にランダムフォレスト

回帰●

数値を予測する問題

6. 識別 - ニューラルネットワーク ●

識別関数法
●

確率の枠組みにはとらわれず、ならば x を Positive と判定する関数 f を推定する●

単層パーセプトロン–

識別関数として 1 次式（＝直線・平面）を仮定
この平面を求めていることになるパーセプトロンの学習●

単層パーセプトロンの定義

以後、 w は w0 を含むという特徴空間上の超平面を表現●

Σ0 or 1…

閾値関数●

エラーの定義●二乗誤差●

E は w の関数
–最急降下法
全データに対する正解と関数の出力との差の２乗和

w を E の勾配方向へ一定量だけ動かすことを繰り返して、最適解へ収束させる（→最急降下法）

多層パーセプトロンへの拡張●

シグモイド関数の適用●

勾配計算の際に微分可能なものを用いるΣ…

多層パーセプトロンの構成
…
…
…

…
入力層

中間層

出力層

誤差逆伝播法による学習
1.リンクの重みを小さな初期値に設定
2.個々の学習データに対して以下繰り返しa)入力に対するネットワークの出力を計算

b)出力層の k 番目のユニットに対してエラー量 δ 計算c)中間層の h 番目のユニットに対してエラー量 δ 計算d)重みの更新Weka の MultilayerPerseptron

Weka の MultilayerPerseptron

多層パーセプトロンの特質●

識別面の複雑さ

中間層のニューロンの個数に関係する● シグモイド関数 ( 非線形 ) を任意の重み・方向で足し合わせることで複雑な非線形識別面を構成●

なぜニューラルネットが流行らなかったか
●

過学習
●

●

局所的最適解●●学習データに適応しすぎて、未知データに弱い

初期パラメータを変えて何度も実験ハイパーパラメータがいくつかあるが、挙動が理論的によくわからない●

中間層の数、モーメンタム ,etc.

7. 識別 - サポートベクトルマシン ●マージンを最大化する識別面を求める
識別面と、最も近いデータとの距離：サポートベクトル

7.1 問題の定式化
●

学習データ

●

識別面の式

●

識別面の制約 ( 係数を定数倍しても平面は不変 )点と直線の距離の公式●

学習パターンと超平面との最小距離

7.1 問題の定式化
●

目的関数：

●

制約条件：

●

解法：ラグランジュの未定乗数法
●

問題

●

ラグランジュ関数–

で偏微分して 0 になる値が極値

7.1 問題の定式化●

計算

α についての2 次計画問題

7.2 カーネル関数の利用●

特徴ベクトルの次元を増やす

2 次元で線形分離不可能なデータ線形分離可能な 3 次元へ

ただし、元の空間でのデータ間の距離関係は保持するように

7.2 カーネル関数の利用●

非線形変換関数：●カーネル関数●元の空間での距離が変換後の空間の内積に対応●

カーネル関数の例– 多項式カーネル– ガウシアンカーネル
この形であれば、対応する非線形変換が存在することが数学的に保証されている

7.3 カーネル関数を用いた SVM●

変換後の識別関数：●

SVM で求めた w の値を代入

非線形変換の式は不要！！！
カーネルトリックWeka の SMO

なぜ SVM が流行ったか
大局的最適解● 高次元特徴量に強い●●●

文書分類などでは数万次元になることもカーネルトリック●

文書・グラフ構造など、とにかくカーネル関数が定義できればよい9. アンサンブル学習●

アンサンブル学習とは●●分類器を複数組み合わせ、それらの結果を統合することで個々の分類器よりも性能を向上させる方法

アイディア
●

訓練例集合から全く独立に L 個の分類器 ( 誤り率 ε,誤りは独立 ) を作成→ m 個の分類器が誤る確率は二項分布→のとき、となる B は小さい値

9.1 なぜ性能が向上するのか
誤り率 20% の分類器11 個で多数決統合を行ったとき、 6 個以上が間違う確率は 1.2%

過半数（≧ 6 ）の識別器が誤る場合

m9.2 バギング
未知データ
学習

データ 1

識別器 1

結果

復元抽出

学習データ

データ 2・・・

識別器 2・・・

識別器 L
データ L

結果

結果

多数
決識別結果

●

特徴
●

9.2 バギング

訓練例から復元抽出することで、元のデータと同じサイズの独立なデータ集合を作成する。
n→∞ でn 回行って、あるデータが抽出されない確率 :●各々のデータ対して同じアルゴリズムで分類器を作成する–●

約 0.368

アルゴリズムは不安定 ( 学習データの違いに敏感 ) な方がよい例 ) 枝刈りをしない決定木

結果の統合は多数決

9.3 ランダムフォレスト
AB

CD

E

class

1

ランダムに選択

A,B,E から

2

Gain の高いものを選択B

3

A,D,E からGain の高いものを選択
A
a1b1

4
復元抽出された学習データ

b2

C,D,E からGain の高いもの
E
a2

葉が単一クラスになるまで（過）学習を選択9.3 ランダムフォレスト
●

特徴
●

●

バギングと同様、学習データは復元抽出識別器作成に使用できる特徴をランダムに制限する
ことで、各抽出データ毎に全く異なった識別器ができる●

識別器は意図的に過学習させる

Weka の RandomForest

異なった決定木が学習されている

未知データ

9.4 ブースティング
学習

x1

x1

x1

x2

x2x2x3

識別器 1

識別器 2

w1

xN

x3

識別器 L

...

...

...
xN

x3

w2

重み付き投票

識別結果

xN

wL

9.4 ブースティング●

特徴●

逐次的に相補的な分類器を作成●

以前の分類器が誤った事例に重みを付けて次の分類器を学習●●

学習アルゴリズムが重みに対応していない場合は、重みに比例した数を復元抽出
結果は分類器に対する重み付き投票●

8. 回帰問題設定●

教師あり学習●

数値入力 → 数値出力
機械学習

中間的手法

教師あり

識別回帰
主記憶 =256
キャッシュ =64
チャネル =16

性能= 360.5

教師なし8.2 線形回帰●

目標：なるべく誤差の少ない直線を求める●

線形回帰の定義

入力 x から出力 y を求める回帰式を 1 次式に限定● 学習データから係数 w を求める●

8.2 線形回帰●

最小二乗法による係数の推定●

推定の基準：誤差の二乗和 E を最小化

X : 全学習データを並べた行列●

w で微分した値が 0 となるのは

w : 係数のベクトル表現

w が解析的に求まる

8.2 線形回帰●●

最小二乗法の精度向上

例●

基底関数を考える●

係数が線形であれば、最小二乗法が適用可能問題点●

汎化性能の低下

売上高気温

●

正則化
●

8.2 線形回帰

正則化項の導入→ 複雑なパラメータ w （過学習）の回避●–L1 ノルム: 0 となるパラメータが多くなる

Lasso–

L2 ノルム: パラメータを 0 に近づける

Ridge

リッジ回帰
●

誤差の二乗和に L2 ノルム正則化項を加える
λ ：誤差の二乗和と正則化項とのバランス
w が解析的に求まる

●

ラッソ回帰
●

●

8.2 線形回帰

誤差の二乗和に L1 ノルム正則化項を加える

微分不可能な点があるため、解析的に解を求めることができない–

適当な初期重みから始め、リッジ回帰で上界を押さえる逐次更新アルゴリズムを用いる

8.2 線形回帰●

リッジ回帰とラッソ回帰
w2

w2

最小二乗法の解
ラッソ回帰の解

リッジ回帰の解w1

パラメータを 0 に近づけている

w10 となるパラメータを多くしている