材料研究者のための機械学習⼊⾨

滋賀大学 徳田陽明(tokuda@edu.shiga-u.ac.jp)
1
Shiga University

本日の流れ• 機械学習の基礎– 機械学習とは？
– 手法の概要• 少し専門的な数学の説明– 線形代数（エクセル使用）– 統計学• 実装方法の概略（エクセル使用）• 実際の材料への適用例– ガラス材料に応用する場合の課題– 世界の研究動向– 光学ガラスへの適用の実際例
Shiga University

材料研究者の立場から機械学習をどのように利用できるかを中心に2機械学習とは？
Wikipediaによると・・・
機械学習（きかいがくしゅう，（英: machine learning）とは，人工知能における研究課題の一つで，人間が自然に行っている学習能力と同様の機能をコンピュータで実現しようとする技術・手法のことである。
https://ja.wikipedia.org/wiki/機械学習

3
Shiga University

AIが囲碁のトップ棋士に勝った！

https://www.nihonkiin.or.jp/publishing/go_world/
goworld_201605.html

アルファ碁ゼロは，AI同士の対戦で学習し，プロ棋士に勝利
4
Shiga University

ブロック崩しhttps://www.youtube.com/watch?v=eG1Ed8PTJ18
5Shiga University

twork only achieves 71% acter, selected among 100,000
from the training set, only

noise. On the other hand, the numerical optimization
approach can be susceptible to local minima. Results,
shown in Figure 3, confirm that the tested neuron indeed learns the concept of faces.

機械が自力で顔を認識した！

ibution, we removed the losublayers and trained theshow that the accuracy of
5%. This agrees with premportance of local contrastal., 2009).

f activation values for faces in Figure 2. It can be seen,eled data, the neuron learns
ces and random distractors.
a face as an input image, theue larger than the threshold,random image as an input
o output value less than 0.

ces (red) vs. no faces (blue).
such that the ratio between
Shiga University

Figure 3. Top: Top 48 stimuli of the best neuron from thetest set. Bottom: The optimal stimulus according to numerical constraint optimization.

V. L.Qouc
et al., https://arxiv.org/abs/1112.6209
4.5. Invarianceproperties6

レンブラント？

https://www.nextrembrandt.com
7
Shiga Universityなぜ機械学習が注目されているのか• GAFAによる実装• データ量の増加– インターネット利用（画像など）の拡大– 実験データの蓄積• コンピュータの性能の向上

機械学習は魔法の技術？

– ゲーム機が昔のスパコン並みの能力• 解析アルゴリズムの充実– 統計計算，行列計算のパッケージ化
自動化，自動認識などのニーズに見合うだけの性能を達成可能
8
Shiga University

機械学習とは？
機械学習とは，ある目的のためにデータを基にしてコンピュータ（機械）を用いて関係性を発見（学習）すること。そして，これを用いて，未知のデータを予測すること。

アルファ碁：強い碁アルゴリズムを作るために，過去の対局から着手の評価関数を作成した。そして，ある局面での最善手を見出した。
顔認識：顔を認識するために，ネット上の画像データを処理し，顔に特有の特徴を発見した。そして，ある写真が顔かどうかの判定を行なった。
9
Shiga University

機械学習でできること• 回帰– 最小二乗法によるフィッティング– 重回帰分析– カーネル多変量解析• 判別– 数字の判別• クラスタリング– グループ分け• パターンの発見– レコメンド機能（Amazonなど）
10
Shiga University

回帰
出力回帰の例：消費者の属性と商品の販売数

予測入力
この直線を求める（曲線でも可）回帰のためには・・・
データ点（ ）と直線（ー）との距離が最小になるようにする●

入力
一次元：最小二乗法（単回帰）
多次元：重回帰Shiga University11

回帰• 最も簡単な例
測定値10点をy = 3xで線形回帰（フィッティング）

標準偏差：0.3639

12
Shiga Universityデータ点が増えると・・・（10→100）

標準偏差：0.3639

標準偏差：0.1084

データ数の増加 → 予測の精度の向上
13Shiga University

判別
判別の例：動物の種類を見分ける
特徴2

予測

特徴1
この直線を求める（曲線でも可）判別のためには・・・
データ点と直線（ー）との距離が最大になるようにする

Shiga University

特徴
うまく設定する必要がある
高次元でも良い14

クラスタリング特徴2

クラスタリングの例：居住地と消費行動の相関を見つける

予測

特徴1

クラスタリングのためには・・・
データ点と曲線（ー）との距離が最小になるようにする（選んだ）特徴
データの素性が分かっていなくても良い
Shiga University

15機械学習でできること• 回帰– 最小二乗法によるフィッティング– 重回帰分析– カーネル多変量解析

材料科学で役立つのは
主にこれ？

• 分類
– 数字の判別• クラスタリング– グループ分け

何らかの関係が発見できた

数式で表現できるはず
評価値 − 予想値 → 最小
𝐴$ > 𝐴& > ⋯ > 𝐴(

• パターンの発見

数学やアルゴリズムで実装可能！
16

Shiga University

機械学習の位置付け
コンピュータ科学

統計学

機械学習

クラスタリング

分類

カーネル多変量解析

最小二乗フィット

機械学習は，統計学（数学）とコンピュータ科学の境界領域
17
Shiga University

本日の流れ• 機械学習の基礎– 機械学習とは？
– 手法の概要• 少し専門的な数学の説明– 線形代数（エクセル使用）– 統計学• 実装方法の概略（エクセル使用）• 実際の材料への適用例– ガラス材料に応用する場合の課題– 世界の研究動向– 光学ガラスへの適用の実際例
Shiga University18

なぜ機械学習？（特に回帰）n 回帰分析ならば，機械学習は不要？
ü 最小二乗法で十分なのでは？
ü 重回帰分析と何が違うのだろう？

u統計的な（=誤差を含んだ）分析が可能ü 最尤推定u非線形な（=多項式ではない）分析が可能
ü カーネル法
u未知の情報に対する予測が可能
ü ベイズ推定19
Shiga University確率的な考え方の導入

実測のデータは，図のｙ軸に沿った線上にガウス分布している（と考える）
20
Shiga University

問題の一般化（少し）参考

与えられているデータ点（訓練データ）
𝑥$ , 𝑡$ , 𝑥$ , 𝑡$ ,,, 𝑥- , 𝑡𝑥$
𝑥&

→

𝑥-

𝑡$
𝑡&
𝑡-

求めたい回帰曲線
𝑦 = 𝑤1 + 𝑤$ , 𝑥 = 𝑤1

𝑤$1
= 𝑤 4 , 𝑥⃗ = y(𝑤, 𝑥)⃗𝑥

このように表記しておく利点
・多次元化（x2, x3など），多成分化（重回帰）が容易

・カーネル法への拡張が可能
21
Shiga University参考尤度
ある値xに対するtの値は，平均値y 𝑤, 𝑥⃗のガウス分布に従う
その確率は
𝑝 𝑡|𝑥, 𝑤, 𝜎 & = 𝒩 𝑡|𝑦 𝑤, 𝑥⃗ , 𝜎 &と表せる。
訓練データ（この例では10点の測定点）の発生確率は
𝑝 𝑡$ |𝑥$ , 𝑤, 𝜎 & = 𝒩 𝑡|𝑦 𝑤, 𝑥$ , 𝜎 & などの積で表せる-

𝑝 𝑡⃗|𝑥,⃗ 𝑤, 𝜎 & = = 𝒩 𝑡( |𝑦 𝑤, 𝑥( , 𝜎 &

尤度関数

$

訓練データの発生確率が求まった
Shiga University

22

最尤法

参考

最尤推定：訓練データが得られる確率が最も高くなるように𝑤を求める尤度関数はexp(-x2)の形をしているため，小さな値となりやすく，扱いに注意が必要-

𝑝 𝑡⃗|𝑥,⃗ 𝑤, 𝜎 & = = 𝒩 𝑡( |𝑦 𝑤, 𝑥( , 𝜎 &
$

対数をとる
-

1
𝑛
𝑛
&
&
ln𝑝 = − & A 𝑦 𝑤, 𝑥 − 𝑡- − ln𝜎 − ln 2𝜋
2𝜎
2
2
$

これを最小にする（最小二乗法と一致）
さらに，sについて最小化することでsを求められる分散を含んだ予測分布を求めることできた
23
Shiga University実際の例
sin関数にノイズを与えて3次で近似分布も含めて予測可能

確率的に予測することの利点
24
Shiga University

本日の流れ• 機械学習の基礎– 機械学習とは？
– 手法の概要• 少し専門的な数学の説明– 線形代数（エクセル使用）– 統計学• 実装方法の概略（エクセル使用）• 実際の材料への適用例– ガラス材料に応用する場合の課題– 世界の研究動向– 光学ガラスへの適用の実際例
Shiga University25線形代数の復習
連立方程式
21

2𝑥 + 3𝑦 = −1
𝑥+𝑦 =0

3
1

𝑥
−1
=
𝑦
1

行列×ベクトル＝ベクトル
𝑨×𝒛 = 𝒃
このような表記のメリット
ü 短い式で表すことができる
ü 一般化できる（次元をあげられる）
ü 四則演算を定義すると，解を求められる
例えば・・・(𝑨×𝒛)/𝑨 = 𝒃/𝑨𝒛 = 𝒃/𝑨
Shiga University26

行列の四則演算
和と差
1
3

2
5
+
4
7

(1 + 5) (2 + 6)
6=
(3 + 7) (4 + 8
8

1
3

2
5
×
4
7

(1×5 + 2×7) (1×6 + 2×8)
6=
(3×5 + 4×7) (3×6 + 4×8
8

積

なぜこのような複雑なことをするのか？

実際の計算の規則と合わせるためかける順序を逆にしたらどうなるか？
2×3行列の場合にはどうなるか？
27
Shiga University行列の四則演算2
商

逆数をかけるのと同様のことを行う
例えば$5 ÷ 5 = 5× = 1
Q

𝑨×𝑨R$ = 𝟏 となるような𝑨R$ をかける（逆行列）ここで， 𝐈 ≡ 𝟏と表記し，
1 0
𝑰= 0 10 0
二次元の場合，
𝑨=

𝑎
𝑐

0
0
1

1
𝑏
𝑑
のとき，𝑨R$ =𝑑𝑎𝑑 − 𝑏𝑐 −𝑐−𝑏𝑎𝑨×𝒛 = 𝒃の場合，
𝑨R$ 𝑨×𝒛 = 𝑨R$ ×𝒃
Shiga University

𝒛 = 𝑨R$ ×𝒃28

連立一次方程式
連立方程式
2𝑥 + 3𝑦 = −1
𝑥+𝑦 =0
手計算で解いてみる

2
1

3
1

𝑥
−1
=
𝑦
1
手計算（逆行列を作って計算）
エクセル で解いてみる

29
Shiga University行列やベクトルの微分
𝑎⃗ =

𝑎$
𝑎&

のスカラーxによる微分

𝑎-

𝜕𝑎$
𝜕𝑥
𝜕𝑎&
𝜕𝑥

参考

を

𝜕𝑎𝜕𝑥

𝜕𝑎⃗
𝜕𝑎\
=
と成分のみで表すことがある
𝜕𝑥 \𝜕𝑥
逆にスカラーxのベクトル𝑎による微分は，
⃗
𝜕𝑥
𝜕𝑥
=
𝜕𝑎⃗ \ 𝜕𝑎\
ベクトル𝑎のベクトル𝑏による微分は，⃗

Shiga University

𝜕𝑏
𝜕𝑎\
=
𝜕𝑎⃗ \ 𝜕𝑏]行列になっている30

行列やベクトルの微分2参考𝜕 𝑥⃗ ^ , 𝑎𝜕 𝑎⃗ ^ , 𝑥
=
= 𝑎⃗
𝜕𝑥
𝜕𝑥
証明方法
成分を書き出す
𝜕 𝐴,𝐵
𝜕𝐴
𝜕𝐵
=
,𝐵+𝐴
𝜕𝑥
𝜕𝑥
𝜕𝑥
𝐴R$ 𝐴 = 𝐼の微分
𝜕(𝐴R$ )𝜕𝐴 R$
= −𝐴R$
𝐴
𝜕𝑥
𝜕𝑥

31
Shiga University

正規分布（ガウス分布）
正規分布：連続変数の分布のモデル

𝒩 𝑥 𝜇, 𝜎 &Shiga University

1
1
&
=
𝑒𝑥𝑝
−
𝑥
−
𝜇
2𝜎 &
2𝜋𝜎 & $/&
m：平均，s：標準偏差32

正規分布の特徴
確率の和Sはe

𝑆 = d 𝒩 𝑥 𝜇, 𝜎 & 𝑑𝑥 = 1
Re

取りうる値xの平均値は

証明方法

e

y=x-m

𝑥̅ = d 𝒩 𝑥 𝜇, 𝜎 & ×𝑥𝑑𝑥 = 𝜇

と置く

Re

取りうる値x2の平均値はe𝑥 & = d 𝒩 𝑥 𝜇, 𝜎 & ×𝑥 & 𝑑𝑥 = 𝜇& + 𝜎 &Re

分散Vの定義より
𝑉 = 𝑥 & − 𝑥̅ & = 𝜎 &エクセルで計算してみる
33

Shiga University多次元の正規分布
D次元のベクトル𝑥⃗ =

𝑥$
𝑥&

参考

に対して

𝑥j

𝒩 𝑥⃗ 𝜇,⃗ Σ& =

12𝜋 i/& Σ

ここでmはD次元の平均ベクトル

𝑒𝑥𝑝 −
$/&

1
𝑥⃗ − 𝜇⃗ ^Σ R$ 𝑥⃗ − 𝜇⃗
2

𝑥$
𝑥&
𝑥j

SはD×Dの共分散行列

相関の度合いを表す
相関がなければ対角行列
34

Shiga University

本日の流れ• 機械学習の基礎– 機械学習とは？
– 手法の概要• 少し専門的な数学の説明– 線形代数（エクセル使用）– 統計学• 実装方法の概略（エクセル使用）• 実際の材料への適用例– ガラス材料に応用する場合の課題– 世界の研究動向– 光学ガラスへの適用の実際例
Shiga University

35線形回帰モデル“モデル” : 入力xに対して出力yを与えるもの(関数)y = f(x)f(x) = ax + b
f(x) = Asinx:

2つの事物の関係性を表現するもの

Shiga University

機械学習“学習” : 与えられた入力xと出力yに合うようにモデル(関数)の形を変えること
f(x) = ax + b

ここ(パラメータ)がデータ更新のたびに変わる
2つの事物の結ぶ”機械”の形を，新たなデータに合わせて変えていく

Shiga University

予測
入力xから出力yを予測する
出力yが離散的

分類・識別

Ex. 身長から性別を予測

出力yが連続的Ex. 身長から体重を予測

Shiga University

回帰

回帰
入力xから出力yを予測する
入力となる変数xが1つ

y* = ax + b

Shiga University

単回帰

回帰
どのようにして直線式を決めるのか？

y* = ax + b(y*は予測値)
実測値と予測値ではこれだけの差がある

どのようにしてa,bを求めるか

y – y*
分散 : (y – y*)2
残差 :Shiga University最小二乗法全てのデータに対し残差が小さい a,b
残差平方和

E = (y – y*)2
+ (y1 – y1*)2+…
+ (y6 – y6*)2∗ 2m= ∑-l$(𝑦𝑛 – 𝑦𝑛 )全データの残差の和が一番小さくなるようa, bを設定
Shiga University最小二乗法E∗ 2p= ∑-l$(𝑦𝑛 – 𝑦𝑛 )2
= ∑p-l${𝑦𝑛 – 𝑎𝑥𝑛 + 𝑏 }= yn2 – a2xn2 + b2 – 2byn +2abxn – 2axnyn

Eが最小になるa, b → a, bで偏微分して0st2 + 2𝑏𝑥𝑛 − 2𝑥𝑛𝑦𝑛) = 0
= ∑p
(2𝑎𝑥𝑛
-l$
su
st
= ∑p
(2𝑏 − 2𝑦𝑛 + 2𝑎𝑥𝑛) = 0-l$su

Shiga University最小二乗法st2 + 2𝑏𝑥𝑛 − 2𝑥𝑛𝑦𝑛) = 0
= ∑p
(2𝑎𝑥𝑛
-l$
su
st
= ∑p
(2𝑏 − 2𝑦𝑛 + 2𝑎𝑥𝑛) = 0-l$sua ∑- 𝑥𝑛2 + 𝑏 ∑- 𝑥𝑛 = ∑- 𝑥𝑛𝑦𝑛a ∑- 𝑥𝑛 + 𝑏𝑁
= ∑- 𝑦𝑛$b = (∑- 𝑦𝑛 − a ∑- 𝑥𝑛)p

Shiga University最小二乗法a ∑- 𝑥𝑛2 + 𝑏 ∑- 𝑥𝑛 = ∑- 𝑥𝑛𝑦𝑛について$
b = (∑- 𝑦𝑛 − a ∑- 𝑥𝑛)を代入すると
p$2a ∑- 𝑥𝑛 + p ∑- 𝑥𝑛 (∑- 𝑦𝑛 − a ∑- 𝑥𝑛 )$= ∑- 𝑥𝑛𝑦𝑛$a(∑- 𝑥𝑛2 − p ∑- 𝑥𝑛 ∑- 𝑥𝑛 ) = ∑- 𝑥𝑛𝑦𝑛 − p ∑- 𝑥𝑛 ∑- 𝑦𝑛
ゆえにa=

Shiga University{|{∑x y-&R ∑x y- ∑x y|∑x y-z-R ∑x y- ∑x z-

b=

{
|

∑x y-z-R ∑x y- ∑x y-z{|

∑x y-&R (∑x y-)&正規方程式の行列表現
前ページの式a ∑- 𝑥𝑛2 + 𝑏 ∑- 𝑥𝑛 = ∑- 𝑥𝑛𝑦𝑛a ∑- 𝑥𝑛 + 𝑏𝑁
= ∑- 𝑦𝑛∑- 𝑥 𝑛 2∑- 𝑥 𝑛Shiga University∑- 𝑥 𝑛𝑁𝑎𝑏∑- 𝑥𝑛𝑦𝑛
=
∑- 𝑦𝑛

正規方程式

回帰式の導出
ex. (3,2),(2,4),(-1,1)の3点に最もフィットする一次式∑- 𝑥𝑛2 = 9 + 4 + 1 = 14∑- 𝑥𝑛 = 3 + 2 – 1 = 4∑- 𝑦𝑛 = 2 + 4 + 1 = 7∑- 𝑥𝑛𝑦𝑛 = 3×2 + 2×4+ (-1)×1 = 13
手計算でやってみる（エクセル使用可）

14 4
4 3

𝑎
𝑏

=

13
7

y = 0.42x + 1.77
Shiga University

𝑎
𝑏

=

0.42
1.77

エクセルによる回帰式の導出

Shiga University

説明変数xが複数の場合

入力xが1つy* = ax1 + b

入力xが2つ以上単回帰

x = x1重回帰

y* = ax1 + bx2 + cx3 + …

Shiga University

x = (x1 , x2, …)

重回帰
どのようにして直線式を決めるのか？

y1* = w0 + w1x11 + w2x12 + w3x13 + … + wDx1D行列で書くと= (w0, w1,w2, w3, … ,wD)

x11
x12
x13

x1D

= wTx1
Shiga Universityデータが複数あるので・・・
y∗1
y∗2
y∗3

1
⋮
1

=

⋯
⋱
⋯

𝑥1𝐷
⋮
𝑥𝑁𝐷

𝑤0
⋮
𝑤𝑑

y∗D

y*

=

X

w
計画行列

Shiga University

重回帰での最小二乗法

E∗p= ∑-l$(𝑦𝑛 – 𝑦 𝑛)2
𝑇𝑥 }2
= ∑p
{𝑦𝑛
–
𝑤
-l$
𝑛

= (𝑦𝑛 – 𝑤𝑇𝑥𝑛 )T (𝑦𝑛 – 𝑤𝑇𝑥𝑛 )= 𝑦𝑇 𝑦 − yTXw – (Xw)Ty + (Xw)TXw= 𝑦𝑇 𝑦 − 2wT(Xw)T + wTXTXw
Eが最小になるw → wで微分して0となるときのw
Shiga University

重回帰での最小二乗法

色々計算してまとめるとst= -2XTy + (XTX + (XTX)T)ws†= -2XTy + 2XTXw = 0
ゆえに

XTXw = XTyw = (XTX)-1XTy
Shiga University

正規方程式

エクセルで挑戦

53
Shiga University線形回帰モデル

y* = ax + b

直線・平面的y* = aΦ1 + bΦ2 + cΦ3 + …
y* = -0.065 + 0.068x + 0.022x2+ 0.333sinx – 0.863cosx

Φ1 = x，Φ2 = x2 ，Φ3 = sinx などのようにして表現力を上げることもできる

y* = w1Φ1 + w2Φ2 + w3Φ3 + … Wに関して線形
Shiga University基底関数の変え方
1⋮1(y*1,y*2,…,y*N) =

⋯
⋱
⋯

y*

𝑥1𝐷
⋮
𝑥𝑁𝐷

𝑤0
⋮
𝑤𝑑

w

Φ

Φ1 = x，Φ2 = x2 の場合(y*1,y*2,…,y*N) =

1
⋮
1

⋯
⋱
⋯

x 12
⋮
xN2

𝑤0
⋮
𝑤𝑑

エクセルで計算してみる
Shiga University基底関数の増やし方

y* =wTΦ(x) = w0Φ0 + w1Φ1 + w2Φ2 + w3Φ3
+ … + wHΦH(x)Φ = x， x2 ，sin(x)，ex…など，無限にある関数からいくつかを選んで重み付き和としている
例えば， Φ0 = 1， Φ1 = x ，Φ2 = x2 の場合，
y* = Φ0 + 2Φ1 + Φ2 = 1 + 2x + x2
Shiga University

特徴ベクトル

例えば Φ0 = 1， Φ1 = x ，Φ2 = x2 の場合
y* = Φ0 + 2Φ1 + Φ2 = 1 + 2x + x2

(y*1,y*2,…,y*N) =

x

𝑥1
⋱
𝑥𝑁

x 12
⋮
xN2

𝑤0
⋮
𝑤𝑑

(Φ1,Φ2,…,Φd) = (1,x,…,cos(x))
変
換Shiga University

1⋮
1

特徴ベクトル先ほどの方法でうまく回帰できない場合
逆行列がないx1 = (2,4)， x2 = (3,6)，x3 = (4,8) の場合，
y* = w0 + w1x1 + w2x2に回帰するとき

𝑦11𝑦2 = 1
𝑦3
1

2
3
4

X
過学習してしまう

Shiga University

4
6
8

・

𝑤1
𝑤2
𝑤3

w

逆行列がないw = (XTX)-1XTy

過学習とは

2次で近似

6次で近似

45

45

40

40

35

35

30

30

25

25

20

20

15

15

10

10

5

5
0

0
0

1

2

3

4

5

6

7

-5

0

1

2

3

4

5

6

7

エクセルで計算してみる

59
Shiga Universityリッジ回帰

1
x= 1
1

2
3
4

4
6.1
7.9

6.33
(XTX)-1 = 18
−10

18
254
−130

−10
−130
66.67

w = (XTX)-1XTy
Wの絶対値が大きくなりすぎないようにするE∗p= ∑-l$(𝑦𝑛 – 𝑦 𝑛)2

E = (𝑦𝑛 – 𝑋𝑤)2 + αwT w
Shiga University

Wが大きくなると誤差Eも大きくなるリッジ回帰の計算方法
E = (𝑦𝑛 – 𝑋𝑤)2 + αwT w
st= -2XTy + 2XTXw + 2αw = 0s†(XTX + αI) w = XTyw = (XTX + αI)-1 XTy(α = 0の場合最小二乗法と同じ)

ハイパーパラメータ
正則化項を入れた重み計算で回帰

リッジ回帰
エクセルで計算してみる

Shiga University確率的な考え方の導入

実測のデータは，図のｙ軸に沿った線上にガウス分布している（と考える）
62
Shiga University

問題の一般化（少し）与えられているデータ点（訓練データ）
𝑥$ , 𝑡$ , 𝑥$ , 𝑡$ ,,, 𝑥- , 𝑡𝑥$
𝑥&

→

𝑥-

𝑡$
𝑡&
𝑡-

求めたい回帰曲線
𝑦 = 𝑤1 + 𝑤$ , 𝑥 = 𝑤1

𝑤$1
= 𝑤 4 , 𝑥⃗ = y(𝑤, 𝑥)⃗𝑥

このように表記しておく利点
・多次元化（x2, x3など），多成分化（重回帰）が容易

・カーネル法への拡張が可能
63
Shiga University尤度
ある値xに対するtの値は，平均値y 𝑤, 𝑥⃗のガウス分布に従う
その確率は
𝑝 𝑡|𝑥, 𝑤, 𝜎 & = 𝒩 𝑡|𝑦 𝑤, 𝑥⃗ , 𝜎 &と表せる。
訓練データ（この例では10点の測定点）の発生確率は
𝑝 𝑡$ |𝑥$ , 𝑤, 𝜎 & = 𝒩 𝑡|𝑦 𝑤, 𝑥$ , 𝜎 & などの積で表せる-

𝑝 𝑡⃗|𝑥,⃗ 𝑤, 𝜎 & = = 𝒩 𝑡( |𝑦 𝑤, 𝑥( , 𝜎 &

尤度関数

$

訓練データの発生確率が求まった
Shiga University

64

最尤法
最尤推定：訓練データが得られる確率が最も高くなるように𝑤を求める尤度関数はexp(-x2)の形をしているため，小さな値となりやすく，扱いに注意が必要-

𝑝 𝑡⃗|𝑥,⃗ 𝑤, 𝜎 & = = 𝒩 𝑡( |𝑦 𝑤, 𝑥( , 𝜎 &
$

対数をとる
-

1
𝑛
𝑛
&
&
ln𝑝 = − & A 𝑦 𝑤, 𝑥 − 𝑡- − ln𝜎 − ln 2𝜋
2𝜎
2
2
$

これを最小にする（最小二乗法と一致）
さらに，sについて最小化することでsを求められる分散を含んだ予測分布を求めることできた
65
Shiga Universityガウス過程回帰
ガウス分布に従う関数でフィット• 無限次元の回帰（複雑な形状に適用可能）• ノンパラメトリックな回帰• カーネルを定義すれば様々に拡張可能

66
Shiga University

カーネル（グラム行列）𝑘(𝑥$ , 𝑥$ ) ⋯ 𝑘(𝑥$ , 𝑥- )⋮⋱⋮𝐾=𝑘(𝑥- , 𝑥$ ) ⋯ 𝑘(𝑥- , 𝑥- )距離を表している
exp(-(xn-x1)2)
エクセルで計算してみる

67
Shiga Universityガウスカーネル法による多変量回帰
グラム行列を定義
𝑘(𝑥$ , 𝑥$ ) ⋯⋮⋱𝐾=
𝑘(𝑥- , 𝑥$ ) ⋯𝑘(𝑥$ , 𝑥- )⋮𝑘(𝑥- , 𝑥- )回帰関数
𝑦 = 𝜃1 + 𝛼$ ⋅ 𝑘 𝑥$ , 𝑥 +⋅ ⋅ ⋅ +𝛼- ⋅ 𝑘 𝑥- , 𝑥
線形方程式
𝛼 = 𝐾 + 𝜆𝐼 R$ 𝑌
予測値
exp_𝑌 = 𝐾 , 𝛼

エクセルで計算してみる
68

Shiga University参考文献• 機械学習– 「パターン認識と機械学習 上」 C.M. ビショップ （丸善出版）– 「カーネル多変量解析」赤穂 昭太郎 （岩波出版）– 「ベイズ推論による機械学習入門 」須山 敦志（KS情報科学専門書）– 「フリーライブラリで学ぶ機械学習入門」 堅田洋資 （秀和システム）– Gaussian Processes for Machine Learning, C. E. Rasmussen(The MIT press)（ウェブ版http://www.gaussianprocess.org）• 数学的な基礎– 「統計のための行列代数 上」 D. A. ハーヴィル（丸善出版）• 実装– 「Rによる機械学習入門」 金森敬文 （オーム社）
69
Shiga University