0混合ガウスモデルによる回帰分析および逆解析
Gaussian Mixture Regression
GMR

明治大学 理⼯学部 応用化学科
データ化学⼯学研究室 ⾦⼦ 弘昌

GMR とは︖

1

説明変数 X と目的変数 Y の関係を、複数の正規分布の重ね合わせで表現する手法
Y の変数が複数の場合でも、それらの関係を考慮しながら、他の手法と組み合わせることもなく、回帰分析および逆解析をすることが可能
逆解析においても、モデルの適用範囲を考慮した解が得られる
X と Y を合わせて混合ガウスモデルを構築• 混合ガウスモデル(Gaussian Mixture Models, GMM) についてはこちら: https://datachemeng.com/gaussianmixturemodel/
GMM は X と Y の同時確率密度分布 p(X, Y) に対応
確率の乗法定理とベイズの定理から、p(Y|X) を求めれば回帰分析、p(X|Y) を求めれば逆解析
一般的な GMM ではモデルパラメータを Expectation–Maximization(EM) アルゴリズムで計算モデルパラメータを変分ベイズ法で計算する GMR は Variational
Bayesian GMR (VBGMR)

2yGMR の概要
混合ガウスモデル(Gaussian Mixture Models, GMM)x
確率の乗法定理p( x, y ) +ベイズの定理

回帰分析

p( y | x )p( x | y )

逆解析

3

混合正規分布 (混合ガウス分布)
説明変数 X と目的変数 Y とをつなげたもの (X の右に Y を追加したもの) を Z とする
X の変数の数を k, Y の変数の数を m, 正規分布の数を n とする
GMM を構築することは、以下の混合正規分布を得ることに対応する(GMM の詳細はこちら: https://datachemeng.com/gaussianmixturemodel/ )np ( z ) =  π i N ( z | μ i , Σi )i =1nπ = 1ii =1z : [ x1, x2, x3, …, xk, y1, y2, y3, …, ym ]μi : i 番目の正規分布における 1 × (k+m) の平均ベクトル
Σi : i 番目の正規分布における (k+m) × (k+m) の分散共分散⾏列
πi : 混合係数 (各正規分布の重み)[参考] モデルパラメータの決め方
一般的な GMM のパラメータ推定には、EM (ExpectationMaximization) を使用• EM アルゴリズムで得られた GMM パラメータを用いる方法を
GMR と呼びます変分ベイズ法に基づいてパラメータ推定する GMM は、
Variational Bayesian GMM (VBGMM)• 変分ベイズ法で得られた GMM パラメータを用いる方法を
Variational Bayesian GMR (VBGMR) と呼びますEM アルゴリズムや変分ベイズ法の詳細はこちら:
https://datachemeng.com/gaussianmixturemodel/45X と Y を明示的に分けて書く構築された混合正規分布は、X と Y の同時確率密度分布を意味する
p ( x, y ) =  π i N  [ x y ] μ x,i
i =1n Σ xx,iμ y,i  ,  Σ xy,i

Σ yx,i  Σ yy,i  

x : [ x1, x2, x3, …, xk ]y : [ y1, y2, y3, …, ym ]μx,i : i 番目の正規分布における、X に対応する 1 × k の平均ベクトル
μy,i : i 番目の正規分布における、Y に対応する 1 × m の平均ベクトル
Σxx,i : i 番目の正規分布における、X に対応する k × k の分散共分散⾏列
Σyy,i : i 番目の正規分布における、Y に対応する m × m の分散共分散⾏列
Σxy,i (Σyx,i): i 番目の正規分布における、X と Y の m × k (k × m) の共分散⾏列

6X から Y の推定 (回帰分析)
X から Y を推定することは、X が与えられたときの Y の事後分布を求めることに対応
確率の乗法定理とベイズの定理より、
np ( y | x ) =  p ( y | x, μ x,i , Σ xx,i ) p ( μ x,i , Σ xx,i | x )i =1
np ( x | μ x,i , Σ xx,i ) p ( μ x,i , Σ xx,i )i =1

 p ( x | μ , Σ ) p (μ , Σ )=  p ( y | x, μ x,i , Σ xx,i ) nx, jxx, jj =1n

π i p ( x | μ x,i , Σ xx,i )i =1

π p (x | μ , Σ )=  p ( y | x, μ x,i , Σ xx,i ) nj

j =1x, jxx, jx, jxx, j

Y の推定値の混合正規分布とその重みnπ i p ( x | μ x,i , Σ xx,i )i =1

π p (x | μ , Σ )p ( y | x ) =  p ( y | x, μ x,i , Σ xx,i ) n

jx, jxx, j

j =1wx,i = nπ i p ( x | μ x,i , Σ xx,i )π p (x | μ , Σ )jx, jとすると、xx, jj =1np ( y | x ) =  wx,i p ( y | x, μ x,i , Σ xx,i )
i =1p(y | x, μx,i, Σxx,i) : i 番目の正規分布における、Y の推定値の(多変量) 正規分布
wx,i : i 番目の正規分布における、Y の推定値の分布の重み

7

Y の推定値の(多変量)正規分布の平均
i 番目の正規分布における、Y の推定値の多変量正規分布p(y | x, μx,i, Σxx,i) について、平均ベクトル mi(x) は、
m i ( x ) = μ y,i + ( x − μ x,i ) Σ −xx,1 i Σ xy,iとなる
式変形はビショップの本[C.M. Bishop, パターン認識と機械学習 上下, 丸善出版, 2006]
を参照のことx に、X のサンプルを⼊⼒することで、i 番目の正規分布におけるY の値を推定できる

8

Y の推定値の正規分布の重み
i 番目の正規分布における、Y の推定値の分布の重み wx,i について、
wx,i = nπ i p ( x | μ x,i , Σ xx,i )π p (x | μ , Σ )jx, jxx, jj =1p(x | μx,i, Σxx,i) は、平均ベクトル μx,i, 分散共分散⾏列 Σxx,i の多変量正規分布における x での確率密度を計算することに対応する

9最終的な Y の推定値をどうするか︖

10

ある一つのサンプルについて、それぞれの Y の推定値は、n 個の推定値とそれらの重みとして与えられる
それらから最終的な推定値を計算するには、
 mode (最頻値) : 重みが最も大きい推定値を選ぶ
 mean (平均値) : n 個の推定値の重み付け平均とするの二通りある
X と Y との間の関係が非線形のとき、mean では上手くいかない場合があることが確認されているが、どちらがよいかはまだ定かではないY から X の推定 (逆解析)
p. 5-9 について、X と Y を⼊れ替えて同じことをすれば、Y から X を推定でき、逆解析ができる

11

正規分布の数をどう決めるか︖

12

正規分布の 1, 2, 3, … と振って GMM を⾏い、それぞれベイズ情報量規準 (Bayesian Information Criterion, BIC) を計算する

BIC = −2 log L + M log N• L : 尤度 (https://datachemeng.com/maximumlikelihoodestimation/ )• M : 推定するパラメータの数⁃ 今回は詳細を記載しないが、分散共分散⾏列 Σk に制限を与えることで、M が変化する (制限しないときは考えなくてよい)• N : サンプル数
BIC の値が最小となる正規分布の数とする
詳細は記載しなかったが、分散共分散⾏列の種類も一緒に決めることができる

正規分布の数をどう決めるか︖ 補足

13

他の回帰分析手法と同じように、クロスバリデーションで正規分布の数や分散共分散⾏列の種類を最適化することも可能
回帰分析の性能をできるだけ上げたいのならクロスバリデーションによる最適化のほうがよく、逆解析の性能も考慮したいのなら BIC による最適化のほうがよいかもしれない (確証なし)

その他
今回は、X と Y を分けて、GMR の説明をしたが、基本的にすべての変数は同等に扱われる
そのため、X や Y の一部の変数を固定して、回帰分析や逆解析を⾏うことなど、柔軟な解析もできる

14

どうやって実際に GMR を実⾏するか︖
GMR をするための Python のプログラムを作りました︕
GMR のデモと、BIC で正規分布の数や分散共分散⾏列を最適化するデモも付いています︕
https://github.com/hkaneko1985/sgmm

15

参考文献

16

(潜在変数 + GMR) H. Kaneko, Lifting the Limitations of Gaussian
Mixture Regression through Coupling with Principal Component
Analysis and Deep Autoencoding, Chemom. Intell. Lab. Syst., 218,104437, 2021.
(VBGMR) H. Kaneko, Extended Gaussian Mixture Regression for
Forward and Inverse Analysis, Chemom. Intell. Lab. Syst., 213,104325, 2021.
(GMR全般) H. Kaneko, Adaptive Design of Experiments Based on
Gaussian Mixture Regression, Chemom. Intell. Lab. Syst., 208,104226, 2021.
(GMR全般) C.M. Bishop, パターン認識と機械学習 上下, 丸善出版,2006