日本神経回路学会 第 9 回全国大会 講演論文集 pp.145-146, 札幌 (1999)

SMEM アルゴリズムによる NGnet の学習
NTT コミュニケーション科学基礎研究所

鈴木敏 (PY)

上田修功

Learning NGnets by SMEM algorithm
NTT Communication Science Laboratories

Satoshi Suzuki

Naonori Ueda

E-mail: satoshi@cslab.kecl.ntt.co.jp
Abstract
Recently the SMEM algorithm has been proposed to overcome the local optima problem associated with
the EM algorithm for mixture models. In this report, we present experimental results of applicationof the SMEM algorithm to Normalized Gaussian networks (NGnet) and show the advantage over theconventional learning algorithm.

1× log{P (y|x, i, Θ)P (x|i, Θ)P (i|Θ)}]

はじめに筆者の一人は，混合モデルにおける EM アルゴリズ
ムの局所最適性の問題を解決するための一手法としてSMEM(Split and Merge EM) アルゴリズムを先に提案し，混合潜在変数モデルを含む混合分布推定問題に対しその有効性を示した [1]．本稿では，混合回帰モデルである正規化ガウス関数ネットワーク (NGnet)[2] にSMEM アルゴリズム適用し， SMEM アルゴリズムの回帰問題での有効性を示す．

2

NGnet と EM アルゴリズム
NGnet は，PMy = i=1 PMGi (x|µi ,Σi )
j=1

Gj (x|µj ,Σj )fi (x; Wi ) ,× exp[− 12 (x − µi )T Σ−1i (x − µi )]により与えられ，形式的には Jordan らの提唱した混合回帰モデル (通常， Mixture Expert network (MEnet)と呼ばれる) の gating network をガウス関数に置き換えたものと見なせる．但し， MEnet と NGnet の本質的な違いは， gating 関数の違いではなく， NGnet では入力変数を確率変数として取り扱っている点である．
通常，回帰問題では，入力は単なる変数と考えられる
為， NGnet が MEnet よりも性能面において優れているとは言えないが， NGnet を用いると EM アルゴリズ
ムの M ステップにおける最適解の計算が効率よく実行できる場合がある [2]．
モ デ ル 数 M ， 観 測 デー タ 数 N ， 入 力 x， 出 力 y ，ネットワークパラメタ Θ = {(µi , Σi , Wi )}M
i=1 ，モデル
指標 i としたときの NGnet に対する EM アルゴリズムの Q 関数は，ステップ t でのパラメタ推定値を Θ(t) とすると，N XMX[P (i|x, y, Θ(t) )M
Xqi (Θ|Θ(t) )と， {qi }Mi=1 の直和で表される為， SMEM アルゴリズ
ムが適用できる．
こ こ で， P (y|x, i, Θ),P (x|i, Θ) は そ れ ぞ れ モ デ ル i
により推定される出力分布および入力分布で，ガウス分布を仮定している．また， P (i|Θ) はモデル選択の事前確率で一様分布を仮定する．このとき，各モデルでの fi (x; Wi ) に よる 変換 を線 形変 換と し，観 測デー タ(x, y) を同時分布と見なせば， EM アルゴリズムの Mステップにおける最適解の計算が閉形式で求められ，効率の高い学習が可能となる．

3

SMEM アルゴリズム
SMEM アルゴリズムは， EM アルゴリズムの学習過程において，モデル要素の併合分割操作により，局所最適解からの脱出と，より良い解への誘導を図るアルゴリズムで，概要は以下の通りである．
１．通常の EM アルゴリズムを実行． (Θ∗ , Q∗ を収束後のパラメタ推定値および Q 関数値とする)
２． Θ∗ に基づき，併合分割候補 {i, j, k} の優先順位 cを併合分割基準により定める．
３． c = 1, · · · , cmax に対し，以下を実行．
3-1. 併合分割を実行し，パラメタの再学習を行う．
(Θ∗∗ , Q∗∗ を収束値とする)
3-2. Q∗∗ > Q∗ ならば， Q∗ ← Q∗∗ , Θ∗ ← Θ∗∗ とし，２．へ．
４． Θ∗ を最終結果として終了．
但し，２．の併合分割候補の計算は以下に従う．
併合基準：分布推定問題の併合基準で用いたモデル i への帰属確率 P (i|x, Θ) を，回帰問題では P (i|x, y, Θ) として置き換える．即ち，各データのモデル i への帰属確率 P (i|x, y, Θ) から成るベクトルを Pi として，

hn=1 i=1

キーワード： SMEM アルゴリズム，回帰問題， NGnet(2)i=1(1)Gi (x|µi , Σi ) ≡ (2π)−N/2 |Σi |−1/2Q(Θ|Θ(t) ) ==Jmerge (i, j) =PikPi kiT hPjkPj ki(3)(b-1)

表 1: アルゴリズムの比較
対数尤度
計算量

2y0

平均
標準偏差
最大値
最小値

−2
1x2 02yx11

0−1 −1(b-2)
10

EM-1739
182-1372-2625

SMEM-1426
124-1226-1749

EM5235
156
6

SMEM
662
477
2561
27x2−2
1x2 0x10−1−101(a) Target function−1−10x11(b) Initial value (t = 0)
(c-1)

(d-1)

22yy00−21−21x2 0x2 0x110−1 −10−1 −1(c-2)

x11(d-2)

11x2x200−1−10−1−1x1 1(c) Result by EM (t = 172)0x1 1(d) Final result (t = 580)

図 1: 学習過程の例とする． Jmerge の大きい組が高い優先順位を持つ．
分割基準：分布推定問題の分割基準で用いたモデル k による推定分布 P (x|k, Θ) および事後確率で重み付けした
局所経験分布 fk (x) を，回帰問題では P (x, y|k, Θ) および fk (x, y) として置き換える．即ち，入力の局所経験分
布 fk (x, y) と推定分布 P (x, y|k, Θ) との KL 情報量

Jsplit (k) =を用いる．但し，fk (x, y) =R

fk (x,y)fk (x, y) log P (x,y|k,Θ)
dx

PN
n=1

δ(x−x )δ(y−yn )P (k|x,y,Θ)PN nn=1

P (k|xn ,yn ,Θ)(4)(5)である． Jsplit の大きいモデルが高い優先順位を持つ．

4

計算機実験

計算機実験では人工データを用いて， 3 次元曲面の推定問題について検討した．以下，モデル数を 5 とした場合の実験結果を示す．

図１に学習過程の例を示す． (a) は目的関数で，２次元入力から１次元出力を与える関数である．学習に用いるデータは入力空間から任意に選ばれた 1000 点を用い，出力範囲の 5% を標準偏差とするガウスノイズを出力に対して加えたものを用いた． (b) は学習の初期状態を表している．図 (b-1) は初期値として任意に与えられたパラメタにより推定された関数である．図 (b-2) では各モデルで推定された入力分布が太線で表されており，背後の細線は目的関数の等高線を示している．
(c) は通常の EM アルゴリズムによる学習結果である．この例では， EM ステップを 172 回繰り返すことにより学習が収束している．推定された関数は目的関数に近づいているが，十分とは言えない (c-1)．また，入力分布の推定も，変化の大きい領域を入力領域とするモデルがあり，最適な入力分布とはいえない (c-2)．
(d) は SMEM アルゴリズムによる学習結果で，受理されなかった EM ステップも含め，合計 580 回の EMステップを要した． (c) に比べ，より良い解が得られていることが分かる (d-2)．モデル毎の入力分布の推定も，平面に近い部分が入力領域となるように学習され，妥当な推定結果である (d-2)．
通常の EM アルゴリズムと SMEM アルゴリズムとを比較した結果を表 1 に示す．これは，それぞれのアルゴリズムで 100 回の異なる初期値からの学習結果を用い，対数尤度および計算量 (総 EM ステップ数）の平均，標準偏差，最大値，最小値を比較した結果である．
SMEM アルゴリズムによる尤度の大幅な改善が認められる．但し，計算量は，平均で約 10 倍を要した．

5

おわりにSMEM アルゴリズムの NGnet への適用について検討した．従来の EM アルゴリズムに比べ，総ステップ数は増大するものの，推定精度は確実に向上しており，有効性が確認された．今後，高次元実データでの検証も行う予定である．

参考文献[1] 上田, 中野. (1999). 混合モデルのための併合分割操作付き EM アルゴリズム. 信学論 D-II, vol.J82-S-II, no.5,pp.930-940.
[2] Xu,L. Jordan,M.I. and Hinton,G.E. An Aleternative
Model for Mixtures of Experts. NIPS 7. The MIT
Press, Cambridge, MA.