制限付きベイジアンネット BESOM の正則化の一手法
A Method of Regularization for the BESOM Bayesian Network
一杉裕志 1∗
産業技術総合研究所
National Institute of Advanced Industrial Science and Technology(AIST)
1

1

Abstract: We describe a method of regularization for the restricted Bayesian network BESOM,
which has network structure like deep learning. Two types of priors, win-rate penalty and lateralinhibition penalty are introduced to avoid overﬁtting and local minimum problems.

1

はじめに

計算論的神経科学における注目すべき進展として、「大脳皮質がベイジアンネット [8] である」という仮説の登場がある [11]1 。大脳皮質は、脳の中で知能にもっとも関係する重要な器官である。大脳皮質はベイジア
ンネットと機能と構造の面で多くの類似性を持ち、実際に様々な神経科学的現象がベイジアンネットを用いたモデルで再現されている（例えば [3][4][6][13][14]）。
一方で、機械学習の分野では Deep Learning と呼ばれる深い層構造を持つニューラルネットが、高い認識性能を発揮することで注目を集めている。この技術は、脳の視覚野の腹側経路の構造を模した神経回路モデル
である、ネオコグニトロン [1] を源流とする。
最新の計算論的神経科学の知見を Deep Learning 技
術に取り込み、Deep Learning と同じ層構造を持ったベ
イジアンネットを用いれば、より本物の脳に近づき、より高機能・高性能な機械学習技術になる可能性がある。
そのような目的から、筆者らは BESOM と呼ぶ機
械学習アルゴリズム [4][5][7] を開発中である。BESOM
は条件付確率表に制限を入れた層構造をしたベイジア
ンネットである。BESOM は機械学習アルゴリズムとして未完成だが、工学的有用性と、大脳皮質の計算論的モデルとしての神経科学的妥当性の両方を目指している。
単に脳との類似性という理由だけでなく、技術的な観点からも、以下の点で、ベイジアンネットを用いた
Deep Learning は有望だと思われる。

• ベイジアンネットは複数の事象の間の因果関係を確率により表現する知識表現の技術である。ベイ
ジアンネットは信号源と観測データの間の因果関∗ 連絡先： 産業技術総合研究所

茨城県つくば市梅園１−１−１ 中央第２E-mail: y-ichisugi@aist.go.jp
1 参考：「脳とベイジアンネット」
https://staff.aist.go.jp/y-ichisugi/besom/j-index.html

係を比較的少ないメモリで簡潔に表現できる場合があり、その場合は少ない計算量で様々な推論を行うことができる。

• 推論動作は、ネットワーク全体の情報を使って行われる。入力からのボトムアップの情報だけ
でなく、文脈からのトップダウンの予測の情報も用いたロバストな認識が行える [3]。したがって、
feedforward 型ニューラルネットよりもはるかに高機能である。
• 階層的な生成モデルを素直に表現できるため、学
習対象の事前知識が作り込みやすい。事前知識をネットワーク構造や、パラメタの事前分布の形で作り込むことで、学習の性能を上がられる可能性がある。これらの事前知識は、学習対象に対する工学的な観点からの分析だけでなく、神経科学的知見（領野間の接続構造や各領野が表現する情報の特徴）からも得られる可能性がある。
以上の利点があるにも関わらず、ベイジアンネット
を用いた大規模 Deep Learning があまり使われていな
い理由として、計算量の問題と、過適合・局所解の問
題の２つがあるのではないかと思われる。
計算量の問題については、制限された条件付確率表を前提として最適化した確率伝搬アルゴリズム用いることで解決しつつある [16]。
もう１つの過適合・局所解の問題については、大規模ベイジアンネットの表現力の高さゆえに起きると考えられる。この問題はパラメタに事前分布を与えることで緩和できる。
本稿では勝率ペナルティと側抑制ペナルティと呼ぶ
２種類の事前分布と、それを用いた時の近似的な学習則について述べる 2 。この２つの機構は同時に適用可能
2 なお本稿の内容は草稿として公開済みの文章 [15] の一部をもとにしている。

定すると、θ のもとで入力データの列 i(1), i(2), · · · , i(t)が生じる確率は以下のようになる。
t∏=

P (i(i)|θ)

i=1
t ∑
∏

P (h, i(i)|θ)

(1)

i=1 h

図 1: BESOM ネットワークの例。楕円はノード（確率変数）、その中の白丸はユニット（確率変数がとり得る値）。

学習の目的は、以下のようにパラメタを MAP 推定
すること、すなわちパラメタ θ の事後確率を最大にすることである。
[ t]∏∑∗
θ = argmax
P (h, i(i)|θ) P (θ) (2)θである。勝率ペナルティはノード内の各値が均等に用いられるように、側抑制ペナルティは同じ層内のノード同士が独立になるように、認識結果にバイアスを与える。

2

BESOM のアーキテクチャ

BESOM は Deep Learning と同じ、深い層構造をした特殊なベイジアンネットである（図 1）。多くの Deep
Learning のアーキテクチャと同様、同一の層内には結合を持たず、層間は局所受容野を持つように結合する。
BESOM では変数をノード、変数がとり得る値をユニットと呼ぶ。一般にノードは多値変数である。
白黒画像を学習させる場合、入力のピクセル値を最下層の２値変数の観測値として与える。
教師なし学習器として用いる場合は、最下端の変数
以外は、すべて隠れ変数となる。この場合は、最上位層に特徴抽出された値が表現される。
教師あり学習器として用いる場合は、教師信号の与え方はいろいろあり得る。例えば最上位層の１つのノード（教師ノード）の観測値として与える方法がある。この場合は、認識時には教師ノードも隠れ変数にして最下層に値を入力し、教師ノードの値の推論結果（事後
確率最大の値）を認識結果とする。
BESOM のもう１つの大きな特徴は、条件付確率表の制限である。この制限については、5 章で述べる。

3

学習の目的関数

パラメタ θ のもとでの隠れ変数の値の組 h と入力変数の値の組 i との間の同時確率のモデルを P (h, i|θ) とする。また、時刻 t における入力変数の値の組を i(t)とする。各時刻の入力は i.i.d. (独立同分布) に従うと仮i=1 h

パラメタ θ を推定するアルゴリズムとしては、オン
ラインＥＭアルゴリズムもしくはその近似アルゴリズ
ムを用いる。
近似の１つの方法として、 MPE (Most Probable Explanation) を用いる方法を以下に述べる。
学習アルゴリズムは、認識ステップと学習ステップの動作を表す２つの数式で書ける。
認識ステップでは、まず現在のパラメタ θ(t) に基づいて、与えられた入力 i(t) に対する隠れ変数の値の組の最大事後確率推定値 ĥ(t) （すなわち MPE）を次のように求める。

ĥ(t)=argmax P (h|i(t), θ(t))=

argmax P (h, i(t)|θ(t))/P (i(t))=

argmax P (h, i(t)|θ(t))

h
h

(3)

h

次に学習ステップでは、式 (2) における隠れ変数の周辺化を推定値 ĥ(i) を用いることで近似してパラメタ推定し、結果を θ(t + 1) とする 3 。
[ t]∏θ(t + 1) = argmax
P (ĥ(i), i(i)|θ) P (θ)
(4)
θ

4

i=1

パラメタ θ の事前分布

パラメタ θ の事前分布は、下記のように２つの因子から構成される。

P (θ) = P W inRate (θ)P Lateral (θ)(5)

このあと、勝率ペナルティ P W inRate (θ) と側抑制ペナルティ P Lateral (θ) について、それぞれ 6 章と 7 章で述べる。
3 似た近似は Olshausen らの sparse-coding [9] でも行っている（[10] の p.3315 参照）。なお、我々はオンライン EM アルゴリズムも実装している。本稿では述べないが、概要については [16] を参照
されたい。

5

条件付確率表のモデル

BESOM の重要な特徴として、条件付確率表の制限がある。
（ただし本論文の主題である勝率ペナルティおよび側抑制ペナルティの機構は、この制約とは無関係に動作すると思われる。）
ベイジアンネットにおいて各ノードの条件付確率表を表現するためには、一般に親ノードの数 m に対してO(2m ) 個のパラメタが必要になる。これは計算量・メ
モリ量の爆発や、過適合・局所解の原因になる。
そこで、条件付確率をより少ないパラメタで表現できるように、以下の形に制限する。
1 ∑w(x, uk )mm

P (x|u1 , · · · , um ) =

(6)

k=1

w(x, uk ) のもっとも簡単なものとして、下記のもの
を現在用いている。
w(x, uk )=P (x|uk )(7)

条件付確率 P (x|uk ) は１つのパラメタ wxuk で表現される。
このような制約を入れると確率伝搬アルゴリズムが非常に少ない計算量で近似実行でき、しかもそのときのノード間の情報の流れが大脳皮質の特徴的な解剖学的構造とよく一致することが示されている [4][6]。
一方で、このように条件付確率表に強い制限を入れることは、モデルとしての表現力を下げることになる。
この問題についての考察は 9 章で述べる。

6

勝率ペナルティ

6.1

目的

BESOM ネットワークのパラメタを素朴な方法で学習すると、多値ノード内の多数のユニットのうちごく一部しか学習が進まず、ほとんどのユニットは初期値のまま変化しないという現象が起きる。これは学習が局所解に陥っているものと思われる。
この問題を緩和するためには、パラメタの事前分布を適切に設定し、学習結果において各ノード内のユニットが均等に使われるベイジアンネットになるようなバ
イアスを与えればよい。
具体的には、各ユニットが目標とする勝率の分布と、実際の分布とのＫＬ情報量に基づいて、差が大きいときにペナルティを与えるものとする。ここで、勝率とは、ユニットがノードの推定値になる頻度である。BESOMにおいてユニットとは確率変数がとり得る値であり、１つのノード（確率変数）の推定値に対応するユニット
を勝者ユニットと呼んでいる。
このようなペナルティによって、学習が進むにつれ各ユニットの勝率が目標とする値に近づくと期待できる。他のユニットよりも勝率が大きいユニットにペナ
ルティを与えることから、この機構を 勝率ペナルティと呼んでいる。

6.2

複雑な事前分布の問題点とその解決策

隠れ変数を含むベイジアンネットのパラメタの最尤
解は EM アルゴリズムで推定でき、それは確率伝搬ア
ルゴリズムのメッセージの収束結果を用いて効率的に実行できる [12]。しかし、パラメタが複雑な事前分布を持つ場合は、パラメタの MAP 解を求める EM アル
ゴリズムが容易に実行できるとは限らない。
もし、パラメタの事前分布を持つベイジアンネット
が、それと等価な事前分布を持たないベイジアンネットに変換できれば、変換後のベイジアンネット上でのEM アルゴリズムの実行は容易になる。
本論文で述べる事前分布の定義は、幸いなことに、近似的にほぼ等価な事前分布を持たないベイジアンネットに変換できる。変換後のベイジアンネットにおいては、認識結果にバイアスを与える役割を持つ制約ノードが新たに加わる。

6.3

事前分布の定義と、それと等価なベイジ
アンネットの導出

勝率ペナルティ P W inRate (θ) を以下のように定義する。
∏
W inRate
DKL (Q(X)||P (X;θ))P W inRate (θ) =
e−C
(8)
X∈X

ただし X はすべてのノードの集合、C W inRate は勝率
ペナルティの強さを決める定数である。
Q(X) は、ノード X の勝率の目標となる分布であり、ネットワーク設計者が分布の形を決める。例えばノード
内のユニットの勝率を一様にしたい場合、ノード X のユニット数を s 個とすれば、すべての i (i = 1, 2, · · · , s)に対してQ(X = xi ) = 1/s(9)とすればよい。
DKL (Q(X)||P (X; θ)) は分布 P と Q の間のＫＬ情報量で、以下の式で定義される。

DKL (Q(X)||P (X; θ)) =∑x

Q(x) log

Q(x)P (x; θ)

(10)

ここで

R(x; θ) = s

Q(x)
Q(x)
log
P (x; θ)P (x; θ)(11)と定義する。ただし s はノード X のユニット数である。x(i) を θ のもとでの時刻 i における変数 X のMPE の値の十分によい近似値とすれば 4 、DKL (Q(X)||P (X; θ)) ≈

t
∑
1
i=1

t

R(x(i); θ)

(12)

である。
すると P W inRate (θ) は次のように書き直せる。

P

W inRate

(θ)

=

∏

e

∏

≈

6.4

−C W inRate DKL (Q(X)||P (X;θ))

X∈X

e−C

W inRate∑ti=1で定義されているようなベイジアンネットワークにおけるパラメタ θ の最尤推定と同じ形をしている。
（ノー
ド RX には常に観測値 1 が与えられるものとする。）
したがって、ＥＭアルゴリズムを用いたパラメタ推定
が容易に実行できるようになる。
正則化パラメタ C W inRate に 1/t がかかっているので、時刻とともにペナルティの影響は小さくなっていく。
R(x; θ) を計算する際に必要となる勝率 P (x; θ) は素
朴なオンライン学習によって推定したものを使う。

f (x) = x log(x) のとき f ′ (x) = log(x) + 1, f (1) =0, f ′ (1) = 1 、また、P と Q がほぼ一致するならば
Q(x)/P (x; θ) ≈ 1 なので、下記の近似式が成り立つ。

(1/t)R(x(i);θ)R(x; θ)

X∈X
t
∏ ∏

=

e−(1/t)C

W inRatet ∏∏e−(1/t)C

W inRate

R(x(i);θ)(13)

i=1 X∈X

このとき、学習ステップにおけるパラメタ θ を MAP推定する式 (4) は次のように書き直せる。
（ここでは説明を簡単にするために P (θ) = P W inRate (θ) とする。）

θ(t + 1)=[∏]targmaxP (ĥ(i), i(i)|θ) P W inRate (θ)
θ

=

i=1

]
[∏
t ∏
P (x(i)|parents(x(i)); θ)
argmaxθ[∏t ∏i=1 X∈Xe−(1/t)C W inRate R(x(i);θ)]

i=1 X∈X=

argmax
θ

e

t ∏ [
∏

P (x(i)|parents(x(i)); θ)

i=1 X∈X−(1/t)C W inRate R(x(i);θ)](14)

ただし、 parents(x(i)) は時刻 i におけるノード X の親ノードの値の組である。
上記の式は、すべてのノード X の下に２値の制約
ノード RX があり、条件付き確率がP (RX = 1|X = x; θ)=e−(1/t)C

W inRate=s(Q(x)/P (x; θ)) log Q(x)/P (x; θ)≈ s(Q(x)/P (x; θ) − 1)

R(x(i);θ)X∈X i=1=

勝率ペナルティの強さの近似式

R(x;θ)(15)
4 学習がある程度収束に近づいた時にはじめてこの仮定が成り立

つ点には注意が必要である。7 章の側抑制ペナルティについても同
様である。

(16)

この式を用いることで計算時間を多少減らすことができる。また、生物にとってもこのような近似式の方が神経回路による実現が容易かもしれない。

7側抑制ペナルティ

7.1

目的

BESOM ネットワークのパラメタを素朴な方法で学習すると、同じ子ノードからの入力を受け取る同一層内のノード同士が似た情報を表現するようになるという現象が起きがちである。この現象も局所解または過適合であろうと思われる。
BESOM の各隠れ層は Deep Learning と同様、特徴抽出器として働くことが期待されるが、同じ特徴が重複して表現されていると、上位層の認識にとって好ましくなく、問題である。
この問題を緩和するため、前章と同様に、ペナルティを事前分布として定義し、それと等価な構造を持つベ
イジアンネットを導くアプローチをとる。
事前分布は、２つのノードが似た値を表現するときにペナルティを与えることで、ノード同士が独立な情報を表現するようにバイアスをかける。
この機構は大脳皮質内における側抑制の機構と似た役割を持つと思われることから、側抑制ペナルティと呼んでいる。

7.2

事前分布の定義と、それと等価なベイジ
アンネットの導出

側抑制に相当するペナルティ P Lateral (θ) を以下のように定義する。
∏
LateralI(U,V ;θ)e−C
(17)
P Lateral (θ) =຾⋡䝨䝘䝹䝔䜱
䛒䜚຾⋡䝨䝘䝹䝔䜱
䛺䛧ഃᢚไ䝨䝘䝹䝔䜱
䛒䜚

ϴϰ͘ϳй

ϴϰ͘Ϭй

ഃᢚไ䝨䝘䝹䝔䜱
䛺䛧

ϳϵ͘ϵй

ϲϭ͘ϯй

(U,V )∈L

ただし C Lateral は側抑制ペナルティの強さを決める定数、L は側抑制を行うノードのペアの集合とする。通常、同じ層に属し、同じ子ノードを共有するノードどう
しがお互いに側抑制するように、側抑制のネットワー
クを構築しておく。
I(U, V ; θ) はノード U と V の間の相互情報量で、以下の式で定義される。

I(U, V ; θ) =∑∑u

P (u, v; θ) logv

図 2: MNIST 手書き数字データベースでの認識率の
評価。

7.3

側抑制の強さの近似式

U と V がほぼ独立ならば P (u|v)/P (u) ≈ 1 なので、下記の近似式が成り立つ。
R(u, v) =P (u, v; θ)(18)
P (u; θ)P (v; θ)s2 (P (u|v)/P (u)) log P (u|v)/P (u)≈ s2 (P (u|v)/P (u) − 1)

(22)

ここで

8

R(u, v)
P (u, v)
P (u, v)= s2log
P (u)P (v)P (u)P (v)= s2 (P (u|v)/P (u)) log P (u|v)/P (u)(19)と定義する。
（θ は省略した。）u(i), v(i) を θ のもとでの時刻 i における変数 U, V の MPE の値の十分によい近似値とすれば、I(U, V ; θ) ≈

t
∑
1
i=1

t

R(u(i), v(i); θ)

(20)

である。
あとは 6 章と同様の議論により、側抑制するノードのペア (U, V ) ∈ L ごとに２値の共通子ノード RU V があってその条件付き確率がP (RU V = 1|u, v; θ)=e−(1/t)C

LateralR(u,v;θ)(21)
であるとみなすことができる。したがって前章と同様に、ＥＭアルゴリズムによってパラメタの最尤値が容易に推定できるようになる。
なお、 R(u, v; θ) の値の計算に必要なる P (u|v; θ) 、P (u; θ) の値は、6 章と同様、素朴なオンライン学習により推定したものを使う。

評価

本手法の効果を MNIST 手書き数字データベース 5での認識率で評価した。
実験には４層 BESOM ネットワークを使用した。最下層にはサイズ 28 x 28 の入力画像のピクセル値を二値化して与える２ユニットのノード 28 x 28 個、最上位層に教師信号を与える１０ユニットのノード１個を配置した。隠れ層は２層あり、入力層の１つ上の層は20 ユニットのノードを 5 x 5 個、さらにその上の層は30 ユニットのノードを 3 x 3 個配置した。
認識率は、訓練データ６万個のうちのランダムな１万個を学習させた後、テストデータ１万個のうちラン
ダムな 1000 個を認識させて評価した。
学習は、ここではオンラインＥＭアルゴリズムの非
常に粗い近似を用いている。まず loopy な確率伝搬ア
ルゴリズム（ただし条件付確率表の制限を前提に計算量を落としたもの [16]）でノードごとの周辺事後確率を計算し、そのノードごとの最大値を真の値と見なして、パラメタをオンラインで更新している。
図 2 は結果をまとめたものである。勝率ペナルティと側抑制ペナルティは、いずれもそれがない場合と比べて認識率が上がっていることが確かめられた。

9

おわりに

現在、 BESOM は機械学習アルゴリズムとしてなんとか動作するようになったが、まだ実用上十分な認識
5 「MNIST handwritten digit database」
http://yann.lecun.com/exdb/mnist/

精度は出ていない。現状の BESOM の MNIST 手書き
数字の認識率は、単純な３層パーセプトロン等と比べてもよくない。
最大の理由は、5 章で述べた条件付確率表のモデルの制約が強すぎる点にあると考えている。現在の条件付確率表のモデルではノード数やユニット数を十分に増やしても、任意の生成モデルが十分な精度で近似できないと思われる。この問題を解決する新たな条件付
確率表のモデルと、それに合わせた近似確率伝搬アル
ゴリズムを開発する必要があり、現在取り組んでいる
ところである。
なお、本稿で述べたアルゴリズムの実装は、ソースコードつきで公開している 6 。

参考文献[1] K. Fukushima, Neocognitron: A self-organizing
neural network model for a mechanism of pattern recognition unaﬀected by shift in position.
Biological Cybernetics, 36(4): 93-202, 1980.

[7] 一杉裕志、「大脳皮質のアルゴリズム BESOM
Ver.2.0」産業技術総合研究所テクニカルレポート
AIST11-J00009, Sep 2011.
http://staff.aist.go.jp/y-ichisugi/
besom/AIST11-J00009.pdf[8] J. Pearl , Probabilistic Reasoning in Intelligent
Systems: Networks of Plausible Inference, Morgan Kaufmann, 1988.
[9] Olshausen BA, Field DJ, Emergence of simplecell receptive ﬁeld properties by learning a sparsecode for natural images, NATURE 381 (6583):
607-609 JUN 13 1996.
[10] Olshausen BA, Field DJ, Sparse Coding with an
Overcomplete Basis Set: A Strategy Employedby V1 ?, Vision Res., Vol. 37, No. 23, pp. 33113325, 1997.
[11] 一杉裕志, 解説：大脳皮質とベイジアンネット、日本ロボット学会誌 Vol.29 No.5, pp.412–415, 2011.

[2] J. Pearl , Probabilistic Reasoning in Intelligent
Systems: Networks of Plausible Inference, Morgan Kaufmann, 1988.

[12] Kevin B. Korb and Ann E. Nicholson, BayesianArtiﬁcial Intelligence, Second Edition, CRC
Press, 2011.

[3] George, D. Hawkins, J., A hierarchical Bayesianmodel of invariant pattern recognition in the visual cortex, In proc. of IJCNN 2005, vol. 3,
pp.1812–1817, 2005.

[13] Haruo Hosoya, Multinomial Bayesian Learningfor Modeling Classical and Nonclassical Receptive Field Properties, Neural Computation,Vol.
24, No. 8, pp. 2119–2150, 2012.

[4] Yuuji ICHISUGI, The cerebral cortex modelthat self-organizes conditional probability tables
and executes belief propagation, In Proc. ofInternational Joint Conference on Neural Networks (IJCNN 2007), pp.1065–1070, Aug 2007.
http://staff.aist.go.jp/y-ichisugi/
besom/20070509ijcnn-paper.pdf[14] Salvador Dura-Bernal, Thomas Wennekers, Susan L. Denham, Top-Down Feedback in an
HMAX-Like Cortical Model of Object Perception
Based on Hierarchical Bayesian Networks andBelief Propagation PLoS ONE, Vol.7, No.11.,
2012.

[5] 一杉裕志、「脳の情報処理原理の解明状況」産業技術総合研究所テクニカルレポート AIST07J00012, Mar 2008.
http://staff.aist.go.jp/y-ichisugi/
besom/AIST07-J00012.pdf[6] Yuuji Ichisugi: ”Recognition Model of Cerebral
Cortex based on Approximate Belief Revision
Algorithm”, To appear in Proc. of IJCNN 2011.
http://staff.aist.go.jp/y-ichisugi/
besom/2011ijcnn.pdf
6 https://staff.aist.go.jp/y-ichisugi/besom/
download.html[15] 一杉裕志、 BESOM Ver.3.0 β版のアルゴリズム、2013.
https://staff.aist.go.jp/y-ichisugi/
besom/20130717algorithm.pdf[16] 一 杉 裕 志 、高 橋 直 人 、制 限 付 き ベ イ ジ ア ン
ネット BESOM に お け る 認 識 ア ル ゴ リ ズ ム
OOBP, 2014 年度 人工知能学会全国大会, 2014.
https://kaigi.org/jsai/webprogram/2014/
pdf/373.pdf