電子情報通信学会論文誌 2002/9 Vol. J85–D–II No. 9

研究速報

ここで，θ はしきい値，sgn() は符号関数である．更に，異なった入出力パターンのバイアスをもつ単純パーセ
プト ロンの記憶容量三村和史†（ 正員）Output Biases
Kazushi MIMURA† and Masato OKADA†† , Regular Members
神戸高専電気工学科，神戸市

j

Jj2 = N を満たしているものとする．この単純パーセプトロンは x ∈ {+1, −1}N →
パターン対 ( µ , σ µ ), µ = 1, · · · , p が与えられたときに，すべての µ → σ µ という写像を式 (1) で再現することができる (J , θ) が存在するか否かという問題

Dept. of Electrical Engineering, Kobe City College of Tech-を考える．今，p = αN とおいて p 個の入出力が正しnology, 8–3 Gakuenhigashi-machi, Nishi-ku, Kobe-shi, 651–

く再現できるのはすべての µ で，2194 Japan††y ∈ {+1, −1} という写像を実現できる．ある p 個の岡田 真人††（ 正員）

Storage Capacity of Simple Perceptron for Diﬀerent Input and†Jj は規格化条件

理化学研究所脳科学総合研究センター脳数理研究チーム，和光市

Laboratory for Mathematical Neuroscience, Brain Science Institute, RIKEN, 2–1 Hirosawa, Wako-shi, 351–0198 Japan

1 σµ √Jj ξjµ − θ > κN j(2)となるときである．ここで，κ > 0 は入力の誤りを許あらまし

単純パーセプトロンは入出力パターンに同じバイアスを加えた場合に容量は発散することが示されている．今回我々は，入出力パターンに異なるバイアスを加えた解析を行い，記憶容量は入力のバイア容するマージンである．また，入力パターン µ と出力 σ µ はそれぞれ次式の確率で生成する．

P (ξjµ ) =1+m
1−m
δ(ξjµ − 1) +δ(ξjµ + 1)22(3)スには依存せず，出力のバイアスのみに依存することを示した．
キーワード

単純パーセプトロン ，Gardner 容量，1+n1−n
P (σ µ ) =δ(σ µ − 1) +δ(σ µ + 1)
22(4)レプ リカ法，入力バイアス，出力バイアス

1. ま え が き

ここで，−1 < m, n < 1 はそれぞれ入力と出力のバニューラルネットワークは，最適化問題，画像修復，イアス，δ(·) はデルタ関数である．正し く入出力関

誤り訂正符号，学習機械等の問題に応用されており，係を再現で きる限界の記憶率 α を容量 αc という．
m = n = 0 のときは，容量が αc = 2 までパターン対の写像を再現する (J , θ) が存在することが知られている [2], [4]．m = n とした場合は，容量は |m| に単調に1増加し ，|m| → 1 の極限で αc = − (1−|m|) log(1−|m|)

その基本素子 1 個の限界を調べることは重要である．
単純パーセプトロン [1] は素子のモデルの一つであり，パターン分類を行う働きをもっている．
単純パーセプトロンの分類できるパターン数の上限（ 正確には入力素子数の割合）を容量という．単純パーと発散することが知られている [2]．しかし ，パターンセプト ロンは入力パターンにバ イアスを加えた場合対のバ イアスが入力 µ と出力 σ µ で同じであると仮には，容量が発散することなどが Gardner [2] によっ定しているため，入力バイアスと出力バイアスのど ちて示されている．しかし，Gardner の理論では入力パらの影響によるかを区別できない．そこで本論文では，ターンと出力に同じバイアスを仮定しており，バイアm = n の場合について議論する．
3. 理論
結合荷重 J の体積 V の α 依存性から容量を求める．
体積 V は入力パターン及び出力に依存するため，入力スの取扱いが限定されている [2], [3]．
本論文では，入出力パターンの両方に異なったバイアスを加えた場合を扱い，容量のバイアス依存性について議論する．

パターン及び出力の分布についての平均 < · > をとり，2. 定 式 化
結 合 荷重 J1 , J2 , · · · , JN を 通し て ，N 個の 入力
x1 , x2 , · · · , xN を受けて，次式に従う y を出力する単レプ リカ法により < log V >= ñ1 log < V ñ > (ñ →純パーセプトロンを考える．

1 y = sgn √Jj xj − θN j1494

次式のようになる．

< V ñ >

電子情報通信学会論文誌 D–II0) を評価することにより計算する．体積 < V ñ > は(1)=  αdJjαjVol. J85–D–II No. 9 pp. 1494–1496 2002 年 9 月

レター× µΘ σµ×δ



1 √
Jj ξjµ − θ − κN j(Jjα )2 − Nj  ×α+ dJjα δ(Jjα )2 − N −1j関数である．次に，レプ リカ間の結合荷重の相関を表q αβ =Nを解くことにより記憶率 α が求まる．ただし v は，1+n2Jjα Jjβ(6)√mv−κ

1−m2=1−n2

 ∞





>∝ exp N ñ ext G(q, v)

κ + mvDt √+t−mv−κ
1 − m2√

1 + n= α
21−n2

(7)

 κ − mv

Dt log H √

Dt log H √√+t q

1 − m2√1−q κ + mv

(11)

マージンがない場合，すなわち κ = 0 のときは ，√
mv/ 1 − m2 → m と置き直すことにより，

α−1=c

ここで，



を解いて得る．

1+n2

 ∞1 − m2√√+t q1−q

Dt −v + tv

1−n+2G(q, v)

4. む す びjにより体積は次のように評価できる．

+κ − mvDt √+t1 − m21−m2

更に，レプリカ対称性 q αβ = q を仮定すると，鞍点法<V ∞を導入する．

あんñ



(10)

j1 

2
κ + mvDt √+t−mv−κ
1 − m2√1−m2

ここで，Θ(x) は x > 0 で 1，x ≤ 0 で 0 をとる階段
す変数 q

 ∞



(5)

αβ1−n2

 ∞

2

2

Dt v + t(12)−vを得る（ 図 1 ）．同様に，v は次式で与えられる．

1+n2

 ∞



Dt −v + tv

1−n=2

 ∞
Dt v + t(13)−v

このように ，κ = 0 では容量 αc は入力バ イアス

q1+ log(1 − q) +22(1 − q)(8)である．また，ext は q に関して最小値をとり，v にm には依存せず，αc = αc (m, n) = αc (n) となり出力バイアス n にのみ依存することがわかった．また，
1n → 1 の極限では，αc = − (1−|n|) log(1−|n|)となる．

関して最大値をとる演算子を表し ，ñ はレプ リカ数，v は各レプ リカの結合荷重の平均値及びしきい値に関∞2する量，H(x) = x Dt，Dt = (2π)−1/2 e−t /2 dt を表す．式 (7) は，次の鞍点方程式から得られる鞍点により評価できる．

∂G∂G==0∂q∂v(9)今，体積が < V ñ >→ 0 となる場合とは，q → 1 となるときであることに着目すると，式 (9) の鞍点方程式で q → 1 の極限をとって得られる，

α−1=c1+n2

 ∞√mv−κ1−m2

2
κ − mvDt √+t21−m

図 1 κ = 0 での容量 αc の出力バイアス n 依存性
Fig. 1 The dependence of the capacity αcon output-bias n at κ = 0.

1495

電子情報通信学会論文誌 2002/9 Vol. J85–D–II No. 9

文
[1]

献

New York, 1962.
[2]

[3]

to the theory of neural computation, Addison-Wesley,
1991.

F. Rosenblatt, Principles of Neurodynamics, Spartan,[4]

T.M. Cover, “Geometrical and statistical properties

E. Gardner, “The space of interactions in neural net-of systems of linear inequalities with applications inwork models,” J. Physics A: Math. and Gen., vol.21,

pattern recognition,” IEEE Trans. Electron. Com-

pp.257–270, 1988.

put., vol.EC-14, p.326, 1965.

J. Hertz, A. Krogh, and R.G. Palmer, Introduction1496（ 平成 13 年 12 月 3 日受付）