総説論文「注意の正規化モデル」の紹介（所内ゼミでの発表資料の修正版）

産業技術総合研究所
脳神経情報研究部門
一杉裕志
2009-04-08

概要• 下記の総説論文を紹介する。
The normalization model of attention(Reynolds JH, Heeger DJ, Neuron. 2009 Jan 29;61(2):168-85)
http://www.ncbi.nlm.nih.gov/pubmed/19186161– 視覚野のニューロン応答に対する注意の様々な影響を統一的に説明する、「注意の正規化モデル」という計算論的モデル。
– 論文中の数式は一部分かりにくいので補って説明。

• BESOM モデル（大脳皮質の神経回路モデル）が「注意の正規化モデル」をほぼ包含していることを述べる。

よいモデル（理論）とは？
• 少ないパラメタ。
• 適用範囲が広い。
• 予言能力が高い。
• より強力な理論への洞察を与える。

• 今回紹介する「注意の正規化モデル」はかなりよいモデルに見える。

刺激からニューロン応答を計算する過程
θ入力刺激
θ I(x,θ)注意フィールドA(x,θ)

刺激ドライブθ E(x,θ)刺激フィールドe(x',θ';x,θ)でたたみ込みxθx A(x,θ)E(x,θ)×x

抑制フィールドs(x',θ';x,θ)でθたたみ込み抑制ドライブS(x,θ)xθ

応答R(x,θ)÷xx"Activity Map" の見方• 受容野の中心の座標が x 、preferred direction が θ であるような、各ニューロンの応答を明暗で示して、２次元平面にならべたもの。

θx
θ

x
ニューロン(x,θ)

注• 説明を分かりやすくするため、 論文とは異なる以下の変数を用いる。
– 入力刺激 I(x,θ)– 刺激フィールド e(x',θ';x,θ)– 抑制フィールド s(x',θ';x,θ)入力刺激(stimulus)
入力刺激の強さを、 x と θ の関数 I(x,θ) と書くことにする。

θ視覚刺激の方向

θxx
空間座標

I(x,θ)=c は、座標 x に方位θの視覚刺激がコントラスト c で入力されたことを意味する。

刺激フィールド(stimulus field)
受容野の中心の座標が x 、 preferred direction の方向が θ であるよ
うなニューロン(x,θ)の、刺激 (x',θ') への応答のしやすさを e(x',θ';x,θ)と書くことにする。

θ'(x,θ)x'ニューロン(x,θ)の刺激フィールド以外の領域。
e(x',θ';x,θ)=0ニューロン(x,θ)の刺激フィールドe(x',θ';x,θ)>0（ガウス関数的に広がっている。）

刺激ドライブ(stimulus drive)
注意と正規化の効果を入れる前の、刺激のみで決まる値。
（入力刺激をガウシアンカーネルでぼかしたものになる。）

θE ( x, θ ) = ∫∫ I ( x' ,θ ' )e( x' ,θ ' ; x, θ )dx' dθ '

θ

入力刺激I(x,θ)

x

刺激ドライブE(x,θ)

x注意フィールド(attention field)
座標 x における方向 θ の刺激に対する注意の強さを A(x,θ) で表す。
サルが自分の意思（attention strategy）で決める値。

θx
注意を向けていない領域ではA(x,θ)=1

注意を向けている領域
A(x,θ)>1

注意フィールドと刺激ドライブの積刺激ドライブの値と注意フィールドの値を、座標ごとに掛け算。
注意フィールドA(x,θ)

注意の向いていないところは変わらない。

注意の向いているところは強くなる。

A(x,θ)E(x,θ)

刺激ドライブ E(x,θ)

x

抑制フィールド(suppressive field)
受容野の中心の座標が x 、 preferred direction の方向が θ であるようなニューロン(x,θ)の、ニューロン (x',θ') からの抑制の度合いを s(x',θ';x,θ) と書くことにする。

θ'ニューロン(x,θ)

論文中の全シミュレーションでs(x',θ';x,θ) はこの図のような縦縞形のものを使用。

ニューロン(x,θ)を抑制する領域。
s(x',θ';x,θ)>0x'ニューロン(x,θ)を抑制しない領域。
s(x',θ';x,θ)=0抑制ドライブ(suppressive drive)
ニューロンの応答が周辺のニューロンによってどのくらい抑制されるかを表す値。

S ( x, θ ) = ∫∫ A( x' ,θ ' ) E ( x' , θ ' ) s ( x' ,θ ' ; x,θ )dx' dθ 'θθ

A(x,θ) E(x,θ)

x

抑制フィールドが縦縞なら、抑制ドライブも必ず縦縞になる点に注意。

抑制ドライブS(x,θ)

xポピュレーションの応答(population response)
注意フィールドと刺激ドライブの積を座標ごとに抑制ドライブの値で割ったものが、ニューロン応答。

R( x, θ ) =| A( x, θ ) E ( x, θ ) /( S ( x, θ ) + σ ) |TA(x,θ)E(x,θ)

抑制ドライブS(x,θ)

応答 R(x,θ)÷応答を計算する神経回路の例
θθ

注意フィールドA(x,θ)

刺激ドライブ E(x,θ)

xx
A(x,θ)E(x,θ)

s(x',θ';x,θ) は(x',θ') から(x,θ) への抑制性結合の分布を表すと解釈。

興奮性結合

θ

抑制性結合

S ( x, θ ) = ∫∫ A( x' , θ ' ) E ( x' , θ ' ) s ( x' ,θ ' ; x, θ )dx' dθ 'R ( x, θ ) =| A( x, θ ) E ( x, θ ) /( S ( x, θ ) + σ ) |Tx

注：この論文では神経回路については触れていないが、神経回路で考えると演算をイメージしやすい。

補足• T, σ は非負の定数。
• |・|Tは閾値 T に関する rectification 。 matlabのコードには出ておらず詳細不明。こんな関|x|数を想定？
Tx• シミュレーションによっては、ベースラインの活動を表す２つの定数パラメタを追加。
E ( x,θ ) = ∫∫ I ( x' , θ ' )e( x' , θ ' ; x, θ )dx' dθ ' + baselineModR( x, θ ) = A( x, θ ) E ( x, θ ) /( S ( x,θ ) + σ ) + baselineUnmod正規化モデルの全体像θ

入力刺激θ I(x,θ)注意フィールドA(x,θ)

刺激ドライブθ E(x,θ)刺激フィールドe(x',θ';x,θ)でたたみ込みxθx A(x,θ)E(x,θ)×x

抑制フィールドs(x',θ';x,θ)でθたたみ込み抑制ドライブS(x,θ)x

周辺ニューロンの影響で、最終的な応答の仕方はかなり複雑に！
θ応答R(x,θ)÷xxシミュレーション• matlab のコードが公開されている。
– （動かしてはいないが、ソースは大体読んだ。）• 過去の多様かつ複雑な実験結果が定性的に再現されている。

コントラスト－応答関数の注意による変化[Reynolds et al., 2000][Williford and Maunsell, 2006]

Figure 3.

ポイント• 受容野、視覚刺激、空間的注意のサイズによってコントラスト－応答関数は複雑に変化するが、モデルは過去の実験結果を定性的に再現できる。
• V4(Fig.3)もMT(Fig.4)も同じモデルで説明できる。
• 受容野、視覚刺激、空間的注意のサイズのすべての組み合わせが過去に実験されているわけではない。
→ 今後実験でモデルの予言を検証可能。

刺激のサイズが小さい場合(1/3)（論文に書かれている説明では理解不能なので、独自に補足した説明を試みる。）• 仮定：– 注意フィールドは刺激ドライブを覆うほど十分に広い、すなわち、 E(x,θ)>0 ならば A(x,θ ) ≈ γ とする。
この時、すべての x, θ について下記の近似が成り立つ。
γ
A( x, θ ) E ( x,θ ) ≈ γE ( x, θ )A( x,θ )• 仮定：– 刺激ドライブはコントラスト c に
比例 E ( x,θ ) ∝ c

E ( x, θ )刺激のサイズが小さい場合(2/3)
s ( x ' , θ ' ; xm , θ m )

• 仮定：

β'
– 計測するニューロンが (xm,θm) のとき、抑制フィールドも十分広いとするとE ( x' ,θ ' )下記の近似が成り立つ。
S ( xm , θ m ) = ∫∫ A( x' , θ ' ) E ( x' , θ ' ) s ( x' , θ ' ; xm , θ m )dx' dθ '≈ ∫∫ γE ( x' , θ ' ) β ' dx' dθ '= γβ ' ∫∫ E ( x' , θ ' )dx' dθ '≈ βγc（βは比例定数）（論文の式(7)ではなぜかβがない。）

刺激のサイズが小さい場合(3/3)
R( xm , θ m ) =| A( xm , θ m ) E ( xm , θ m ) /( S ( xm ,θ m ) + σ ) |T
≈ A( xm , θ m ) E ( xm , θ m ) /( S ( xm , θ m ) + σ )= γαc /( βγc + σ ) = αc /( βc + σ / γ )( E ( xm , θ m ) = αcとした)

βc << σ / γ のとき R( xm ,θ m ) ≈ αc /(σ / γ ) = αγc / σ
注意の量とコントラストに比例βc >> σ / γ のとき R( xm ,θ m ) ≈ αc / βc ≈ α / β
注意の量とコントラストによらず一定
応答

Figure 3C.

log contrastc

刺激のサイズが大きく注意のサイズが小さい場合(1/2)• 抑制ドライブは、注意に比例する量と、注意によらない量に分解できる。どちらもコントラストに比例すると仮定。
S ( xm , θ m ) ≈ β1γc + β 2 c（論文の式(8)ではなぜかβ1がない。）

β1γc は、注意の向いている、測定ニューロンの近傍ニューロンからの抑制。
β 2 c は、注意の向いていない、測定ニューロンの周辺ニューロンからの抑制。

刺激のサイズが大きく注意のサイズが小さい場合(2/2)
R( xm , θ m ) ≈ A( xm , θ m ) E ( xm , θ m ) /( S ( xm , θ m ) + σ )= αγc /( β1γc + β 2 c + σ )c << σのとき R( xm , θ m ) ≈ αγc / σ
注意の量とコントラストに比例c >> σのとき R( xm , θ m ) ≈ αγc /( β1γc + β 2 c) ≈ α /( β1 + β 2 / γ )注意の影響はあるが、コントラストによらず一定応答

Figure 2Blog contrastc空間的注意はチューニングカーブを等比率で増加させる[McAdams and Maunsell, 1999]

Figure 5.
θ数式による説明(1/2)• 仮定：– 注意フィールドの値は方位に依存しない。
A( x,θ ) = A( x)– 抑制フィールドの値は方位に依存しない。
s ( x ' , θ ' ; x, θ ) = s ( x ' ; x )数式による説明(2/2)
S ( x, θ ) = ∫∫ A( x ' ,θ ' ) E ( x' , θ ' ) s ( x' , θ ' ; x, θ )dx' dθ '= ∫∫ A( x' ) E ( x' ,θ ' ) s ( x' ; x)dx' dθ '= C ( x)
ただし、 C(x) はθに依存しない関数。A(x) には依存。

R( x, θ ) =| A( x, θ ) E ( x, θ ) /( S ( x, θ ) + σ ) |T
≈ A( x, θ ) E ( x, θ ) /( S ( x, θ ) + σ )= A( x) E ( x, θ ) /(C ( x) + σ )= ( A( x) /(C ( x) + σ )) E ( x, θ )A(x) には依存するが θ には依存しない値

Activity map を使った説明
注意フィールドA(x,θ)

刺激ドライブE(x,θ)

θ

C1E(x,θ)

×

正規化

定数倍

定数倍

この直線上の値をプロットθθ

応答
C2R(x,θ)x

結局この場合、注意により応答が定数倍にスケールアップする。
θ

この曲線は、１個のニューロンのtuning curve と一致する点に注意。
(理由はわかりにくいが。)

特徴ベースの注意はチューニングカーブを鋭くする[Martinez-Trujillo and Treue 2004]• prefer な方位刺激の時、 その方位刺激に対する注意があると応答はより増える。
• prefer でない方位刺激の時、 その方位刺激への注意があると応答はより減る。

Figure 6.

θActivity map を使った説明
注意フィールドA(x,θ)

刺激ドライブE(x,θ)

θA(x,θ)E(x,θ)×正規化x

この直線上の値をプロットθ

応答
R(x,θ)

θ
注意が向いている特徴に対する応答が増す。

中心がより強くなったので周辺はより抑制されるθ
prefer でない方向に注意と刺激が向いているときは、正規化により、 応答が減る。

注意点• 実験では視野の左位置の刺激の方向に注意を向けるようサルに仕向けている。しかしシミュレーションでは、下図のような注意フィールドを仮定している。
• 下図のような注意フィールドでは実験結果を再現できない。

受容野内に２つの刺激がある場合(Fig. 7)
• 実験結果とシミュレーションとでは異なっている。
– 著者らは本文中で「表面上の矛盾」の理由の推測を書いているが、意味がよくわからない。
– （原論文[Treue and Martinez-Trujillo, 1999]を見てみると、２つの刺激の位置が違う。サルが特徴ベースの注意ではな
く空間的注意を向けていたとすれば、実験結果は素直に説明がつくのでは？）受容野
動く方向が固定の刺激

動く方向が可変の刺激正規化の意味は？
• 正規化の合理的理由については、理論家によってすでにいくつか提案されている。
– ニューロン間の相対的な発火率に意味がある？
その場合正規化すれば必要なダイナミックレンジを減らせる。 (Heeger, 1992b)– 表現の効率を上げる。 (Schwartz and Simoncelli, 2001,Simoncelli andOlshausen, 2001,Wainwright etal., 2002,Wainwright and Simoncelli, 2000),– 確率分布の正規化と同じで、ポピュレーションから意味を読みだすのを容易にする。 (Heeger and Simoncelli,1993,Simoncelli, 2003,Simoncelli and Heeger, 1998)– １つ以上の刺激の次元に対して応答を不変にする。(Heeger etal., 1996,Kouh and Poggio, 2008,Simoncelli and Heeger, 1998).

感想• モデルはシンプルだが、適用範囲が広い。
• 「注意フィールド」の値は直接観測されたものではなく、著者らによる「想像」。しかし今後実験によって存在が証明されるだろう。
• 他にもパラメタがけっこうあるが、シミュレーションで使われているパラメタ値はまあ妥当。
• 予言能力が高く、今後様々な実験で検証されていくだろう。

Q&A• このモデルはパラメタがずいぶん多いのでは？
– 刺激フィールド、抑制フィールド、注意フィールドの設定値はまあ妥当だと思う。実験でも決められる。

• σって何？
– 「コントラスト c が小さい時、応答は c に比例する」、という実験事実を説明するために必要。

• そもそも固視点以外の場所に注意を向ける機能を生物が持つ意味は？
– 後述。

正規化モデルとBESOM モデルの関係

BESOM [Ichisugi 2007]との共通点１• コラムごとにトップダウンの信号とボトムアップの信号が掛け算され、ハイパーコラム内で正規化されて（５層から）出力される。
t +1l XY= zYt + W XY oYtot +1
X=(bU1 )1(bU1 ) 2⊗

I(bU 2 ) 3∏lt +1XYY ∈children ( X )(bU 2 )1+(bU 2 ) 2+

∑kt +1UX
U ∈ parents ( X )(o X )1Zt +1X
1izt +1
X= (Zt +1X,Zt +1X+( kU 2 X ) 2( pX )2(o X ) 2( rX )1( l XY1 )1( l XY1 ) 2++III( rX ) 2

ZY1(oY1 )1(oY1 ) 2= ∑ (r ) (= rt +1X
iII+( kU 2 X )1

( p X )1rXt +1 = o tX+1 ⊗ p tX+1t +1X( kU1 X ) 2+

(bU 2 ) 3t +1
TkUX= WUX
bUtp tX+1 =+( kU1 X )1,L, Z=ot +1
Xt +1X•p )(l XY2 )1/)

ただし、x ⊗ y = ( x1 y1 , x2 y2 , L , xn yn )T(oY1 ) 3+ZY2(oY2 )1t +1 T
X

bXt +1 = (1 / Z Xt +1 )rXt +1+( l XY2 ) 2ZX
ZX(bX )1IV

(oY2 ) 2/(oY2 )3(b X ) 2+(o X )1(bX )1(o X ) 2(b X ) 2VVI

２つのモデルの対応
正規化モデル意味

BESOMモデル意味

I(x,θ)

入力刺激oY

ボトムアップの信号

e(x',θ';x,θ)

刺激フィールド

WXY

ユニット間の結合行列

E(x,θ)

刺激ドライブoX

観測

A(x,θ)

注意フィールドpX

予測A(x,θ)E(x,θ)

刺激と注意の積

rX

観測と予測の積s(x',θ';x,θ)

抑制フィールド

固定-S(x,θ)抑制ドライブZX

正規化定数

R(x,θ)

ニューロン応答bX

出力（事後確率）x受容野の中心座標

X

ノードの名前θ

preferred dir.

iベクトルのインデックス

２つのモデルが行う計算は、かなり精密に一致している。

BESOM [Ichisugi 2007]との共通点２• 特徴に対し対称に正規化。
– 「注意の正規化モデル」では全シミュレーションで、抑制フィールドの値は方位によらないものを使用。
θ s(x',θ';x,θ)x'– BESOM モデルでは、ノード内の各ユニット（＝特徴）の出力の総和が１になるように正規化。
• ３層バスケット細胞の側抑制の幅がハイパーコラム程度、という解剖学的知見とも一致。

２つのモデルの構成要素の起源
構成要素

正規化モデルBESOM モデル

トップダウンの信号とボトムアップの信号の掛け算

電気生理の実験事実

ベイズの定理P(x|y)∝P(y|x)P(x)正規化

電気生理の実験事実

計算の効率化の要請を満たすために導入∑πYl(x) = 1

特徴に対し対称に正規化

電気生理の実験事実（ハイパーコラムサイズの側抑制の存在も意識？）

ハイパーコラムとコラムをノードとユニットに対応付けた結果正規化モデルの中核的要素は、 BESOM モデルとまったく異なる起源を持つのに、結果的に一致している！

BESOM との違い
• コントラストの扱い• BESOM の発火率は確率分布。刺激の強さではない。
– 自然画像をＢＥＳＯＭで非線形スパース符号化すると、コントラストの低い刺激はどういう表現になるのか、現時点では不明。
– 正規化モデルと同じ説明能力があるだろうか？

• 近傍の空間で正規化。
– 「注意の正規化モデル」では近傍の受容野を持つニューロンからも抑制を受ける。
• 周辺抑制を説明できる。
– でも、周辺抑制を説明するモデルは他にもある。

– BESOM モデルではノード間の競合（未発表）に相当？

BESOM モデルにしかない点• BESOM モデルははるかに広範囲の事象を説明するモデル。
– 学習。
– 多層化。
– ベイズに基づく理論的基盤。
– コラム構造・６層構造と対応する詳細な神経回路モデル。
– パターン認識、時系列学習、運動制御などの情報処理の機能。
– etc.

十字型の注意フィールドになる理由• BESOM モデルで十字型になる理由が説明できる。
• BESOM モデルでは、トップダウン信号は複数の親ノード（独立成分）からの信号の線形和。
• サルが空間的注意と特徴ベースの注意のそれぞれを独立成分として学習済みだとしたら、十字型の注意フィールドしか作れない。
空間的注意+

特徴への注意=視覚野注意の機能的意味は？
• そもそも視線とは違う場所に注意を向けることは日常生活であまりない。そのような機能を脳が持っている意味は？
– BESOM モデルによれば、トップダウンの信号の意味は文脈からの予測。「こういう刺激が来るはずだ」という予測情報とベイズの定理を使うことでロバストな認識ができる。
• したがって、固視点以外の場所に「注意」を向けられるのは、「予測機構」の副産物であって、何か意味があってそのような機能が作り込まれているわけではない、というのが BESOM モデルによる答え。

BESOM との比較の今後• 全く違う方向から導かれた２つのモデルが強い共通点を持つのは、２つが正しいモデルである証拠。
• BESOM で「注意の正規化モデル」と同じシミュレーションをやってみるべき。
• BESOM と正規化モデルで異なる予言をする
実験をデザインして、実験で検証できるとよいのだが。コントラスト関係？

最後に、BESOM モデルの現状報告• 過適合を避けるため４種類の正則化（≠正規化）の機構を盛り込んだ、理論的に妥当な学習則を設計し、基本的な動作を確認。
• ノード数 n に対して計算量・メモリ量 O(n) で動作するアルゴリズムが完成の見込み。
– 現状の実装は計算量 O(2^n) 。

• ２つの１次元確率分布ＳＯＭによる非線形ＩＣＡの動作を確認。
２次元のデータから４９次元の特徴ベクトルを作って学習させた例。
黒の格子はＭＰＥの受容野重心をつないだもの。
赤と青はユニットの受容野重心をつないだもの。

参考• 一杉裕志、「脳の情報処理原理の解明状況」
産業技術総合研究所テクニカルレポート
AIST07-J00012, Mar 2008.
http://staff.aist.go.jp/y-ichisugi/besom/AIST07-J00012.pdf• Yuuji ICHISUGI, "The cerebral cortex model that selforganizes conditional probability tables and executes
belief propagation",
In proc. of International Joint Conference on NeuralNetworks (IJCNN2007), Aug 2007.
http://staff.aist.go.jp/y-ichisugi/besom/20070509ijcnn-paper.pdf