PersonA and B

Different viewsof person A

網膜上の物体
低次高次Pixel 5

高次視覚野上の物体

Pixel 1

Pixel 2

Pixel 4
Pixel 3

✓ 機能単位は何か？ー機能を支える構造を知りたい。

✓ 機能単位が表現している視覚特徴は？
See ‘Untangling invariant object recognition.’ James J. DiCarlo and David D. Cox,
TRENDS in Cog. Sci.11, 333 (2007)

サル高次視覚野の機能と構造

1. 高次視覚野の機能構造
2. 機能単位が表現する視覚特徴
3. 物体表現のダイナミクス

(Keiji Tanaka, et al. 1993)

細胞1[spike/sec.]
5.2

4.0

2.0

1.8

細胞212.5

4.0

2.8

2.7

1.7

[spike/sec.]
1.7

(Keiji Tanaka, et al. 1993)

顔と顔以外の物体

10 mm
Tsao et al., 2008

Takayuki Sato

Sato, T., et al. Cerebral Cortex, 19: 1870-1888 (2009)

Single cells[spike/sec.]

Averaged MUAs

[spike/sec.]

r=0.38Sato, T., et al. Cerebral Cortex, 19: 1870-1888 (2009)

Sato, T., et al. Cerebral Cortex, 19: 1870-1888 (2009)

わかったことは ….
1. 隣接する細胞は異なる物体選択性を持っているようにみえるが、一つのコラムの中にある細胞は共通の反応特性を持っている.
2. 共通の反応特性はコラムごとに異なっている.

コラム固有の入力

細胞固有の入力

10 mmTsao et al., 2008

Takayuki Sato

Mark Lescroart

STSPMTSAMTS

P39 recording sites
STS1mmSato, T. et al. J Neurosci 33(43) 16642-16656 (2013)

AStimulus set

faces

Scrambled
faces
MonkeybodiesMonkeyhands
Animalbodies
Foods
Artificial
objects

10degreeSato, T. et al. J Neurosci 33(43) 16642-16656 (2013)

Correlation coefficient as a similarity measurer = 0.61

Sato, T. et al. J Neurosci 33(43) 16642-16656 (2013)

Recording sites are classified into 7 clusters.

AB

C

D

E F G

Sato, T. et al. J Neurosci 33(43) 16642-16656 (2013)

A

BC

DE F G

Sato, T. et al. J Neurosci 33(43) 16642-16656 (2013)

Evoked response [spikes/sec.]site ccsite QRankSato, T. et al. J Neurosci 33(43)16642-16656 (2013)ordeSato, T. et al. J Neurosci 33(43) 16642-16656 (2013)

まとめ
1.単一細胞には固有の反応特性とコラムの中の細胞で共有する特性を持つ

2.顔のような物体カテゴリに関係する視覚特徴に関係するコラムは皮質上に集まってドメインを作っている。
3. 物体表現は細胞、コラム、ドメインのように階層的である。
4.コラムで表現されている視覚特徴は局所的な方位と色の組み合わせ
5.不変的な視覚表現はこれらの視覚特徴の組み合わせることで実現されているのかもしれない。

Sato, T. et al. J Neurosci 33(43) 16642-16656 (2013)サル高次視覚野の機能と構造

1. 高次視覚野の機能構造
2. 機能単位が表現する視覚特徴
3. 物体表現のダイナミクス

個々のコラムはどのような視覚特徴を符号化しているか?

Shimon Ullman

Michel Vidal-Naquet

Takashi Owaki

1mm

仮定
コラムが符号化している視覚特徴に近いものは、自然画像のどこかに見つかるはずだ。

560,000 candidate fragments extracted from7753 natural imagesこの方法の詳細は未発表データのため公表は差し控えますが、自然画像の断片の中から、神経応答の選択性をよく説明するものを見つけ出すことに成功しました。これらの画像断片は、局所的な方位と色の組みあわせで構成されていました。

まとめ
1.単一細胞には固有の反応特性とコラムの中の細胞で共有する特性を持つ

2.顔のような物体カテゴリに関係する視覚特徴に関係するコラムは皮質上に集まってドメインを作っている。
3. 物体表現は細胞、コラム、ドメインのように階層的である。
4.コラムで表現されている視覚特徴は局所的な方位と色の組み合わせ
5.不変的な視覚表現はこれらの視覚特徴の組み合わせることで実現されているのかもしれない。

Pixel 5

Pixel 4
Pixel 1
Pixel 2

Pixel 3

DCNN

(岡谷貴之, “深層学習”）

サル高次視覚野の機能と構造

1. 高次視覚野の機能構造
2. 機能単位が表現する視覚特徴
3. 物体表現のダイナミクス

コラム内応答の受容野は動的に変化するか？

(岡谷貴之, “深層学習”）

ここで紹介したDeep convolutional Neural Network（Alex net)は脳における視覚情報処理の過程と似ている部分もありますが、同じではありません。特に、AlexNetが静的なネットワークであるのに対し、脳における視覚情報処理はダイナミックなプロセスで、物体像の表現もダイナミックに変化します。私の研究室では、実際、注意によって、物体像に対する反応が変化することを見出しました。詳細は未発表
データのため公表は差し控えます。

3.3 % / Object
Assuming total area as 20 mm x 20 mm
13 mm2 / object ~ 17 columns / objectこの前のスライドに示すように、脳における物体像の表現はスパースです。すなわ
ち、高々１０２個程度の数のコラムを使って、個々の物体像が表現されている。
AlexNetとの関係を考える上で、物体像の表現はスパースかどうか？もし、そうでないとすれば、なぜスパースにならないのか？一つのカギは情報表現が静的であることが関係しているかもしれません。例えば、「注意によって」ターゲットに目を向けることによって、位置による不変性をネットワークで実現する必要がなくなります。それが、表現のスパース性に関係しているかもしれません。
脳により近いネットワークは、注意の対象を視野の中で見つけるための分解能の粗いネットワークと視野の中心にある物体像を同定する分解能の高いネットワークの二つのネットワークが相互の結合したものかもしれない。