SPECIALISSUE
VOL.68
NO.12
2014

特集：画像と音声処理のスパースモデリングとデータ駆動科学の創成
Copyright © 2014 映像情報メディア学会．
この文書は，著作権譲渡書に基づき著者が非営利目的で配布するものです．

4 章 脳の画像・音声処理戦略を解き明かすスパースモデリング寺 島 裕 貴†キーワード：スパースモデリング，スパースコーディング，大脳新皮質，自然刺激統計性，一次視覚野，一次聴覚野

大量のデータにさらされるという状況は，殊に近年騒がれ

１．まえがきる「ビッグデータ」時代における人類の課題でもある．この20XX 年，地球に降り立った異星人は「テレビ」と呼ばれる奇妙な箱を発見し，興味を抱く．彼らはある部品を取り除くと映像が消えることに偶然気付き，映像処理ユニットを同定する．続けて音声処理ユニットも明らかになり，より深部の解明へと向かっていく――

ような状況に生物がいかなる解決策を編み出してきたのか，その探求を無価値とは言えまい．学習の具体的なアルゴリズムについては庄野らによる本特集第 2 章 2）を参照していただくこととして，ここでは神経科学と機械学習がどのように結びつくのか，その面白さを少しでも感じていただければ幸いである．

できの悪い SF のあらすじのようだが，脳研究の実際にはこれと似たところがある．例えば戦争で損傷した脳部位

２．大脳新皮質の謎：多様性と普遍性と症状を対応付けていけば，この神経核は視覚系，あの神

もしも誰かが「あらゆる画像処理と音声処理を都合良く経核は聴覚系，といったことがわかる．しかし脳研究が真行える万能アルゴリズムが存在する」と学会で発言したなに難しいのは，われわれの興味が「学習」という動的な性質ら一笑に付されるだろう．ノーフリーランチ定理を持ち出にあることだ．脳が高性能な学習器であることに異論はな

すまでもないし，画像処理も音声処理もそれぞれ固有の発く，もしその原理が理解できたなら波及効果は計り知れな展を遂げてきた大分野だ．それでは，こう言ったらどうだ

い．脳の学習という側面を人類が理解できる形で切出すた

ろうか？ 「自然界に出てくるほとんどすべての画像・音声めには，どのようなアプローチが適切なのだろうか．

を適切に処理できる単一アルゴリズムが存在する」――こ

本稿では，脳の学習様式を理解する試みの一例として大れでもまだほとんど妄想といったところだが，淡い希望を脳新皮質の画像・音声処理系におけるスパースモデリング

抱かせてくれる器官が実は私達の頭の中にある．それが大の事例を紹介したい．興味深いことに，大脳新皮質の画脳新皮質だ．

像・音声表現には，人類が画像・音声処理技術として開発

大脳新皮質は，ふつう「脳」と言われてぼんやりと思い浮してきた高効率な（圧縮できる）表現との類似点が多い．どかべるだろう皺々の表面に対応する薄いシート状の器官

うやら脳は自然界が持つ統計的特徴を何らかの方法で上手で，ヒトで特に大きく発達している．言語，推論，計算，に抽出していて，この「賢い」処理はヒトに至る進化の過程社会性，…といった，ほとんどあらゆる「賢さ」に深く関わで獲得されたらしい．この学習戦略をわれわれが理解する

り，これらの機能は膨大な数の神経細胞が絡み合った複雑ためには，単に脳を構成する部品の性質を追うだけでは不なネットワークによって実現されているというのが定説充分で，明らかになった知見をうまく説明できる学習モデだ．これまでの脳研究により，大脳新皮質は多くの小領域ルを並行して探索する必要がある．その有望な候補がス（領野）に分かれ，各々が特有の機能を担っていることが知パースモデリングだ．

られている（図 1 左）．例えばこの領野は視覚野，あの領野
1）

桑谷らによる本特集第 3 章 では，観測データの生成過は聴覚野，といった具合だ．その中でも視覚系であれば低程が明らかな系においてはベイズ推論が有用であることを次処理を担う順に一次視覚野（V1），二次視覚野（V2），…

議論した．しかし，われわれがこの世に生を受けたまさにと細かく同定され，領野間の接続様式や階層構造が明らか

その時，自然界で触れることになる映像や音声といった刺になっている．

激の生成メカニズムなど知る由もない．未知の構造を持つ大脳新皮質の謎は，この多様な機能を呈す領野が，構造という観点からはかなり均質に見えることにある．どの領† NTT コミュニケーション科学基礎研究所"Sparse Modelling for Image and Sound Processing of the Neocortex" byHiroki Terashima (NTT Communication Science Laboratories, Atsugi)
映像情報メディア学会誌 Vol. 68, No. 12, pp. 897 〜 901（2014）

野も 6 層構造になっており，層間の結合様式も他器官との関係も非常に似ている（図 1（右））．そのため，この多様な（13） 897

SPECIALISSUE
VOL.68
NO.122014

特集：画像と音声処理のスパースモデリングとデータ駆動科学の創成

図 1 大脳新皮質の多様性と普遍性
大脳新皮質は多くの小領野に分かれ，それぞれ多様な機能を担っている（左）．しかしこの多様な領野は，構造的にはどれも非常によく似ている（右）．何らかの普遍的な計算原理が存在して「賢さ」を支えているのかもしれない．

機能の裏には何らかの普遍的な計算原理――「万能」アルゴリズム――が存在するのではないか，と大脳新皮質研究の初期から漠然と考えられてきた．とはいえ現状ではわからないことが圧倒的に多く，夢物語の枠を出ていないというのが実際のところだ．この多様性と普遍性という一見するところの矛盾を解くのが大脳新皮質研究の大きな課題だ
が，実際の機能研究のほとんどは，それぞれの単一領野について別個に行われてきている．次節ではその具体例として，最も理解が進んでいる視覚野をまず紹介する．

３．脳の画像処理とスパースモデリング
あなたがこの文章を読んでいる時，脳では何が起きているのだろう．まず目に光が入ってきて焦点を結び，網膜に

図 2 一次視覚野（V1）と一次聴覚野（A1）
視覚・聴覚刺激が変換された神経活動はそれぞれ，V1 と A1 において初めて大脳新皮質に到達する．V1 神経細胞は短い光線分に選択的に文字が映し出される．ここで光が神経活動に変換され，視反応し，その特性は Gabor 関数で記述される（詳細は図 3）．A1 神経床と呼ばれる器官で中継された後，大脳新皮質の一次視覚細胞は周波数等に複雑な選択性を示す．

野（V1）と呼ばれる領野に到達する（図 2）．1958 年，Hubelと Wiesel はネコ視覚野の神経活動を計測中，特定の傾きを持った短い光線分をある視野領域に呈示すると激しい活動が現れることに気付いた 3）（彼らは 1981 年にノーベル生理学・医学賞を受賞）．後の詳細な解析により，その反応パターンの形状は 2 次元の Gabor 関数（Gaussian と三角関数の積）でよく近似できることがわかっている（図 3）．個々の V1 神経細胞は視野の特定小領域にある特定の傾きの光刺激に選択性を持っており，その多様な集合として V1 全

図 3 V1 神経細胞刺激選択性の Gabor 近似体で原画像を符号化している．つまり，網膜表現がピクセ個々の V1 単純細胞の光刺激選択性は，図左のように描かれる．正方ル単位のナイーブな画像表現だとすると，V1 における表形が視野内の小領域に対応し，個々のピクセルでの光呈示がこの神経現は小さな線分を基本とする別基底（Gabor 関数）を用いた表現になっている．

細胞を興奮させたり抑制したりする．V1 単純細胞は特定の位置・特定の傾きを持つ光線分刺激に反応し，刺激選択性は 2 次元 Gabor 関数でよく近似される（中・右）．

神経生理学者の精力的な解析により V1 神経細胞の刺激選択性が詳細に同定されていく一方で，生物が「なぜ」その刺激選択性を獲得するに至ったかという疑問に対して良い
898 （14）

映像情報メディア学会誌 Vol. 68, No. 12（2014）

4．脳の画像・音声処理戦略を解き明かすスパースモデリングSPECIAL
ISSUE
VOL.68
NO.122014

図 4 スパースモデリングは V1 と A1 の特性を自然刺激への適応として説明する
スパースモデリングによれば，V1 単純細胞の特性（右上）は自然画像（左上）に対する「最適」な基底である．また，A1 の一見複雑な特性（右下）も同じアルゴリズムの自然音（左下）への適応として説明できる．V1 と A1 の違いは学習則に依るものではなく，自然刺激統計性の差異（中列：詳細は図 5）の反映だと考えることができる．

解釈が出るまでにはやや時間を要した．テレビのトランジ位相に対する不変性を示す非線形な細胞である複雑細胞もスタひとつの画像応答特性がわかっただけでは，画像処理また，単純な拡張で再現できる 5）．また，個々の神経細胞ユニット全体の設計思想を理解できたとは言えないだろの反応特性だけでなく，それらが皮質表面でどのように配う．1996 年，Olshausen と Field はスパースコーディング

置されているかという地図構造についても，同様の理論で4）仮説を発表した ．このモデル研究によると，V1 神経細胞神経生理学的知見に解釈を与えることができる 5）（モデルの反応特性は自然画像に対して「最適化」された表現になっの詳細は本特集第 2 章 2）を参照）．さらに，近年俄に注目をている．自然界に出てくる画像は各ピクセル値が完全にラ浴びている深層学習（deep learning）の基本構造は，大雑ンダムに決まっているのではなく，物体の境界以外は概ね把に言ってしまうならこのスパースコーディングモデルを滑らかな変化を示す．もし少ないビット数で（神経活動量を何層も重ねたものである．この階層化もまた大脳新皮質の抑えつつ）画像の情報を落とさずに表そうとするなら，最優構造にヒントを得たもので，この種の先駆的なモデルには先でエッジを表現すると効率が良い．彼らは自然画像を大福島によるネオコグニトロン 6）が挙げられる．

量に用意し，それらの「最適」な（スパースな：少ない数の神

ここまで見てきたように，大脳新皮質視覚野は大量の自経細胞だけが活動するような）表現を与える良い基底を探索

然画像を入力として受け，その中からルールや規則性を抽する最適化問題を解いた＊ 1．このシミュレーションで得ら出しているのだと解釈できる．この解釈を提供した数理手れた基底は様々なエッジを表すフィルタになっており，V1法が，スパースコーディングに代表されるスパースモデリ神経細胞で知られる Gabor 基底と驚くほどよく似ていたングである．スパースモデリングは，少なくとも視覚野の（図 2（左上））．ということは，V1 で見られる刺激選択性は理解については有用だと考えられる．しかし計算の普遍性

自然画像を入力とした最適化問題を解いた（自然画像に適応を念頭に置いて見るなら，これだけではあくまで視覚系のした）結果なのではないだろうか（図4（上））．

モデルに過ぎない．さらに発展したスパースモデリングの

この efficient coding 仮説は単体でも魅力的だが，その拡張もまた大きな成功を収めてきた．上記は V1 神経細胞の中でも線形応答を示す単純細胞を対象にした理論だが，＊1

ベイズ推定の言葉では，スパースな事前分布を与えることに対応する．
自然画像に現れる物体の数は総ピクセル数に比べて非常に小さいという事前知識を利用していると解釈できる．

成功例として，次節では聴覚系における近年の試みを紹介する．

４．脳の音声処理とスパースモデリング
画像処理と音声処理が別の学問分野として発展したように，視覚系と聴覚系は別経路として発達してきた．一方で，（15） 899

SPECIALISSUE
VOL.68
NO.12
2014

特集：画像と音声処理のスパースモデリングとデータ駆動科学の創成

画像・音声処理のどちらも同じレイヤ（電子回路やソフトウェア）で実装可能なように，視覚系と聴覚系もまた神経細胞という同じ基本ユニットの組合せによって実装されている．
聴覚系で音波が神経活動に変換される場所は，耳の奥にある蝸牛と呼ばれる器官である（図 2）．ここで音波は周波数帯ごとに分解され，例えば 200 Hz に反応する細胞や 400 Hz に反応する細胞が見つかる（フーリエ変換を思い浮かべて欲しい）．その後いくつかの中継核を経て，大脳新皮質の一次聴覚野（A1）に神経活動が到達する．聴覚系でまずス
パースモデリングが発達したのは，大脳新皮質というより

図 5 局所的な自然画像統計性と非局所的な自然音統計性は末梢側の神経表現だった．Lewicki らは自然音の波形を自然画像と自然音それぞれから作った相関行列を示す．離れた網膜上のスパースに表現する基底を探し，結果が聴神経で知られる

2 点は基本的に異なる物体を映すので，明るさに相関があるのは視野上での近距離（狭い視野角）に限られる．一方自然音には，音声に含まれフィルタの形状とよく似ていることを指摘した 7）8）．このる倍音構造のように，周波数軸上で必ずしも局在しない構造が多く含ま結果は，スパースモデリングが単に視覚系に留まらない普れる．図 4（中列）はこの関係をまとめたものである．

遍性を持つことを示唆していた．
聴覚末梢においてスパースモデリングが有用なのであれば，中枢の大脳新皮質ではどうだろうか．V1 神経生理学が自然画像は局所的な特徴を多く含んでいる（図 5（上））．一

その機能理解を促進させたのとは対照的に，大脳新皮質聴方の自然音を周波数軸上で見てみると，まず自然画像と同覚系の入口である A1 の機能理解は充分に進んでいないとい様に，近い周波数は共起しやすいので局所相関が存在する．

うのが実情である．神経活動記録の難易度が異なることも自然音の場合にはこれに加え，離れた周波数が必ずしも無理由の一つだが，加えて，刺激選択性の種類が幅広いこと関係でない，という非局所的な特徴が多く含まれる．われの影響が大きい．200 Hzのように単一周波数に反応するもの

われの音声を例にとって考えると，倍音構造が強く現れるがいるかと思えば，他の神経細胞は 200 Hz と 400 Hz の両方ために，200 Hz と 400 Hz が強く相関する（そして 300 Hz とのみに選択性を示したり，あるいはほとんどすべての周波は無相関）ということが充分に起こりうる．すなわち，自数に弱い選択性を示したりする．この多様な選択性を目の然音は非局所的な統計性を持ち，局所的な自然画像とは対当たりにした神経生理学者は，V1 神経細胞における Gabor照的である（図 5（下））．このような相異を含む入力に対し関数のような簡潔な記述は難しいのではないかという印象て V1 や A1 がそれぞれ適応しているのだから，V1 が視野を受け，なぜこうなっているのかという解釈はなおのこと上で局在したコンパクトな基底表現を持ち，また A1 が対難しいように思われた．

照的に周波数軸上で分散した基底表現を持っているのは自しかし近年の研究によれば，この一見理解が難しそうな然なことと言ってもいいだろう 12）（図 4）．

A1 の特性もまた，実は V1 と同様のスパースモデリングでより解釈が難しそうな A1 の地図構造についてもまた，V1解釈可能である 9）〜 11）．V1 におけるスパースモデリングのと同様にモデル化できる．さらには，これまで類似性が図式を思い出すと，V1 神経細胞の刺激選択性は，自然画まったく指摘されていなかった V1 と A1 における別概念ま像が持つ統計性への適応として定式化できた．同様にして，でもが実は相同なものだという議論がスパースモデリングA1 神経細胞の刺激選択性は，自然音が持つ統計性への適を通して始まっている 12）．神経生理学的な特性記述を見る応として解釈することができるというのだ（図 4（下））．でだけでは気付かなかった類似性が，スパースモデリングをはなぜ，A1 の選択性は V1 と違って複雑に見えるのだろう

通すことで初めて見えてきたという一例である．実は，V1か．このモデルによれば，A1 神経細胞がすっきりと記述と A1 の学習戦略が同一ではないかという発想は突飛なものできない特徴を持っているのは，そもそも自然音統計性がではなく，これを示唆する実験がある．視覚入力を強制的そのような性質を持っているからである

11）12）．すなわち，に聴覚経路に流し込むと，その後学習が進んだ A1 神経細胞学習則は共通なのだが，入力が異なるために学習結果であの反応特性は，通常の V1 神経細胞と似たものとなることがる神経生理学的特徴が別物に見えてしまうのだ．

報告されている 13）．すなわち，V1やA1に見られる特性は入自然音と自然画像の統計的な特徴はどのように異なるの力の統計性にかなりの程度依存するものらしい．

だろうか？ まず網膜に映った自然画像について考えてみる

これらの結果はいずれも，スパースモデリングが単なると，近隣の 2 点には概ね同じ物体が映っているからその光V1 の理論に留まらず，何らかの普遍性を有する可能性を量は強く相関する．しかし離れた 2 点には異なる物体が映示唆している．これが最初に触れた大脳新皮質の「計算原ることが多く，その明るさは無相関になるだろう．つまり，理」とどう関係してくるのか，はっきりしたことはまだ何900 （16）

映像情報メディア学会誌 Vol. 68, No. 12（2014）

4．脳の画像・音声処理戦略を解き明かすスパースモデリングも言えない．しかし原理解明のためには，モデル仮説をまず提唱し，複数領野のデータとすりあわせて修正するというループを繰り返す営みが必要だ．V1 で発展した理論がA1 に適用されつつあるという現状は，まさにその第一歩に相当するだろう（なお，言語学における普遍文法を巡る議論との類比が指摘されている 14））．

SPECIAL
ISSUE
VOL.68
NO.1220142）庄野，佐々木： スパースモデリングと Topographic ICA ，映情学
誌，68，12，pp.888-891（2014）
3）D.H. Hubel and T.N. Wiesel: "Receptive fields, binocular interaction
and functional architecture in the cat's visual cortex", The Journal ofPhysiology, 160, 1, pp.106-154（1962）
4）B.A. Olshausen and D.J. Field: "Emergence of simple-cell receptive
field properties by learning a sparse code for natural images",
Nature, 381, 6583, pp.607-609（1996）5）A. Hyvärinen and P.O. Hoyer: "A two-layer sparse coding model
learns simple and complex cell receptive fields and topography fromnatural images", Vision Research, 41, 18, pp.2413-2423（2001）

５．むすび
厳しい自然の中で生き抜くため，生物は目や耳から入ってくる大量の自然刺激からルールや規則性を抽出できるよう脳を進化させてきた．本稿では，大脳新皮質における画像・音声処理様式の理解がスパースモデリングによって進みつつある現状を概観した．
まず，局所光線分に選択的に反応する V1 神経細胞が，自然画像をスパースに符号化しようとする最適化の結果であると示唆するモデル研究を紹介した．一見複雑で理解し難いと思われていた A1 神経細胞についても，同様の戦略を用いた自然音への適応であることが指摘されつつある．
そして大脳新皮質の均質性は，この種のモデリングが画像・音声処理のみならずより普遍的な計算原理の理解にも有用である可能性を示唆している．
近年注目を集める深層学習の例に見るように，脳の学習機構に学ぶべきことはまだまだ多い．折良くオープンな勉
強会＊ 2 が立ち上がる等，企業の方々の関心も高まってきている．本稿も科学を発展させる異分野交流のささやかな一助となったなら，この上ない喜びである．

6）福島邦彦： 位置ずれに影響されないパターン認識機構の神経回路のモデル −ネオコグニトロン− ，信学論 A，J62-A，10，pp.658-665（1979）
7）M.S. Lewicki: "Efficient coding of natural sounds", Nature
Neuroscience, 5, 4, pp.356-363（2002）8）E.C. Smith and M.S. Lewicki: "Efficient auditory coding", Nature, 439,7079, pp.978-982（2006）9）D.J. Klein, P. König and K.P. Körding: "Sparse spectrotemporal
coding of sounds", EURASIP Journal on Applied Signal Processing,
2003, 7, pp.659-667（2003）
10）
H. Terashima and H. Hosoya: "Sparse codes of harmonic naturalsounds and their modulatory interactions", Network: Computation in
Neural Systems, 20, 4, pp.253-267（2009）11）
H. Terashima, H. Hosoya, T. Tani, N. Ichinohe and M. Okada:"Sparse coding of harmonic vocalization in monkey auditory cortex",
Neurocomputing, 103, pp.14-21（2013）12）
H. Terashima and M. Okada : "The topographic unsupervised
learning of natural sounds in the auditory cortex", In Advances in
Neural Information Processing Systems 25, pp.2321-2329（2012）13）
M. Sur, P. Garraghty and A.W. Roe : "Experimentally induced visualprojections into auditory thalamus and cortex", Science, 242, 4884,pp.1437-1441（1988）
14）
H. Terashima : "Computational Model for Auditory Cortex: AnAnalogy to Visual Cortex", PhD thesis, the University of Tokyo（2014）（2014 年 8 月 30 日受付）
てらしま〔文献〕

1）桑谷，永田，岡田： マルコフランダムフィールドモデルによる計測
画像データからの潜在構造抽出 ，映情学誌，68，12，pp.892-896（2014）＊2

ひ ろ き

寺島 裕貴 2009 年，東京大学理学部情報科学科卒業．2011 〜 2014 年，日本学術振興会特別研究員（DC1）．2014 年，同大学大学院新領域創成科学研究科複雑理工学専攻博士課程修了．同年，NTT コミュニケーション科学基礎研究所入所．大脳新皮質の計算論的モデリングに従事．博士（科学）．

全脳アーキテクチャ勉強会，http://www.sig-agi.org/wba（17） 901