日本神経回路学会 2009 年 9 月

ハーモニーのスパースコーディングとその相互作用
Sparse codes of harmonic sounds and their modulatory interactions
寺島裕貴 (PY)† , 細谷晴夫 ‡Hiroki Terashima(PY), and Haruo Hosoya† 東京大学新領域創成科学研究科複雑理工学専攻 ‡ 東京大学理学部情報科学科
hterashima@mns.k.u-tokyo.ac.jp
Abstract— Sparse coding has been successful to explain peripheral auditory neuronal response properties. We continue this line of research in a higher stageof auditory system, focusing on harmonic structureof behaviourally important natural sounds. We show
frequency-domain sparse codes of harmonic sounds
have harmonic relations in response properties, which
are qualitatively consistent with physiological report.
Keywords— auditory system, sparse coding, auditory cortex, computational neuroscience, harmony

1

はじめに：スパースコーディングとハーモニー法に倣ってその反応特性を調べると，同様の harmonicな関係を見出すことができた．この関係は，ニューロン(基底) 間の相互作用によって生じると考えられる．

2

モデルとアルゴリズム

本研究では [1] のアルゴリズムをほぼそのまま用いた．
入力 A(x) を基底 φi (x) の線形結合で表し，基底 φi (x)をモデルニューロン，係数 ai をその活動とみなす．
XA(x) 'ai φi (x)i

ここで 2 つの問題を解く必要がある．ひとつは入力A(x) と基底の集合 φi (x) が与えられたとき，スパースな係数 ai を決定する問題．もうひとつは，多くの入力に対してスパースな係数 ai を与えるような基底の集合
φi (x) を求めるという問題，つまり基底を入力列に対して適応させるという問題である．この 2 つの問題は共にコスト関数 E の最小化問題として定式化できる．
#2"XX
1X
ai φi (x) + λ|ai |A(x) −
E=2 x

スパースコーディングとその関連手法は，初期感覚情報処理の特性を見事に説明してきた．その最も顕著な例は [1] である．自然画像をスパース (疎) に表現できる基底の組をシミュレーションで学習させると，得られた基底は一次視覚野の単純細胞が示す反応選択性に似た性質を示した．また，聴覚系においても，末梢の聴覚神経の特性が独立成分分析 (ICA) などを使って再現されている．生物学的には神経発火の回数，すなわちエネii
ルギー消費量を抑えられるという利点があり，生体の感右辺の第 1 項が二乗誤差，第 2 項が係数のスパース性
覚情報処理における原理として有望である．解釈としを表す．λ はスパース性の重みを表す定数である．このては，環境からの刺激を学習，あるいはそれに適応し，表現を使うと，2 つの問題はそれぞれ次のようにかける．
"
ある種の特徴抽出を行っていると考えられる．一方で，X
高位の情報処理段階においては一般に神経細胞の刺激∆ai = αφi (x)A(x)(1)
xに対する反応は複雑であり，うまく説明された例は少なく，聴覚系もその例外ではない．しかし環境への適応とX X−
aj
φi (x)φj (x) − λ · sign(ai )
いう観点からすると，刺激の持つ複雑な構造を何らかのxj形で捉えていることが期待できる．
* "#+X
我々は，自然音に含まれる複雑な特徴としてハーモ∆φi (x) = η ai A(x) −ai φi (x)ニーに注目した．ここでハーモニー (harmonic な音) とiは，単純な整数比で表される周波数成分が多く含まれるα, η はそれぞれ更新率と学習係数を，h· · · i は繰り返音を指す．一般に自然界の音 (動物の発声, 楽器音, etc.) しに対する平均を表す．なお基底の更新においては，むはハーモニーを豊富に含んでおり，人間の知覚上でも やみな発散を避けるため，全基底の値の 2 乗平均が定ハーモニーは心地良く感じられることから，何らかの形 数 vconst になるようにスケーリングした．
でハーモニーの検出が行われていると思われる．実際，
3 シミュレーション
サルの一次聴覚野 (A1) において，単周波数刺激と 2 周
まず，3 種類の音を入力として用い基底を学習した．
波数刺激を用いたときの反応特性に harmonic な関係が見られる [2]．我々はこの関係はハーモニーを豊富に含 音断片 (256 or 320 sample) を高速フーリエ変換 (FFT)
む音のスパースコーディングの結果だと考えた．そこ した振幅スペクトルを入力とし，上記アルゴリズムで基で，[1] のモデルとアルゴリズムを用いて周波数領域で 底 (80 or 128 個) を学習した．ハーモニーの多い音とし1のスパースな表現を与える基底を学習させ，これをモデ てピアノ演奏と人間の声 を，harmonic でない自然音と
1 国際音声学会ハンドブックの American-English narratives
ルニューロンとみなした．シミュレーションで [2] の方SpeechN = 48 units
77660
1.5

22.5
33.5
Peak Frequency Ratio

40

促進0

抑制
00

CFB

01

1.5

22.5
33.5
Peak Frequency Ratio

410

700111

基底 A

基底 B

220

CFB + 2nd tone

活動

33

1C

44

2

CFA + 2nd tone

55

3

B

活動

Number of Ratios

Multipeaked

N = 43 units

84

基底の組CFA8活動

N = 20 units
5ARWCP

9活動Piano611.522.533.5
Peak Frequency Ratio4

図 2: 遠位促進および抑制の 2 基底による単純なモデル

8N = 13 units

N = 61 units

N = 45 units

Number of UnitsBest Inhibition

Single-peaked

ときに得られた中間的な傾向と合わせて考えると，A1で見られる harmonic な反応特性は入力音の構造を反映したものだと考えられる．4
CF に対して haromonic な第 2 周波数を与えたときに single-peaked な細胞で起こる反応変化は，単純なモ
図 1: Multipeaked と single-peaked 遠位抑制ピーク周波数比． デルを用いてニューロン間の相互作用を考えることで特にピアノで harmonic な比に集中する．(黒塗： 12 の倍数)説明できる．図 2A のような基底 2 つで考えると，スパース性最大化によって基底 A, B は CFA , CFB で最もして RWCP 実環境音声・音響データベース2 を利用し強く反応する．CFA と他の周波数の 2 周波数刺激に対た．ピアノ演奏と人間の声はローパスフィルタをかけたする反応を考えると，基底 A の活動は CFB で促進され後 4 KHz にダウンサンプリングしたものを用いた．
る (図 2B)．同様に，基底 B に対して CFB と他周波数
次に，得られた基底をモデルニューロンとみなし，の刺激を与えると，CFA で活動が抑制される (図 2C)．
[2] に倣って単周波数刺激に対する応答で基底を singleここで，学習対象として harmonic な成分が豊富に含まpeaked と multipeaked の 2 種類に分類した．絶対値れる音を使うと得られる基底も harmonic な構造を持つ最大の係数を与える周波数を CF とし3 ，(CF での係ので，結果として harmonic な関係にある周波数におい数)×ρpeak 以上の係数を与える周波数が他にあればて促進や抑制が現れることになる．
multipeaked とする．1 つの基底が持つピークの中で周このような相互作用は式 1 に見られる項 φi (x)φj (x)
波数が最低のものに対する周波数比のヒストグラムをによっても，似た形を持つ基底間，つまり類似の性質を作った (図 1 上段)．入力として harmonic な音を使った持つニューロン間に起こる一種の「側抑制」として説明ときは harmonic な比に集中しているのに対し，入力ができるだろう．生理学的にも A1 内水平結合は等方的でharmonic でないときはそのような傾向は見られない．
なく，同じ CF を持つ方向への結合が多く存在すること
Single-peaked の基底に対しては CF ともう 1 つの周が知られており，似た反応特性を持つニューロン間の相波数を混合した 2 周波数刺激を与え，その周波数を変化互作用の重要性を示唆している．
させて活動の変化を調べた．[2] では，CF 両側抑制のさ最後に，我々の仮説を確かめるための生理学実験を提らに外側 (遠位) にある促進あるいは抑制のピークを扱っ案する．1 つ目に，harmonic な音を全く呈示されないている．その手法に倣い活動変化率 δ = (R2 − R1 )/R1
極端な環境下で動物を飼育すると，A1 で harmonic なを導入し，側抑制の外側で閾値 δ+ , δ− を超えるピーク反応特性は見受けられないと予想される．一方通常環境を検出した．R1 , R2 はそれぞれ，単周波数刺激と 2 周下で飼育された動物では上で述べたようにニューロン間波数刺激に対する係数を表す．このようなピーク周波数相互作用が起きていると考えられるため，1 つのニューの CF 比の分布を調べた (抑制の結果は図 1 下段)．こロンだけに注目しても分からない．そこで 2 つ目としこでも，入力に harmonic な音を使った場合は結果もて，互いに harmonic な関係にある CF を持つニューロharmonic な比に集中し，入力が harmonic でないとき
ン A, B の活動を同時に計測することを提案し，以下のはそういった傾向が失われる．
結果を予想する．もし B の CF で A の促進が起きて同4 生理学的知見との対応と計算論的解釈
時に B の活動が無くなるなら，B の抑制は A の CF でAの活動上昇と同時に起きる．また，逆も成り立つ．
サルの A1 ニューロンにおいては (1)multipeaked のピーク周波数比は harmonic な関係にある，(2)single- 参考文献
peaked の遠位抑制ピーク周波数比は harmonic な関係 [1] B. A. Olshausen and D. J. Field (1996) “Emergenceof simple-cell receptive field properties by learningにある，という傾向が認められる [2]．我々の得た分布a sparse code for natural images.” Nature, 381,
は，harmonic な音，特にピアノ演奏を入力として使っ607–609.
たときに類似の性質を示した (図 1 左)．0.5 と 2.0 での [2] S. C. Kadia and X. Wang (2003) “Spectral Inte強いピークは [2] の結果と一致する．一方で，harmonic
gration in A1 of Awake Primates: Neurons With
Single- and Multipeaked Tuning Characteristics.”
でない RWCP を入力として使ったときには harmonic
Journal of Neurophysiology, 89, 1603–1622.
な偏りは見られなかった (図 1 右)．人間の声を使った
76865463

454
32221

10000.5

1 1.5 2 2.5 3 3.5
Peak Frequency Ratio

4000.5

1 1.5 2 2.5 3 3.5
Peak Frequency Ratio

400.5

2 非音声音のドライソース (楽器と電子音を除く)

1 1.5 2 2.5 3 3.5
Peak Frequency Ratio

43 特徴周波数．係数が負の場合は基底と係数の符号を反転させた．

4 なお [2] では (3)single-peaked の遠位促進ピーク周波数はharomonic でない比に比較的ばらけるという傾向も指摘されているが，本研究では遠位促進でも harmonic な関係が見受けられた．