特集JVRSJ Vol.10 No.1 March, 2005

VR の源流としての錯視・錯覚

19

特集 ■ VR の源流としての錯視・錯覚

錯覚からみた聴覚の「賢さ」
柏野牧夫

NTT コミュニケーション科学基礎研究所

KASHINO MAKIO

Web のデモを参照されたい [1-5]．本稿では，「存在しな1. はじめに聴覚というものは一般に過小評価されていると感じることがしばしばある．典型が，「人間は情報の大半を視い音が聞こえる」「同じ音が違って聞こえる」「知覚的な時間や空間が歪む」という 3 種類の錯覚現象を取り上げ覚から得ている」という類の文句である．
「大半」のとて，その背後にある聴覚情報処理の原理について考えてころに「95%」などと具体的な数字が入っていることもみたい．一見錯覚だが，そこには適応的な意味がある．

ある．しかし，説得力のある根拠が示されているのは見聴覚も思いの外「賢い」ということを伝えることができたことがない．そもそも，感覚モダリティはそれぞれ性れば幸いである．

質が異なっているので，単純な量的比較など不可能なはずだ．例えば空間知覚に限ってみても，確かに視覚は視

2. 存在しない音が聞こえる

野内，とりわけ注視点付近の分解能は非常に高いが，視2.1 隠されると聞こえる

野は顔の前方に限られている．カバーする範囲の広さとまず取り上げるのは，物理的には存在しない音が聞こいう尺度を持ち出せば，常時全方向を守備範囲とする聴覚に軍配が上がる．どちらが優れているかという問題でえるという錯覚である．文章を声に出して読み上げた音声を録音し，その文章の頭から 100 〜 200 ms 程度の間隔はなくて，相補的なのである．視覚が特定の対象を精査ごとに，音声を削除する．言い換えれば，一定間隔ごとするのに適しているのに対して，聴覚は常時周囲の状況に無音区間を挿入することになる．こうすると，何を言っをモニターし，異変をいち早く察知するのに適している．

ているのか非常に聞き取りにくくなる．次に，音声を削そのため，自分が今どういう場にいるかという感覚は，除した部分に，広帯域の雑音を挿入する．雑音の強さは聴覚によるところが大きい．さらに，解剖学的，生理学

音声よりも大きくする必要がある．こうすると，雑音の的に見ても聴覚と情動との結びつきは強く，周囲の異変を察知すればいち早く身体が反応する．
したがって，バー

背後で，削除されたはずの音声が滑らかにつながって聞
こえる ( 図 1)．雑音があろうがなかろうが，同じ分量の音声

チャルリアリティのように，その場にいるかのようなリが削除されたはずだが，聞こえ方は劇的に違う．雑音がアリティをつくり出す上では，聴覚の役割は想像以上に挿入された場合に限って，削除された部分が修復されるのである．これを音素修復 (phonemic restoration) と呼ぶ [1]．

大きい．激しいカーチェイスも戦闘シーンも，音を消してしまえば全く迫力はない．

音素修復は，知覚される音が物理的な音のコピーでは

もう一つよく耳にするのが，「聴覚にも錯覚はあるのないということを如実に物語っている．しかし，これはですか？」という質問である．
「もちろんあります」と知覚の誤りではない．それどころか，このような補完機

答えると驚かれることが多いのは，聴覚は視覚と違っ能があるからこそ，日常生活をうまく送ることができる．

て単純で受動的な感覚だと思われている証拠だろう．知というのも，日常的な環境は往々にして妨害音が多いか覚の内容が感覚器に与えられる刺激の物理的特性と単純らである．例えば人の話を聴いているとき，別の人がドに対応しないことを錯覚と呼ぶなら，聴覚も視覚同様錯

アをバタンと閉めて入ってくれば，その部分の音声はド覚に満ちている．その種類は数多く，とてもここで紹介

アの音に隠されて検出できなくなってしまう．これをマしきれるものではない．興味をお持ちの読者は，CD や

スキングと呼ぶ．音素修復は，マスキングの影響を補償

19

日本バーチャルリアリティ学会誌第 10 巻 1 号 2005 年 3 月

20特集

VR の源流としての錯視・錯覚��������� ����

����
����
����
����
�

�

���

���

���

���

�
���
���� �����

���

���

���

�

��������� ����

����
����
����

図2

����
�

�

���

���

���

���

�
���
���� �����

���

���

���

図1

音声の知覚的補完現象 ( 音素修復 )知覚的補完現象の生起条件(a) 断続的な純音は断続的に知覚される．(b) 断続的な純音の間に適切な周波数・音圧レベルの雑音を挿入すると，純音が連続しているように知覚される．
(c) 雑音の周波数は適切でも音圧レベルが低すぎると，完全に連続しては知覚されない．(d) 純音と雑音の間に検知できるギャップがあると，連続的に知覚されない．(e) 純音と雑音の周波数帯域が異なると音圧レベルが高くても連続的に知覚されない．(f) 周波数と音圧レベルが (b) の条件でも純音と雑音の空間的位置が異なると連続的に知覚されない．

�上段：「省エネルギーは心がけ次第です」という文音声を一定時間ごとに削除（無音置換）したもの．下段：上段の無音置換の部分に雑音を挿入したもの．縦軸は周波数，横軸は時間，濃いところはエネルギーが大きい部分を表す．上下とも，元の音声の残存量は同一であるが，上段は内容が聞き取れず，
下段ははっきりと聞き取れる．

E，… と名付けるなら，A を逆転したもの，B を逆転したもの，C を逆転したもの，… というように並べ，つなぎ合わせる ( 図 3)．これを再生してみると，意外にも，するのに役立っている．
このような補完現象が生じるのは言語音声に限らなもとの発話内容がそのまま聞き取れる．若干エコーがかい．対象が音楽でも環境音でも，あるいは純音でも雑音でも，特定の条件さえ満たされていればどのような音でかったような感じにはなるが，少なくとも何かが逆転しているような印象はない [6]．

も生じる．その条件とは，ひとことで言えば，対象音をこのような現象が生じるのは，音声信号の生成過程に削除した部分に挿入する雑音が，本来の音がそこにあったとしても十分マスキングすることができる特性がある

原因がある．音声信号は顎，唇，舌などの調音器官の動きによって生成される．例えば「いた (/ita/)」と発声するということである．すなわち，挿入する音のスペクトルとしよう．母音は，特定の顎の開き方，唇の形，舌の位が対象音に近く，強さが対象音より強く，残存した対象

置などによって共鳴管を形成し，声帯の振動によって生音と挿入する音との間に検知できる時間的な隙間がなければよい ( 図 2)．このような条件は，日常的な環境を考えじるブザーのような音のスペクトルをその共鳴管で整形れば，きわめて理に適っている．補完が必要なのは，本することによって生成される．/ita/ という発声では，/i/から /a/ へ，顎，唇，舌などが連続的に動いていく．そ来存在している音が別の音でマスキングされた場合だけの途中に，子音 /t/ を生成するための動作が挿入される．

であって，もともと切れている音を補完する必要はない．

すなわち，舌の先が上の歯の後ろの部分に一瞬接触して聴覚には，マスキングされた可能性が高い場合に限って呼気をせき止め，すぐに離れて呼気が勢いよく流れ出る．

補完するという選択性が備わっているのである．

呼気がいったんせき止められる直前から声帯振動は止まっており，呼気が解放されるやいなや声帯振動が再び

2.2 音声信号の冗長性始まる．/ita/ というきわめて単純な発声でさえ，複数のさて，欠落部分を補完するか否かはそこに挿入される調音器官が精妙にタイミングを合わせて動いている．

音のマスキング能力によって決まるとしても，そこをど

ここで重要なのは，調音器官は自由自在には動けなのように補完するかはそれだけでは決められない．では，音素修復の場合，
なぜ元の音素が知覚されるのだろうか．
��������� ����前提として，ある内容を発声して録音したテープを逆転再生しても文字を逆から読んだようには聞こえない．
それどころか，普通は日本語にすら聞こえない．ところ

����

�

が，次のような逆転再生では様子が違う．まず，録音した音声を 50 ms 程度の区間に区切る．次に，それぞれの������������� ��������

そのヒントとなる錯覚を紹介しよう．

�

�

���
���� ���

図3

区間の音声を時間的に逆転させる．しかし区間同士は入れ替えない．つまり，それぞれの区間を仮に A，B，C，D，

����

�

���
���� ���

部分逆転音声(a)：「まいにちのくらし」という原音声のサウンドスペクトログラム．(b)：(a)を 50ms ごとに区切り，それぞれを時間的に逆転してつなぎ合わせたもの．

20

特集

JVRSJ Vol.10 No.1 March, 2005

VR の源流としての錯視・錯覚

いということである．舌であれ顎であれ，質量があるの

21

周
波
数

で慣性が働き，ある状態から別の状態へは滑らかにしか移れない．また，動ける範囲にも自ずと限界があり，他の調音器官とまったく独立に動けるわけでもない．したがって，例えば /ita/ という発声において，/a/ を調音す

時間

るための準備は既に /i/ を発声している時点から行われているし，/a/ を発声している時点には /i/ の調音の影響が尾を引いている．当然これに /t/ を調音する動作の影響が重なる．このような調音運動の特性を反映して，各音素についての情報が互いに重なりながら数百 ms 程度

図4

補完現象における過去と未来の逆転の範囲に分散することになる．だから，素朴な内観と裏
腹に，音声信号の上でここからここまでがこの音素，な部分を聞かない限り，雑音の部分をどのように補完すべ

どということはできない．無理に音声信号の一部を切りきか知る由もない．それにもかかわらず，まず周波数変

出して聞いてみると，本来の音素とはまったく違ったも化音が聞こえ，それが雑音の背後で鳴り続け，雑音の後のに聞こえることが多い．機械による音声認識や音声合も滑らかに変化しているように知覚される．音素修復の成が難しいのはこのためだ．活字を並べて文章ができる

場合も同様である．音声の一部を雑音で置換し，雑音のというようなわけにはいかないのである．

前後の音声を系統的に変化させてみると，補完される内

しかし裏を返せば，これは音声信号が時間的に冗長で容は，雑音の前だけでなく後に現れる音声の特徴にも依存して変化する [7]．これらの現象は，雑音の後を聞いたあるということに他ならない．
部分逆転再生の場合には，
実は破壊されているのは逆転させる区切りの長さ ( 上記後で，後付け的に雑音部分の知覚が創り出されているとの例では 50 ms) よりも細かい構造だけで，調音動作に考える他はない．つまり，物理的な時間は，過去から未対応するような緩やかな変化は比較的保存されている．
音素修復に話を戻せば，100 ms 程度の信号が欠落して来へ，一方向に流れているのに対して，知覚的な時間は，も，やはりそれより緩やかな変化の情報は残されている．

音素修復が生じているときには，ほぼ自動的に言葉がだからこそ，当て推量ではなく，適切な補完が可能なの聞こえてくるように感じられる．しかしその背後には，である．もちろん信号の欠落が上記の例よりひどくなれ

かなり複雑で巧妙な情報処理が行われているのである．

それに対応しているとは限らない．

ば，音声信号に含まれる情報だけでは不十分である．実際には，その場合でも直ちに音素修復ができなくなるわ

3. 同じ音が違って聞こえる

けではない．文の意味や文法など，より高次の情報も効

3.1 反復に伴う知覚の変化

果的に使われるからである．

次に紹介するのは，物理的には同一の音であるのに，反復すると聞こえ方がどんどん変わっていくという現象

2.3 過去と未来の逆転である．まず，短い単語を録音する．例えば「バナナ」

前節で，一つの音素の情報が数百 ms の範囲に分散していると述べたが，物理的に考えて，知覚に利用できるとやや早口で発声する．次に，それを切れ目なくループ( 反復 ) 再生する．すると，「バナナ」のはずが，「ナッパ」のは欠落部分よりも前にある情報だけであるはずだ．とになったり，「ハナ」になったり，さらには 2 人の声にころが奇妙なことに，欠落部分よりも後にある情報も分かれたり，機械的な音が聞こえてきたり，人によって中身は様々だが，普通は 1 分間も聞けばかなりの変化が補完に影響するのである．話を明確にするために，より単純な例を挙げてみよう．周波数が連続的に上昇してい
く音の途中の 200 ms 程度を無音にすると，そこは明ら体験できる．次々と違う内容が聞こえる人もいれば，比かに途切れて聞こえるが ( 図 4a)，その部分に適切な特性を持つ雑音を挿入すると，元通り連続して聞こえる ( 図には全く何も変化しないという人もいるが，別に異常ではない ( ただし，加齢につれて変化が起こりにくくなる

4b)．雑音部分に本来あるはずの音が知覚的に補完されたというデータもある )．この現象自体は古くから知られていて，単語変形効果 (verbal transformation) と呼ばれて較的少数の聞こえ方が交互に現れるという人もいる．時わけである．ここで，雑音の後の部分を，下降するように変えてみると，滑らかに上昇して下降する連続的な音が知覚される ( 図 4c)．さらに，雑音の後の部分を削除すいる [1]．視覚でも，同一の刺激に対して見ている間に知ると，周波数変化音は雑音の開始点で終わっているように聞こえる ( 図 4d)．この例では，聴取者は，雑音の後のカー・キューブ，両眼視野闘争などいろいろある．単語覚が変わる，いわゆる多義的知覚と呼ばれる現象は，
ネッ
変形効果は，それらと似ているところもあるし，違うと

21

22

日本バーチャルリアリティ学会誌第 10 巻 1 号 2005 年 3 月

特集

VR の源流としての錯視・錯覚

ころもある．
「バナナ」をループすると，「ナバナ」，「ナニューロン群が存在し，特徴の分析器として機能していナバ」など音節のまとまり方に多義性ができるが，聞こる．同一の単語を反復提示すると，その単語に含まれる

えてくる内容はそれよりもバリエーションが多く，もと音響特徴に対して応答するニューロン群が順応して，反もと含まれていない音が聞こえることも珍しくない．

応量が低下する．その結果，物理的には同一の単語であっても，知覚系の上位段階に送られる感覚情報は時々刻々

3.2 仮説の生成と検証

形を変えていくことになる．それに対して，トップダウ

なぜこのような奇妙な現象が生じるのか，そのメカニンの過程は，もっとも当てはまりのよい音素列に関するズムはよくわかっていない．筆者の考えでは，ボトムアッ仮説を生成されるわけであるが，感覚情報の不完全性のプ，
トップダウンのダイナミックな相互作用に原因がある．

ゆえに，仮説が一つに絞りきれない．有力な仮説が複数知覚は一般に，感覚器に入力される情報だけでボトムある場合，その時点における感覚情報とより整合するもアップ的に決まるものではない．環境内の事物一般，あるいは特定の対象に関する知識 ( 内部モデル ) が脳内にのが採用されることによって，知覚が変化していくと考蓄えられており，そこから生成される予測がトップダウ

トムアップ，トップダウンのダイナミックな相互作用が，ン的に働くという側面も重要である．知覚は無自覚的，

同じ単語が反復されるという特殊な状況では錯覚を生み自動的ではあるが，犯罪捜査のような推理の過程と形出すのではないだろうか．

えられる．通常の状況では適切な知覚につながるこのボとして似た部分がある．犯罪捜査では，現場に残された
断片的な手がかりだけでは犯人を特定できないことが多3.3 錯覚を生み出す脳活動

い．そこから，事件の中身や犯人に関する仮説を立て，このような考えを検証するために，筆者らは，機能的磁気共鳴画像法 (fMRI) を用いて，反復単語を聴取し過去の事件データや関連情報も参考にしつつ，犯人像を絞り込んでいく．仮説に矛盾する証拠 ( アリバイなど )ているときの脳活動を計測した [8]．ここで興味があるのがなければ，犯人である可能性が高い．見込み捜査が行は，「聞こえ方が変化する」という事象に関連した脳活

き過ぎて証拠不十分だと冤罪になるが，仮説もなく捜査動である．単純に音を聞いていることによる活動や，「バしても迅速な解決は望めない．知覚の場合，犯人＝外界ナナ」や「ナッパ」など特定の聞こえ方に対応する活動の事物，証拠＝感覚情報，事件データや関連情報＝内部ではない．そこで，聞こえ方が変化するたびに実験参加

モデルというわけである．刻々と入力される感覚情報は者にボタンを押してもらい，それに関連した脳活動の部

不完全で断片的であることが多い．そこで，内部モデル位を推定した．さらに，対照実験として，同じ反復単語を用いてオンラインでどんどん外界の事物に関する仮説に加えてときどき提示される短い純音を検出してボタンを生成し，感覚情報と照らし合わせて検証していく．仮を押すという課題を別のセッションで行い，その脳活動説に合致する情報が感覚器から得られれば知覚が成立すも計測した．純音の提示タイミングは，同一の被験者の，る．むしろ，仮説に合致しない情報が得られさえしなけ

同一反復単語の聞こえ方が変化する頻度に基づいて設定ればそれでよいとさえ言えるかもしれない．例えば前章したが，聞こえ方の変化とは同期していない．

の音素修復の例で，欠落部分が隠される場合のみ補完が実験の結果，聞こえ方の変化を検出する課題で有意な生じるというのは，「そこが実際に無音になっている」という感覚情報 ( 証拠 ) が「ない」からだとみることが活動が見られた部位は，左右聴覚野，左右前頭前野，左前頭葉腹側部 ( ブローカ領域 )，左島皮質，前帯状皮質，右できる．無音というのは重要な音声特徴の一つである．
欠落部分が他の音で隠されていないと，「無音である」

頭頂間溝，視床前部などである ( 図 5 ＊口絵カラーページ
参照 ). 一方，反復単語中の純音を検出する課題では，左という強い証拠があるので，調音器官の動きの制約や文右の聴覚野から後方に頭頂葉にかけての部位，左島皮質，の意味から生成された仮説が棄却され，補完が生じない．
このような，内部モデルに基づく予測 ( 仮説 ) と感覚情視床前部の一部などに活動が見られた．詳細な分析は省報に基づく検証というループは，実環境で効率よく，し特に，ブローカ領域の活動は，知覚の変化を頻繁に報告かも適切な知覚を行う上できわめて有効であろう．

した人の方がそうでない人に比べて顕著であった．ブロー

単語変形効果に話を戻すと，感覚情報という観点では，
少なくとも 2 種類の不完全性がある．一つは先に述べ

カ領域は，伝統的に，言語音声の生成に関与すると考えた，ループによる音節のまとまり方の多義性である．もら知覚課題であって，生成課題ではない．そこで思い出さう一つは，特徴抽出過程の順応による感覚情報の変形でれるのが，「音声の知覚は，音響信号から，それを生成しある．聴覚系の各段階には，音の様々な特徴，例えば周た発話者の調音ジェスチャーを推定することに基づいてなされる」という音声知覚の運動理論である [9]．運動理論

くが，両条件で顕著な違いが見られたのは前頭葉である．

られてきた部位である．しかしこの実験の課題はもっぱ

波数の変化や振幅の変化などに対して選択的に応答する

22

特集

JVRSJ Vol.10 No.1 March, 2005

VR の源流としての錯視・錯覚

23

図 5 「バナナ」の反復を聴取中の脳活動 (N=12) ＊口絵カラーページ参照(a) 左半球，(b) 右半球，(c) 正中面断面図．オレンジ色は聞こえ方が変化したときのみ，青色は純音検出時のみ，緑色はその両方に有意な活動が見られ
る部位．

図6

は今日なお賛否両論あり，直接的な証拠は得られていない．

聴覚定位残効の模式図

後続音の空間的位置 ( 定位 ) が，先行音から遠ざかる方向にずれて知覚される．ずれの量は先行音から少し離れたところで最大となる．

筆者らの実験結果は，音声の知覚に生成モデルが関与するという運動理論の一つの証拠を提供するものである．同時に，単語変形効果に内部モデルによる予測生成が関与

15 〜 20 度にもおよぶことがある．また，先行音と後続するという説にも合致する．また，他の証拠とも合わせて，音の周波数が近いときにしか残効が生じない．

前帯状皮質では，聴覚野からの感覚情報とブローカ領域か

このような現象が生じる理由として，筆者らは，空間らの予測とが比較されているのではないかと考えている．

の位置と周波数とに選択性を持つニューロン群の感度調

錯覚と脳活動計測をうまく組み合わせて，今後さらに節を想定した．空間の位置の手がかりとして，とりあえ

詳細な分析をすれば，意識に上る知覚がどのような脳内ず両耳間の時間差を取り上げるならば，モデルの概略はメカニズムによって生じるかを明らかにするための手が次のようになる．聴覚系には，末梢の周波数分析を経たかりが得られるに違いない．

後，周波数帯域ごとに，様々な両耳間時間差に同調した

4. 時空が歪む

ニューロンが多数存在している．両耳間時間差は，それらのニューロン全体の興奮パターン ( 例えばその重心 )4.1 音源定位の順応で符号化される．そして，個々のニューロンは，それ直前の刺激によって後続の刺激の知覚が影響される

ぞれの直前の反応の強さに応じて感度を変化させる．入というのは，どの感覚モダリティでも，かなり一般的に見られることである．例えば，冷たい水に手をつけてか力が大きければ感度を下げ，小さければ逆に上げるという具合である ( 図 6)．
このようなモデルを計算機でシミュ

らぬるま湯に手をつけると，始めからぬるま湯に手をつ

レーションしてみると，たしかに心理物理学実験で得らけた場合よりも熱く感じられる．流れ落ちる滝をしばられたような残効の特性が再現できた．

く見つめると，止まっているはずの隣の岩がゆっくり上次に，実際にそのような現象が神経系で起きているかに動いているように見える．野球でも，豪速球であってどうかを調べるために，スナネズミという動物を用いて，も同じような球を何球も続けて投げられるとタイミング
が合いやすいが，スローカーブの後だと速球がより速く下丘と呼ばれる脳幹の部位からニューロン活動を記録す
る実験を行った [12]．この実験に用いた刺激の時間特性感じられ，さほど速くない球でも振り遅れてしまう．こは人間の心理物理実験に用いたものよりかなり短いなど

れらも物理的な刺激と知覚の内容とがずれているわけでの違いはあるものの，基本的には上記のモデルと一致すあるから，錯覚と呼ぶことができるだろう．スポーツ選る結果が得られた．

手や料理人，音楽家など，人間の感覚を相手にするプロ

聴覚定位残効は，先行音の存在によって空間が伸び縮

フェッショナルは，このような知覚の特性を暗黙のうちみすると表現することもできる．これは，聴覚系が不正に熟知していてうまく利用している．聴覚でももちろん確であることを意味しているのであろうか．実は，このこのような文脈効果や順応効果は各種見られる．ここでは，音源の空間的位置の知覚 ( 音源定位 ) に関する現象

ような処理特性には情報処理上の利点がある．わずかにを紹介しよう．

音がある場合には，ない場合に比べ，先行音の付近だけ位置の異なるふたつの音を弁別する実験を行うと，先行ある音を提示した直後に，いろいろな位置に別の音

位置の弁別力が向上するのである．そのかわり，先行音から離れたところでは弁別力は低下する [13]．先行音のを提示すると，後に提示した音は，単独で提示した場合に比べて，直前の音から遠ざかる方向にずれて知覚される [10, 11]．これを聴覚定位残効 (auditory localization

付近の空間が伸びるということは，ちょうどそこを虫眼

aftereffect) と呼ぶ．水平面では，このずれは角度にしてとの差分にはきわめて敏感になる．

鏡で拡大して見ているようなもので，新しい音と先行音

40 度ほど両者が離れているとき最大となり，その量は空間の伸び縮みの機能的な意義について，すこし詳し

23

24

10 巻 1 号 2005 年 3 月
日本バーチャルリアリティ学会誌第先行音が存在しないとき���チャネル群
�

� �

出力強度

�

出力分布
�

�

�

�

VR の源流としての錯視・錯覚

�

���

�

�

特集

後続音 �����θ�

�

�

�

�

特徴���

�

� �

出力強度

�

出力分布
�

�

�

�

�

�

�

�

特徴���

�

�

�

�

�

重心の移動
=定位の移動����順応 �����

(b)

図 7 先行音が存在
下丘ニューロンの特性に基づく聴覚定位残効のモデル

�

�

�

�

�

さまざまな時間ずれで同時性を検査

�

�

�

� � �

後続音 �����θ�(IPD; この場合両耳間時間差と等価 ) に選
下丘には特定範囲の両耳間位相差
� �
�
�
�
�
�
択的に反応するニューロン群 (IPD チャネル群 ) が存在する．IPD は，このニューロン群の反応強度分布の重心として符号化される ( 左 )．先行音が存在�
IPD を中心に感度が低下する．その状態で後続音が入力すると，先行音の重心の移動されると，反応強度分布の重心は先行音から遠ざかる方向にずれることにな=定位の移動る ( 右 )．これが知覚される定位残効に相当する．
�

特定の時間ずれに順応

後続音 �����θ�

���

�

�

�

(a)

先行音が存在後続音 �����θ��
同時と答えた割合

先行音が存在しないとき���チャネル群

���

���

�

�

順応��������

����

聴覚が先

図8

く考えてみよう．一般的に言って，個々のニューロンは，����

順応�＋������

����

検査した時間ずれ����

���
視覚が先

視聴覚の時間ずれに対する順応(a) 刺激の模式図．(b) 順応による , 視聴覚が同時と知覚される
時間ずれの範囲の変化．

ある範囲内では入力の値が大きくなると単位時間あたりのスパイク数が増えることによって入力値を表現している．しかしその範囲はあまり広くなく，上限付近では飽

種々の条件にもよるが，順応した時間ずれの 15% 程度

和し，下限付近では雑音に埋もれる．ところが，我々のになることもある．また，視聴覚が同時と判断される検モデルのように，入力値が大きいときに感度を下げ，小さいときに上げると，実効的には広い範囲の入力に対応

査刺激の時間ずれの範囲も，順応刺激の時間ずれの方向に広がる ( 図 8b)．つまり，一定の視聴覚の時間ずれを経してその差を表現することが可能となる．個々のニュー験すると，そのずれを小さくする方向に同時性の判断基

ロンがそのように振る舞えば，その全体としては，直準が移動するのである．

前の入力の近くでわずかに異なった入力に対する興奮パ

順応効果は，直接的に視聴覚の同時性を判断しない課

ターンの差が大きくなり，
弁別力が向上することになる．

題でも観察できる．言葉で書くとちょっとややこしいが，

これは知覚系一般に見られる順応現象に適用できる情報

まずは順応の話の前に，基本となる視聴覚現象を説明し処理原理であろう．

よう．二つの小円が左右から近づいてきて，中央で交差

以上のように，錯覚の分析から，聴覚における空間情するという視覚パターンを提示すると，ほとんどの場

報処理がダイナミックで適応的なものであることが明ら

合小円が直進して通り過ぎているように見える．ところ

かになった．聴取者自身も気づかぬうちに，入力される音に応じてあちこち処理の焦点を動かして，効率のよいが，交差する瞬間に短い音を鳴らすと，小円が衝突して左右に反発しているように見える率が高まる [16]．この現処理を実現しているのである．

象も，他の視聴覚統合現象と同様，短い音を鳴らすタイ
ミングと小円が交差するタイミングとが合っていないと

4.2 同時性の順応効果がなくなる．つまり，視聴覚情報の同時性は，両者

どの感覚モダリティでも従来あまり研究されてこなを結びつける強い手がかりとなる．さて，ここからが順かったことだが，時間についても順応効果が生じること応である．小円が交差する瞬間と，音が鳴る瞬間とが一が最近わかってきた．聴覚でも音の時間順序判断が先行音の影響を受けるのだが [14]，ここでは視覚と聴覚にま

定時間ずれているパターンをしばらく観察すると，反発たがった同時性判断における順応の例を紹介する [15]．

効果が最大となる視聴覚のタイミングがそちらの方向にずれるのである [15]．このときのずれのパターンは，上述

視覚刺激として黒い背景上の白いリング状のフラッ

した，リングと純音の同時性を直接的に判断する場合のシュ，聴覚刺激として短い純音を用い，両者を様々なタ結果と非常によく似ている．つまり，視聴覚の時間ずれ

イミングで提示して，同時か否かを観察者に判断してもらう ( 図 8a)．この際，その前に数分間，視覚刺激よりもに対する順応効果は，主観的な同時性判断だけではなく，知覚上の機能的な同時性にも影響することがわかる．

聴覚刺激の方が早いペアを観察すると，聴覚刺激の方がこのような順応の機能的意義を考える上で重要なの先に提示されたときに同時と知覚されるようになる．逆は，視聴覚情報の同時性を判断するのは，脳にとってに聴覚刺激よりも視覚刺激の方が早いペアを観察した後では，視覚刺激の方が先に提示されたときに同時と知覚は原理的に非常に難しい情報処理課題だということである．第 1 に，光と音では空気中を伝わる速さが全く違されるようになる．
このような主観的同時点の移動量は，

う．光は秒速約 30 万 km，外界のイベントから目に到達

24

特集

JVRSJ Vol.10 No.1 March, 2005

VR の源流としての錯視・錯覚するまでにかかる時間は無視できる．一方音は秒速 340
m 程度なので，対象が 10 m ばかり先にあれば，光より

25[4] 内藤誠一郎，柏野牧夫：イリュージョン・フォーラム(http://www.brl.ntt.co.jp/IllusionForum/index2.html), NTT コ
ミュニケーション科学基礎研究所 (1998)

も 30 ms 程度遅れて耳に到達することになる．もちろん，
この時間差は対象の距離によって変化する．第 2 に，仮[5] 中島祥好，佐々木隆之，& ten Hoopen, G. ：聴覚デモンスト
レ ー シ ョ ン (http://www.kyushu-id.ac.jp/~ynhome/JPN/Demo/に目と耳に同時に刺激が届いたとしても，そこから神経

illusions2nd.html)(2000)[6] Saberi, K. & Perrott, D. R. : Cognitive restoration of reversedの活動が視聴覚それぞれの経路を通って大脳皮質の視覚野と聴覚野に到達するまでの時間は無視できないくらい

speech. Nature, 398, 760(1999)[7] 柏野牧夫：閉鎖区間の前後に分散する手がかりに基づく日
本語語中閉鎖子音の知覚 . 日本音響学会誌 48, pp.76-86 (1992)[8] Kondo, H. & Kashino, M. :Distributed brain activation
involved in the changes of auditory perceptual organization,
an fMRI study on the verbal transformation illusion. The 27th
MidWinter Meeting of ARO (2005)[9] Liberman, A. M. & Mattingly, I. G. :The motor theory of speech
perception revisited. Cognition, 21, pp.1-36(1985)[10] Kashino, M. & Nishida, S. :Adaptation in the processing of異なる．マカクザルの脳に電極を挿入して計測したデー
タや，人間の脳波や脳磁界の計測データによれば，神経活動が大脳皮質に到達する時間は聴覚の方が視覚よりも数十 ms も速い．この時間は注意の向け方や刺激の強さなどによっても変化する．これらの 2 種類の要因によって，外界のイベントから光と音が同時に発せられたとしても，脳内では，視聴覚情報の間に単純に予測できない
時間のずれが生じることになる．視聴覚の同時性判断が原理的に難しいといったのはこのためだ．

interaural time differences revealed by the auditory localization
aftereffect. Journal of the Acoustical Society of America, 103,
pp.3597-3604(1998)[11] Carlile, S., Hyams, S., & Delaney, S. : Systematic distortionsof auditory space perception following prolonged exposure to
broadband noise. Journal of the Acoustical Society of America,
110, pp.416-424(2001)[12] Furukawa, S., Maki, K. Kashino, M. & Riquimaroux, H.
(in press). Dependence of the interaural phase difference
sensitivities of inferior collicular neurons on a preceding

では，この難しい情報処理課題を，脳はいかに解決しているのであろうか．ここで紹介した視聴覚の時間ずれに対する順応効果の意味するところは，入力された視聴覚情報間の時間のずれがある程度一定であれば，そのずれを小さくする方向に同時性の基準が移動するということである．つまり，脳は，固定的な同時性の基準を持っているのではなく，直近に経験した感覚情報をもとに，同時性の基準を適応的に変化させているのである．これが，物理的および神経的な非同期にもかかわらず，適切

tone and its implications in neural population coding.

に視聴覚情報の同時性を判断するための脳の戦略である

Journal of Neurophysiology.
[13] Kashino, M. : Adaptation in sound localization revealed byauditory after-effects. In A. R. Palmer, A. Rees, A. Q. Summerfield,
and R. Meddis (Eds.), Psychological and physiological advances inhearing. London: Whurr Publishers, pp. 322-328(1998)[14] Okada, M. and Kashino, M. : The role of frequency-change
detectors in auditory temporal order judgment. NeuroReport 14,と考えられる．
5. おわりに
ここまで述べてきたように，聴覚の知覚世界は，時間も，空間も，そして対象事物の記述自体も，耳に入力された音響信号の物理的な特性とは単純に対応しない．つpp.261-264(2003)[15] Fujisaki, W., Shimojo, S., Kashino, M., and Nishida, S. :まり錯覚に満ちている．しかし，その錯覚は，
聴覚の「賢さ」の現れとも言える．すなわち，実際の環境および脳Recalibration of audio-visual simultaneity. Nature Neuroscience
7, pp.773-778(2004)[16] Sekuler, R., Sekuler, A. B., & Lau, R.: Sound alters visualmotion perception. Nature, 385, 308(1997)の双方に不可避的に存在する種々の情報処理上の困難を克服し，適切にかつ効率よく環境内の事物の把握を行う
ための脳の戦略が，人工的な状況で顕在化したものが錯覚なのである．バーチャルリアリティをはじめ，聴覚に【略歴】
柏野牧夫（KASHINO Makio）
日本電信電話株式会社 NTT コミュニケーション科学基礎研究所
人間情報研究部 主幹研究員 ( 感覚運動研究グループリーダ )関わるメディアを創る際には，この聴覚の「賢さ」を十分に理解し，利用することが大切である．
参考文献[1] Warren, R. M. :Auditory perception:A new analysis and synthesis.

1987 年東京大学文学部心理学科卒業．1989 年同大学大学院修士課程修了，同年日本電信電話株式会社 NTT 基礎研究所

Cambridge,Cambridge University Press(1999)[CD 付 ][2] Bregman, A. S. :Auditory scene analysis:The perceptualorganization of sound. Cambridge,MIT Press(1990)[CD 別売 ][3] Deutch, D.:Musical illusions and paradoxes. Philomel
Records(1995) [CD]入所．1998 年同所主任研究員．2001 年 NTT コミュニケー
ション科学基礎研究所 (NTT 基礎研究所から組織改編 ) 企画
担当研究総括担当課長．2002 年同担当部長．2003 年より現職．
JST ERATO 下條潜在脳機能プロジェクト 潜在聴覚処理研
究グループリーダ兼務．博士 ( 心理学 )．

25