特集JVRSJ Vol.8 No.3 September, 2003

心理学と VR

9121

バーチャルリアリティと知覚研究
ー異種手がかりの知覚的統合ー

北島律之

竹田仰

長崎総合科学大学

2．立体感

1．はじめに従来，心理学を中心に行われてきた知覚研究は，VR

立体感については，多くの手がかりに分類され研究さ環境の構築にどのような点で貢献が可能であろうか．立れているが，複数の手がかりによって生じる立体感は，体視，自己運動感覚，音源定位，大きさや色の恒常性，近年，ようやく研究の俎上に乗ってきた．例えば，物触力覚の研究など，どれもが大きな意義をもつだろう．

体の３次元的な構造の知覚について，両眼視差と単眼視

しかし，ここでは異種手がかりの統合 (integration) に問による手がかりが，どのような関係をもって奥行き知覚題を絞ろうと思う．例えば，周囲を見まわすと，いろいに寄与しているかが調べられている．Johnston らの研究

ろな物が私の意識の中に立体感をもって現れる．立体感[1][2] では，筒を半分に切ったような形 ( 図 1) を正面かを生じさせる手がかりとしては，輻輳，両眼視差，遠近ら見て半円柱になるよう，高さの半分に対し奥行き量を法，大きさ，重なり，陰影などが挙げられるが，現実に調節することを求める課題を行った．この際，奥行きのは，これらの手がかりが一体となって立体感が生じるの手がかりとしては，両眼視差に，テクスチャあるいは運であり，この立体感は視差から，この立体感は陰影から，動視差が加えられている．結果は，ほぼ (1) 式を満たした．というように分解することは不可能である．

すなわち，知覚された奥行き量 (Y) は，両眼視差のみに日常世界の知覚は，複数の手がかりや事象が渾然一体となって成立しているのである．この結果は，これまで行われてきた単一手がかりのみを提示する，多くの知覚心理学的実験からは必ずしも推測できない．様々な条件が統制された心理実験のデータが，複数の手がかりが存在する日常の生活環境における知覚と異なると言われる所以も，このあたりにある．このようなことから，異種手がかりの統合について知ることは，VR空間の構築にとって重要なテーマと思われる．また，統合を軸に話を進めることで，広範囲にわたる知覚研究の領域を，少しでも有機的に連結された状態で概観

図1

して頂ければ幸いである．

9Johnston らの研究［1］［2］で用いられた三次元形状

122
10 日本バーチャルリアリティ学会誌第 8 巻 3 号 2003 年 9 月

図2

特集

視差のみ（上）と視差およびキャストシャドウをともなった正方形（下）．交差法で見ることができる．

図3

よって得られる奥行き量 (Y1) と，他の手がかりによっ対象，キャストシャドウ及び光源の関係(3) 最終的な奥行き量が，影響後の光源方向により決定て得られる奥行き量 (Y2) に，各々重み付けして線形的される．に統合させたものと，ほぼ等しいことが示された．
Y = w1*Y1 + w2*Y2, w1+w2 = 1

心理学と VRもし，この推測が正しいのならば，両眼視差とキャスト(1)シャドウによる奥行き知覚は，光源方向を介した統合とこれは，各々の手がかりによる奥行き感が独立に生成考えられる．

され，最終的な出力段階で統合が生じたことを推測させる．つまり，ここで見られる統合は，２つの手がかりの3．視覚と体性感覚排他的な関係や，奥行き処理の初期段階における非線形

3.1 視覚と自己受容感覚の位置情報の統合的な統合関係ではない．

トップダウン的関与を極力排除するため，視覚情報をただし，このような奥行き量についての線形的な統合

正方形という無意味な図形にし，単に手の動きと同期しが，両眼視差とすべての単眼視手がかりとの間に成り立て動くのみとして，ポインティングタスクを行った [4]．

つとは限らない．図 2 のような，光源からの光を物体がこの際，正方形と手の位置は水平方向にある一定の距離遮ることによって床に落ちる影をキャストシャドウと呼だけずれている．図 4 にあるように，視覚情報はモニタぶ．キャストシャドウの位置をずらすと，床から正方形に提示された画像 ( 正方形 ) がミラーに反射されるのみまでの奥行き量は異なって知覚され，キャストシャドウであり，手の動きは，ミラーの下に設置された触力覚提は奥行き手がかりとして機能することは明らかである．

示装置 (PHANToM) によって制限されていた．被験者はキャストシャドウと両眼視差の場合においても，両方の手を水平方向に能動的に動かしながら，ミラーに映った関係によって奥行き知覚が成立することが示されている手に対して右へずれた正方形を観察する順応と，順応後[3]．しかしながら，それらの関係は，線形的な統合の様に提示される視覚ターゲットの位置のポインティングを相を示さない．これは，テクスチャなどの単眼視手がか繰り返した．結果は，図 5 に示すように，視覚ターゲッ

りは，それら自身から直接的に奥行き量に変換されるが，トの位置にかかわらず，1 回目のポインティング ( コントキャストシャドウの場合，光源が頭の中で想定されるこロール ) に対し，5 回目までのポインティングは，一貫とで奥行き感が成立するような間接的なものであることして左へずれる傾向にあった．すなわち，順応時に新たに起因すると思われる．図 3 に，対象，キャストシャドな対応が生じ，ボトムアップ的処理において，視覚と自ウ，光源の位置関係を示す．この統合に関しては，次の己受容感覚の間で統合の様子が変化することが示唆されような過程が推測されている．

る．また，6 回目から 9 回目のポインティングは，順応(1) 両眼視差による奥行き量が決定される．と同じ時間だけ何もせずに待ち，その後，ポインティン(2) その奥行き量により，キャストシャドウのみで想定グを行ったものである．何も新たな対応を与えなかったされていた光源方向に影響が生じる．にもかかわらず，1 回目の位置に自動的に戻る傾向にあ

10

特集

JVRSJ Vol.8 No.3 September, 2003

心理学と VR

図411123

PHANToM を用いた視覚と自己受容感覚の位置対応変化の実験

る．我々は，このような 2 段階の変化は，運動地図 ( 視覚対象と音源が分離する限界を測定した．その結果，限覚情報と手の動きの対応マップ ) と認知地図 ( 自己中心的界は 20 〜 30° と報告しており，逆に考えると，その範囲な視覚的な位置マップ ) といった 2 つの地図が存在して内では，2 つの感覚の位置情報は統合されたものとなる．

いるためであると考えている．視覚と運動を結びつけてまた，これらの統合に対する視覚的注意などの役割が，ポインティングを行う運動地図は過渡的に変化する一方，それほど大きくないことなども示されている [7][8]．
VR では，静的な対象のみでなく，空間内で移動する認知地図は持続的に情報を保持しており，順応後，しば対象も多い．Mateeff et al. は，水平方向へ移動するスポッらくして運動地図を元通りに書き換えたと思われる．

ト光があれば，観察者からは見えない静止したスピーカ
3.2 奥行き手がかりの統合に対する触運動感覚の関与からの音が，光と同方向に移動して知覚されることを報

三次元形状の知覚についての触運動知覚の影響は，告した [9]．これは，光とは反対方向へ音が多少移動したVR にとって大きなテーマであろう．Ernst et al. は，両場合でも，また眼球で光を追わない場合でも生じる現象

眼視差やテクスチャによって，視覚的に斜めに傾いた面である．すなわち，音の動きを光の動きが捕捉するようを提示した [5]．そのとき，視差とテクスチャの各々の奥行き手がかりは，矛盾した勾配をシミュレートしていた．
例えば，視差では 30° 手前に傾いているにもかかわらず，テクスチャでは水平に保たれていた．そこに，触力覚提示装置によって，どちらか一方の手がかりに適合するよ
うに触運動感覚 (haptics) 的に面をシミュレートし，被験者はそれを能動的に触ることを，幾つかの勾配の組み合わせについて繰り返した．被験者が視覚的に感じた勾配は，(1) 式の奥行きを勾配と考え，視差とテクスチャに重み付けを行った線形結合で得られるが，能動的に触ることを繰り返すことによって，触運動感覚に適合する手がかりに大きな重みが割り当てられるようになった．
4．視覚と聴覚
視覚と聴覚の関係はどうだろうか．定位に関しては一
般的に腹話術効果と呼ばれ，聴覚は視覚の方へのバイアスを受けるとされている．これについては，数多くの知Jackson あたりが最も初期のものであろう [6]．
見があるが，ベルの音とライトの点滅，あるいは蒸気が吹き出る音と

図5

蒸気は吹き出すが音のしないやかんの組み合わせで，視11

視覚と自己受容感覚の位置対応変化の結果

124
12 日本バーチャルリアリティ学会誌第 8 巻 3 号 2003 年 9 月

特集

心理学と VRな統合が生じるのである．この現象について，より一般

かりが 1 つの知覚をなすのは，脳がおせっかいな解釈をし的な動きに対しても確かめられている [10]．光と音が水た結果とも言える．入力の独立性を考えると，両眼視差か平方向に限らず，前額平行面内を動く場合や，光と音がらの奥行き知覚，キャストシャドウからの奥行き知覚が，奥行き方向に動く場合（観察者へ近づいたり，観察者か別個に存在しても構わないはずである．しかし，同時に 2ら離れたり）では，水平方向よりも顕著に捕捉が観察さつの奥行きがあるより，１つにまとまっていた方が，我々れた．音源の定位精度が劣る方向では，捕捉の程度も強は効率的な行動ができるであろう．手がかりごとに別々のくなるものと思われる．

対処を考えたり，意識して対象の奥行き量を推測したりする必要がない．日常においては，各属性の統合が同時に起5．統合とは何かこっているのであるから，既に知覚の段階から大々的な活

視覚内での統合，視覚と体性感覚や聴覚といったモダ動と大胆な解釈を行っていると言える．

リティをまたぐ統合について，それらの一端を示したが，6．知覚研究と VR 環境の新たな展開到底，すべての事象に触れることはできない．そもそも，統合という言葉の持つ意味は大変広い．
「認知心理学 1

視覚や聴覚や体性感覚などを融合させた知覚の研究を知覚と運動」[11] には，心理学的に７つの意味が挙げら行うには，VR での仮想環境生成装置を利用することでれている．それによると，ここでは主に「1 つの属性を新たな知見が得られる可能性がある．すなわち，被験者複数の処理系で並列処理・表現されている場合の統合」

が実験者側の意図した感覚提示をリアルなものとして受について扱ったことになる．1 つの属性は，奥行き，三け止め素直に反応を示せば，被験者に提示する感覚情報次元形状，位置，そして動きのそれぞれである．では，諸量の重み係数や，提示される感覚情報間の時間的なタ

これらは脳内においてどのような形で統合をされているイミングを操作して細かく反応を観察分析できる．感覚のだろうか．例えば，両眼視差とキャストシャドウによ情報の諸量やその時間的なタイミングを操作すると，異る奥行きの統合では，光源方向が想定されるレベルにおなる感覚器官から入り込む情報が脳内で処理される際にいて双方の調整が示唆されている．視覚と自己受容感覚融合が加速されたり，逆に相殺されたり，あるいは抑制の位置対応では，対応形成に前頭葉の運動前野腹側部のされたり，一方がマスキングされたりして，仮想環境内関与が指摘されている ( 図 6)[12]．また，視覚と聴覚の位の実験でないと従来法では確認できなかった現象を見つ置情報については，上丘の中に視覚と聴覚の位置を各々けられる可能性がある．さらに，提示された情報から被符号化している細胞があり，それらの細胞のコネクショ

験者に起こる諸反応を計測して分析し，次に出すべき情ンが示されていることから，この部位との関係が示唆さ報の提示内容や重み係数，時間的タイミングなどをリアれている [13]．当然のごとく，脳内の広い部位が知覚的ルタイムに変えて提示すると，全体のループが益々加速統合に関与しているのである．

したり，抑制されたりして，より複雑な感覚融合を調べところで見方を変えると，入力方法が異なる複数の手がることができる．従って，被験者に提示される仮想環境をできるだけ臨場感を持ってその世界に没入させるように工夫することが重要である．また，被験者の生体，生理，心理的な変化を極力気づかれずに計測する必要がある．知覚が融合するような研究では特に，身体全体に情報を提示することから，体の一部に感覚提示装置を着用させるよりは，ある程度の広さを持った空間に体ごと入れた状態で視覚や聴覚や体性感覚系に情報がスムーズに入るような仕掛けを施すことが大切である．このこと か ら，CAVE(Cave Automatic Virtual Environment) と か，IPT(Immersive Projection Technology) とか呼ばれる多面スクリーン投影方式を用いての研究が増えてきている．この方式は，1 つのスクリーンを 2.5 ｍ〜 3.0 ｍで折り曲げて，見学者を囲むように配置するもので，これにより映像に図 6 運動関連領野の模式図［12］囲まれる雰囲気となり臨場感が増すというものである．

12

特集

JVRSJ Vol.8 No.3 September, 2003

心理学と VR

図75 面 CAVE

図813125

CAVE に組み込まれた床揺動装置

長 崎 県 で は， 平 成 10 年 に 大 阪 以 西 で 初 め て 4 面観察するために，シート状の足圧分布計測装置を導入する．

CAVE を長崎ソフトウェアセンター内に導入した．この(6) 立体映像を得るためのメガネは，装着の煩わしさを間，産官学との様々な共同研究から設備に対する改良点避けるために円偏光メガネとする．また，解像度を上も見えてきて，平成 15 年 3 月には，隣接して図 7 に示げるために，S-XGA タイプのプロジェクターとする．

すような 5 面 CAVE を新たに設計導入した．今回は特に，このような観点から製作した 5 面 CAVE では，少な知覚の融合するような研究を行うことを中心に考え，次くとも視覚，聴覚，及び体性感覚などの融合の知覚実験のような点に配慮して設計を行っている．

が可能となった．

(1) 仮想迷路などの空間特性の研究ができるように周囲

次にこのような設備でどのような心理学的な研究がで4 面と床の計 5 面スクリーンとする．スクリーンが閉きるか挙げてみると，まった状態では，内部の空間はできる限り等質になっ(1)CAVE 内に身体全体が入るので，映像や音による身ており出入り口が極力分からないように開閉スクリー体の動きや動揺が把握できる．また，生理的変化も観ンに工夫を施すこと．

察できる．

(2) 映像及び音情報と体性感覚の融合した実験をするた・広い視野での映像の揺れが姿勢にどのような影響を及めに，床面に組み込み式の床揺動装置を新たに製作すぼすのか，映像と同期を取って調べることができる [14]．

る．床スクリーンは 2.5m 四方であるが，床の中央に・大型映像に起因する酔いについて生理的変化を詳細に

直径 1.2m の開口部を設け，これに揺動装置を入れ込調べることができる [15]．

む．部屋の床からの高さ約 45cm 内に収めること．1.2m

・様々なパターンの映像や音との Vection の関係を調べの開口部は揺動装置の揺動板により床面が合わせらることができる．
(2) 周囲に映像が映ることから，迷路などを仮想的に作れ，この揺動板にも映像が映ること．製作された写真を図 8 に示す．

り，認知の機能を探る実験ができる [16]．特に，岐路(3) 映像と音の融合された知覚を調べるために，スピーの来たとき，複数の枝分かれした道について首を振っ

カを CAVE 上面の四角枠フレームの各辺に 2 個ずつて眺めることができる．

計 8 個床に向けて取り付ける．音源が 3 次元空間内を(3) 映像と音のタイミングを微妙に前後させて，2 つの設計どおりに移動できるように音場制御機器を導入

刺激が融合するか分離するか様々な角度から調べるこし，併せて暗騒音 ( バックグラウンド音 ) も加えることができる [17]．あるいは，映像と音のタイミングをとができるようにする．

微妙に前後させて，映像と音刺激の反応時間を調べる(4) 実写の立体映像も映せるように，左右同期してズーことができる [18]．
ここに挙げたように VR の仮想環境を活用して様々なムできるカメラとその録画装置を導入する．
(5) 映像による姿勢制御の様子を本人に気づかれないようにアイディアを盛り込みつつ知覚を調べる方法は，これか13

126
14 日本バーチャルリアリティ学会誌第 8 巻 3 号 2003 年 9 月特集

心理学と VR[12] 蔵田潔 「運動前野に関する新しい知見」臨床脳波ら益々活発になると思われる．近年，急速にゲームやアVol.38, pp.158-161 (1996)

ニメ映画，衛星放送を臨場感を持って楽しむために，高[13] A. R. Palmer & A. J. King “The representation of

品質のメディア機器が家庭内に入りつつある．従って，今までの心理学の幅を広げて，新たに仮想環境という環

auditory space in the mammalian superior colliculus”

境が引き起こす心理学 ( それは，諸感覚が融合される知Nature, Vol.299, pp.248-249 (1982)

覚心理のことでもあるが ) も扱わざるを得ない状況に来[14] 竹田仰，金子照之：広視野映像が重心動揺に及ぼている．このためにも，仮想環境を用いた心理実験は，す影響，テレビジョン学会誌論文小特集「生体計測応重要な使命を持つと考える．

用」Vol.50,No.12,pp.1935-1940(1996)[15] 中川千鶴，大須賀美恵子，竹田仰：映像と動きに誘

参考文献発された「酔い」における生理反応の基礎的検討 — 大[1] E. B. Johnston, B. G. Cumming & M. S. Landy “Integration

型４面立体映像提示装置と６軸モーションを用いて—，of stereopsis and motion shape cues” Vision Research,

日本バーチャルリアリティ学会誌 Vol.6 No.1,pp.27-35

Vol.34, pp.2259-2275, (1994)(2001)[2] E. B. Johnston, B. G. Cumming & A. J. Parker “Integration of[16] 北島律之，山本尚昭，竹田仰：道探索における音

depth modules: stereopsis and texture” Vision Research,

手がかりの有効性について，ヒューマンインタフェー

Vol.33, pp.813-826 (1993)

ス学会誌，「空間移動のためのインタフェース」，特集[3] 北島律之，竹田仰“ 両眼視差とキャストシャドウ

号，Vol.4,No.2,pp.103-110(2002 年 5 月 )による奥行き知覚の相互作用 ” 映像情報メディア学[17] 金子守，北島律之，竹田仰：運動音の出現 / 消失位

会誌 Vol.56, pp. 1795-1802 (2002)[4] 北島律之，竹田仰置の定位に及ぼす動的光刺激の影響，バーチャルリア“ 視覚と手の位置対応に及ぼす

リティ学会第７回大会論文集，pp.79-82(2002)

動きに限定した順応の効果 ” 日本 VR 学会 VR 心理[18] 白土和彦，北島律之，竹田仰：眼球運動により測学研究会第 1 回報告集 , pp.33-34 (2003)

定した聴覚に対する視覚の優勢効果，第 23 回ヒュー[5] M. O. Ernst, M, S. Banks & H. H. Bültohff “Tocuh can

マンインタフェース学会研究会「人工現実感」(2003)

change visual slant perception” Nature Neuroscience ,Vol.3, pp.69-73 (2000)【略歴】[6] C. V. Jackson “Visual factors in auditory localization”

北島律之（KITAJIMA Noriyuki）

Quarterly Journal of Experimental Psychology, Vol.5,

1992 年，九州芸術工科大学画像設計学科卒業．

pp.52-65 (1953)

1997 年，九州芸術工科大学情報伝達専攻博士後期課程，[7] 北島律之，山下由己男 “ 視覚的注意が音源定位に及単位取得退学．2001 年より長崎総合科学大学勤務．現在，ぼす影響 ” 心理学研究 , Vol.69, pp.459-467 (1999)

同大学工学部講師．博士 ( 芸術工学 )．

[8] J. Vroomen, P. Bertelson & B. de. Gelder “ The ventriloquist
effect does not depend on the direction of automatic visual竹田仰（TAKEDA Takashi）

attention” Perception & Psychophysics, Vol.63, pp.651-659

1972 年，九州芸術工科大学音響設計学科卒業．1991 年，(2001)長崎大学大学院博士課程修了．1972 年〜 82 年，九州松[9] S. Mateeff, J. Hohnsbein & T. Noack “Dynamic visual

下電器開発研究所勤務．1982 年４月より，長崎総合科

capture: apparent auditory motion induced by a moving

学大学勤務．現在，同大学人間環境学部教授．工学博士．

visual target” Perception, 14, pp.721-727 (1985)[10] N. Kitajima & Y. Yamashita “ Dynamic Cpature of soundcapture of sound motion by light stimuli moving in threedimensional space” Perceptual and Motor Skills, Vol. 89,pp.1139-1158 (1999)[11] 森昇徳 “ 異種感覚情報の統合 ” 「認知心理学 1 知
覚と運動」乾敏郎 ( 編 ) pp.103-115

東京大学出版会(1995)

14