技術情報協会，VR/AR技術の開発動向と最新応用事例 より，改編
首都大学東京第8節

池井寧

五感情報を活用した超臨場感体験システムと応用可能性

１．はじめに ――遠隔体験・追体験とバーチャルリアリティ――
遠隔地の様子を体験するという技術は，19 世紀から 20 世紀にかけて音声と映像を伝送する通信の技術が開発されて実用化が始まったことに端を発する．20 世紀の半ばのトランジ
スタの発明によって拓かれた電子回路と計算機システムの可能性によって通信技術が飛躍的な発展を遂げ，地球上ならば遠隔地の現実をほぼ同時に見ることが可能となってきた．そして，おおよそ 100 年の時を経て 21 世紀に至る過程の中で，バーチャルリアリティ（VR）という特異な概念が生まれた．
バーチャルリアリティは，最初は遠隔地というよりは ‘計算機の中に構築された 3 次元世
界’ の体験を目指すものとして始まった（VR 1.0）．VR は，計算機が作り出すことができる立体の合成空間がもたらす可能性への期待感で大いに注目を集めた．特に，作り出された空間（VR 空間）に自分の手のモデル（アバタ）を表示して実際の手と同じように動かすという‘自己投射’によって VR 空間の中の物体を操作できることが斬新な体験であった．実際には存在しない物体なのだが，手で動かす操作ならば現実の空間の知識をそのままに利用できる上に，現実空間の不都合な側面は都合よく直して扱うことができるわけで，これによってドラスティックに便利な新世界が生まれたともいえる．VR 空間を使えば極めて柔軟で直感的なヒューマンインタフェースを提供しうるはずであり，これによって，3 次元空間的なインタラクションを持つインタフェース体験の道が拓かれた．
VR 空間の体験では，さまざまな現実世界の体験を再現できる可能性があり，単なる空間的インタフェースを超えて，現実に近い空間を模擬してトレーニングや設計活動に利用できる．また，VR 空間によって遠隔地を再現できれば，物理的な距離を移動することなく，現実に存在する多様な空間を体験することができる．この際の体験にはいろいろな条件が付帯するが，遠方の現実の空間にある物をその場にいるのと同じように感じ，操作するための条件の一部を VR 空間で満たすことができる．遠方の現実を手に取るように操作するには，機械的な力を発生する装置が必要だが，そのような機械は通常の考えでは，体験する人間に近い形態をしているロボットの方が操作する人間にとってはしやすいであろう．人間の身体，特に手による操作については，基本的にはそのような予測はおそらく正しいが，人間の手の顕著に卓越した機能を物理的に再現することがあまり容易ではないため，遠隔地の自在な操作ができる状態には未だなっていない．これは保留するとしても，それらの体験の前提には，遠隔地の状況のリアリティの高い再現があり，このためには所謂，五感に対して現地の情報を再現することが必要である．
現実空間の体験に近い体験として上に述べた例は，特に断らなかったが自分自身で行う体験のことである．このような自由な意思による VR 空間の利用とは少し異なる体験の方式として，追体験を取り上げることができる．追体験とは，他人が体験したことを自分の体験であるかのように捉えるというような意味である．これは，本を読んだり映像を見たり自分で同じようにやってみたりすることによるが，単に他人の体験を知ることを超えて，自分自身の問題であったらどのように感じるかという点が重要である．追体験の意味は一般的には広くまたその捉え方も多様だが，現在の時点の自分ではない身体の知覚状態を認知すること1である．その対象人物の知覚認知状態に自分の認知状態を近づけることであり，読んだり見たりの追体験の場合には，実際にその刺激を知覚していない中で他者の知覚状態を理解するための認知的シミュレーションが含まれている．それは三人称的なものである場合も一人称的である場合も含まれると考えられる．それらの認知の対象は本来は多感覚的に行われたものであるので，その認知シミュレーションもその構成は多感覚的であるはずである．一方でその追体験者は現在の自分自身の身体とその環境も知覚している中で，追体験の対象（者）とその周りの環境を同時に認知している事態となる．追体験者が認知対象とする他者の状況認識は，バーチャルリアリティによる五感情報の生成によって直接的表現となり，従来メディア（例えば，書籍）と認知シミュレーションで行われるよりも遥かに現実体験に近づくことが可能となった．
２．追体験の超臨場感システム
上記のように，追体験とは他人の体験を自分の体験としてとらえることである．ここで，体験するというのは，通常は自分の意志でする体験という意味である．（生存すること全体が体験ともいえるがそれでは特定の議論ができないためこのように限定する．） 体験の意味は一般には広く解釈でき，例えば「映像体験，視覚体験」という場合などは，“見るだけ”
でも体験と呼ぶことがある．しかしながら，見るだけとは言いながら，そこでは大量の視覚情報の処理が自動的に行われていて，その処理は意識の背後ではあるが能動的な脳活動なしには当然達成しえないものである．明確な注意を向けて能動的な意識を持つ体験を「意志でする体験」と呼べば，映像体験も体験である．読書も体験である．追体験では，そのような体験を他者のオリジナルの体験と同一化しようとするところに特徴がある．この仕組みを深く理解するためには他者理解と自己の理解が必要であり，例えば心の理論やミラーニューロンシステムの働きが解明されなければならないがそれはまだ複数の仮説が提示されている段階である2．
ここでは追体験の対象として，身体の運動を伴う他者の体験を取り上げるとすると，その場合は身体の感覚を伴う体験を共有することになり，これは視覚だけでは伝えるのが困難で1
2

他者の認知（社会脳）としての研究が近年進んでいる．
自己と他者の認識の仕組みは，理論説，シミュレーション説などがある．

あることになる．つまり，五感を再現する多感覚情報を伝えることが必要である．更に，能動的な意識を持つ場合が通常の体験であるとすると，能動的になされた他者の身体感覚をそのまま得ることがこの追体験の目標となる．すなわち，他者が感じた身体感覚を能動的に自分でしたものとして得るということになるが，これは矛盾した要求である．他者が能動的に運動の自由を持ってして行って確定した運動の際の身体感覚を，自己の能動的な運動の身体感覚として全く同じものを得ることは，その定義のとおりの実現は挑戦的な課題として残されていると言える．これは超臨場感の研究の１つの目標となる．
他者の身体運動の感覚を得ることを含めて，追体験を実現するためのメディアとその特性を表１に挙げた．文字情報によって他者の体験を伝えるレベル１の歴史的な手法では，具象的な写真的リアリティは伝えにくく身体的な運動情報には不十分である．むしろ心理描写のような可視化できない部分の伝承には優れている．映像メディアを用いて他者の状態の伝達を行うレベル 2, 3 の手法では，映像による空間情報のリアリティが極めて高くなっている．
そこでは主として 3 人称視点による他者の描写が用いられており，これは現実の他者を見ているのと同様である．レベル 3 の拡張映画（4D）では，映像が 3D になり空間の立体的把握が行い易いだけでなく，多感覚に対する刺激が加えられている．そこでは前庭感覚，嗅覚，触覚に対する刺激として，映画館の室内に気流，香り，霧，雨，雷光，雪などが作り出され，従来のスクリーン上の映像だけでなく映画の中で活動する他者が体験している環境が主として 3 人称的な立場として再現される．提示される多感覚刺激は，映画のコンテンツに対応してその臨場感を引き立てる演出の一部であり，多感覚提示装置の制作会社が上映前の映画に対して経験的に合成したものである．

表１ 追体験のメディアとその特性

それをさらに発展させたのが，レベル 4 に挙げた VR ディスプレイ（多感覚ディスプレイ）である．これは，他者の運動と同様な身体の運動感覚とその運動が行われた際の外界の情報を再現して追体験者に与えることを目指す構成であり，1 人称の体験として再現される点が大きな特徴である．他者の身体の運動は視点の移動だけではなく，前庭感覚への刺激として頭部を含む体幹が加速度を受け，これが四肢の屈伸回転運動と連動することで歩行，走行などの運動を自分で行っているように再現される．
これはバーチャルリアリティ技術として環境とそのインタラクションを再現するだけではない VR の発展形（VR 2.0）の１つの例であると考えられる．このレベル 4 には著者の仮説として特徴的な解釈が導入されている．即ち，多感覚の提示によって追体験者の身体が，対象とする人物を表現するためのディスプレイの一部となると見做し，従来の VR ディスプレイ系に統合されて，目的とする他者体験を認知系（脳）に投射されるとする．図１はこれを表すモデル図であり，上半分にある VR 空間表示用ディスプレイ装置と他律駆動される自己身体の感覚によって，VR 空間での他者の身体運動を再現する．下半分はその基礎となる現実空間とその身体感覚であり，脳が VR 空間に完全没入するには不要な成分であるが，現在のバーチャルリアリティの水準ではこれを除去することはできていない．
図２はこの目的をもって構築された多感覚ディスプレイ（五感シアター）である．五感シアターは，上記の趣旨で設計されているため，他者身体の運動感覚を提示するところに著しい特徴がある．特にその運動感覚は一人称の体験の表現となっていることは他の研究に見られない点である．この身体運動感覚の刺激を着座した追体験者に与えるために，前庭感覚入

図１ 超臨場感体験モデル（身体をディスプレイ化し，体験を脳に投射する）

図２ 多感覚ディスプレイ（五感シアター）

力を発生する可動座席，下肢運動を生成するスライダとペダル装置，足底，座面，体幹に振動刺激を与える皮膚感覚提示装置，上肢の振り運動の提示装置，気流の皮膚感覚の提示装置，香り提示装置のほか，全天球の立体視覚提示装置，5.1 ch 音響ディスプレイから構成されている．これらの多感覚（五感）刺激によって，別の空間において歩行・走行の身体運動を行っている感覚を提示することができる．
図３は，観光をしている旅行者の歩行時の体験を追体験する提示の例である．図３a は，場所は北海道函館と東京浅草寺での旅行時の追体験を提示する装置の概観を示している．ここでは，函館山，五稜郭などを歩行するシーン，ロープウェイ，地下鉄の乗車シーン，階段を上下するシーンなどでの前庭感覚ディスプレイの搖動と下肢の並進と足底の振動で歩行運動の身体感覚が提示された．山頂の風や浅草寺仲見世の煎餅屋と香炉の香りなどの触覚と嗅覚の提示は，通常の映像体験には含まれないものであり体験後の印象が強いことが質問紙調査で分かっている．この際の映像は 2 レンズのビデオカメラ（Sony Handycam TD10,1920×1080/60i x2）で歩行しながら撮影されたもので 55 インチ液晶立体 TV でシャッタ眼鏡により立体映像として提示された．音響はビデオカメラの 5.1 ch 音響をマルチスピーカで体験者の周囲に提示した．図３b は，浅草寺の歩行追体験の提示の状況を示している．
前庭感覚提示と連動する下肢運動提示ディスプレイにより身体刺激が加えられると同時に全天球映像を HMD で自由に見まわすことが可能となっている．提示刺激は追体験者には受動的に加えられるが，現地の見回しを能動的に行うことが可能となっており，その際の頭（a） 函館と浅草寺の追体験の様子（VR 歩行時風景）（ｂ）五感シアターによる身体感覚と全天球映像の提示
図３ 旅行者の歩行の追体験（北海道函館と東京浅草寺）
部の方向に対応して HMD に搭載された気流提示ファンが進行方向を示した気流を提示している．
図４は，イタリアのミラノの街を散策する旅行体験を再現する装置の概観である．84 イ
ンチ立体液晶ディスプレイで歩行時の風景を見ながらの歩行感覚が与えられる．この足元の駆動装置は，前後運動と足首の回転を表現するものでより表現力が高められている．その運動パタンは実際の歩行の際の足の運動に近いものであるが，振幅の大きさがかなり小さいのが特徴である．これは，可動座席の運動感覚提示についても同様であり，いずれも実際の運動の 5～10 %程度の振幅の搖動運動が適している．運動刺激を受動的条件で受けた場合には，能動運動の場合に受ける予測感覚情報との照合がなく，運動に伴う皮膚感覚の抑制も起こらないため，感覚の矛盾を回避するため刺激強度を低下させる必要があると考えられる．
これによって受動的に運動刺激を受ける追体験者は，自己の身体に表現される他者の歩行や走行の運動感覚の一部を得ることができる．
図５は，トロント・ナイアガラ旅行の体験の映像と体験者の様子である．この映像は 6 台

図４ ミラノ旅行者の追体験

図５ トロント・ナイアガラ旅行体験

の GoPro による 8K の全天球ビデオの一部であり，右下のような equirectangular 映像をHMD で観察する．図６は身体的刺激を受ける追体験者であり，前庭感覚，上下肢運動感覚，振動・気流触覚，嗅覚の提示が，全天球映像と立体音響に加えて与えられて現地を歩行している旅行者となる設定である．この体験を日本バーチャルリアリティ学会の年次大会で VR領域を専門とする参加者 80 名に対して質問紙で評価させた結果，’展示会場に居る’と’旅行地（トロント・ナイアガラ）居るとする評定値をそれぞれ 0 と 100 で表すとき，74 で旅行地に居る’に近い感覚であるとの評定であった．酔いについては，’皆無’から’強烈な吐き気’の間で評定値は6 であった．この公開提示では歩行時の上肢の振りの感覚が導入されたが，気流ディスプレイは振りの感覚を確かなものとするために，両方の手先が前方に速度を持つ際に交互にその手先に気流を当てて感覚を効果的に増強している．
これらの実験的検証により，旅行地において身体運動をしながら現地の臨場感を得るという身体的追体
験の目的はかなりの程度達成されている．追体験が完全に自分の体験となるには先述の現実の感覚を除去することと能動性の感覚を整合させる必要があるがこれらは未だ達成されていない．能動性は追体験の本質的な相反条件であるが，緩和策として追体験者に再生刺激の起動をかける趣旨で腕振りやボタン押しによる歩行運動の部分の開始を制御させたところ能動性の感覚は有意に増加し，それによる歩行感覚の増加も認められた．このような明示的な意図を導入しない

図６ 身体的刺激提示（前庭感

でも能動的な体験ととらえられることが望まれるが，覚，上肢下肢運動感覚，振動触このためには追体験の文脈に整合した意図の生成と覚，気流触覚，嗅覚への提示）とその検出が必要となると考えられる．

全天球映像，立体音響提示

３．テレエクスペリエンスシステム
遠隔地での活動をリアルタイムに体験することは，情報通信の長年の目標の１つである．
前章で述べてきた追体験は，記録した情報に基づいて他者の体験を五感シアターで構成して表現している．このようなコンテンツ型の体験の再現は，有用な体験的知識の伝承のために重要であるが，リアルタイム体験はまた別の価値がある．それを実現するためには現地の状況と身体運動を伝達して再現することが必要である．リアルタイムの価値は体験者が遠隔地にいるかのようにインタラクションができることだが，冒頭に書いたようにそこには困難な課題がある．すなわち，通信遅延はインタラクションに重大な障害となり物理的な遠隔操作においては安定性を保つことが困難である．それは保留にしても，そのようなテレエクスペリエンスあるいはテレイグジスタンスに不可欠な技術要素の１つとして，遠隔地の視覚映像の獲得がある．そこにおいても通信遅延は大きな障害であり，自由で安定な視野映像の取得は困難となり，頭部の運動に即座に対応しない遅れた映像は体験者にすぐに映像酔いを引きおこす．この通信遅延それ自体は避けがたいが，見かけの遅延の影響を減らすのに全天球カメラは有効である．
筆者の研究室では全天球カメラ（THETA V, リコー社）を２台利用することにより，頭部の見回し運動に対する見かけの遅延を抑制し運動ぶれがなく，かつ立体視を可能とする遠隔カメラシステム（TwinCam system）を開発した．図７は本カメラシステムの特徴を示している．観察者が HMD を使用して現地の２台の全天球カメラで得た全天球立体映像をインターネットの通信回線を介して見る．２台のカメラのレンズは一定の方向を向いたままで観察者の眼球位置に対応する角度まで相対的に回転する．これにより両眼の画像には頭部の方向に対して正しい視差が付くことで全方位に立体視が可能となる．レンズの方位が変わらないため映像の運動ぶれは見られない．カメラからの映像の転送（Web RTC による）とカメラヘッドの回転には遅延が発生する．頭部回転時の映像は HMD に画像を出力する PC に保存されている全天球映像によって更新することにより，まだ到着していない映像の代替とすることができる．これにより，頭部の回転後の方向の観察には，見かけの遅延がほぼ感じられなくなる．カメラが回転した後には正しい視差がついた映像が観察できるようになるが，その遅延時間は使用したシステムの仕様に依存する．
図８は遠隔地間でリアルタイムに立体視映像を転送した技術展示（Siggraph EmergentTechnologies 2017@ロサンゼルス, Innovate Technologies+ 2017@日本科学未来館）の様子である．通信経路の機材等の状況に依存するが，展示の際にロサンゼルスと首都大学東京（日野市）の間の往復遅延は約 0.7 秒程度とみられた（THETA S, 1920×1080/30fps）．HMD で日野の研究室に置かれた TwinCam の映像を観察した際，映像についての遅延は感じられず音声の対話もほぼ支障なく行われた．学会参加者 400 人弱が体験したが，遅延や VR 酔いについてのコメントはなかった．日本科学未来館では，解像度が４K のカメラ（THETA V）を使用したが映像の遅延は同様に感じられず，解像度が改善したテレエクスペリエンスが可能となった．
本システムにより全方位の立体視を可能としながら，遅延が感じられず，運動ぶれもない遠隔の視覚体験が類例なく初めて実現された．単眼の全天球カメラの映像は，デバイスの普及によって一般化しているが，リアルタイムで立体視が可能なシステムはこれまで実現されていなかった．通信遅延自体は存在するため高速な同期が必要なインタラクティブな操作においては，映像だけではなく物理的な操作系を含めた検討が必要となるであろう．

図７ リアルタイム全天球立体視カメラシステム（TwinCam）とその動作*3

(a)

(b)

(c)

(d)

図 8 リアルタイム立体映像体験システム．a)東京－ロサンゼルス間のリアルタ
イム体験，b, c)ロサンゼルスの体験者，d)日本科学未来館－首都大学東京（日野）間のリアルタイム体験

４．おわりに超臨場感というキーワードは，総務省の前身である郵政省の研究会で提唱されたものであり，情報通信の今後の展開について展望する意味がこめられていた．それを契機に設立された超臨場感コミュニケーション産学官フォーラムの会長を現在勤める東京大学の廣瀬通孝
氏は，情報通信研究機構における超臨場感の研究の中で超臨場感を２つの観点からとらえた．
即ち，従来の臨場感を超える方向性として，スーパーリアリティとメタリアリティを挙げている．スーパーリアリティとは，リアリティを高める方向の１つとして，情報の密度を徹底して追求する立場である．別の空間の情報を正確に伝えるために，現地からの視聴覚情報のビットレートを引き上げる方向であり，現在実用に近づいている 8K ディスプレイはその具体例と言えるであろう．一方，メタリアリティは，単に情報を増加するだけでない様々なリアリティの向上の方向性であり，一定の手法が定義されているわけではない．
著者は超臨場感の１つの考え方として，本稿で述べたような身体の表現を与える手法を提案した．それは別の空間の別の人間の体験を再現する身体的臨場感であり，従来の臨場感が遠方の外界世界の情報を再現することを中心としていたのに対して，現地の主役であるはずのその場で活動する人間の身体感覚をも提示可能としようとするものである．これは，テレプレゼンスの一種の形態であり，実際にその場に居た時に感じられる情報をできる限り完全に伝えようとする目標がある．別の空間で身体が受ける感覚の全体を表現することはバーチャルリアリティの当初からの目標であり，達成は容易ではないものの，それに近づくシステムとなっている．
著者は超臨場感の意味として他者の身体自体の表現を含め，他者の身体に降り立つ臨場感を設定したわけだが，それ自体が挑戦的であるもう１つの理由は，他者の身体の感覚の取得を超えてそれを自己の行動体験とする点である．これは，本来の「追体験」が成立するという意味と考えて良いことだが，自分自身でその行動（の体験）をしたと感じられることである．しかしながら，この意味はあまり明確な技術仕様として述べることが難しい．それは既に書いたように，自己と他者を認識する仕組みがまだ解明されていないからである．一見自明のようにも見えるが，自己や他者を認識している脳の情報処理プロセスを説明しようとするとそれほど簡単でないことが分かる．この認識の範囲はかなり広いが，身体運動の側面に限定した場合で述べると，追体験の中で他人の行動を受け取る「観測」者においては，自己の行動として自分の身体を筋肉で駆動するための運動指令とその遠心性コピーが存在しない．つまり追体験が観測だけであるとすれば，それは能動的な運動となっていないことが問題である．従ってそのような運動主体性 (agency) が共存するための認知的な補償構造を構築することが課題である．
超臨場感を構成するバーチャルリアリティの展開 (VR 2.0) の目指すものは，当初のバーチャルリアリティには明確に定義されていなかった論点が含まれている．五感情報として感覚への情報を合成することは共通だが，より踏み込んで自己身体の情報が脳に投射される局面での制御を含むことで，他者という人間をそのままバーチャルに再現することへと展開してきた．これは，五感という情報表現が認知ループの中で解釈される過程を修飾するという局面を含むことによって，本質的な情報は五感を超えることを意味している．それによって，超臨場感は自己と他者をその対象に含めるものとなるはずだが，より本質的には，究極の超臨場感あるいはバーチャルリアリティには，臨場感という説明が一切不要となってこそ本物である．臨場感は，臨場していない，ここに居る自分を想定した言葉だが，完璧なバーチャルリアリティ世界に没入した際には，本人にとってその世界以外の場所に居ることはあり得ない．従って，それを臨場感と呼ぶことはない．臨場感という言葉がすでに消滅した世界を描いている SF は多いが，その世界の実現への入り口が VR 2.0 であり，さらに進んだ VR
3.0 では我々が「認知的に住む世界」は無数に選べるようになるに違いない．それはおそら
く，脳とコンピュータが実質的に直結されるという大きなハードルを越えた向こうにあるのであろう．その世界は AI による人造人間エージェント＊4 が共存する社会であり，今でいうところのフィクションが近いであろう．そうした世界が，今よりも遥かに現実的にリアルの一部をなした生活空間となるのはそれほど遠い未来ではないのかも知れない．
謝辞
五感シアターの開発においては，東京大学 廣瀬通孝教授の指導を受けたことを記し謝意を表する。本稿の技術開発を共同で進めていた電気通信大学広田広一教授，豊橋技術科学大学北崎充晃教授，NTT 雨宮智浩博士，および池井研究室所属の学生諸氏に感謝する。
経済的には，情報通信研究機構（NICT），文部科学省科研費補助金基盤研究（A）（課題番号 26240029）， 総務省 SCOPE（ 受付番号 141203019）の支援を得たことに謝意を表する。
*3 特許出願済み*4 アンドロイド，レプリカントなどと SF では呼ぶことがある