(57)【特許請求の範囲】
【請求項１】
所定の場所において視聴者の頭部の方向に現在撮像されている映像である現在映像を取得する現在映像取得手段と、
前記所定の場所を視点とするあらかじめ用意された全方位映像であって、前記現在映像とは異なる映像である代替映像を取得する代替映像取得手段と、
映像再生手段が前記代替映像から前記視聴者の頭部の方向に応じた領域を切り出して部分映像を得るための、切出し方向を更新する映像方向更新手段と、
前記所定の場所において表示装置が前記視聴者の頭部に向かって表示する映像を、前記現在映像、前記部分映像、または前記現在映像と前記部分映像とを組み合わせて得られる複合映像へ切り替える映像切替手段と
を備え、
前記映像切替手段は、下記（ａ）〜（ｆ）の少なくともいずれか一つの切り替え方法を用いて、前記表示装置が表示する映像を切り替える
ことを特徴とする代替現実システム制御装置。
（ａ）前記表示装置が表示する映像の視聴者の視線方向を検出する視線方向検出手段により、前記視聴者の急速眼球運動を検出したタイミングで、映像を切り替える。
（ｂ）前記表示装置が表示する映像の視聴者の視線方向を検出する視線方向検出手段により、前記視聴者が、切り替え前後の映像の両方に映し出されている所定のオブジェクトに着目したことを検出したタイミングで、映像を切り替える。
（ｃ）前記表示装置が表示する映像の視聴者が、映像切り替え用のスイッチを押下したタイミングから遅延した又は異なるタイミングで、表示される映像を、現在映像と、現在映像以外との間で、切り替える。
（ｄ）切り替え前後の映像に映し出されたオブジェクトの少なくとも一方をフェードインまたはフェードアウトさせつつ、当該切り替え前後の映像を重ね合せて、映像を切り替える。
（ｅ）前記視聴者が前記所定の場所から移動すると、前記表示装置が表示する映像を前記現在映像に切り替え、移動中には、前記現在映像を前記表示装置に表示させ続ける。
（ｆ）前記表示装置が表示する映像の視聴者が前記所定の場所に留まっている場合に、映像を切り替える。
【請求項２】
前記あらかじめ用意された全方位映像は、
（ａ）前記所定の場所において撮像された映像であって、過去に撮像された映像である過去映像、
（ｂ）人工的なコンテンツ、または、
（ｃ）前記所定の場所と異なる場所において撮像された映像
である
ことを特徴とする請求項１に記載の代替現実システム制御装置。
【請求項３】
前記映像切替手段は、
前記切り替え後の映像に対し、前記切り替え前の映像に映し出されている前記所定のオブジェクトを重ねることによって、前記所定のオブジェクトが前記切り替え前後の両方に映し出されるようにする
ことを特徴とする請求項１または２に記載の代替現実システム制御装置。
【請求項４】
前記視聴者の頭部の動きを検出するセンサをさらに備え、前記映像方向更新手段は、前記検出された動きに応じて、前記表示装置による表示映像の方向を更新する
ことを特徴とする請求項１から３のいずれか一項に記載の代替現実システム制御装置。
【請求項５】
前記映像切替手段は、
前記表示装置に対して、前記現在映像を最初に表示させる
ことを特徴とする請求項１から４のいずれか一項に記載の代替現実システム制御装置。
【請求項６】
前記映像切替手段は、
前記部分映像を切り出す切り出し元の代替映像を、第１の代替映像から、第２の代替映像へ切り替える
ことを特徴とする請求項１から５のいずれか一項に記載の代替現実システム制御装置。
【請求項７】
表示装置が前記代替映像を表示する際に、当該代替映像に予め対応付けられた、匂い、熱、振動、および触感の少なくともいずれか一つを発生させる発生手段をさらに備える
ことを特徴とする請求項１から６のいずれか一項に記載の代替現実システム制御装置。
【請求項８】
所定の場所を視点とする全方位映像である過去映像をあらかじめ撮像する第１の撮像装置と、
前記所定の場所において、視聴者の頭部の方向に現在撮像されている映像である現在映像を撮像する第２の撮像装置と、
前記所定の場所において映像を前記視聴者の頭部に向かって表示する表示装置と、
当該代替現実システムを制御する代替現実システム制御装置と、
を備え、
前記代替現実システム制御装置は、
前記第１の撮像装置によって撮像された前記過去映像を取得する過去映像取得手段と、
前記第２の撮像装置によって撮像された前記現在映像を取得する現在映像取得手段と、
前記過去映像から前記視聴者の頭部の方向に応じた領域を切り出して部分映像を得るための、切出し方向を更新する映像方向更新手段と、
前記表示装置が表示する映像を、前記部分映像、前記現在映像、または前記現在映像と前記部分映像とを組み合わせて得られる複合映像へ切り替える映像切替手段と、
を有し、
前記映像切替手段は、下記（ａ）〜（ｆ）の少なくともいずれか一つの切り替え方法を用いて、前記表示装置が表示する映像を切り替える
ことを特徴とする代替現実システム。
（ａ）前記表示装置が表示する映像の視聴者の視線方向を検出する視線方向検出手段により、前記視聴者の急速眼球運動を検出したタイミングで、映像を切り替える。
（ｂ）前記表示装置が表示する映像の視聴者の視線方向を検出する視線方向検出手段により、前記視聴者が、切り替え前後の映像の両方の同じ位置に映し出されている所定のオブジェクトに着目したことを検出したタイミングで、映像を切り替える。
（ｃ）前記表示装置が表示する映像の視聴者が、映像切り替え用のスイッチを押下したタイミングから遅延した又は異なるタイミングで、表示される映像を、現在映像と、現在映像以外との間で、切り替える。
（ｄ）切り替え前後の映像に映し出されたオブジェクトの少なくとも一方をフェードインまたはフェードアウトさせつつ、当該切り替え前後の映像を重ね合せて、映像を切り替える。
（ｅ）前記視聴者が前記所定の場所から移動すると、前記表示装置が表示する映像を前記現在映像に切り替え、移動中には、前記現在映像を前記表示装置に表示させ続ける。
（ｆ）前記表示装置が表示する映像の視聴者が前記所定の場所に留まっている際に、映像を切り替える。
【請求項９】
代替現実システムを制御する代替現実システム制御方法であって、
所定の場所において視聴者の頭部の方向に現在撮影されている映像である現在映像を取得する現在映像取得工程と、
前記所定の場所を視点とするあらかじめ用意された全方位映像であって、前記現在映像とは異なる映像である代替映像を取得する代替映像取得工程と、
映像再生手段が前記代替映像から前記視聴者の頭部の方向に応じた領域を切り出して部分映像を得るための、切出し方向を更新する映像方向更新工程と、
前記所定の場所において表示装置が表示する映像を、前記現在映像、前記部分映像、または前記現在映像と前記部分映像とを組み合わせて得られる複合映像へ切り替える映像切替工程と
を含み、
前記映像切替工程では、下記（ａ）〜（ｆ）の少なくともいずれか一つの切り替え方法を用いて、前記表示装置が表示する映像を切り替える
ことを特徴とする代替現実システム制御方法。
（ａ）前記表示装置が表示する映像の視聴者の視線方向を検出する視線方向検出手段により、前記視聴者の急速眼球運動を検出したタイミングで、映像を切り替える。
（ｂ）前記表示装置が表示する映像の視聴者の視線方向を検出する視線方向検出手段により、前記視聴者が、切り替え前後の映像の両方の同じ位置に映し出されている所定のオブジェクトに着目したことを検出したタイミングで、映像を切り替える。
（ｃ）前記表示装置が表示する映像の視聴者が、映像切り替え用のスイッチを押下したタイミングから遅延した又は異なるタイミングで、表示される映像を、現在映像と、現在映像以外との間で、切り替える。
（ｄ）切り替え前後の映像に映し出されたオブジェクトの少なくとも一方をフェードインまたはフェードアウトさせつつ、当該切り替え前後の映像を重ね合せて、映像を切り替える。
（ｅ）前記視聴者が前記所定の場所から移動すると、前記表示装置が表示する映像を前記現在映像に切り替え、移動中には、前記現在映像を前記表示装置に表示させ続ける。
（ｆ）前記表示装置が表示する映像の視聴者が前記所定の場所に留まっている際に、映像を切り替える。
【請求項１０】
コンピュータを請求項１から７のいずれか一項に記載の代替現実システム制御装置として機能させるためのプログラムであって、前記コンピュータを前記代替現実システム制御装置が備える前記各手段として機能させるプログラム。
【請求項１１】
請求項１０に記載のプログラムを記録しているコンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体に関する。
【背景技術】
【０００２】
従来、仮想現実研究においては、実際には目の前で起きていない事象（例えば、人工的なコンテンツに映し出されている事象、過去の映像に映し出されている事象、視聴場所と異なる場所の事象等）を、いかに実際に目の前で起きている事象として被験者に認識させるか、課題となっている。
【０００３】
例えば、このような技術の一例として、「拡張現実」および「テレプレゼンス」がある。
【０００４】
「拡張現実」とは、ユーザ視点からのライブ映像に、ＣＧ技術による映像を重ね合わせ、ディスプレイ（例えば、被験者の頭部に装着されたヘッドマウントディスプレイ）に映し出すというものである（例えば、下記特許文献１〜３参照）。
【０００５】
一方、「テレプレゼンス」とは、遠隔地に設けられたカメラによって撮像される映像を、リアルタイムに視聴者の頭部に装着されたヘッドマウントディスプレイに映し出すとともに、視聴者の頭部の動きに連動して、カメラの撮像方向を遠隔操作するというものである。
【０００６】
例えば、下記特許文献１には、携帯型ディスプレイの裏面方向の画像をカメラで撮像し、その画像に対し、カメラの位置および方向に応じた３次元仮想物体の画像を重畳させる技術が開示されている。この技術によれば、３次元仮想物体があたかも現実に実在するかの如く、ユーザに体験させることができるとされている。
【０００７】
また、下記特許文献２には、２次元コードが印刷された対象物をカメラによって撮像すると、２次元コードに対応する情報をデータベースから取得し、取得した情報と上記対象物とを重ねてディスプレイに表示する技術が開示されている。
【０００８】
また、下記特許文献３には、撮影手段によって撮影された撮影画像データに適合する画像データを特定し、当該画像データに対応するホームページをＷＷＷサーバから取得する技術が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平１０−５１７１１号公報（公開日：1998年2月20日）
【特許文献２】特開２０００−８２１０７号公報（公開日：2000年3月21日）
【特許文献３】特開２００６−４８６７２号公報（公開日：2006年2月16日）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来の技術では、被験者が、実際には目の前で起きていない事象を実際に目の前で起きている事象として認識（本書では、このような認識を被験者に体験させることを「代替現実」と称している。）するには至らない。このような実際には目の前で起きていない事象の映像（以下、「代替映像」と示す。）においては、その映像そのものや、その映像の視聴環境において、その映像を実際に生じているものと認識させることを阻害する様々な要因（例えば、ＣＧの不自然さ、映像の動きの不自然さ、映像シーンの不自然さ等）が存在するからである。
【００１１】
特に、従来技術において、代替映像を映しだす場合、例え、その映像がいかに精巧であっても、殆どの場合、被験者から「実際には生じていない映像を視聴している」という意識は拭い去ることはできない。したがって、従来の技術では、被験者に代替現実を体験させることは困難である。
【００１２】
例えば、上記「拡張現実」では、ライブ映像に重ね合わせられたＣＧの不自然さにより、被験者はこの映像が人工的なものであると判断するため、代替現実の実現は困難である。また、上記「テレプレゼンス」では、そもそも遠隔地の映像が映し出されるため、被験者がこの映像を、実際に目の前で起きている事象として認識することはなく、したがって、代替現実の実現に資するものではない。
【００１３】
本発明は、上記の問題に鑑みてなされたものであり、被験者に対し、実際には目の前で起きていない事象を、あたかも実際に目の前で起きている事象として認識させることのできる代替現実システムを実現することにある。
【課題を解決するための手段】
【００１４】
上記した課題を解決するため、本発明に係る代替現実システム制御装置は、所定の場所において撮像された映像であって、現在撮像された映像である現在映像を取得する現在映像取得手段と、前記所定の場所を視点とする映像であって、前記現在映像とは異なる映像である代替映像を取得する代替映像取得手段と、前記所定の場所において表示装置が表示する映像を、前記現在映像、前記代替映像、またはそれらを組み合わせて得られる複合映像へ切り替える映像切替手段とを備えることを特徴とする。
【００１５】
この代替現実システム制御装置によれば、所定の場所において撮像された現在映像と、当該所定の場所を視点とする代替映像とを切り替えるため、表示装置によって映像を視聴している視聴者にとっては、現在視聴している映像が代替映像であるか現在映像であるかを判別することが困難である。したがって、上記代替現実システム制御装置によれば、視聴者に代替現実を体験させることが可能である。
【００１６】
また、本発明に係る代替現実システムは、所定の場所において、過去に撮像された映像である過去映像を撮像する第１の撮像装置と、前記所定の場所において、現在撮像されている映像である現在映像を撮像する第２の撮像装置と、前記所定の場所において映像を表示する表示装置と、当該代替現実システムを制御する代替現実システム制御装置と、を備え、前記代替現実システム制御装置は、前記第１の撮像装置によって撮像された前記過去映像を取得する過去映像取得手段と、前記第２の撮像装置によって撮像された前記現在映像を取得する現在映像取得手段と、前記表示装置が表示する映像を、前記過去映像、前記現在映像、またはそれらを組み合わせて得られる複合映像へ切り替える映像切替手段と、を有することを特徴とする。
【００１７】
また、本発明に係る代替現実システム制御方法は、代替現実システムを制御する代替現実システム制御方法であって、所定の場所において撮像された映像であって、現在撮像された映像である現在映像を取得する現在映像取得工程と、前記所定の場所を視点とする映像であって、前記現在映像とは異なる映像である代替映像を取得する代替映像取得工程と、前記所定の場所において表示装置が表示する映像を、前記現在映像、前記代替映像、またはそれらを組み合わせて得られる複合映像へ切り替える映像切替工程とを含むことを特徴とする。
【００１８】
また、本発明に係るプログラムは、コンピュータを上記代替現実システム制御装置として機能させるためのプログラムであって、前記コンピュータを前記代替現実システム制御装置が備える前記各手段として機能させるプログラムである。
【００１９】
また、本発明に係る記録媒体は、上記プログラムを記録しているコンピュータ読取り可能な記録媒体である。
【００２０】
上記代替現実システム、上記代替現実システム制御方法、上記プログラム、および上記記録媒体によれば、上記代替現実システム制御装置と同様の効果を奏することができる。
【発明の効果】
【００２１】
本発明によれば、被験者に対し、実際には目の前で起きていない事象を、あたかも実際に目の前で起きている事象として認識させることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る代替現実システムのシステム構成を示す。
【図２】本発明の実施形態に係る録画モジュールの具体例を示す。
【図３】本発明の実施形態に係る視聴モジュールの具体例を示す。
【図４】本発明の実施形態に係る制御装置の機能構成を示す。
【図５】本発明の実施形態に係る制御装置による処理の手順を示すフローチャートである。
【図６】本発明の実施形態に係る代替現実システムによる代替現実体験の具体例を示す。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態について、図面を用いて説明する。
【００２４】
〔代替現実システム１００の構成〕
まず、図１〜図３を参照して、本発明の実施形態に係る代替現実システム１００のシステム構成について説明する。図１は、本発明の実施形態に係る代替現実システム１００のシステム構成を示す。
【００２５】
図１に示す代替現実システム１００は、代替現実を被験者に体験させるシステムである。図１に示すように、代替現実システム１００は、制御装置１１０、録画モジュール１２０、および視聴モジュール１３０を備えて構成されている。
【００２６】
（制御装置１１０）
制御装置１１０は、代替現実システム１００を制御する。例えば、制御装置１１０は、パーソナルコンピュータによって実現されてもよく、サーバや、専用の機器によって実現されてもよい。
【００２７】
（録画モジュール１２０）
図２は、本発明の第１実施形態に係る録画モジュール１２０の具体例を示す。録画モジュール１２０は、過去映像（過去に撮像されたものとして扱われる映像）の撮像および録画に利用される。図２に示すように、録画モジュール１２０は、全方位カメラ１２２およびマイク１２４を備えている。
【００２８】
全方位カメラ１２２は、周辺の映像を撮像する。全方位カメラ１２２は、撮像方向が異なる複数の撮像装置を備えて構成されており、これにより、全ての方向（水平方向に３６０°かつ垂直方向に３６０°）を撮像することが可能となっている。全方位カメラ１２２によって撮像された映像は、制御装置１１０へ出力され、その撮像位置において過去に撮像された過去映像として扱われる。全方位カメラ１２２は、ワンショットパノラマミラーレンズを装着したカメラでも代用可能である。
【００２９】
マイク１２４は、周辺の音声を集音する。マイク１２４によって集音された音声は、制御装置１１０へ出力され、上記過去映像の音声として扱われる。
【００３０】
（視聴モジュール１３０）
図３は、本発明の第１実施形態に係る視聴モジュール１３０の具体例を示す。視聴モジュール１３０は、現在映像（現在に撮像されたものとして扱われる映像）の撮像、各映像（現在映像および過去映像）の視聴に利用される。図３に示すように、視聴モジュール１３０は、ヘッドフォン１３２、ヘッドカメラ１３４、ヘッドマウントディスプレイ１３６、動きセンサ１３８、マイク１４０、スイッチ１４２、およびアイトラッカー１４４（図１参照）を備えて構成されている。
【００３１】
ヘッドカメラ１３４は、被験者の頭部の前方の映像を撮像する。ヘッドカメラ１３４によって撮像された映像は、その撮像位置において現在撮像された現在映像として、制御装置１１０へ出力される。マイク１４０は、周辺の音声を録音する。マイク１４０によって録音された音声は、上記現在映像の音声として、制御装置１１０へ出力される。
【００３２】
ヘッドマウントディスプレイ１３６は、制御装置１１０から出力された映像（すなわち、現在映像または過去映像）を表示する。ヘッドフォン１３２は、制御装置１１０から出力された音声（すなわち、現在映像の音声または過去映像の音声）を出力する。
【００３３】
動きセンサ１３８は、被験者の頭部の動きを検出する。例えば、動きセンサ１３８は、ジャイロセンサ、傾斜センサ等が用いられ、被験者の頭部の角度および傾きを検出する。動きセンサ１３８は、頭部の位置を検出するものであってもよい。また、動きセンサ１３８は、体験環境に設置したカメラによるモーションキャプチャーシステムに置き換えることも可能である。
【００３４】
アイトラッカー１４４は、被験者がヘッドマウントディスプレイ１３６画面のどこを見ているかを知るために視線方向を計測する。例えば、アイトラッカー１４４は、少なくとも被験者の目が領域内に収まっている映像を撮像し、当該映像における瞳の方向を検出することにより、上記視線方向を計測する。
【００３５】
スイッチ１４２は、制御装置１１０に対して、映像の切り替えを指示するためのものである。被験者は、スイッチ１４２を押下することにより、制御装置１１０に対して、映像の切り替えを指示することができる。
【００３６】
〔制御装置１１０の機能構成〕
次に、図４を参照して、制御装置１１０の機能構成について説明する。図４は、本発明の第１実施形態に係る制御装置１１０の機能構成を示す。図４に示すように、制御装置１１０は、過去映像取得部４０２、映像蓄積部４０４、現在映像取得部４０６、映像再生部４０８、映像出力部４１０、映像切替部４１２、頭部方向特定部４１４、映像切出し方向更新部４１６、および視線方向特定部４１８を備えている。
【００３７】
過去映像取得部４０２は、全方位カメラ１２２によって撮像された過去映像を取得する。映像蓄積部４０４は、過去映像取得部４０２によって取得された過去映像を蓄積する。映像蓄積部４０４は、制御装置１１０の外部に設けられていても良い。
【００３８】
現在映像取得部４０６は、ヘッドカメラ１３４によって撮像された現在映像を取得する。
【００３９】
映像再生部４０８は、映像蓄積部４０４に蓄積されている過去映像、または、現在映像取得部４０６によって取得された現在映像を再生する。映像出力部４１０は、映像再生部４０８によって再生された過去映像または現在映像を、ヘッドマウントディスプレイ１３６へ出力する。
【００４０】
映像切替部４１２は、ヘッドマウントディスプレイ１３６へ出力する映像を、上記過去映像または上記現在映像へ切り替える。例えば、映像切替部４１２において、制御装置１１０において何らかのイベント（以下、「映像切り替えイベント」と示す）が発生すると、上記切り替えを行う。
【００４１】
例えば、上記映像切り替えイベントは、例えば、試験者がボタンを押したタイミング等、試験者の指示したタイミングで発生する。または、再生中の映像における予め試験者によって指示されたタイミングで発生する。さらに、上記映像切り替えイベントは、被験者の指示したタイミング（例えば、スイッチ１４２を押下したタイミング）で発生することも可能である。
【００４２】
また、上記映像切り替えイベントは、動きセンサ１３８によって被験者の頭部方向、または、アイトラッカー１４４によって特定の視線方向が検出されたタイミング、で発生するようにしてもよい（工夫点４参照）。
【００４３】
映像の切り替えパターンとしては、過去映像から現在映像への切り替え、現在映像から過去映像への切り替え、第１の過去映像から第２の過去映像への切り替え、同一の過去映像内の別シーンへの切り替え等が考え得る。
【００４４】
頭部方向特定部４１４は、動きセンサ１３８からの信号に基づいて、被験者の頭部の方向を特定する。
【００４５】
視線方向特定部４１８は、アイトラッカー１４４からの信号に基づいて、被験者の視線方向（すなわち、呈示映像内のどの領域をみているか）を特定する。
【００４６】
映像切出し方向更新部４１６は、頭部方向特定部４１４によって特定された被験者の頭部の方向に応じて、ヘッドマウントディスプレイ１３６へ出力する映像の、切出し方向を更新する。
【００４７】
本書において、「映像を切り出す」とは、頭部の方向に応じた領域の映像であって、ヘッドマウントディスプレイ１３６に映し出す部分的な映像を、全方位カメラ１２２によって撮像された映像から切り出すことを意味する。また、「映像の切出し方向を更新する」とは、上記部分映像を、頭部の方向に応じた領域の部分映像に変更することを意味する。
【００４８】
なお、本実施形態では、被験者の頭部が動かずに視線が動いた場合には、映像の切出し方向を更新しないこととしているが、被験者の網膜に映る映像自体は変化するので、このタイミングで過去映像・現在映像の切り替えを行うようにしてもよい。これにより、頭部が動いたときに過去映像・現在映像の切り替えを行う（下記工夫点４）のと同様に、被験者はその切り替えに気づきにくくなる。また、被験者の視線方向に基づき、映像のどこに注目しているかを特定することができるので、その注目先に応じて切り替えを行うようにしてもよい。例えば、「映像内の『椅子』に体験者が注意を向けた時に切り替える」といった具合である。
【００４９】
（制御装置１１０による処理の手順）
次に、図５を参照して、制御装置１１０による処理の手順について説明する。図５は、本発明の実施形態に係る制御装置１１０による処理の手順を示すフローチャートである。
【００５０】
初めに、制御装置１１０は、ヘッドカメラ１３４によって撮像されたライブ映像を、ヘッドマウントディスプレイ１３６に表示する（ステップＳ５０２）。
【００５１】
その後、制御装置１１０において何らかの映像切り替えイベントが発生すると（ステップＳ５０４：Ｙｅｓ）、制御装置１１０（映像切替部４１２）は、ヘッドマウントディスプレイ１３６に表示する映像を切り替える（ステップＳ５０６）。そして、制御装置１１０は、処理をステップＳ５０４に戻す。
【００５２】
例えば、ヘッドマウントディスプレイ１３６にライブ映像が表示されている場合、制御装置１１０は、ヘッドマウントディスプレイ１３６に表示する映像を、ライブ映像から録画映像に切り替える。反対に、ヘッドマウントディスプレイ１３６に録画映像が表示されている場合、制御装置１１０は、ヘッドマウントディスプレイ１３６に表示する映像を、録画映像からライブ映像に切り替える。
【００５３】
一方、制御装置１１０において何らかの映像切出し方向更新イベント（例えば、動きセンサ１３８による頭部方向の動きの検出）が発生すると（ステップＳ５０８：Ｙｅｓ）、制御装置１１０（映像切出し方向更新部４１６）は、ヘッドマウントディスプレイ１３６に表示されている映像の映像切出し方向を更新する（ステップＳ５１０）。そして、制御装置１１０は、処理をステップＳ５０４に戻す。
【００５４】
例えば、過去映像が表示されているときに、被験者の頭の向きが変わった場合、制御装置１１０は、その向きに応じた過去映像に変更する。
【００５５】
一方、現在映像が表示されているときに、被験者の頭の向きが変わった場合、ヘッドカメラ１３４の撮像方向もその向きに変更されるから、ヘッドマウントディスプレイ１３６に表示されている現在映像の切出し方向も、自動的にその方向に変更されることとなる。
【００５６】
このような手順により、代替現実システム１００によって実現される一連の代替現実体験において、制御装置１１０は、映像切り替えイベントが発生する毎に、ヘッドマウントディスプレイ１３６に表示する映像を、過去映像または現在映像へ切り替えることができる。また、制御装置１１０は、被験者の頭部方向が変更する毎に、ヘッドマウントディスプレイ１３６に表示されている映像の切出し方向を、その頭部方向に変更することができる。
【００５７】
〔映像切替処理の具体例〕
次に、図６を参照して、代替現実システム１００による代替現実体験の具体例について説明する。図６は、本発明の実施形態に係る代替現実システム１００による代替現実体験の具体例を示す。図６（ａ）〜（ｅ）は、代替現実体験における代表的なシーンを、時系列に示すものである。
【００５８】
（ａ．過去映像の撮影シーン）
図６（ａ）は、代替現実体験における過去映像の撮影シーンを示すものである。この撮影シーンにおいては、体験室における所定の位置に全方位カメラ１２２が設置されており、当該全方位カメラ１２２によって体験室における全方向の過去映像が撮像されている。また、この体験室に被験者が案内され、案内者によってこの体験室で体験を行うことが説明されている。当然、この様子も、全方位カメラ１２２によって撮像されている。その後、被験者は、同じ部屋の全方位カメラ１２２が置かれていた場所に移動し、ヘッドマウントディスプレイ１３６が装着される。ヘッドマウントディスプレイ１３６から表示される映像は、初めは現在の映像（ヘッドカメラ１３４によって撮像されているライブ映像）であるが、その後、被験者が気付かぬ間に、過去の映像に切り替えられる。このように、最初に現在の映像を表示することにより、被験者に「現在の映像を視聴している」という意識を植え付けることができ、過去の映像への切り替えを気付かせ難くしているのである。
【００５９】
（ｂ．録画シーン）
図６（ｂ）は、代替現実体験における録画シーンを示すものである。この録画シーンにおいては、案内者が被験者に対して、ヘッドマウントディスプレイの具合について問いかけているが、これは、過去の映像によるものである。被験者は、上記問いかけが過去の映像によるものであることに気付かず、上記問いかけに対して応答している。
【００６０】
（ｃ．録画シーン）
図６（ｃ）は、代替現実体験における録画シーンを示すものである。図６（ｂ）に示すシーンの後、図６（ｃ）に示すように、ヘッドマウントディスプレイ１３６には、図６（ａ）で撮像した過去の映像が表示される。この映像には、被験者自身が映し出されているため、被験者は、この映像が過去の映像であることを認識する。そして、被験者は、いつの間にか過去の映像に切り替わっていたことを知り、ヘッドマウントディスプレイに表示されている映像が、操作されているのかもしれないと疑念を抱くようになる。
【００６１】
（ｄ．録画シーン）
図６（ｄ）は、代替現実体験における録画シーンを示すものである。この録画シーンにおいては、案内者が被験者に対して、図６（ｃ）の映像が過去の映像であることを説明している。そして、今現在視聴している映像が、現在の映像であることを説明している。しかしながら、この説明は、過去の映像によるものである。にも関わらず、被験者は、シーンが切り替わったこと、および、上記説明を受けたことにより、今現在視聴している映像が、現在の映像であると思い込んでしまっている。特に、図６（ｃ）のシーンにおいて、被験者自身を映像に映し出すことによって、過去の映像を過去の映像らしく演出したことにより、図６（ｄ）のシーンにおける上記説明の真実感が高められ、したがって、図６（ｄ）のシーンにおける映像の現実感がより高められている。
【００６２】
（ｅ．ライブシーン）
図６（ｅ）は、代替現実体験におけるライブシーンを示すものである。このライブシーンでは、さらに、案内者が被験者に対して、今現在視聴している映像が、現在の映像であることを説明している。これにより、図６（ｄ）のシーンにおいて既に現実に戻ったと信じて疑わない被験者にとっては、もはや、何が現実で何か過去であるのかが判別できなくなっている。
【００６３】
〔映像の切り替え時の工夫〕
このように、本実施形態の代替現実システム１００では、被験者に視聴させる映像の切り替えを適宜行うことにより、被験者に代替現実を体験させることが可能となっている。特に、本実施形態の代替現実システム１００では、これまでに説明した事項のみならず、以下を代表的なものとする各種工夫を施すことによって、映像の切り替えをより自然なものとし、被験者による判別をより困難なものとしている。
【００６４】
（工夫点１：頭部方向の連動）
既に説明したとおり、本実施形態の代替現実システム１００では、被験者の頭部の動きに連動して、表示する映像の切出し方向を変化させている。本実施形態の代替現実システム１００では、以下（１）〜（３）によって、これを実現している。（１）全方位カメラ１２２によって全方向の映像を撮像する。（２）被験者の頭部に装着された動きセンサ１３８からの検出信号に基づき、被験者の頭部の方向を特定する。（３）被験者の頭部方向に応じた方向の映像を、全方向の映像から切り出す。
【００６５】
（工夫点２：同一場所での撮影）
既に説明したとおり、本実施形態の代替現実システム１００では、過去映像の撮像位置と、現在映像の撮像位置とを同じ位置としている。より好ましくは、全方位カメラ１２２の焦点位置と、被験者の頭部の旋回中心とが略同位置となることである。本実施形態の代替現実システム１００では、これを実現するため、代替現実の体験時には、全方位カメラ１２２を撤去し、その位置に被験者を着座させている。
【００６６】
（工夫点３：画質調整）
本実施形態の代替現実システム１００では、過去映像の画質と、現在映像の画質とが、同一または近似するように、少なくとも一方の映像の画質を調整することもできる。例えば、代替現実システム１００は、両カメラの撮像素子の特性データから求められた調整値により、画質調整を行う。または、両映像に基準画像を表示して、この基準画像の画質が近似するように、自動的に画質調整を行う。
【００６７】
（工夫点４：切り替えタイミング）
映像を切り替える際、過去映像、現在映像の間の画質等の差が生じる場合があるが、本実施形態の代替現実システム１００では、被験者の頭部の動きを検出したタイミングで、映像の切り替えを行うこともできる。これにより、表示中の映像が変化しているときに、すなわち映像の切出し方向が変化しているときに映像が切り替えられるため、上述の差、ひいては切り替え自体に被験者はより気づき難くなる。また、アイトラッカー１４４が急速眼球運動（サッカード）を検出したタイミングで映像の切り替えを行うこともできる。この場合も被験者は切り替えに気付き難くなる。また、アイトラッカー１４４を用いて、被験者が映像上の特定の事物（特に切り替え前後で変化しない事物であることが好ましい）に注意を向けていることを確認した上で切り替えを行う、ということも可能である。
【００６８】
（工夫点５：映像の重ね合わせ（ブレンド））
本実施形態の代替現実システム１００では、映像の切り替え時に、過去映像と現在映像とを切り替えることとしたが、過去映像と現在映像とを重ね合わせることもできる。この際、少なくとも一方の映像に対し、背景を除去したり、人物を抽出したりする等の、加工を施すことも可能である。これにより、例えば、現実に存在するものと認識されていた人物等の対象物を、過去映像にも表示することができるため、過去映像の現実感をより高めることができる。さらに、過去映像または現在映像に対して、過去映像の対象物と現在映像の対象物とを混在させることも可能であり、これにより、過去映像と現在映像との区別をよりし難くすることができる。
【００６９】
また、重ね合わせ後の映像を生成する際には、過去映像の透過比率と現在映像の透過比率とをそれぞれ調整することが可能である。例えば、現在映像に対して、過去映像がフェードイン及びフェードアウトするような構成とすることも可能である。これにより、現実映像には存在しない人物が出現及び消滅したとしても、被験者に気付かれ難くなっている。
【００７０】
過去映像と現在映像の透過度は、映像のピクセルごとに設定することが可能であり、過去映像と現在映像を常時重ね合わせておいても、実際に重ねあわせが起きているのは、環境空間の一部だけに（たとえば右もしくは左半分だけのように）留めることがができる。また、ピクセル単位の透過度を時系列や体験者の行動に沿って動的に変化させることで、過去映像と現在映像が混ざり合う環境空間部位やその形状を自由に変化させることができる。
【００７１】
以上より、例えば、現在映像内の人物と過去映像内の人物とが同時に画面に登場し、会話をするといったシーンを構成することができる。現在映像内の人物と、過去映像内の人物は、同一人物とすることもできる。
【００７２】
（工夫点６：映像における対象物の調整）
本実施形態の代替現実システム１００では、過去映像と現在映像に同一の対象物が映し出されるように、両映像の撮像環境が調整されている。これにより、映像の切り替え時に、対象物が突然消滅したり出現したりすることを防止している。但し、上記したように、過去映像と現在映像とに共通しない対象物を出現および消滅させたとしても、当該対象物をフェードイン及びフェードアウトさせることで、被験者に気付かれ難くすることができる。
【００７３】
（工夫点７：被験者への錯誤の誘引効果）
本実施形態の代替現実システム１００では、被験者が錯誤状態に陥るように、映像の切り替えタイミングや、切り替え前後の映像の内容を調整している。例えば、図６ｄに例示したように、過去映像において、あたかも現在映像であるかのようなナレーションを含めたり、過去映像から、別の過去映像に切り替えたりするシナリオにより、過去映像を現在映像と思い込ませることが可能となっている。本実施形態の代替現実システム１００では、このような動作を、一連の代替現実の体験において複数回行うことで、被験者は、自分自身の判断に自信を持つことが出来なくなり、殆どの過去映像を現在実際に生じている事象として受け止めるようになる。
【００７４】
〔映像の切り替え時のさらなる工夫〕
本実施形態の代替現実システム１００においては、以下に例示するようなさらなる工夫を施すことによって、映像の切り替えをより自然なものとし、被験者による判別をより困難なものとすることも可能である。
【００７５】
（さらなる工夫点１：被験者の五感によるシーン体験）
本実施形態の代替現実システム１００において、前記映像切替手段が前記過去映像に切り替える際に、当該過去映像に予め対応付けられた、匂い、熱、振動、および触感の少なくともいずれか一つを発生させる発生手段をさらに備えるようにしてもよい。例えば、過去映像に人が倒れるシーンが含まれている場合、その過去映像を被験者に視聴させるとともに、そのタイミングで被験者が検知可能な振動を発生させる。これにより、被験者に対し、あたかも現実的に人が倒れたものと認識させることができ、より過去映像の現実感を高めることができる。他の例として、過去映像に火災のシーンが含まれている場合、その過去映像を被験者に視聴させるとともに、そのタイミングで被験者が検知可能な熱および匂いを発生させる。これにより、被験者に対し、あたかも現実的に火災が発生しているものと認識させることができ、より過去映像の現実感を高めることができる。
【００７６】
例えば、匂い、熱、振動、または触感を発生させる場合は、被験者に装着された、または、被験者の近傍に設置された、匂い、熱、振動、または触感を生じさせる既知の何らかの装置（例えば、匂い発生装置、照明等の発熱装置、振動発生器、触感制御装置等）を制御装置１１０によって制御することにより、これらを実現することができる。
【００７７】
（さらなる工夫点２：切り替えタイミング）
本実施形態の代替現実システム１００では、被験者が指定したタイミング（例えば、スイッチ１４２を押下したタイミング）で、映像を切り替えることが可能である。この際、被験者が指定したタイミングと、映像を切り替えるタイミングとの間に、タイムラグを生じさせるようにしてもよい。これにより、被験者による過去映像と現在映像との判別がより困難なものとなり、過去映像の現実感をより高めることができる。大概の被験者は、自ら指定したタイミングで映像が切り替わっていると信じ込むためである。
【００７８】
（さらなる工夫点３：映像の編集）
被験者による過去映像と現在映像との判別がより困難なものとなるように、過去映像および現在映像の一方または双方に映像編集処理を施すことも可能である。例えば、双方を線画映像としたり、双方の背景を削除したりする、といった具合である。すなわち、映像を単純化することで、両映像の判別をより困難なものとすることができる。
【００７９】
〔補足事項〕
以上の説明では、被験者に対して、過去映像と現在映像とを選択的に提示する構成を例に挙げたが、本実施形態はこれに限定されるものではない。例えば、上述した過去映像は、上述した現在映像の撮像地点を視点とする映像であって、当該現在映像と異なる映像であればよく、より一般には代替映像と表現すべきものである。ここで、代替映像には、人工的なコンテンツ、過去の映像、視聴場所と異なる場所にて撮像された映像等が含まれる。
【００８０】
このように、本実施形態には、所定の場所において撮像された映像であって、現在撮像された映像である現在映像を取得する現在映像取得手段（現在映像取得部４０６）と、前記所定の場所を視点とする映像であって、前記現在映像とは異なる映像である代替映像を取得する代替映像取得手段（過去映像取得部４０２）と、前記所定の場所において表示装置が表示する映像を、前記現在映像、前記代替映像、またはそれらを組み合わせて得られる複合映像へ切り替える映像切替手段（映像切替部４１２）とを備える代替現実システム制御装置（制御装置１１０）が記載されている。
【００８１】
〔代替現実システムの適用例〕
以上のように、本実施形態の代替現実システム１００では、被験者に代替現実を体験させることができる。このような代替現実システム１００の利用は、以下に例示するように、広範囲に及ぶ。
【００８２】
（適用例１）
例えば、本実施形態の代替現実システム１００は、心理的実験に適用することができる。例えば、テレビモニターにあるイベントをし被験者に呈示した場合、被験者は、そのイベントが実際に目の前で生じているものである、という信念は持たないが、本実施形態の代替現実システムを用いればそのような信念を保持したまま被験者に実験参加させることが可能である。このような信念の実験的調整が必要となる心理実験に広く応用可能である。この場合、上述した代替映像として、例えば、実際には生じないようなイベント、（通常よりもスローモーションなイベント等）を用意することも可能である。
【００８３】
（適用例２）
また、例えば、本実施形態の代替現実システム１００は、ヘッドマウントディスプレイを用いた没入型一人称ゲームに適用することができる。通常このようなゲームは、プレイヤーの操作に応じてゲーム内でのプレイヤーの位置が変化する。パノラマビデオカメラを用いた本実施形態の代替現実システム１００では、そのような位置変化を過去映像内で再現することは困難であるため、代替現実そのものをプレイ中常に実現することは困難であるが、例えばゲーム内環境に出入りする際（ゲームを開始、停止する際）に限れば可能である。このように、ゲーム内環境に出入りするインターフェイスとして用いることにより、ゲーム内環境の現実感等を高める、といったことが可能である。これは、映画を視聴開始、停止する際のインターフェイスとしても利用することができる。
【００８４】
（適用例３）
また、本実施形態の代替現実システム１００は、体験中に被験者が移動できる形態に拡張することができる。例えば、視聴モジュールの配線を調整、あるいは無線化することにより、被験者は視聴モジュールを装着したまま移動できるようにする。予め複数の所定の場所にて過去映像を撮影しておけば、それら所定の位置に被験者が留まる際に現在映像、過去映像間の切り替えが可能となる。さらに、移動中は現在映像だけを流すようにすることによって、移動しながらの代替現実体験が可能である。移動可能な代替現実は、上述の心理実験、ゲーム、映画等への応用に取り入れることもできる。
【００８５】
（プログラム、記憶媒体）
実施形態で説明した代替現実システム制御装置１１０の各機能は、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵを用いてソフトウェア的に実現してもよい。
【００８６】
例えば、代替現実システム制御装置１１０は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ、上記プログラムを展開するＲＡＭ、上記プログラム及び各種データを格納するメモリ等の各種記憶装置（記録媒体）を備えている。そして、上記ＣＰＵが、上記各種記憶装置に格納されているプログラムを読み出し、このプログラムを実行することによって、代替現実システム制御装置１１０の各機能を実現することができる。
【００８７】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類等を用いることができる。
【００８８】
なお、上記プログラムは、通信ネットワークを介して代替現実システム制御装置１１０に供給されてもよい。この通信ネットワークは、少なくとも上記プログラムを代替現実システム制御装置１１０に伝送可能であればよく、その種類はどのようなものであっても良い。例えば、有線もしくは無線による通信ネットワークとしては、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。
【００８９】
また、上記プログラムを代替現実システム制御装置１１０に供給するための伝送媒体としても、どのような種類のものを利用しても良い。例えば、伝送媒体として、光学ネットワーク、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線によるものを利用しても良い。また、伝送媒体として、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ、ＤＬＮＡ、携帯電話網、衛星回線、地上波デジタル網等の無線によるものを利用しても良い。
【産業上の利用可能性】
【００９０】
本発明は、被験者やユーザに対して代替現実を提示する代替現実システムに好適に適用することができる。
【符号の説明】
【００９１】
１００  代替現実システム
１１０  制御装置（代替現実システム制御装置）
１２０  録画モジュール
１２２  全方位カメラ
１２４  マイク
１３０  視聴モジュール
１３２  ヘッドフォン
１３４  ヘッドカメラ
１３６  ヘッドマウントディスプレイ
１３８  動きセンサ
１４０  マイク
１４２  スイッチ
１４４  アイトラッカー
４０２  過去映像取得部（代替映像取得手段）
４０４  映像蓄積部
４０６  現在映像取得部（現在映像取得手段）
４０８  映像再生部
４１０  映像出力部
４１２  映像切替部（映像切替手段）
４１４  頭部方向特定部
４１６  映像切出し方向更新部（映像方向更新手段）
４１８  視線方向特定部
【図１】
0005594850.tif 000002
【図２】
0005594850.tif 000003
【図３】
0005594850.tif 000004
【図４】
0005594850.tif 000005
【図５】
0005594850.tif 000006
【図６】
0005594850.tif 000007