(57)【特許請求の範囲】
【請求項１】
ノードを介して接続された複数の経路を含む実在の場所について、所定の経路に沿って移動する視点から見た所定の視線方向の視界を動画として提示する動画提示装置であって、
予め定められた撮影方向に沿って経路を移動する全方位カメラを用いた撮影によって得られた動画データであって、３６０°の視界をもつ全方位画像をフレーム単位で並べることにより構成される動画データを、個々の経路について格納する動画データ格納部と、
ノードを介した各経路の接続状態および各経路の基準方向を示すルート情報と、各経路に対応する動画データを示す動画データ対応情報と、を格納する基本情報格納部と、
視点位置および視線方向を更新する位置方向更新部と、更新によって視点が経路上を移動しているときに、移動中の視点から見た移動動画の再生を指示する移動動画再生指示部と、視点がノードを介して旧経路から新経路へ遷移するときに、当該ノードに静止中の視点から見た切替動画の再生を指示する切替動画再生指示部と、を有する再生指示部と、
前記移動動画再生指示部から与えられる指示に基づいて移動動画の再生を行う移動動画再生部と、前記切替動画再生指示部から与えられる指示に基づいて切替動画の再生を行う切替動画再生部と、を有する動画再生部と、
を備え、
前記位置方向更新部は、前記ルート情報に基づいて、所定の経路に沿って視点が移動するように視点位置の更新を行うとともに、必要に応じて視線方向の更新を行い、視点がノードを介して旧経路から新経路へ遷移するときに、視点を当該ノード上で一旦静止させ、前記切替動画再生部による切替動画の再生が完了した後に、新経路上で視点の移動を再開し、
前記移動動画再生指示部は、前記動画データ対応情報を参照して、移動中の経路に対応する動画データを再生対象動画データと認識し、この再生対象動画データを視点の移動方向に応じたフレーム順に、前記位置方向更新部が示す所定の視線方向に応じた切り出しを行って再生することを示す移動動画再生指示を前記移動動画再生部に与え、
前記移動動画再生部は、前記移動動画再生指示に基づいて、前記動画データ格納部に格納されている前記再生対象動画データの各フレームを構成する全方位画像を、指示されたフレーム順に読み出し、読み出した全方位画像から、指示された所定の視線方向の視界を構成する視野画像を切り出し、得られた一連の視野画像を動画として出力し、
前記位置方向更新部は、視点がノードを介して旧経路から新経路へ遷移するときに、新経路の基準方向を参照することにより切替後の視線方向を定め、切替前の視線方向から切替後の視線方向へと視線方向を徐々に更新する処理を行い、
前記切替動画再生指示部は、前記動画データ対応情報を参照して、旧経路の動画から新経路の動画に、前記切替前の視線方向から前記切替後の視線方向への変化を伴う切替が行われるような切替動画再生指示を前記切替動画再生部に与え、
前記切替動画再生部は、前記切替動画再生指示に基づいて、前記動画データ格納部に格納されている旧経路の動画データの移動動画再生時のフレーム順における最後のフレームを切替前全方位画像として読み出し、前記動画データ格納部に格納されている新経路の動画データの移動動画再生時のフレーム順における最初のフレームを切替後全方位画像として読み出し、読み出した２つの全方位画像から、共通視線方向の視界を構成する視野画像をそれぞれ切り出し、切り出した２つの視野画像を所定のブレンド比率で合成したブレンド画像を生成する処理を、前記共通視線方向を前記切替前の視線方向から前記切替後の視線方向まで徐々に変化させながら、かつ、前記切替後全方位画像から切り出した視野画像の比率が徐々に増加するように変化させながら、繰り返し実行し、生成された一連のブレンド画像を切替動画として再生することを特徴とする動画提示装置。
【請求項２】
請求項１に記載の動画提示装置において、
動画データ格納部が、魚眼レンズもしくは全方位ミラーを装着した全方位カメラを用いて、所定の水平面より上方に位置する半球状視界を撮影して得られる歪曲円形画像から、仰角が所定の基準値以下の領域を切り出し、これに歪み補正を施すことにより得られる矩形状のパノラマ画像をフレーム単位で並べることにより構成される動画データを格納することを特徴とする動画提示装置。
【請求項３】
請求項１または２に記載の動画提示装置において、
基本情報格納部に格納されているルート情報が、各経路の両端に位置するノードの二次元座標系上での座標値を示す位置情報を含み、個々の経路の基準方向が、当該経路の両端に位置する２つのノード間を結ぶ直線の方向により定義されていることを特徴とする動画提示装置。
【請求項４】
請求項１〜３のいずれかに記載の動画提示装置において、
基本情報格納部に格納されている動画データ対応情報が、個々の経路についての撮影方向を示す情報を含んでおり、
移動動画再生指示部が、視点の移動方向が撮影方向に対して順方向の場合は、動画データを撮影時のフレーム順で再生することを示す移動動画再生指示を与え、視点の移動方向が撮影方向に対して逆方向の場合は、動画データを撮影時とは逆のフレーム順で再生することを示す移動動画再生指示を与えることを特徴とする動画提示装置。
【請求項５】
請求項１〜４のいずれかに記載の動画提示装置において、
基本情報格納部が、二次元座標系上における個々のノードの座標値を示す位置情報と、全ノード中の任意の２ノードの組み合わせについて、それぞれ相互間を接続する経路が存在するか否かを示す接続情報と、によって構成されるルート情報を格納していることを特徴とする動画提示装置。
【請求項６】
請求項１〜５のいずれかに記載の動画提示装置において、
基本情報格納部が、二次元平面上に定義された経路を示すルート情報を格納しており、
位置方向更新部が、前記二次元平面上の所定の基準軸に対する方位角φ（０°≦φ＜３６０°）を視線方向を示すパラメータとして用いることを特徴とする動画提示装置。
【請求項７】
請求項６に記載の動画提示装置において、
位置方向更新部が、移動中の経路の基準方向に対応する方位角Ｄを視線方向を示す方位角φとする更新を行い、
切替動画再生指示部が、旧経路の基準方向に対応する方位角Ｄold を切替前の視線方向を示す方位角φold とし、新経路の基準方向に対応する方位角Ｄnew を切替後の視線方向を示す方位角φnew とする切替動画再生指示を与えることを特徴とする動画提示装置。
【請求項８】
請求項１〜５のいずれかに記載の動画提示装置において、
ユーザの指示を入力する指示入力部を更に備え、
位置方向更新部が、前記指示入力部に対するユーザの指示に応じて、視点位置および視線方向を更新する機能を有することを特徴とする動画提示装置。
【請求項９】
請求項８に記載の動画提示装置において、
基本情報格納部が、二次元平面上に定義された経路を示すルート情報を格納しており、
位置方向更新部が、前記二次元平面上の所定の基準軸に対する方位角φ（０°≦φ＜３６０°）を視線方向を示すパラメータとして用い、
指示入力部が、前記二次元平面上における移動方向に対する視線方向のオフセット角θを設定する指示を入力する機能を有し、
位置方向更新部が、移動中の経路の基準方向に対応する方位角Ｄに基づいて、視線方向を示す方位角φを、φ＝Ｄ＋θなる式に基づいて決定することを特徴とする動画提示装置
【請求項１０】
請求項９に記載の動画提示装置において、
位置方向更新部が、旧経路の基準方向に対応する方位角Ｄold に基づいて、切替前の視線方向を示す方位角φold を、φold ＝Ｄold ＋θなる式に基づいて決定し、新経路の基準方向に対応する方位角Ｄnew に基づいて、切替後の視線方向を示す方位角φnew を、φnew ＝Ｄnew ＋θなる式に基づいて決定することを特徴とする動画提示装置。
【請求項１１】
請求項９に記載の動画提示装置において、
位置方向更新部が、旧経路の基準方向に対応する方位角Ｄold に基づいて、切替前の視線方向を示す方位角φold を、φold ＝Ｄold ＋θなる式に基づいて決定し、新経路の基準方向に対応する方位角Ｄnew に基づいて、切替後の視線方向を示す方位角φnew を、φnew ＝Ｄnew なる式に基づいて決定することを特徴とする動画提示装置。
【請求項１２】
請求項８〜１１のいずれかに記載の動画提示装置において、
位置方向更新部が、視点がノードに到達したときに、当該ノードに接続されている個々の経路を示すマーカを画面に表示させるマーカ表示指示を移動動画再生部に与える機能を有し、
移動動画再生部が、前記マーカ表示指示に基づいて、ノード到達時の視野画像上に個々のマーカを重畳する処理を行い、
指示入力部が、特定のマーカを選択するユーザの指示を入力する機能を有し、
位置方向更新部が、選択されたマーカに対応する経路を新経路と認識することを特徴とする動画提示装置。
【請求項１３】
請求項６、７、９〜１１のいずれかに記載の動画提示装置において、
切替前全方位画像から切り出した方位角φで示される方向の視野画像の画素値をＱ（Ｆold （φ））、切替後全方位画像から切り出した方位角φで示される方向の視野画像の画素値をＱ（Ｆnew （φ））としたときに、
Ｇ＝（１−α）・Ｑ（Ｆold （φ））＋α・Ｑ（Ｆnew （φ））
なる式に基づいて、ブレンド画像の画素値Ｇを定義してブレンド画像を生成する処理を、方位角φをφold からφnew まで徐々に変化させながら、かつ、ブレンド比率αを０から１まで徐々に変化させながら、繰り返し実行し、生成された一連のブレンド画像を動画として出力することを特徴とする動画提示装置。
【請求項１４】
請求項６、７、９〜１１、１３のいずれかに記載の動画提示装置において、
移動動画再生部および切替動画再生部が、読み出した全方位画像から、方位角「φ−Δ／２」〜「φ＋Δ／２」の範囲内の視界（ただし、Δは所定の切出角度）を構成する視野画像を切り出すことを特徴とする動画提示装置。
【請求項１５】
請求項１〜７のいずれかに記載の動画提示装置において、
位置方向更新部が、視点位置および視線方向を、予め設定された所定の規則に基づいて自動更新することを特徴とする動画提示装置。
【請求項１６】
請求項１〜１５のいずれかに記載の動画提示装置としてコンピュータを機能させるプログラム。
【請求項１７】
ノードを介して接続された第１の経路および第２の経路を有する場所について、前記第１の経路から前記ノードを介して前記第２の経路へと移動する視点から見た所定の視線方向の視界を動画として提示する動画提示方法であって、
コンピュータが、前記第１の経路に沿って撮影された第１の全方位動画に基づいて、前記第１の経路に沿って前記ノードに向かう視点から見た第１の視線方向の視界を示す第１の移動動画を再生する第１の移動動画再生段階と、
コンピュータが、視点を前記ノードに静止させた状態において、視線方向を徐々に変化させたときに得られる視界を示す切替動画を再生する切替動画再生段階と、
コンピュータが、前記第２の経路に沿って撮影された第２の全方位動画に基づいて、前記第２の経路に沿って前記ノードから離れる視点から見た第２の視線方向の視界を示す第２の移動動画を再生する第２の移動動画再生段階と、
を有し、
前記切替動画再生段階において、前記第１の全方位動画の最後のフレームを構成する切替前全方位画像について、視線方向を前記第１の視線方向から前記第２の視線方向へと徐々に変化させることによって得られる第１のパン動画と、前記第２の全方位動画の最初のフレームを構成する切替後全方位画像について、視線方向を前記第１の視線方向から前記第２の視線方向へと徐々に変化させることによって得られる第２のパン動画とを、前記第２のパン動画の比率が徐々に増加するような所定比率でブレンドすることにより得られる動画を切替動画として再生することを特徴とする動画提示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画提示装置に関し、特に、実在の場所について、所定経路に沿って移動する視点から見た視界を動画として提示する装置に関する。
【背景技術】
【０００２】
魚眼レンズや全方位ミラーを装着したカメラを用いると、周囲３６０°の視界をもつ全方位画像を撮影することができる。予め、このような全方位画像を用意しておけば、視聴者の希望する任意の視点位置から任意の方向を観察した画像を提示するサービスを提供することができる。
【０００３】
たとえば、下記の特許文献１には、情報提供センターに全方位画像を用意しておき、視聴者の求めに応じて、端末装置の画面上に任意視点から任意方向を観察した画像を表示させるための画像データを送信する技術が開示されている。また、グーグル株式会社（本社：米国カリフォルニア州のGoogle Inc. ）は、「ストリートビュー」と称して、インターネットを利用して道路上の任意視点から任意方向を観察した景色を表示するサービスを提供している。一方、特許文献２には、車載カメラによって撮影した市街地のビデオ映像から、歩行者、電柱、街路樹などの障害物を除去し、動体などの前景物を含まない市街地映像を提示する装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−００８２３２号公報
【特許文献２】特開２０１１−１１８４９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前掲の各特許文献に開示されているシステムやグーグル社の提供する「ストリートビュー」で利用されている方法によって、実在の場所についての動画提示を行う場合、前述したように、予め、当該場所の全景を全方位カメラを用いて撮影しておく必要がある。通常、このような撮影は、ノードを介して接続された個々の経路単位で行われることになるので、動画提示装置は、視点がノードを通過するたびに、経路単位で撮影された動画を繋ぎ合わせて再生し、視聴者に提示することになる。
【０００６】
ところが、それぞれ別々のシーンとして撮影された経路単位の動画を繋ぎ合わせて再生した場合、繋ぎ目における画像が不連続になり、視聴者に違和感を与えるおそれがある。たとえば、第１の経路と第２の経路とがノード（たとえば、曲がり角や分岐点）を介して接続されている場合、全方位カメラを第１の経路に沿って移動させて撮影した第１の動画と、全方位カメラを第２の経路に沿って移動させて撮影した第２の動画とが得られる。そして、視点を第１の経路から第２の経路へと移動させた動画提示を行う場合、第１の動画に引き続いて第２の動画を提示することになるが、その繋ぎ目において画像の不連続が生じやすい。
【０００７】
このように、画像に不連続が生じる理由は、第１の動画と第２の動画とが、そもそも別々の撮影作業で得られた動画になるため、たとえ同じノード位置で撮影されたシーンであっても、幾何学的な位置ずれが生じたり、照明環境の変動が生じたりするためである。すなわち、第１の動画に第２の動画を繋ぎ合わせて再生した場合、第１の動画の最後のシーンと第２の動画の最初のシーンとの間に、位置ずれや輝度変動といった画像の不連続が生じ、見ている視聴者に違和感を与えることになる。
【０００８】
そこで本発明は、複数の経路を含む実在の場所について、視聴者に画像の不連続に起因した違和感を感じさせない態様で動画提示を行うことができる動画提示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
(1)   本発明の第１の態様は、ノードを介して接続された複数の経路を含む実在の場所について、所定の経路に沿って移動する視点から見た所定の視線方向の視界を動画として提示する動画提示装置において、
予め定められた撮影方向に沿って経路を移動する全方位カメラを用いた撮影によって得られた動画データであって、３６０°の視界をもつ全方位画像をフレーム単位で並べることにより構成される動画データを、個々の経路について格納する動画データ格納部と、
ノードを介した各経路の接続状態および各経路の基準方向を示すルート情報と、各経路に対応する動画データを示す動画データ対応情報と、を格納する基本情報格納部と、
視点位置および視線方向を更新する位置方向更新部と、更新によって視点が経路上を移動しているときに、移動中の視点から見た移動動画の再生を指示する移動動画再生指示部と、視点がノードを介して旧経路から新経路へ遷移するときに、当該ノードに静止中の視点から見た切替動画の再生を指示する切替動画再生指示部と、を有する再生指示部と、
移動動画再生指示部から与えられる指示に基づいて移動動画の再生を行う移動動画再生部と、切替動画再生指示部から与えられる指示に基づいて切替動画の再生を行う切替動画再生部と、を有する動画再生部と、
を設け、
位置方向更新部は、ルート情報に基づいて、所定の経路に沿って視点が移動するように視点位置の更新を行うとともに、必要に応じて視線方向の更新を行い、視点がノードを介して旧経路から新経路へ遷移するときに、視点を当該ノード上で一旦静止させ、切替動画再生部による切替動画の再生が完了した後に、新経路上で視点の移動を再開し、
移動動画再生指示部は、動画データ対応情報を参照して、移動中の経路に対応する動画データを再生対象動画データと認識し、この再生対象動画データを視点の移動方向に応じたフレーム順に、位置方向更新部が示す所定の視線方向に応じた切り出しを行って再生することを示す移動動画再生指示を移動動画再生部に与え、
移動動画再生部は、移動動画再生指示に基づいて、動画データ格納部に格納されている再生対象動画データの各フレームを構成する全方位画像を、指示されたフレーム順に読み出し、読み出した全方位画像から、指示された所定の視線方向の視界を構成する視野画像を切り出し、得られた一連の視野画像を動画として出力し、
位置方向更新部は、視点がノードを介して旧経路から新経路へ遷移するときに、新経路の基準方向を参照することにより切替後の視線方向を定め、切替前の視線方向から切替後の視線方向へと視線方向を徐々に更新する処理を行い、
切替動画再生指示部は、動画データ対応情報を参照して、旧経路の動画から新経路の動画に、切替前の視線方向から切替後の視線方向への変化を伴う切替が行われるような切替動画再生指示を切替動画再生部に与え、
切替動画再生部は、切替動画再生指示に基づいて、動画データ格納部に格納されている旧経路の動画データの移動動画再生時のフレーム順における最後のフレームを切替前全方位画像として読み出し、動画データ格納部に格納されている新経路の動画データの移動動画再生時のフレーム順における最初のフレームを切替後全方位画像として読み出し、読み出した２つの全方位画像から、共通視線方向の視界を構成する視野画像をそれぞれ切り出し、切り出した２つの視野画像を所定のブレンド比率で合成したブレンド画像を生成する処理を、共通視線方向を切替前の視線方向から切替後の視線方向まで徐々に変化させながら、かつ、切替後全方位画像から切り出した視野画像の比率が徐々に増加するように変化させながら、繰り返し実行し、生成された一連のブレンド画像を切替動画として再生するようにしたものである。
【００１０】
(2)   本発明の第２の態様は、上述した第１の態様に係る動画提示装置において、
動画データ格納部が、魚眼レンズもしくは全方位ミラーを装着した全方位カメラを用いて、所定の水平面より上方に位置する半球状視界を撮影して得られる歪曲円形画像から、仰角が所定の基準値以下の領域を切り出し、これに歪み補正を施すことにより得られる矩形状のパノラマ画像をフレーム単位で並べることにより構成される動画データを格納するようにしたものである。
【００１１】
(3)   本発明の第３の態様は、上述した第１または第２の態様に係る動画提示装置において、
基本情報格納部に格納されているルート情報が、各経路の両端に位置するノードの二次元座標系上での座標値を示す位置情報を含み、個々の経路の基準方向が、当該経路の両端に位置する２つのノード間を結ぶ直線の方向により定義されているようにしたものである。
【００１２】
(4)   本発明の第４の態様は、上述した第１〜第３の態様に係る動画提示装置において、
基本情報格納部に格納されている動画データ対応情報が、個々の経路についての撮影方向を示す情報を含んでおり、
移動動画再生指示部が、視点の移動方向が撮影方向に対して順方向の場合は、動画データを撮影時のフレーム順で再生することを示す移動動画再生指示を与え、視点の移動方向が撮影方向に対して逆方向の場合は、動画データを撮影時とは逆のフレーム順で再生することを示す移動動画再生指示を与えるようにしたものである。
【００１３】
(5)   本発明の第５の態様は、上述した第１〜第４の態様に係る動画提示装置において、
基本情報格納部が、二次元座標系上における個々のノードの座標値を示す位置情報と、全ノード中の任意の２ノードの組み合わせについて、それぞれ相互間を接続する経路が存在するか否かを示す接続情報と、によって構成されるルート情報を格納しているようにしたものである。
【００１４】
(6)   本発明の第６の態様は、上述した第１〜第５の態様に係る動画提示装置において、
基本情報格納部が、二次元平面上に定義された経路を示すルート情報を格納しており、
位置方向更新部が、この二次元平面上の所定の基準軸に対する方位角φ（０°≦φ＜３６０°）を視線方向を示すパラメータとして用いるようにしたものである。
【００１５】
(7)   本発明の第７の態様は、上述した第６の態様に係る動画提示装置において、
位置方向更新部が、移動中の経路の基準方向に対応する方位角Ｄを視線方向を示す方位角φとする更新を行い、
切替動画再生指示部が、旧経路の基準方向に対応する方位角Ｄold を切替前の視線方向を示す方位角φold とし、新経路の基準方向に対応する方位角Ｄnew を切替後の視線方向を示す方位角φnew とする切替動画再生指示を与えるようにしたものである。
【００１６】
(8)   本発明の第８の態様は、上述した第１〜第５の態様に係る動画提示装置において、
ユーザの指示を入力する指示入力部を更に備え、
位置方向更新部が、指示入力部に対するユーザの指示に応じて、視点位置および視線方向を更新する機能を有するようにしたものである。
【００１７】
(9)   本発明の第９の態様は、上述した第８の態様に係る動画提示装置において、
基本情報格納部が、二次元平面上に定義された経路を示すルート情報を格納しており、
位置方向更新部が、この二次元平面上の所定の基準軸に対する方位角φ（０°≦φ＜３６０°）を視線方向を示すパラメータとして用い、
指示入力部が、この二次元平面上における移動方向に対する視線方向のオフセット角θを設定する指示を入力する機能を有し、
位置方向更新部が、移動中の経路の基準方向に対応する方位角Ｄに基づいて、視線方向を示す方位角φを、φ＝Ｄ＋θなる式に基づいて決定するようにしたものである。
【００１８】
(10)  本発明の第１０の態様は、上述した第９の態様に係る動画提示装置において、
位置方向更新部が、旧経路の基準方向に対応する方位角Ｄold に基づいて、切替前の視線方向を示す方位角φold を、φold ＝Ｄold ＋θなる式に基づいて決定し、新経路の基準方向に対応する方位角Ｄnew に基づいて、切替後の視線方向を示す方位角φnew を、φnew ＝Ｄnew ＋θなる式に基づいて決定するようにしたものである。
【００１９】
(11)  本発明の第１１の態様は、上述した第９の態様に係る動画提示装置において、
位置方向更新部が、旧経路の基準方向に対応する方位角Ｄold に基づいて、切替前の視線方向を示す方位角φold を、φold ＝Ｄold ＋θなる式に基づいて決定し、新経路の基準方向に対応する方位角Ｄnew に基づいて、切替後の視線方向を示す方位角φnew を、φnew ＝Ｄnew なる式に基づいて決定するようにしたものである。
【００２０】
(12)  本発明の第１２の態様は、上述した第８〜第１１の態様に係る動画提示装置において、
位置方向更新部が、視点がノードに到達したときに、当該ノードに接続されている個々の経路を示すマーカを画面に表示させるマーカ表示指示を移動動画再生部に与える機能を有し、
移動動画再生部が、マーカ表示指示に基づいて、ノード到達時の視野画像上に個々のマーカを重畳する処理を行い、
指示入力部が、特定のマーカを選択するユーザの指示を入力する機能を有し、
位置方向更新部が、選択されたマーカに対応する経路を新経路と認識するようにしたものである。
【００２１】
(13)  本発明の第１３の態様は、上述した第６、第７、第９〜第１１の態様に係る動画提示装置において、
切替前全方位画像から切り出した方位角φで示される方向の視野画像の画素値をＱ（Ｆold （φ））、切替後全方位画像から切り出した方位角φで示される方向の視野画像の画素値をＱ（Ｆnew （φ））としたときに、
Ｇ＝（１−α）・Ｑ（Ｆold （φ））＋α・Ｑ（Ｆnew （φ））
なる式に基づいて、ブレンド画像の画素値Ｇを定義してブレンド画像を生成する処理を、方位角φをφold からφnew まで徐々に変化させながら、かつ、ブレンド比率αを０から１まで徐々に変化させながら、繰り返し実行し、生成された一連のブレンド画像を動画として出力するようにしたものである。
【００２２】
(14)  本発明の第１４の態様は、上述した第６、第７、第９〜第１１、第１３の態様に係る動画提示装置において、
移動動画再生部および切替動画再生部が、読み出した全方位画像から、方位角「φ−Δ／２」〜「φ＋Δ／２」の範囲内の視界（ただし、Δは所定の切出角度）を構成する視野画像を切り出すようにしたものである。
【００２３】
(15)  本発明の第１５の態様は、上述した第１〜第７の態様に係る動画提示装置において、
位置方向更新部が、視点位置および視線方向を、予め設定された所定の規則に基づいて自動更新するようにしたものである。
【００２４】
(16)  本発明の第１６の態様は、上述した第１〜第１５の態様に係る動画提示装置を、コンピュータに専用のプログラムを組み込むことにより構成したものである。
【００２５】
(17)  本発明の第１７の態様は、ノードを介して接続された第１の経路および第２の経路を有する場所について、第１の経路からノードを介して第２の経路へと移動する視点から見た所定の視線方向の視界を動画として提示する動画提示方法において、
コンピュータが、第１の経路に沿って撮影された第１の全方位動画に基づいて、第１の経路に沿ってノードに向かう視点から見た第１の視線方向の視界を示す第１の移動動画を再生する第１の移動動画再生段階と、
コンピュータが、視点をノードに静止させた状態において、視線方向を徐々に変化させたときに得られる視界を示す切替動画を再生する切替動画再生段階と、
コンピュータが、第２の経路に沿って撮影された第２の全方位動画に基づいて、第２の経路に沿ってノードから離れる視点から見た第２の視線方向の視界を示す第２の移動動画を再生する第２の移動動画再生段階と、
を行い、
切替動画再生段階において、第１の全方位動画の最後のフレームを構成する切替前全方位画像について、視線方向を第１の視線方向から第２の視線方向へと徐々に変化させることによって得られる第１のパン動画と、第２の全方位動画の最初のフレームを構成する切替後全方位画像について、視線方向を第１の視線方向から第２の視線方向へと徐々に変化させることによって得られる第２のパン動画とを、第２のパン動画の比率が徐々に増加するような所定比率でブレンドすることにより得られる動画を切替動画として再生するようにしたものである。
【発明の効果】
【００２６】
本発明によれば、視点がノードを介して旧経路から新経路に遷移する際に、旧経路の動画の最後のシーンから新経路の動画の最初のシーンへと、ブレンド比率が徐々に変遷してゆく切替動画が提示されることになり、しかも、当該切替動画では、旧経路の視線方向から新経路の視線方向へと徐々に変遷してゆくパン映像が提示されることになる。したがって、複数の経路を含む実在の場所について、視聴者に画像の不連続に起因した違和感を感じさせない態様で動画提示を行うことができる。
【図面の簡単な説明】
【００２７】
【図１】本発明に係る動画提示装置による提示対象となる美術館の平面図である（ハッチングは壁面を示す）。
【図２】図１に示す美術館の参観路を構成する各ノードと各経路を示す平面図である。
【図３】１本の経路Ｒに沿った撮影により得られた動画を構成する各フレームを示す動画フレームチャートである。
【図４】図３に示す動画を撮影するために利用される全方位カメラの一例を示す側面図である。
【図５】図４に示す全方位カメラを用いて撮影された歪曲円形画像の平面図である。
【図６】図５に示す歪曲円形画像に基づいて作成された矩形状のパノラマ画像（全方位画像）の一例を示す平面図である。
【図７】経路Ｒ上の地点Ｐ（ｉ）における視線方向（方位角）φ（ｉ）の定義例を示す平面図である。
【図８】図６に示すパノラマ画像（全方位画像）から、方位角φ＝９０°の視線方向に対応する視野画像Ｑ（Ｐ（ｉ），φ（ｉ））を切り出す作業を示す平面図である。
【図９】ユーザの指示を入力するコントローラの上面図である。
【図１０】本発明の基本的な実施形態に係る動画提示装置１００の構成を示すブロック図である。
【図１１】図２に示すノードと経路をＸＹ二次元座標上に表した例を示す平面図である。
【図１２】図１０に示す動画提示装置１００における基本情報格納部１２０内に格納されるルート情報ＲＴの一例を示す図である。
【図１３】図１０に示す動画提示装置１００における基本情報格納部１２０内に格納される動画データ対応情報ＭＣの一例を示す図である。
【図１４】図２に示す参観路において、ノードＮ１からノードＮ２へ到着した時点で表示される画像（図(a) ）およびノードＮ５へ向けて出発した時点で表示される画像（図(b) ）を示す平面図である。
【図１５】図１４に示す２つの視野画像ＱＡ，ＱＢを切り出す元になった切替前全方位画像Ｆoldおよび切替後全方位画像Ｆnewを示す平面図である。
【図１６】本発明における旧経路から新経路へと変遷する際の切替処理のプロセスを示すタイムチャートである。
【図１７】切替画像を生成するための第１の基本手法を示す平面図である。
【図１８】切替画像を生成するための第２の基本手法を示す平面図である。
【図１９】全方位画像Ｆold およびＦnew から、共通の視線方向である方位角φ＝９０°についての視野画像ＱＡおよびＱＢを切り出し、１：０のブレンド比率で合成してブレンド画像Ｇ（９０°）を生成する処理を示す平面図である。
【図２０】全方位画像Ｆold およびＦnew から、共通の視線方向である方位角φ＝１２０°についての視野画像ＱＣおよびＱＤを切り出し、２／３：１／３のブレンド比率で合成してブレンド画像Ｇ（１２０°）を生成する処理を示す平面図である。
【図２１】全方位画像Ｆold およびＦnew から、共通の視線方向である方位角φ＝１５０°についての視野画像ＱＥおよびＱＦを切り出し、１／３：２／３のブレンド比率で合成してブレンド画像Ｇ（１５０°）を生成する処理を示す平面図である。
【図２２】全方位画像Ｆold およびＦnew から、共通の視線方向である方位角φ＝１８０°についての視野画像ＱＹおよびＱＺを切り出し、０：１のブレンド比率で合成してブレンド画像Ｇ（１８０°）を生成する処理を示す平面図である。
【図２３】本発明における旧経路から新経路へと変遷する際の切替処理の具体的なプロセスを示すタイムチャートである。
【図２４】視線方向を移動方向に一致させる設定を行った場合の経路遷移による視線方向の変遷を示す平面図である。
【図２５】視線方向を任意に設定した場合の経路遷移による視線方向の変遷を示す平面図である。
【図２６】ノードを介した切替前後の視線方向を定める式を示す図である。
【図２７】曲線状の経路を用いた変形例を示す平面図である。
【発明を実施するための形態】
【００２８】
以下、本発明を図示する実施形態に基づいて説明する。
【００２９】
＜＜＜  §１．  動画提示の基本手法  ＞＞＞
ここでは、まず、本発明に係る動画提示装置が採用する動画提示の基本手法を説明する。本発明に係る動画提示装置は、実在の場所について、その経路に沿って移動する視点から見た視界を動画として提示する装置であり、提示対象となる場所は、屋外であっても、屋内であってもかまわない。したがって、この装置は、たとえば、様々な史跡や観光地の景色をディスプレイ画面上に提示し、ユーザ（視聴者）に、あたかも当該史跡や観光地内を自由に歩き回って見学しているような体験をさせることが可能である。以下の説明では、便宜上、図１に示すような平面図で示される間取りをもった美術館の館内を歩きまわっている状態の動画をユーザに提示する単純な例を説明する。
【００３０】
図１に示す美術館は、絵画と彫刻を展示するための実在の施設であり、図示のとおり、入口から入館した参観者は、内部の回廊を自由に歩き回りながら展示物を鑑賞し、出口から退館することができる。図１にハッチングを施した部分は、回廊の壁面を示しており、絵画は、この壁面に提示されているものとする。また、回廊の床には、適宜、彫刻が置かれているものとする。この実施形態に係る動画提示装置は、基本的には、この実在の美術館の館内を撮影した画像をユーザに提示するための装置ということになるが、ユーザが、館内を自由に歩き回りながら、視線を任意の方向に向けて観察した状態をシミュレートし、動画として提示する機能を有している。
【００３１】
ここでは、このような美術館の参観路を、複数のノードとこれらノード間を接続する経路とによって表現し、参観路全体を、各ノードと各経路の情報をもったルート情報によって表現することにする。図２は、図１に示す美術館の参観路を構成するノードと経路を示す平面図であり、個々の黒点はノード、個々の直線は経路、個々の破線は実際の参観路の輪郭を示している。図示のとおり、この例では、６個のノードＮ１〜Ｎ６と、６本の経路Ｒ１〜Ｒ６とが定義されている。各経路は、一対のノードを端点として、これら端点間を結ぶ直線として定義される。
【００３２】
参観路上のどの位置にノードを定義し、どのノード間に経路を定義するかは、装置設計者の判断に委ねられるが、一般的には、参観路の分岐点、曲がり角、始端点、終端点にノードを定義し、実際の参観路に応じて、必要なノード間に経路を定義すればよい。図示の例の場合、各経路Ｒ１〜Ｒ６はいずれも直線をなすが、実在の経路が曲線を含む場合には、ベジェ曲線などを利用して曲線からなる経路を定義してもかまわない。ただ、各経路が直線であれば、その両端点のノードを特定するだけで当該経路も特定されるので、実用上は、すべての経路を直線によって構成するのが好ましい。
【００３３】
参観路全体を示すルート情報は、個々のノードの位置を示す情報（たとえば、ＸＹ座標系上の座標値）と、一対のノード間の経路を示す情報（たとえば、「ノードＮ１，Ｎ２：経路Ｒ１」のような情報）とによって構成することができる。ルート情報の具体的な構成例については後述する。
【００３４】
このような参観路についての動画提示を行うためには、個々の経路Ｒ１〜Ｒ６に沿って移動しながら撮影した動画をそれぞれ用意しておけばよい。図３は、１本の経路Ｒに沿った撮影により得られた動画データＭを構成するフレーム群を示す動画フレームチャートである。図示の例は、一対のノードＡ，Ｂを結ぶ経路Ｒに沿って、ノードＡからノードＢに移動しながら撮影を行うことにより得られた動画のフレーム構成を示している。
【００３５】
図示のとおり、この動画データＭは、経路Ｒ上に離散的に定義された各地点Ｐ（１），Ｐ（２），... ，Ｐ（ｉ），... ，Ｐ（ｎ−１），Ｐ（ｎ）において撮影されたフレーム画像Ｆ（１），Ｆ（２），... ，Ｆ（ｉ），... ，Ｆ（ｎ−１），Ｆ（ｎ）の集合体によって構成される。ここで、地点Ｐ（１）はノードＡに一致し、地点Ｐ（ｎ）はノードＢに一致し、合計ｎ個の地点について、それぞれ固有のフレーム画像が撮影されることになる。個々のフレーム画像は静止画像であるが、これを順送りに再生することにより、動画の提示を行うことができる。各地点の間隔は、撮影装置の１秒間のフレーム数と撮影装置の移動速度によって定まる。たとえば、３０フレーム／秒の撮影装置を１５０ｍｍ／秒の速度で移動させながら撮影を行えば、各地点の間隔は５ｍｍになる。
【００３６】
ここに示す例の場合、動画撮影を行う装置として、図４に示すような撮影装置を用いている。この撮影装置は、図示のとおり、魚眼レンズ１０、ビデオカメラ２０、データ処理ユニット３０、台車４０によって構成され、３６０°の視界をもつ画像を撮影可能な全方位カメラとして機能する。図４に示すように、魚眼レンズ１０は、この装置の最上部に配置され、所定の水平面より上方に位置する半球状視界の像をビデオカメラ２０の撮像面に形成する。このような構成を採ると、ビデオカメラ２０の撮像面には、図５に示すような歪曲円形画像が結像する（ハッチングを施したドーナツ状部分とその内部の白地の円形部分との両方が、魚眼レンズ１０で撮影した歪曲円形画像になる。）。この歪曲円形画像の中心にある天頂点Ｏは、図４に示す撮影装置の鉛直上方の位置にある点（回廊の天井に相当）になり、この歪曲円形画像の外周は、図４に示す撮影装置による撮影視野（周囲３６０°の視野）の下端位置に相当する。
【００３７】
この例の場合、絵画と彫刻を展示した美術館の館内が表示対象となっているため、天頂点Ｏの近傍にある白地の円形部分の画像（回廊の天井部分の画像に相当）は利用せず、図にハッチングを施したドーナツ状の領域のみを利用することにする。図６は、図５に示す歪曲円形画像から、仰角が所定の基準値以下の領域（図にハッチングを施した領域）を切り出し、これに歪み補正を施すことにより得られる矩形状のパノラマ画像を示す平面図である。このパノラマ画像が、地点Ｐ（ｉ）で撮影された歪曲円形画像に基づいて得られた画像であるとすると、当該画像は、動画データＭの第ｉ番目のフレームＦ（ｉ）を構成することになる。このパノラマ画像の下辺に示す０°〜３６０°の方位角は、図５の歪曲円形画像の円周上に示された０°〜３６０°の方位角に対応する。すなわち、この図６に示すパノラマ画像は、図４に示す魚眼レンズ１０の位置に視点をおき、周囲３６０°を眺めた画像ということになる。
【００３８】
ビデオカメラ２０で撮影された歪曲円形画像のデータは、データ処理ユニット３０へ送られる。データ処理ユニット３０は、コンピュータによって構成され、歪曲円形画像のデータは、ハードディスク装置内に格納される。また、ここに示す例の場合、データ処理ユニット３０は、この歪曲円形画像からパノラマ画像を作成する処理を行う機能を有している。したがって、図５に示すような歪曲円形画像は、データ処理ユニット３０内で図６に示すようなパノラマ画像に変換され、ハードディスク装置内に格納される。ここに示す例の場合、このようにして得られたパノラマ画像を、動画データＭの個々のフレームを構成する全方位画像として用いることになる。
【００３９】
図５に示す歪曲円形画像が歪んだドーナツ状の画像であるのに対して、図６に示すパノラマ画像は矩形状の画像であるため、データ処理ユニット３０は、歪み補正を伴う画像変換処理を行う必要がある。このような画像変換処理は公知の技術であるため、ここでは詳しい説明は省略する。なお、通常、このような歪み補正を伴う画像変換処理を行っても、歪みを完全に除去することは困難であるので、得られるパノラマ画像にも若干の歪みが残ることになるが、実用上支障のないレベルまでの歪み補正が可能である。
【００４０】
以上、図４に示す撮影装置を経路Ｒ上の１地点に設置し、その周囲のパノラマ画像を得る手順を説明したが、この撮影装置を経路Ｒに沿って移動させながら、ビデオカメラ２０により動画撮影を行えば、図６に示すようなパノラマ画像（全方位画像）を１フレームとして、連続した複数フレームから構成される動画データＭが得られることになる。図３に示すｎ枚のフレームＦ（１）〜Ｆ（ｎ）からなる動画データＭは、このような撮影によって得られたものである。
【００４１】
もっとも、ユーザに動画を提示する際には、図６に示すパノラマ画像をそのまま１フレームの画像として表示するのは好ましくない。このパノラマ画像（全方位画像）は、周囲３６０°の全情報を含む特異な画像であり、一般的な人間の視野に入る画像とはかけ離れている。そこで、実際には、特定の視線方向を定め、当該視線方向の視野に入る一部分のみを切り出してユーザに提示する必要がある。
【００４２】
図７は、経路Ｒ上の特定地点Ｐ（ｉ）における視線方向の定義例を示す平面図である。視線方向は、地点Ｐ（ｉ）から伸びる視線ベクトルＥ（ｉ）の方向として定義される。ここに示す例の場合、経路Ｒを含む二次元平面上において、視線ベクトルＥ（ｉ）の向きを方位角φを用いて定義している。すなわち、図示の例では、地点Ｐ（ｉ）から図の上方に向かう方向を０°とし、時計回りに０°から３６０°の方位角φ（ｉ）を定義している。要するに、０°方向を向いた軸を基準軸として、視線ベクトルＥ（ｉ）のなす角φ（ｉ）（ただし、０°≦φ（ｉ）＜３６０°）が方位角として定義されることになる。
【００４３】
視線方向を示す方位角φ（ｉ）は、経路Ｒ上の第ｉ番目の地点Ｐ（ｉ）に位置する仮想ユーザが、どの方向に視線を向けているかを示すパラメータである。図示の例の場合、経路Ｒは、図における左右方向（水平方向）に伸びる直線であるので、方位角φ（ｉ）＝９０°は、ノードＢへ向かう方向を示し、方位角φ（ｉ）＝２７０°は、ノードＡへ向かう方向を示すことになる。
【００４４】
このように、仮想ユーザの現在位置を示す地点Ｐ（ｉ）と視線方向を示す方位角φ（ｉ）とが定まれば、当該仮想ユーザからみた視野画像Ｑ（Ｐ（ｉ），φ（ｉ））を抽出することができる。図８は、このような視野画像Ｑ（Ｐ（ｉ），φ（ｉ））を切り出す作業を示す平面図である。図に太線で囲って示す視野画像Ｑ（Ｐ（ｉ），φ（ｉ））は、図３に示す経路Ｒ上の地点Ｐ（ｉ）に位置する仮想ユーザが、視線を方位角φ（ｉ）＝９０°で示される方向（ノードＢに向かう方向）に向けている場合に、当該仮想ユーザの視野に現れるべき画像である。
【００４５】
このような画像を得るには、第ｉ番目のフレーム画像Ｆ（ｉ）から、方位角「φ（ｉ）−Δ／２」〜「φ（ｉ）＋Δ／２」の範囲内の視界を構成する部分を切り出す処理を行えばよい。ここで、Δは所定の切出角度であり、切り出された視野画像Ｑ（Ｐ（ｉ），φ（ｉ））の横幅に相当する角度になる。図示の例の場合、方位角φ＝９０°という設定であるため、φ＝９０°の位置を中心にして、横幅Δに相当する視野画像の切り出しが行われている。
【００４６】
図７に示す地点Ｐ（ｉ）からノードＢへ向かって移動中の仮想ユーザが、移動方向（ノードＢに向かう方向）に視線を向けている場合に、その視界に入る動画を提示するには、各フレーム画像Ｆ（ｉ），Ｆ（ｉ＋１），Ｆ（ｉ＋２），... から方位角φ＝９０°で示される視野画像を切り出し、これら視野画像を順番に（撮影順どおりに）表示させる処理を行えばよい。そうすれば、図８の太枠内に示されている景色において、方位角９０°の近傍位置に置かれている彫刻像が徐々に近づいてくる動画が提示されることになる。
【００４７】
もちろん、仮想ユーザは、必要に応じて、移動中に視線方向（方位角φ）を変えることができる。視線方向（方位角φ）に変化が生じた場合、図８に太枠で示されている切出位置が左右に動くことになる。仮想ユーザは、視線方向を移動方向に対して逆向きにすることもできる。たとえば、図７に示す地点Ｐ（ｉ）からノードＢへ向かって移動中の仮想ユーザが、方位角φ＝２７０°という設定を行うと、移動方向はノードＢに向かう方向であるのに、視線方向はノードＡに向かう方向ということになり、図８に示すようなフレーム画像から、φ＝２７０°の位置を中心にして、横幅Δに相当する視野画像の切り出しが行われる。その結果、方位角２７０°の近傍に位置するドアが徐々に遠ざかってゆく動画が提示されることになる。
【００４８】
一方、ユーザは、移動方向を任意の方向に設定することもできる。たとえば、図７に示す地点Ｐ（ｉ）に位置する仮想ユーザについて、移動方向をノードＡに向かう方向に設定し、視線方向を方位角φ＝２７０°とする設定を行った場合、図８において、方位角２７０°の近傍に位置するドアが徐々に近づいてくる動画が提示されることになる。このような動画を提示するには、各フレーム画像Ｆ（ｉ），Ｆ（ｉ−１），Ｆ（ｉ−２），... から方位角φ＝２７０°で示される視野画像を切り出し、これら視野画像を順番に（撮影順とは逆の順番に）表示させる処理を行えばよい。
【００４９】
以上、図７に示す１本の経路Ｒ（ノードＡ，Ｂ間の経路）上を仮想ユーザが移動した場合の動画提示の基本手法を説明したが、複数の経路が存在する場合も、個々の経路について同様の動画提示処理を行えばよい。たとえば、図２に示す美術館の参観路は、６本の経路Ｒ１〜Ｒ６によって構成されているが、個々の経路Ｒ１〜Ｒ６のそれぞれについて、上述の例と同様に動画撮影を行っておけば、仮想ユーザが、この参観路上のどの位置をどの方向に進み、視線をどの方向に向けていたとしても、適切な動画提示を行うことができる。
【００５０】
このように、仮想ユーザを、参観路上の所望の方向に移動させ、その視線を所望の方向に向けさせる指示入力を効率的に行うために、図９に示すようなコントローラ５０を用意しておくのが好ましい。このコントローラ５０は、コンピュータゲーム用の入力機器として利用されている一般的な装置であり、右側に５つのボタンＢ１〜Ｂ５、中央に３つのボタンＢ６〜Ｂ８、左側に１つのボタンＢ９が設けられている。ここで、図示のボタンＢ１は前進ボタン、ボタンＢ２は後退ボタン、ボタンＢ３は左向きボタン、ボタンＢ４は右向きボタン、ボタンＢ５は停止ボタンとして機能する。
【００５１】
ここで、前進ボタンＢ１は、仮想ユーザを経路上の第１の方向に移動させる動作を開始させる指示を与えるボタンとして機能し、後退ボタンＢ２は、仮想ユーザを経路上の第２の方向に移動させる動作を開始させる指示を与えるボタンとして機能し、停止ボタンＢ５は、仮想ユーザを停止させる指示を与えるボタンとして機能する。
【００５２】
たとえば、仮想ユーザが、図７に示す経路Ｒ上の地点Ｐ（ｉ）の位置に停止状態にあるときに、前進ボタンＢ１が押されると、当該仮想ユーザが、所定速度でノードＢに向けて移動してゆく動画の再生が開始する。すなわち、各フレーム画像Ｆ（ｉ），Ｆ（ｉ＋１），Ｆ（ｉ＋２），... から所定の方位角φで示される視野画像の切り出しが行われ、これら視野画像が順送り（撮影された順）で表示される。そして、停止ボタンＢ５が押された時点で、動画の再生は中止され、その時点で表示されていたフレーム画像が静止画として表示されることになる。
【００５３】
一方、仮想ユーザが、図７に示す経路Ｒ上の地点Ｐ（ｉ）の位置に停止状態にあるときに、後退ボタンＢ２が押されると、当該仮想ユーザが、所定速度でノードＡに向けて移動してゆく動画の再生が開始する。すなわち、各フレーム画像Ｆ（ｉ），Ｆ（ｉ−１），Ｆ（ｉ−２），... から所定の方位角φで示される視野画像の切り出しが行われ、これら視野画像が逆送り（撮影された順とは逆順）で表示される。そして、停止ボタンＢ５が押された時点で、動画の再生は中止され、その時点で表示されていたフレーム画像が静止画として表示されることになる。
【００５４】
また、前進ボタンＢ１を押すことにより、仮想ユーザが所定速度でノードＢに向けて移動してゆく動画の再生が行われている状態において、後退ボタンＢ２を押すと、その時点で、仮想ユーザの移動方向はノードＡに向けた方向に反転することになる。同様に、後退ボタンＢ２を押すことにより、仮想ユーザが所定速度でノードＡに向けて移動してゆく動画の再生が行われている状態において、前進ボタンＢ１を押すと、その時点で、仮想ユーザの移動方向はノードＢに向けた方向に反転することになる。
【００５５】
なお、ここでは説明の便宜上、前進ボタンＢ１，後退ボタンＢ２と呼んでいるが、仮想ユーザの視線方向は３６０°の任意の方向に向けることができるので、ここで言う「前進」あるいは「後退」とは、必ずしも「視線方向に進む」あるいは「視線方向とは逆方向に進む」という視線方向に沿った前後を示すものではなく、「経路Ｒに沿った２方向のうち、視線方向に近い方向（仮想ユーザが顔を向けている方向に近い方向）に向けて進む」ことを意味するものである。たとえば、図７に示す例の場合、視線ベクトルＥ（ｉ）は、ノードＡよりもノードＢに近い方向を向いているので、前進ボタンＢ１は、図の右方向（ノードＢに向かう方向）へ進む指示を与えることになる。
【００５６】
仮想ユーザの視線方向を変えるには、左向きボタンＢ３もしくは右向きボタンＢ４を押す操作を行えばよい。仮想ユーザが移動中であれ、停止中であれ、左向きボタンＢ３が押されている間、視線方向が所定速度で左向きに変化するように方位角φが更新され、右向きボタンＢ４が押されている間、視線方向が所定速度で右向きに変化するように方位角φが更新される。たとえば、視線方向を示す方位角φが９０°に設定されていた場合、左向きボタンＢ３が押されている間、方位角φを８９°，８８°，８７°，... と減少させる処理（０°に達した場合は、３６０°から減少させる処理）が行われ、右向きボタンＢ４が押されている間、方位角φを９１°，９２°，９３°，... と増加させる処理（３６０°に達した場合は、０°から増加させる処理）が行われる。
【００５７】
こうして、ユーザは、ボタンＢ１〜Ｂ５を操作することにより、美術館の回廊を構成する仮想空間内を自由に歩き回り、任意の方向に視線を向けることができる。そして、ディスプレイ画面上には、このユーザの指示に基づいて、仮想ユーザから見た視野画像が動画として表示されることになる。
【００５８】
この美術館の参観路は、図２に示すように、ノードを両端点とする複数の経路Ｒ１〜Ｒ６によって構成されている。そこで、本発明に係る動画提示装置では、仮想ユーザがいずれかのノード位置に到達した場合には、自動的に仮想ユーザを当該ノードで停止させ、ディスプレイ画面上に新経路を選択するためのマーカを表示させるようにしている。すなわち、ユーザに、到達ノードを始点とする新たな経路を選択させる処理を行い、ユーザが新経路の選択指示を入力したら、仮想ユーザが当該新経路へと移動する状態を示す動画再生を行うようにしている。このような方法を採ることにより、図２に示すノードＮ２やＮ５の近傍のように、分岐を含む経路が存在する場合にも、ユーザは、所望の方向へと進む指示を与えることができる。
【００５９】
＜＜＜  §２．  本発明に係る動画提示装置の基本構成  ＞＞＞
さて、§１では、本発明に係る動画提示装置が採用する動画提示の基本手法を説明した。この基本手法を用いて動画提示を行えば、ディスプレイ画面上には、たとえば、図８の太枠内に示す視野画像Ｑ（Ｐ（ｉ），φ（ｉ））のような画像が表示されることになる。しかも仮想ユーザの移動や視線向きの変更に応じた動画の提示が行われることになる。ここでは、このような動画提示を行う機能をもった動画提示装置の基本構成を説明する。
【００６０】
図１０は、本発明の基本的な実施形態に係る動画提示装置１００の構成を示すブロック図である。図示のとおり、この動画提示装置１００は、動画データ格納部１１０、基本情報格納部１２０、動画再生部１３０、再生指示部１４０、指示入力部１５０によって構成されており、ノードを介して接続された複数の経路を含む実在の場所について、所定の経路に沿って移動する視点から見た所定の視線方向の視界を動画として提示する機能を果たす。動画は、この動画提示装置１００から与えられる表示信号に基づいて、ディスプレイ装置２００の画面上に表示されることになる。
【００６１】
動画データ格納部１１０は、予め定められた撮影方向に沿って移動しながら全方位カメラを用いて撮影した動画データを、個々の経路について格納する構成要素である。図示の例では、図２に示す６つの経路Ｒ１〜Ｒ６についての動画データＭ１〜Ｍ６がそれぞれ格納されている。各動画データは、３６０°の視界をもつ全方位画像を１フレームとして、多数のフレームを時間軸に沿って並べることにより構成されている。たとえば、動画データＭ１は、図２に示すノードＮ１からＮ２まで、図４に示すような全方位カメラを経路Ｒ１に沿って移動させながら撮影することにより得られるｎ枚のフレームの集合体Ｆ（１）〜Ｆ（ｎ）によって構成されている。
【００６２】
具体的には、§１で述べたように、図４に示すような魚眼レンズもしくは全方位ミラーを装着した全方位カメラを用いて、所定の水平面より上方に位置する半球状視界を撮影して図５に示すような歪曲円形画像を取り込み、この歪曲円形画像から、仰角が所定の基準値以下の領域（図５にハッチングを施したドーナツ状の領域）を切り出し、これに歪み補正を施すことにより矩形状のパノラマ画像（図６のような全方位画像）を生成する処理を行えばよい。全方位カメラを経路に沿って移動しながら撮影することにより多数のパノラマ画像が得られたら、個々のパノラマ画像を１フレームとして、これをフレーム単位で並べることにより動画データを構成することができる。動画データ格納部１１０には、こうして得られた経路ごとの動画データを格納しておけばよい。もちろん、通常撮影用のカメラを複数台搭載した全方位カメラを用いて撮影を行い、得られた複数の画像を合成してパノラマ画像を作成するようなシステムを利用して、動画データ格納部１１０に格納する動画データを用意することも可能である。
【００６３】
基本情報格納部１２０は、図２に示すような参観路について、ルート情報ＲＴと動画データ対応情報ＭＣとを格納する構成要素である。ここで、ルート情報ＲＴは、ノードを介した各経路の接続状態および各経路の基準方向を示す情報であり、いわば図２に示すような複数の経路の幾何学的な構造を定義する情報である。このルート情報ＲＴを参照すれば、ノードＮ１，Ｎ２間には経路Ｒ１が存在し、ノードＮ２には、３つの経路Ｒ１，Ｒ２，Ｒ６が接続されており、経路Ｒ１，Ｒ２は図の水平方向に伸び、経路Ｒ６はこれに直交している、といった事項を把握することができる。
【００６４】
ここに示す実施例の場合、図２に示す参観路は、図１１に示すようなＸＹ二次元座標系上に定義される。すなわち、ノードＮ１〜Ｎ６は、この二次元座標系上の座標値（ｘ，ｙ）をもつ点で表され、経路Ｒ１〜Ｒ６は、それぞれ特定のノード間を結ぶ経路として表される。図示の例の場合、たとえば、ノードＮ１は、座標値（１０，６０）をもつ点として定義され、ノードＮ２は、座標値（３０，６０）をもつ点として定義され、経路Ｒ１は、ノードＮ１，Ｎ２を結ぶ直線として定義されている。
【００６５】
また、このＸＹ二次元座標系上には、図１１の上部に示すように、Ｙ軸正方向を０°、Ｘ軸正方向を９０°、Ｙ軸負方向を１８０°、Ｘ軸負方向を２７０°とする方位角が定義されており、任意の向きを０°〜３６０°の方位角で示すことができる。したがって、各経路の方向も、この方位角で示すことができる。ここでは、移動方向を考慮した経路の方向を当該経路の基準方向と呼ぶことにする。たとえば、図示の経路Ｒ１の場合、ノードＮ１からＮ２に向けて移動する場合の基準方向は９０°、ノードＮ２からＮ１に向けて移動する場合の基準方向は２７０°という方位角で表すことができる。
【００６６】
図１２は、図１１に示す具体的な経路についてのルート情報ＲＴを示す図である。このルート情報ＲＴは、個々のノードＮ１〜Ｎ６の位置を示す位置情報と、これらノード間を接続する経路を示す接続情報と、によって構成される。上述したとおり、ノードの位置情報は、ＸＹ二次元座標系上における座標値（ｘ，ｙ）を示す情報によって構成される。すなわち、図１２の上段に示す位置情報は、図１１の各ノードＮ１〜Ｎ６のＸＹ座標値を示している。
【００６７】
一方、経路の接続情報は、全ノード中の任意の２ノードの組み合わせについて、それぞれ相互間を接続する経路が存在するか否かを示す情報によって構成されている。たとえば、図１２の下段に示す接続情報は、横方向に６つのノードＮ１〜Ｎ６の欄が設けられ、縦方向にも６つのノードＮ１〜Ｎ６の欄が設けられ、合計３６個の要素をもつ行列に「０」または「１」なる数字が記載されている。ここで、「０」は、当該２ノードの組み合わせについて相互間を接続する経路が存在しないことを示し、「１」は、そのような経路が存在することを示している。
【００６８】
たとえば、第１行目には、「０１００００」なる数字が記載されているが、これは、ノード「Ｎ１−Ｎ２」という組み合わせについては相互間を接続する経路が存在するが、ノード「Ｎ１−Ｎ１」，「Ｎ１−Ｎ３」，「Ｎ１−Ｎ４」，「Ｎ１−Ｎ５」，「Ｎ１−Ｎ６」という組み合わせについては相互間を接続する経路が存在しないことを示している。ここで、行列の対角要素は、同一ノードの組み合わせを示しているので必ず「０」になる。図１１に示す経路における各ノードの経路を介した接続関係を参照すれば、図１２の下段に示す接続情報が、図１１の経路を示していることが容易に理解できよう。
【００６９】
このように、図１２の下段に示す接続情報の各欄における「１」は、特定の２ノードを両端点とする経路を示しており、しかも、図１２の上段に示す位置情報には、個々のノードの座標値が含まれているので、結局、ルート情報ＲＴには、各経路の基準方向を示す情報が含まれていることになる。たとえば、ノードＮ１からＮ２に向けて移動する場合の経路Ｒ１の基準方向は、座標値（１０，６０）の点から座標値（３０，６０）の点に向かう方向であるから、幾何学的に方位角９０°であることが認識できる。
【００７０】
図１０に示す基本情報格納部１２０には、この図１２に示すようなルート情報ＲＴが格納されている。結局、この例の場合、ルート情報ＲＴは、各経路の両端に位置するノードの二次元座標系上での座標値を示す位置情報を含んでおり、個々の経路の基準方向は、当該経路の両端に位置する２つのノード間を結ぶ直線の方向により定義されることになる。また、各経路の接続状態は、全ノード中の任意の２ノードの組み合わせについて、それぞれ相互間を接続する経路が存在するか否かを示す接続情報によって定義されることになる。
【００７１】
一方、基本情報格納部１２０に格納される動画データ対応情報ＭＣは、各経路に対応する動画データを示す情報である。図１３は、動画データ対応情報ＭＣの一例を示す図である。この例の場合、動画データ対応情報ＭＣは、６つの経路Ｒ１〜Ｒ６について、それぞれ動画データＭ１〜Ｍ６が対応することを示すとともに、各動画データについて、撮影方向を示す役割も果たしている。すなわち、図示の表における撮影方向欄を参照すれば、たとえば、経路Ｒ１についての動画データＭ１が、ノードＮ１からＮ２へ向かって全方位カメラを移動させながら撮影された動画であることが認識できる。この撮影方向を示す情報は、移動動画を再生する際のフレーム順を決定する際に利用される。
【００７２】
この動画データ対応情報ＭＣを参照すれば、たとえば、経路Ｒ１を移動中の動画を提示するには、動画データ格納部１１０内の動画データＭ１を再生すればよいことが認識できる。しかも、当該動画データＭ１の撮影方向が「Ｎ１→Ｎ２」であることが認識できるので、視点がノードＮ１からＮ２に向かって移動中の場合は、動画データＭ１を撮影時のフレーム順で再生すればよいことが認識でき、視点がノードＮ２からＮ１に向かって移動中の場合は、動画データＭ１を撮影時とは逆のフレーム順で再生すればよいことが認識できる。
【００７３】
なお、図１３に示す表には、説明の便宜上、経路記号「Ｒ１〜Ｒ６」を示すための「経路」欄が設けられているが、「撮影方向」欄の情報により両端のノードが特定され、その結果、経路も特定されるので、実用上は「経路」欄は省略してもかまわない。もちろん、図１２の下段に示す接続情報の欄の「１」の代わりに、対応する経路の経路記号「Ｒ１〜Ｒ６」を記載するようにすれば、図１３に示す「経路」欄に記載した経路記号「Ｒ１〜Ｒ６」によって、図１２の下段に示す接続情報上の各経路との対応づけを行うこともできる。
【００７４】
あるいは、図１２の下段に示す接続情報の欄の「１」の代わりに、対応する経路についての動画データおよび撮影方向を示す情報を直接記載するようにすれば、ルート情報ＲＴを構成する接続情報の中に動画データ対応情報ＭＣを埋め込むことができるので、図１３に示すような動画データ対応情報ＭＣを別個に用意する必要はなくなる。たとえば、図１２の下段に示す接続情報において、表の左側に垂直方向に並んだＮ１〜Ｎ６を出発ノード、表の上側に水平方向に並んだＮ１〜Ｎ６を到着ノードと定義すれば、第１行目第２列目の欄の「１」は、ノードＮ１からＮ２に向かう方向の経路Ｒ１を示し、第２行目第１列目の欄の「１」は、ノードＮ２からＮ１に向かう方向の経路Ｒ１を示すことになる。
【００７５】
そこで、図１２の下段に示す接続情報において、第１行目第２列目の欄については「Ｍ１（＋）」なる情報（動画データＭ１を撮影時のフレーム順で再生することを示す情報）を書込み、第２行目第１列目の欄については「Ｍ１（−）」なる情報（動画データＭ１を撮影時とは逆のフレーム順で再生することを示す情報）を書込むようにしておけば、当該接続情報の表は、動画データ対応情報ＭＣを含んだ表ということになる。したがって、図１３に示すような動画データ対応情報ＭＣを別個に用意しなくても、各経路に対応する動画データおよびその撮影方向を認識することができるようになる。
【００７６】
以上、基本情報格納部１２０に格納するルート情報ＲＴおよび動画データ対応情報ＭＣの具体的なデータ構造例をいくつか述べたが、もちろん、本発明を実施するにあたり、ルート情報ＲＴおよび動画データ対応情報ＭＣのデータ構造は、上述した例に限定されるものではない。
【００７７】
続いて、図１０に示す動画提示装置１００内の動画再生部１３０について説明する。動画再生部１３０は、動画データ格納部１１０に格納されている各動画データＭ１〜Ｍ６に基づいて動画再生を行う構成要素であり、基本的には、動画データ格納部１１０から、特定の動画データＭｊの特定のフレームＦ（ｉ）を読み出し、図８に示すように、この特定のフレームＦ（ｉ）から特定の視野画像Ｑ（Ｐ（ｉ），φ（ｉ））を切り出し、切り出した視野画像Ｑをディスプレイ装置２００へ提供する処理を所定周期で繰り返し実行する。たとえば、１秒間に３０回といった周期で新たな視野画像Ｑを作成して提供する処理を行えば、ディスプレイ装置２００の画面上に滑らかな動画が提示されることになる。
【００７８】
本発明に係る装置の重要な特徴は、この動画再生部１３０内に、移動動画再生部１３１と切替動画再生部１３２とが設けられている点である。ここで、移動動画再生部１３１は、特定の経路を移動中の視点からみた動画（ここでは、移動動画と呼ぶ）を提示するための構成要素であり、切替動画再生部１３２は、視点がノードを介して旧経路から新経路へ遷移するときに当該ノードに静止中の視点から見た動画（ここでは、切替動画と呼ぶ）を提示するための構成要素である。これら各構成要素の具体的な機能については後に詳述する。
【００７９】
再生指示部１４０は、視点位置および視線方向を管理しながら、基本情報格納部１２０内のルート情報ＲＴおよび動画データ対応情報ＭＣを参照して、動画再生部１３０に対して再生指示を行う構成要素であり、図示のとおり、位置方向更新部１４１、移動動画再生指示部１４２、切替動画再生指示部１４３を有している。
【００８０】
位置方向更新部１４１は、仮想ユーザ（視聴者）の経路上の視点位置および視線方向を示すデータを保持し、これを逐次更新する処理を行う構成要素である。この位置方向更新部１４１によって更新された視点位置および視線方向（現在の視点位置および視線方向）に基づいて、ディスプレイ装置２００の画面上に特定の視野画像が表示されることになる。
【００８１】
移動動画再生指示部１４２は、位置方向更新部１４１による更新によって視点が経路上を移動しているときに、移動中の視点から見た移動動画の再生指示を移動動画再生部１３１に対して与える機能を有し、切替動画再生指示部１４３は、位置方向更新部１４１による更新によって視点がノードを介して旧経路から新経路へ遷移するときに、当該ノードに静止中の視点から見た切替動画の再生指示を切替動画再生部１３２に対して与える機能を有する。移動動画再生部１３１は、移動動画再生指示部１４２から与えられる指示に基づいて移動動画の再生を行い、切替動画再生部１３２は、切替動画再生指示部１４３から与えられる指示に基づいて切替動画の再生を行う。
【００８２】
一方、指示入力部１５０は、ユーザの指示を入力する構成要素であり、具体的には、たとえば、図９に示すようなコントローラ５０と、このコントローラ５０を介してユーザの指示を受け付ける入力インターフェイスとによって構成することができる。位置方向更新部１４１は、この指示入力部１５０が入力したユーザの指示に応じて、視点位置および視線方向を更新する。
【００８３】
ここに示す実施例の場合、視点位置は、ＸＹ二次元座標系上の点の座標値Ｐ（ｘ，ｙ）によって定義され、視線方向は、ＸＹ二次元座標系上の方位角φによって定義される。したがって、位置方向更新部１４１は、視点位置を示す座標値Ｐ（ｘ，ｙ）と視線方向を示す方位角φとを格納し、これらを逐次更新する処理を行うことになる。視点位置Ｐ（ｘ，ｙ）および視線方向φの更新は、指示入力部１５０から与えられるユーザの指示と、基本情報格納部１２０内に格納されているルート情報ＲＴとに基づいて行われる。
【００８４】
たとえば、図１に示す参観路において、入口の位置を出発点として設定する場合を考えてみよう。この場合、位置方向更新部１４１には、初期視点位置として座標値Ｐ（１０，６０）、初期視線方向として方位角φ＝９０°を設定しておけばよい。このような設定は、図１１において、ノードＮ１（１０，６０）の位置を初期視点位置として、ノードＮ２へ向かう方向を初期視線方向とするものになる。
【００８５】
この状態で、ユーザが、図９に示すコントローラ５０の前進ボタンＢ１を押すと、位置方向更新部１４１は、ユーザから前進指示が与えられたことを認識し、これに応じた更新処理を行うことになる。すなわち、ルート情報ＲＴを参照すれば、現在、経路Ｒ１上に居ることがわかり、視点位置のＸ座標値を徐々に増加させれば前進できることがわかるので、現視点位置を示す座標値Ｐ（１０，６０）を、Ｐ（１１，６０），Ｐ（１２，６０），Ｐ（１３，６０），... と順次更新する処理を行うことになる。そして、視点がノードに到着すると、位置方向更新部１４１は、一旦、視点の移動を停止する。たとえば、上例の場合、視点位置が座標値Ｐ（３０，６０）になると、ノードＮ２に到達したことになるので、視点位置の更新は一旦停止する。
【００８６】
なお、ユーザは、移動中や静止中に、視線方向を変える指示を与えることも可能である。たとえば、ユーザが、図９に示すコントローラ５０の右向きボタンＢ４を押すと、位置方向更新部１４１は、ユーザから右向指示が与えられたことを認識し、これに応じた更新処理を行うことになる。すなわち、現視線方向を示す方位角φ＝９０°を、９１°，９２°，９３°，... と順次更新する処理を行うことになる。
【００８７】
さて、ここでは、図１１に示す参観路において、視線方向をφ＝９０°に固定した状態で、視点をノードＮ１からＮ２まで移動させた場合を考えてみる。この場合、位置方向更新部１４１は、視点位置をＰ（１０，６０）〜Ｐ（３０，６０）へと更新する処理を行うことになる。移動動画再生指示部１４２は、当該更新処理によって視点が経路Ｒ１上を移動していることを認識し、経路Ｒ１を移動中の視点から見た移動動画の再生指示を移動動画再生部１３１に与える。具体的には、画像データＭ１を撮影時のフレーム順で読み出し、φ＝９０°の視線方向に対応する視野領域を切り出して再生する旨の指示を与えることになる。その結果、ディスプレイ装置２００の画面上には、φ＝９０°の方向を向いてノードＮ１からノードＮ２へと移動したときの視界を示す動画が提示される。
【００８８】
なお、移動動画再生部１３１による移動動画の再生速度は、位置方向更新部１４１による視点の移動速度に同期するように調整される。したがって、ディスプレイ装置２００の画面上には、常に、各時点における視点位置Ｐから見た視界に対応する視野画像Ｑが表示されることになり、視点がノードＮ２に到着した時点では、ノードＮ２から見た視界に対応する視野画像が表示されることになる。もちろん、ユーザは、経路移動中に一時停止の指示を与えることもできる。この場合、移動動画再生部１３１は、移動動画再生指示部１４２からの指示に基づいて、動画再生を一時停止させるので、ディスプレイ装置２００の画面上には、停止した視点位置Ｐから見た視界を示す静止画が表示されることになる。
【００８９】
図１４(a) は、ノードＮ２へ到着した時点でディスプレイ装置２００の画面上に表示される視野画像ＱＡを示す平面図であり、ノードＮ２においてノードＮ３方向を見た視界を示す画像に相当する。この時点では、位置方向更新部１４１には、視点位置Ｐ（３０，６０）、視線方向φ＝９０°なる情報が格納されており、移動動画再生部１３１は、動画データＭ１の最後のフレームＦ（ｎ）を構成するパノラマ画像（全方位画像）から、図８に示すように、φ＝９０°を中心とした視野画像ＱＡを切り出し、これを提示する処理を行うことになる。なお、ここに示す例では、パノラマ画像（全方位画像）から視野画像ＱＡを切り出す際にも歪み補正を行っているため、図１４(a) に示す視野画像ＱＡは、ほぼ歪みのない正則画像になっている。
【００９０】
ここに示す実施例の場合、位置方向更新部１４１は、視点がノードに到達したときに、視点を一旦停止させるとともに、当該ノードに接続されている個々の経路を示すマーカを画面に表示させるためのマーカ表示指示を、移動動画再生部１３１に与える機能を有している。そして、移動動画再生部１３１は、このマーカ表示指示に基づいて、ノード到達時の視野画像上に個々のマーカを重畳する処理を行う機能を有している。図１４(a) の視野画像ＱＡ上には、このようにして重畳表示されたマーカｍｋ１〜ｍｋ３が示されている。
【００９１】
図１１に示すように、ノードＮ２には３本の経路が接続されており、マーカｍｋ１〜ｍｋ３は、これら各経路に対応している。すなわち、マーカｍｋ１は経路Ｒ２に対応し、マーカｍｋ２は経路Ｒ１に対応し、マーカｍｋ３は経路Ｒ６に対応している。ルート情報ＲＴを参照すれば、各ノードや各経路の幾何学的な位置関係を認識することができるので、位置方向更新部１４１は、各マーカを視野画像ＱＡ上のどの位置に表示すべきかを決めることができる。したがって、図１４(a) では、マーカｍｋ１は経路Ｒ２への進行方向（このまま直進する方向）に適した位置に表示され、マーカｍｋ２は経路Ｒ１への進行方向（これまで進んできた経路を戻る方向：この場合は、旧経路Ｒ１がそのまま新経路になる）に適した位置に表示され、マーカｍｋ２は経路Ｒ６への進行方向（ノードＮ２を右折して進む方向）に適した位置に表示されている。
【００９２】
しかも、指示入力部１５０は、特定のマーカを選択するユーザの指示を入力する機能を有しており、位置方向更新部１４１は、選択されたマーカに対応する経路を新経路と認識する機能を有している。たとえば、指示入力部１５０として、図９に示すコントローラ５０を用いた場合、上下左右のボタンＢ１〜Ｂ４を、視野画像ＱＡ上に表示された上下左右のマーカを選択するボタンに対応させておけば、いずれかのボタンが押された場合に、当該ボタンに対応するマーカが選択されたものと判断することができる。
【００９３】
ここでは、ユーザがボタンＢ４を押して、マーカｍｋ３を選択する操作を行った場合を考えてみよう。このユーザの操作は、経路Ｒ６を新経路として選択する指示ということになる。このような指示を受けて、位置方向更新部１４１は、視点を新経路Ｒ６に遷移させ、この新経路Ｒ６に沿って移動させる処理を開始する。具体的には、まず、視点位置をノードＮ２上に静止させたまま視線方向を新経路Ｒ６の基準方向に更新した上で、視点位置を新経路Ｒ６に沿ってノードＮ５に向けて移動させる処理を行う。この例の場合、新経路Ｒ６の基準方向（ノードＮ２からＮ５へ向かう場合の基準方向）は、ルート情報ＲＴを参照することにより、方位角φ＝１８０°の方向であることが認識できるので、位置方向更新部１４１は、視線方向φを、９０°から１８０°に更新することになる。
【００９４】
一方、移動動画再生指示部１４２は、経路Ｒ６が新経路として選択されたことを受けて、当該新経路Ｒ６に対応する動画データＭ６を、撮影時のフレーム順で、方位角φ＝１８０°に応じた視線方向を中心として切り出して再生すべき指示を移動動画再生部１３１に与える。かくして、ディスプレイ装置２００の画面上には、φ＝１８０°の方向を向いてノードＮ２からノードＮ５へと移動したときの視界を示す動画が提示されることになる。
【００９５】
図１４(b) は、ノードＮ２を出発した時点でディスプレイ装置２００の画面上に表示される視野画像ＱＺを示す平面図であり、ノードＮ２においてノードＮ５方向を見た視界を示す画像に相当する。この時点では、位置方向更新部１４１には、視点位置Ｐ（３０，６０）、視線方向φ＝１８０°なる情報が格納されており、移動動画再生部１３１は、動画データＭ６の最初のフレームＦ（１）を構成するパノラマ画像（全方位画像）から、φ＝１８０°を中心とした視野画像ＱＺを切り出し、これを提示する処理を行うことになる。なお、前述したとおり、パノラマ画像（全方位画像）から視野画像ＱＺを切り出す際に歪み補正を行っているため、図１４(b) に示す視野画像ＱＺも、ほぼ歪みのない正則画像になっている。
【００９６】
このように、本発明に係る動画提示装置では、視点がノードに到着した時点で、再生対象となる動画データの切替が行われる。たとえば、図１４に示す例の場合、図１４(a) に示す視野画像ＱＡは、旧経路Ｒ１に対応する動画データＭ１の最後のフレームＦ（ｎ）から切り出した画像であり、動画Ｍ１の最後のシーンであるのに対して、図１４(b) に示す視野画像ＱＺは、新経路Ｒ６に対応する動画データＭ６の最初のフレームＦ（１）から切り出した画像であり、動画Ｍ６の最初のシーンである。したがって、仮想ユーザがノードＮ２を介して旧経路Ｒ１から新経路Ｒ６へと移動するシーンを動画として提示するためには、図１４(a) に示すシーンから図１４(b) に示すシーンへの切替が必要である。
【００９７】
図１０に示す動画提示装置１００における切替動画再生部１３２は、このようなシーンの切替をスムーズに行うための切替動画を再生する構成要素であり、切替動画再生指示部１４３は、切替動画再生部１３２に対して、切替動画を再生する指示を与える構成要素である。いずれも、本発明にとって重要な構成要素であるため、その具体的な機能については、§４において詳述する。
【００９８】
以上、図１０のブロック図を参照しながら、本発明の基本的な実施形態に係る動画提示装置１００の構成を説明したが、実際には、これらの各構成要素はコンピュータおよびその周辺機器を利用して構成することができる。たとえば、動画データ格納部１１０および基本情報格納部１２０は、コンピュータ用のメモリやディスク装置などの記憶装置によって構成することができ、動画再生部１３０や再生指示部１４０は、所定のプログラムに基づいて動作するコンピュータのプロセッサや一時記憶メモリによって構成することができ、指示入力部１５０は、ユーザインターフェイスを備えたコンピュータ用の入力装置によって構成することができる。したがって、実用上は、この動画提示装置１００は、コンピュータ機器に所定のプログラムを組み込むことによって構成される。
【００９９】
＜＜＜  §３．  本発明における切替動画の役割  ＞＞＞
ここでは、図１０に示す動画提示装置１００における切替動画再生指示部１４３および切替動画再生部１３２によって提示される切替動画の役割を実例に即して説明する。
【０１００】
既に§２で述べたように、位置方向更新部１４１は、指示入力部１５０が入力したユーザの指示および基本情報格納部１２０に格納されているルート情報ＲＴに基づいて、所定の経路に沿って視点が移動するように視点位置の更新を行うとともに、必要に応じて視線方向の更新を行う。また、移動動画再生指示部１４２は、視点が経路上を移動しているときに、基本情報格納部１２０に格納されている動画データ対応情報ＭＣを参照して、移動中の経路に対応する動画データを再生対象動画データと認識し、この再生対象動画データについての移動動画再生指示を移動動画再生部に与える。この移動動画再生指示には、再生対象動画データを示す情報とともに、視点の移動方向に応じたフレーム順を示す情報と、視線方向を示す情報とが含まれている。
【０１０１】
ここで、視点の移動方向に応じたフレーム順を示す情報とは、撮影時のフレーム順か、撮影時とは逆のフレーム順か、のいずれかを示す情報である。図１３に例示したように、基本情報格納部１２０に格納されている動画データ対応情報ＭＣには、個々の経路についての撮影方向を示す情報が含まれている。したがって、移動動画再生指示部１４２は、視点の移動方向が撮影方向に対して順方向の場合は、再生対象動画データを撮影時のフレーム順で再生することを示す移動動画再生指示を与え、視点の移動方向が撮影方向に対して逆方向の場合は、再生対象動画データを撮影時とは逆のフレーム順で再生することを示す移動動画再生指示を与えることができる。
【０１０２】
一方、視線方向を示す情報は、位置方向更新部１４１によって更新された最新の視線方向を示すものであり、方位角φとして与えられる。もちろん、経路移動中にユーザの指示によって視線方向が更新された場合は、移動動画再生部１３１に与えられる移動動画再生指示内の方位角φの値も逐次更新されることになる。結局、移動動画再生指示部１４２から移動動画再生部１３１に与えられる移動動画再生指示は、特定の再生対象動画データを視点の移動方向に応じたフレーム順に、所定の視線方向に応じた切り出しを行って再生することを示す指示ということになる。
【０１０３】
図１０において、移動動画再生指示部１４２から移動動画再生部１３１へ向けた矢印に付記された「Ｍｊ（±）」および「φ」なる記号は、この移動動画再生指示に含まれる情報を示すものである。ここで、記号「Ｍｊ」は、動画データ格納部１１０内に格納されている第ｊ番目の動画データが再生対象動画データであることを示す情報であり、記号「（±）」は撮影時のフレーム順「＋」もしくは撮影時とは逆のフレーム順「−」のいずれかを示す情報であり、記号「φ」は視線方向（方位角）を示す情報である。具体例を示せば、図１１において、ノードＮ１からＮ２に向けて経路Ｒ１を視線を正面に向けて移動している場合は、「Ｍ１（＋），φ＝９０°」なる移動動画再生指示が与えられ、ノードＮ２からＮ５に向けて経路Ｒ６を視線を正面に向けて移動している場合は、「Ｍ６（＋），φ＝１８０°」なる移動動画再生指示が与えられることになる。一方、ノードＮ４からＮ５に向けて経路Ｒ４を視線を正面に向けて移動している場合は、「Ｍ４（＋），φ＝２７０°」なる移動動画再生指示が与えられ、ノードＮ５からＮ２に向けて経路Ｒ６を視線を正面に向けて移動している場合は、「Ｍ６（−），φ＝０°」なる移動動画再生指示が与えられることになる。
【０１０４】
移動動画再生部１３１は、このような移動動画再生指示に基づいて、動画データ格納部１１０に格納されている再生対象動画データＭｊの各フレームＦ（１）〜Ｆ（ｎ）を構成する全方位画像を、指示されたフレーム順に読み出し、読み出した全方位画像から、指示された所定の視線方向（方位角φ）の視界を構成する視野画像Ｑを切り出し、得られた一連の視野画像Ｑを動画として出力する処理を行う。
【０１０５】
なお、移動動画再生指示として、一時停止や一時停止解除の指示を与えることも可能である。一時停止の指示が与えられた場合には、移動動画再生部１３１は、一時停止解除の指示が与えられるまでの間、現在読出中の同一フレームから得られる視野画像Ｑを連続して出力する処理を行えばよい。また、ユーザの指示に基づいて移動速度を可変にする形態を採る場合には、移動動画再生指示に移動速度を示す情報を含ませておくようにし、移動動画再生部１３１が移動速度に応じた速度でフレームの読み出しを行うようにすればよい。
【０１０６】
このように、移動動画再生指示部１４２および移動動画再生部１３１の機能によって提示される「移動動画」とは、ある１つの経路上を移動中の視点から見た動画であるので、視点が異なる経路へと遷移した場合には、旧経路の移動動画再生から新経路の移動動画再生へと切り替える必要がある。切替動画再生指示部１４３および切替動画再生部１３２の機能によって提示される「切替動画」とは、この切替時に提示される動画である。位置方向更新部１４１は、視点がノードを介して旧経路から新経路へ遷移するときには、視点を当該ノード上で一旦静止させ、切替動画再生部１３２による切替動画の再生が完了した後に、新経路上で視点の移動を再開することになる。
【０１０７】
以下、§２で述べた実例、すなわち、図１１に示す参観路において、ノードＮ１からＮ２へと視線を正面に向けた状態（φ＝９０°）で経路Ｒ１を進み、ここで右折して、ノードＮ２からＮ５へと視線を正面に向けた状態（φ＝１８０°）で経路Ｒ６を進む例について、ノードＮ２において提示すべき具体的な切替動画の内容を説明する。
【０１０８】
上例の場合、ノードＮ２に到達した時点で、図１４(a) に示すような視野画像ＱＡが提示され、ノードＮ２を出発する時点で、図１４(b) に示すような視野画像ＱＺが提示される。ここで、視野画像ＱＡが、旧経路Ｒ１に対応する動画データＭ１の最後のフレームＦ（ｎ）から切り出した画像であるのに対して、視野画像ＱＺは、新経路Ｒ６に対応する動画データＭ６の最初のフレームＦ（１）から切り出した画像である。
【０１０９】
図１５は、図１４に示す２つの視野画像ＱＡ，ＱＺを切り出す元になったパノラマ画像（全方位画像）を示す平面図である。まず、図１５(a) は、視野画像ＱＡを切り出す元になったパノラマ画像（全方位画像）であり、旧経路Ｒ１の動画データＭ１の最後のフレームＦ（ｎ）を構成する画像である。以下、当該フレームを構成する全方位画像を切替前全方位画像Ｆold と呼ぶことにする。一方、図１５(b) は、視野画像ＱＺを切り出す元になったパノラマ画像（全方位画像）であり、新経路Ｒ６の動画データＭ６の最初のフレームＦ（１）を構成する画像である。以下、当該フレームを構成する全方位画像を切替後全方位画像Ｆnew と呼ぶことにする。
【０１１０】
なお、ここで言う「最初」や「最後」とは、移動動画の「再生時のフレーム順」に関する「最初」や「最後」を意味するものである。したがって、撮影時とは逆のフレーム順で移動動画を再生する場合には、撮影時の「最初」のフレームが再生時の「最後」のフレームになり、撮影時の「最後」のフレームが再生時の「最初」のフレームになる。
【０１１１】
結局、図１４(a) に示す視野画像ＱＡは、図１５(a) に示す切替前全方位画像Ｆold から視線方向である方位角φ＝９０°を中心として切り出した画像に相当し、図１４(b) に示す視野画像ＱＺは、図１５(b) に示す切替後全方位画像Ｆnew から視線方向である方位角φ＝１８０°を中心として切り出した画像に相当する。具体的には、図８に例示したように、読み出した全方位画像から、方位角「φ−Δ／２」〜「φ＋Δ／２」の範囲内の視界（ただし、Δは所定の切出角度）を構成する視野画像を切り出す処理が行われる。
【０１１２】
なお、ここに示す例では、パノラマ画像（全方位画像）から矩形状の視野画像を切り出す際に歪み補正を行っているため、図１４(a) ，(b) に示す視野画像ＱＡ，ＱＺ（ほぼ歪みのない正則な矩形画像）は、図１５(a) ，(b) に示す切出対象領域内の画像（厳密に言えば、矩形画像ではない）と若干異なるが、以下の説明では、便宜上、切替前全方位画像Ｆold および切替後全方位画像Ｆnew 上の切出対象領域内の画像も、視野画像ＱＡ，ＱＺと呼ぶことにする。もちろん、パノラマ画像（全方位画像）から切り出した画像の歪みが、実用上問題のない程度であれば、歪み補正を省略し、切り出した画像をそのまま視野画像として提示してもかまわない。あるいは、必要に応じて、切出対象領域の大きさを任意に設定することにより、視野画像の倍率を可変にすることも可能である。
【０１１３】
図１５(a) に示すように、視野画像ＱＡは、切替前全方位画像Ｆold から方位角φ＝９０°に視線を向けた視界を切り出した画像であるのに対して、図１５(b) に示すように、視野画像ＱＺは、切替後全方位画像Ｆnew から方位角φ＝１８０°に視線を向けた視界を切り出した画像になっている。したがって、ユーザが、指示入力部１５０に対して、ノードＮ２を右折する指示（新経路として、経路Ｒ６を選択する指示）を行ったときに、図１５(a) （図１４(a) ）に示す視野画像ＱＡから、図１５(b) （図１４(b) ）に示す視野画像ＱＺに急に切り替わってしまうと、視聴者に画像の不連続に起因した違和感を感じさせてしまうことになる。
【０１１４】
本発明では、このような違和感を緩和するための切替処理が行われる。図１６は、このような切替処理のプロセスを示すタイムチャートである。図のｔ軸は左から右へと流れる時間を示す時間軸であり、この時間軸ｔ上の点ｔ１は視点がノードＮ２に到着した時点を示し、点ｔ２は視点がノードＮ２を出発した時点を示す。ここでは、時点ｔ１〜ｔ２の間の期間を切替期間Ｔと呼ぶことにする。一方、図のＰ軸は参観路上の位置を示す位置軸であり、Ｒ１と記された区間は経路Ｒ１上の位置（左がノードＮ１側）を示し、Ｒ６と記された区間は経路Ｒ６上の位置（右がノードＮ５側）を示し、Ｎ２と記された区間はノードＮ２に留まっていることを示している。
【０１１５】
結局、このチャートは、ノードＮ１から移動してきた視点が時点ｔ１でノードＮ２に到着し、切替期間Ｔの間、ノードＮ２に留まり、時点ｔ２でノードＮ２を出発して、ノードＮ５へ向かった、という事項を示していることになる。
【０１１６】
このチャートの上段に示す矩形の升目は、各時点で移動動画再生部１３１によって読み出される動画データの個々のフレームを示している。たとえば、視点がノードＮ２に到達するまでは、動画データＭ１の最後直前のフレームＦ（ｎ−２），Ｆ（ｎ−１）が読み出され、時点ｔ１でノードＮ２に到達すると、最後のフレームＦ（ｎ）が読み出される。移動動画再生部１３１は、こうして読み出された各フレーム（全方位画像）から、方位角φ＝９０°の視線方向に対応する視野画像を切り出して提示することになる。一方、視点がノードＮ２を出発する際には、動画データＭ６のフレームＦ（１），Ｆ（２），Ｆ（３）が読み出され、移動動画再生部１３１は、こうして読み出された各フレーム（全方位画像）から、方位角φ＝１８０°の視線方向に対応する視野画像を切り出して提示することになる。
【０１１７】
前述したとおり、このタイムチャートにおける動画データＭ１の最後のフレームＦ（ｎ）は、切替前全方位画像Ｆold を構成するフレームであり、図１５(a) に示すように、このフレームから視野画像ＱＡが切り出されることになる。同様に、動画データＭ６の最初のフレームＦ（１）は、切替後全方位画像Ｆnew を構成するフレームであり、図１５(b) に示すように、このフレームから視野画像ＱＺが切り出されることになる。切替動画再生指示部１４３および切替動画再生部１３２によって提示される切替動画は、切替期間Ｔにおいて、視野画像ＱＡから視野画像ＱＺへのスムーズな切替を行うために提示される動画である。
【０１１８】
本発明における切替動画の主たる役割は、旧経路から新経路へと変遷する際に視線方向のスムーズな切替を視聴者に認識させることである。図１５(a) に示す視野画像ＱＡは方位角φ＝９０°の視線方向を切り出した画像であるのに対して、図１５(b) に示す視野画像ＱＺは方位角φ＝１８０°の視線方向を切り出した画像であるため、視野画像ＱＡから視野画像ＱＺへ急な切替を行ってしまうと、ユーザの方向感覚を惑わすことになる。そこで、本発明では、切替動画として、旧経路の視線方向から新経路の視線方向へと徐々に変遷してゆくパン映像を提示することにする。上例の場合、視点位置をノードＮ２に静止させた状態にして、視線方向を方位角φ＝９０°から１８０°まで徐々に変化させることにより切り出される中間的な視野画像ＱＢ，ＱＣ，ＱＤ，... を生成し、これら中間的な視野画像を視野画像ＱＡとＱＺとの間に挿入することにより切替動画を生成すればよい。
【０１１９】
＜＜＜  §４．  本発明における切替動画の特徴  ＞＞＞
§３で述べたように、視線方向のスムーズな切替を視聴者に認識させる役割を担う切替動画を生成するには、いくつかの具体的な手法を採ることができる。図１７は、その第１の基本手法を示す平面図である。ここで、図１７(a) は切替前全方位画像Ｆold を示し、図１７(b) は切替後全方位画像Ｆnew を示している。まず、切替動画を構成する最初の画像として、図１７(a) に示すような視野画像ＱＡ（図１５(a) に示す視野画像ＱＡと同じ）を提示する。次に、切替動画の２番目の画像として、図１７(b) に示すような視野画像ＱＢを提示する。ここで、視野画像ＱＡも視野画像ＱＢも、方位角φ＝９０°に基づく切り出しを行って得られる画像である点は共通するが、視野画像ＱＡが切替前全方位画像Ｆold から切り出された画像であるのに対して、視野画像ＱＢが切替後全方位画像Ｆnew から切り出された画像である点が異なる。
【０１２０】
続いて、切替動画の３番目の画像として、切替後全方位画像Ｆnew から方位角φ＝９１°に基づく切り出しを行って得られる視野画像ＱＣを提示し、切替動画の４番目の画像として、切替後全方位画像Ｆnew から方位角φ＝９２°に基づく切り出しを行って得られる視野画像ＱＤを提示し、... というように、方位角φを９０°から１８０°に向けて徐々に変化させながら、切替後全方位画像Ｆnew から切り出した視野画像を順次提示してゆく。そして、最後に、図１５(b) に示す視野画像ＱＺ（φ＝１８０°で切り出した画像）を提示する。要するに、この第１の基本手法は、まず、図１７(a) に示す視野画像ＱＡを図１７(b) に示す視野画像ＱＢに切り替え、続いて、図１７(b) に示す視野画像ＱＢの切出枠を徐々に右へと移動させてゆき、最終的に、図１５(b) に示す視野画像ＱＺの位置までもってゆく手法ということができる。
【０１２１】
一方、図１８は、第２の基本手法を示す平面図である。ここで、図１８(a) は切替前全方位画像Ｆold を示し、図１８(b) は切替後全方位画像Ｆnew を示している。この手法では、まず、切替動画を構成する最初の画像として、図１５(a) に示す視野画像ＱＡを提示する。次に、切替動画の２番目の画像として、図１５(a) に示す切替前全方位画像Ｆold から方位角φ＝９１°に基づく切り出しを行って得られる視野画像ＱＢを提示し、切替動画の３番目の画像として、切替前全方位画像Ｆold から方位角φ＝９２°に基づく切り出しを行って得られる視野画像ＱＣを提示し、... というように、方位角φを９０°から１８０°に向けて徐々に変化させながら、切替前全方位画像Ｆold から切り出した視野画像を順次提示してゆき、図１８(a) に示すように、切替前全方位画像Ｆold をから方位角φ＝１８０°に基づく切り出しを行って得られる視野画像ＱＹを提示する。
【０１２２】
そして、最後に、図１８(b) に示す視野画像ＱＺ（図１５(b) に示す視野画像ＱＺと同じ）を提示する。ここで、視野画像ＱＹも視野画像ＱＺも、方位角φ＝１８０°に基づく切り出しを行って得られる画像である点は共通するが、視野画像ＱＹが切替前全方位画像Ｆold から切り出された画像であるのに対して、視野画像ＱＺが切替後全方位画像Ｆnew から切り出された画像である点が異なる。要するに、この第２の基本手法は、図１５(a) に示す視野画像ＱＡの切出枠を徐々に右へと移動させてゆき、最終的に、図１８(a) に示す視野画像ＱＹの位置までもってゆき、最後に図１８(b) に示す視野画像ＱＺに切り替える手法ということができる。
【０１２３】
上述した２通りの手法は、いずれも「視線方向のスムーズな切替」という効果をもった切替動画を生成できるので、視線方向の不連続性に起因してユーザが抱く違和感を取り除くことは可能である。しかしながら、本発明では、この２通りの手法のいずれも採用しない。なぜなら、これらの手法では、位置ずれや輝度変動といった不連続性に起因してユーザが抱く違和感を取り除くことができないからである。まず、その理由を以下に説明しよう。
【０１２４】
上述した第１の手法の場合、図１７(a) に示す視野画像ＱＡに続いて、図１７(b) に示す視野画像ＱＢが提示されることになる。ここで、図１７(a) に示す切替前全方位画像Ｆold も図１７(b) に示す切替後全方位画像Ｆnew も、同じノードＮ２の位置で撮影された全方位画像であるため、本来は、全く同一の画像になるべきものであり、実際、図においても同一の画像が示されている。しかしながら、実際には、両画像は同一にはならず、相互に微妙な位置ずれや輝度ずれが生じてしまう。これは、各経路の動画データが、実在の場所において、それぞれ別個の撮影作業によって得られるためである。
【０１２５】
たとえば、図２に示す参観路についての動画データを撮影する場合、通常、経路Ｒ１〜Ｒ６についての撮影が別個の撮影作業として行われる。もちろん、撮影作業を工夫して、ノードＮ１からノードＮ２を経てノードＮ３に至る経路を１回の作業で撮影し、得られた一連の撮影データに基づいて動画データＭ１とＭ２とを作成するような方法を採れば、動画データＭ１の最後のフレームを構成する全方位画像と動画データＭ２の最初のフレームを構成する全方位画像とを完全に一致させることは可能である。
【０１２６】
しかしながら、実際には、撮影対象となる経路上から一般通行人を排除するなどの準備作業も必要になるため、すべての経路を１回の作業で撮影することは困難である。このため、実用上は、複数の撮影作業に分けて個々の動画データを作成せざるを得ない（理論的には、一筆書きでトレースできない限り、全経路を１回の作業で撮影することはできない）。
【０１２７】
しかも、撮影対象となる経路上に撮影用のレールを敷設するなどの方法を採らない限り（一般的な施設の場合、このようなレールの敷設は困難である）、同一のノード位置で撮影したつもりの全方位画像であっても、微妙な位置ずれが生じることは避けられない。また、撮影時間も異なるため、照明環境にも差が生じることになり（特に、屋外での撮影の場合は、差が顕著になる）、輝度ずれが生じることも避けられない。このように、実在の施設や場所を対象として、全方位カメラによる撮影を行うという手法を採る以上、同一ノードでの撮影結果に差が生じることは避けられず、幾何学的な位置ずれが生じたり、照明環境の変動が生じたりすることになる。
【０１２８】
上例の場合、図１７(a) に示す切替前全方位画像Ｆold は、動画データＭ１の撮影時に得られた画像であり、図１７(b) に示す切替後全方位画像Ｆnew は、動画データＭ６の撮影時に得られた画像であるから、同じノードＮ２の位置で撮影された全方位画像であったとしても、相互に位置ずれや輝度ずれが生じていることになる。したがって、切替動画として、視野画像ＱＡに続いて視野画像ＱＢを提示すると、位置ずれや輝度変動といった画像の不連続が生じ、見ている視聴者に違和感を与えることになる。
【０１２９】
このような事情は、上述した第２の手法の場合も同様である。すなわち、図１８(a) に示す切替前全方位画像Ｆold と図１８(b) に示す切替後全方位画像Ｆnew とは、相互に位置ずれや輝度ずれが生じているため、切替動画として、視野画像ＱＹに続いて視野画像ＱＺを提示すると、位置ずれや輝度変動といった画像の不連続が生じ、見ている視聴者に違和感を与えることになる。
【０１３０】
このような問題は、ＣＧの手法を利用して仮想の動画データを作成する場合には決して生じない問題であり、実在の施設や場所を撮影対象とする場合に固有の問題というべきものである。
【０１３１】
本発明で提示される切替動画によれば、旧経路について撮影された動画データから、新経路について撮影された動画データへのスムーズな切替が可能になる。そのために、本発明では、切替前全方位画像Ｆold から切り出した視野画像と切替後全方位画像Ｆnew から切り出した視野画像とを所定のブレンド比率で合成したブレンド画像を生成する処理を行い、生成された一連のブレンド画像を切替動画として出力するという手法を採る。このとき、切替前全方位画像Ｆold と切替後全方位画像Ｆnew とについて共通視線方向を設定するようにし、同一の視線方向について切り出した視野画像について合成を行うようにする。
【０１３２】
たとえば、図１９(a) および(b) は、切替前全方位画像Ｆold および切替後全方位画像Ｆnew から、共通の視線方向である方位角φ＝９０°についての視野画像ＱＡおよびＱＢを切り出し、両者を１：０の比率で合成してブレンド画像Ｇ（９０°）を生成する処理を示す平面図である。画像ＱＢの比率は０であるため、実質的には、ブレンド画像Ｇ（９０°）は視野画像ＱＡと同じ画像になる。
【０１３３】
同様に、図２０(a) および(b) は、画像Ｆold ，Ｆnew から、共通の方位角φ＝１２０°についての視野画像ＱＣ，ＱＤを切り出し、両者を２／３：１／３の比率で合成してブレンド画像Ｇ（１２０°）を生成する処理を示す平面図であり、図２１(a) および(b) は、画像Ｆold ，Ｆnew から、共通の方位角φ＝１５０°についての視野画像ＱＥ，ＱＦを切り出し、両者を１／３：２／３の比率で合成してブレンド画像Ｇ（１５０°）を生成する処理を示す平面図である。そして、図２２(a) および(b) は、画像Ｆold ，Ｆnew から、共通の方位角φ＝１８０°についての視野画像ＱＹ，ＱＺを切り出し、両者を０：１の比率で合成してブレンド画像Ｇ（１８０°）を生成する処理を示す平面図である。画像ＱＹの比率は０であるため、実質的には、ブレンド画像Ｇ（１８０°）は視野画像ＱＺと同じ画像になる。
【０１３４】
ここでは、説明の便宜上、方位角φの刻み幅を３０°に設定し、４通りのブレンド画像Ｇ（９０°），Ｇ（１２０°），Ｇ（１５０°），Ｇ（１８０°）を生成する例を示したが、実際には、方位角φの刻み幅をより細かくすれば、視線方向のスムーズな切替を表現した切替動画の提示が可能になる。たとえば、方位角φの刻み幅を１°に設定すれば、共通視線方向は、切替前の視線方向φ＝９０°から切替後の視線方向φ＝１８０°まで、１°単位で徐々に変化することになり、ブレンド画像Ｇ（９０°），Ｇ（９１°），Ｇ（９２°），... ，Ｇ（１７９°），Ｇ（１８０°）によって構成される切替画像が提示されることになる。
【０１３５】
しかも、ブレンド画像を生成する処理において、切替後全方位画像Ｆnew から切り出した視野画像が占める割合をブレンド比率αと定義し、このブレンド比率αが０〜１へと徐々に増加するようにすれば、旧経路についての動画データから、新経路についての動画データへのスムーズな切替も同時に行われることになる。これが本発明における切替処理の基本原理である。
【０１３６】
図２３は、このような切替処理の具体的なプロセスを示すタイムチャートである。図１６に示すチャートと同様に、ｔ軸およびＰ軸は、時間軸ｔおよび位置軸Ｐであり、チャートの上段に示す矩形の升目は、各時点で移動動画再生部１３１もしくは切替動画再生部１３２によって読み出される動画データの個々のフレームを示している。このチャートも、ノードＮ１から移動してきた視点が時点ｔ１でノードＮ２に到着し、切替期間Ｔの間、ノードＮ２に留まり、時点ｔ２でノードＮ２を出発して、ノードＮ５へ向かった場合の例であるが、切替期間Ｔの間に提示される切替動画の生成プロセスがより詳細に示されている。
【０１３７】
チャート上段には、２行に渡って動画データを構成するフレームの升目が描かれている。ここで、１行目の升目は、旧経路Ｒ１についての動画データＭ１を構成するフレームを示し、２行目の升目は、新経路Ｒ６についての動画データＭ６を構成するフレームを示している。動画データＭ１，Ｍ６を構成するフレームは、切替期間Ｔにおいて重複しており、上述したように、２つの視野画像を合成してブレンド画像を生成する処理が行われることになる。
【０１３８】
すなわち、切替期間Ｔに着目すると、１行目の升目は、いずれも旧経路Ｒ１についての動画データＭ１を構成する最後のフレームＦ（ｎ）、すなわち、切替前全方位画像Ｆold であり、２行目の升目は、いずれも新経路Ｒ６についての動画データＭ６を構成する最初のフレームＦ（１）、すなわち、切替後全方位画像Ｆnew である。また、これら升目の上部にはブレンド比率αの値が記載されており、これら升目の下部には共通の視線方向（方位角φ）の値が記載されており、更にその下には、合成処理により生成されるブレンド画像の記号Ｇ（９０°），Ｇ（９１°），... が示されている。
【０１３９】
ここに示す例は、方位角φの刻み幅を１°に設定したものであり、切替期間Ｔの間に、方位角φは９０°〜１８０°まで１°単位で徐々に増加することになり、合計９１通りのブレンド画像Ｇ（９０°），Ｇ（９１°），Ｇ（９２°），... ，Ｇ（１７９°），Ｇ（１８０°）によって切替画像が構成されることになる。しかも、ブレンド比率αは、０〜１まで徐々に増加してゆくので、ブレンド画像Ｇにおける画像Ｆold の成分に対する画像Ｆnew の成分の比率は、徐々に増加してゆくことになる。
【０１４０】
図２３の下段に示す式
Ｇ＝（１−α）・Ｑ（Ｆold （φ））＋α・Ｑ（Ｆnew （φ））
は、切替前全方位画像Ｆold から切り出した方位角φで示される方向の視野画像の画素値をＱ（Ｆold （φ））、切替後全方位画像Ｆnew から切り出した方位角φで示される方向の視野画像の画素値をＱ（Ｆnew （φ））、ブレンド比率をα（０≦α≦１）としたときに、ブレンド画像の画素値Ｇを求める式である。各視野画像の対応位置にある画素の画素値について、上記式を適用して画素値を求める演算を行えば（カラー画像の場合は、個々の原色ごとに演算を行えば）、ブレンド画像Ｇを得ることができる。
【０１４１】
このようにして、ブレンド画像Ｇを生成する処理を、方位角φをφold からφnew まで徐々に変化させながら（上例の場合は、９０°から１８０°まで１°刻みで変化させながら）、かつ、ブレンド比率αを０から１まで徐々に変化させながら、繰り返し実行し、生成された一連のブレンド画像Ｇ（９０°）〜Ｇ（１８０°）を動画として出力すれば、切替動画の提示が可能になる。
【０１４２】
結局、図１０に示す動画提示装置１００における位置方向更新部１４１は、視点がノードを介して旧経路から新経路へ遷移するときに、新経路の基準方向を参照することにより切替後の視線方向φnew を定め、切替前の視線方向φold から切替後の視線方向φnew へと、視線方向を示す方位角φを徐々に更新する処理を行う。一方、切替動画再生指示部１４３は、動画データ対応情報ＭＣを参照して、旧経路の動画から新経路の動画に、切替前の視線方向φold から切替後の視線方向φnew への変化を伴う切替が行われるような切替動画再生指示を切替動画再生部１３２に与える処理を行うことになる。
【０１４３】
図１０において、切替動画再生指示部１４３から切替動画再生部１３２へ向けた矢印に付記された「Ｆold 」，「Ｆnew 」，「φold →φnew 」なる記号は、この切替動画再生指示に含まれる情報を示している。すなわち、「Ｆold 」，「Ｆnew 」なる記号は、切替前全方位画像Ｆold および切替後全方位画像Ｆnew を特定するための情報を示すものである。具体的には、上例の場合、切替前全方位画像Ｆold を特定する情報とは「動画データＲ１の最後のフレームＦ（ｎ）」を示す情報であり、切替後全方位画像Ｆnew を特定する情報とは「動画データＲ６の最初のフレームＦ（１）」を示す情報ということになる。また、「φold →φnew 」なる記号は、切替動画再生部１３２に対して、切替前の視線方向φold から切替後の視線方向φnew へと徐々に変化してゆく方位角φの値が与えられることを示している。
【０１４４】
切替動画再生部１３２は、このような切替動画再生指示に基づいて、動画データ格納部１１０に格納されている動画データの中から、切替前全方位画像Ｆold および切替後全方位画像Ｆnew を読み出し、上述したような手順により一連のブレンド画像を生成し、これを切替動画として出力する処理を行うことになる。ここで、切替前全方位画像Ｆold として読み出されるフレームは、結局、旧経路の動画データの移動動画再生時のフレーム順における最後のフレーム（上例の場合、旧経路Ｒ１の動画データＭ１の最後のフレームＦ（ｎ））ということになり、切替後全方位画像Ｆnew として読み出されるフレームは、結局、新経路の動画データの移動動画再生時のフレーム順における最初のフレーム（上例の場合、新経路Ｒ６の動画データＭ６の最初のフレームＦ（１））ということになる。
【０１４５】
ブレンド画像の生成は、既に述べたとおり、読み出した２つの全方位画像Ｆold ，Ｆnew から、共通視線方向（共通の方位角φ）の視界を構成する視野画像をそれぞれ切り出し、切り出した２つの視野画像を所定のブレンド比率αで合成することにより行われる。しかも、このようなブレンド画像の生成処理は、共通視線方向（方位角φ）を切替前の視線方向φold から切替後の視線方向φnew まで徐々に変化させながら、かつ、切替後全方位画像Ｆnew から切り出した視野画像の比率が徐々に増加するように変化させながら、繰り返し実行され、生成された一連のブレンド画像が動画として出力されることになる。
【０１４６】
結局、本発明を、ある１つのノードを介して接続された第１の経路および第２の経路を有する場所について、第１の経路から当該ノードを介して第２の経路へと移動する視点から見た所定の視線方向の視界を動画として提示する動画提示方法として捉えると、本発明に係る動画提示方法は、次のような各段階によって構成されることになる。
【０１４７】
（１）コンピュータが、第１の経路に沿って撮影された第１の全方位動画に基づいて、第１の経路に沿ってノードに向かう視点から見た第１の視線方向φold の視界を示す第１の移動動画を再生する第１の移動動画再生段階。
【０１４８】
（２）コンピュータが、視点をノードに静止させた状態において、視線方向を徐々に変化させたときに得られる視界を示す切替動画を再生する切替動画再生段階。
【０１４９】
（３）コンピュータが、第２の経路に沿って撮影された第２の全方位動画に基づいて、第２の経路に沿ってノードから離れる視点から見た第２の視線方向φnew の視界を示す第２の移動動画を再生する第２の移動動画再生段階。
【０１５０】
ここで、切替動画再生段階では、第１の全方位動画の最後のフレームを構成する切替前全方位画像Ｆold について、視線方向を第１の視線方向φold から第２の視線方向φnew へと徐々に変化させることによって得られる第１のパン動画と、第２の全方位動画の最初のフレームを構成する切替後全方位画像Ｆnew について、視線方向を第１の視線方向φold から第２の視線方向φnew へと徐々に変化させることによって得られる第２のパン動画とを、第２のパン動画の比率が徐々に増加するような所定比率でブレンドすることにより得られる動画を切替動画として再生する処理が行われる。
【０１５１】
このように本発明によれば、視点がノードを介して旧経路から新経路に遷移する際に、旧経路の視線方向から新経路の視線方向へと徐々に変遷してゆくパン映像が切替動画として提示され、しかも旧経路の動画と新経路の動画とをブレンドした画像が、ブレンド比率を徐々に変えながら提示されることになる。したがって、旧経路の動画と新経路の動画との間に、位置ずれや輝度変動が生じていたとしても、視聴者に画像の不連続に起因した違和感を感じさせない態様で動画提示を行うことができるようになる。
【０１５２】
＜＜＜  §５．  本発明の変形例  ＞＞＞
これまで、図１０に示すブロック図を参照しながら、本発明に係る動画提示装置の基本的な実施形態を述べてきた。しかしながら、本発明はこの基本的な実施形態に限定されるものではなく、この他にも種々の態様で実施可能である。そこで、ここでは、本発明に係る動画提示装置のいくつかの変形例を述べておく。
【０１５３】
＜５−１：視線方向の設定に関する変形例＞
これまで述べてきた実施形態では、仮想ユーザが視線を常に正面（移動方向）に向けて経路上を移動するという前提で説明を行った。たとえば、図１１に示す参観路において、視点がノードＮ１からノードＮ２へ向かって経路Ｒ１を移動している場合の視線方向は方位角φ＝９０°の方向とし、視点がノードＮ２からノードＮ５へ向かって経路Ｒ６を移動している場合の視線方向は方位角φ＝１８０°の方向とする例を述べ、ノードＮ２で提示する切替画像として、切替前の視線方向φold ＝９０°から切替後の視線方向φnew ＝１８０°へと徐々に変化するパン映像を提示する例を説明した。
【０１５４】
図２４は、このように、視線方向を移動方向に一致させる設定を行った場合の経路遷移による視線方向の変遷を示す平面図である。ここでは、経路Ｒ１からノードＮを経て経路Ｒ２へと遷移する例が示されている。この場合、経路Ｒ１を移動中には移動動画Ｍ１が提示され、ノードＮで一時停止中には切替動画Ｍｔが提示され、経路Ｒ２を移動中には移動動画Ｍ２が提示される。図の破線の矢印は、各経路の基準方向（すなわち、視点の移動方向）を示している。たとえば、Ｄold は経路Ｒ１をノードＮに向かって移動する場合の基準方向を示し、Ｄnew は経路Ｒ２をノードＮから離れる方向に移動する場合の基準方向を示す。
【０１５５】
視線方向を常に移動方向に一致させる設定では、経路Ｒ１を移動中の視線方向は基準方向Ｄold に一致し、経路Ｒ２を移動中の視線方向は基準方向Ｄnew に一致する。したがって、移動動画Ｍ１は基準方向Ｄold を視線方向として切り出しを行った一連の視野画像によって構成すればよいし、移動動画Ｍ２は基準方向Ｄnew を視線方向として切り出しを行った一連の視野画像によって構成すればよい。要するに、図１０に示す位置方向更新部１４１は、常に、移動中の経路の基準方向に対応する方位角Ｄを視線方向を示す方位角φとする更新を行えばよい。
【０１５６】
また、ノードＮでは、切替動画Ｍｔを提示することになるが、図１０に示す位置方向更新部１４１は、旧経路Ｒ１の基準方向に対応する方位角Ｄold を切替前の視線方向を示す方位角φold とし、新経路Ｒ２の基準方向に対応する方位角Ｄnew を切替後の視線方向を示す方位角φnew として、方位角φをφold からφnew へと徐々に変化させる更新処理を行えばよい。そうすれば、ノードＮにおいて、方位角Ｄold の視界から方位角Ｄnew の視界へと徐々に変化するパン映像が切替動画として提示されることになる。
【０１５７】
このように、視線方向を常に移動方向に一致させる設定を行えば、仮想ユーザが常に正面を向いて移動してゆく状態が動画として提示されるので、一般的な用途であれば十分に利用可能である。しかしながら、ユーザに対してより自由度の高い見学体験を提供するには、ユーザの意思に応じて視線方向を自由に設定できるようにするのが好ましい。特に、上述したような美術館の参観路や史跡の参観路の見学体験を与える装置の場合、ユーザは興味のある特定の方向に視線を向けて注視したいと考えるであろう。
【０１５８】
図１０に示す動画提示装置は、§２で述べたとおり、ユーザの指示に応じて視線方向を任意に設定する機能を有している。すなわち、位置方向更新部１４１は、現時点の視線方向を示す情報を方位角φのデータとして保持しており、この方位角φのデータは、ノードにおいて切替動画を提示する際に更新されるが、ユーザの指示に応じて、視線方向を任意の方向に設定する際にも更新されることになる。§２では、図９に示すコントローラ５０の左向きボタンＢ３もしくは右向きボタンＢ４を押す操作により、ユーザが視線方向を自由に変える例を述べた。
【０１５９】
ここでは、経路が定義された二次元平面上において、移動方向と視線方向とのなす角をオフセット角θ（−１８０°＜θ≦＋１８０°）と呼ぶことにする。指示入力部１５０に、オフセット角θを設定する指示を入力する機能をもたせておけば、ユーザは視線方向を任意に設定することが可能になる。
【０１６０】
たとえば、図９に示すコントローラ５０の場合、左向きボタンＢ３はオフセット角θを減少させる指示、右向きボタンＢ４はオフセット角θを増加させる指示を与えるボタンとして機能させればよい（θが−１８０°より小さくなる場合は３６０°を加え、θが＋１８０°より大きくなる場合は３６０°を減じるようにすればよい）。位置方向更新部１４１は、このオフセット角θの値を保持し、指示入力部１５０（コントローラ５０）からの指示に応じて、これを逐次更新する処理を行うようにする。
【０１６１】
この場合、視線方向を示す方位角φは、移動中の経路の基準方向を示す方位角をＤとすれば、φ＝Ｄ＋θなる式で与えられるので、位置方向更新部１４１は、現在移動中の経路の基準方向を示す方位角Ｄとオフセット角θとに基づいて、視線方向を示す方位角φを求めることができる。結局、移動動画再生指示部１４２は、φ＝Ｄ＋θなる式に基づいて設定された方位角φの情報を含む移動動画再生指示を移動動画再生部１３１に与えることになる。図２４に示す例は、オフセット角θを、常に０°に固定した例ということができる。
【０１６２】
図２５は、視線方向を任意に設定した場合の経路遷移による視線方向の変遷を示す平面図である。この図２５に示す例は、図２４に示す例と同様に、経路Ｒ１からノードＮを経て経路Ｒ２へと遷移する例であるが、視線方向は移動方向に一致していない。ここでは、経路Ｒ１を移動中に、ユーザが所望のオフセット角θ（図示の例の場合、θ＝＋３０°）を設定した場合を考えてみよう。この場合、視線方向は移動方向に対して斜め右方向ということになり、仮想ユーザが顔をやや右に向けて経路Ｒ１を前進している状態に相当する。
【０１６３】
いま、図示のとおり、視点が旧経路Ｒ１上の所定位置Ｐ１にある場合の視線方向を考えると、視線方向を示す方位角φold は、旧経路Ｒ１の基準方向に対応する方位角をＤold として、φold ＝Ｄold ＋θで表される。したがって、移動動画再生部１３１は、視点が旧経路Ｒ１を移動中に、この方位角φold によって示される視線方向の視野画像を切り出すことになり、ユーザに対しては、ノードＮに向かってやや右向きの視界を示す移動動画Ｍ１が提示される。
【０１６４】
ここで、仮想ユーザ（視点）が、オフセット角θを一定に維持したままノードＮに到達したものとしよう。ノードＮでは、切替動画Ｍｔの提示が行われるが、このとき、位置方向更新部１４１は、切替前の視線方向を示す方位角φold と切替後の視線方向を示す方位角φnew とを定める必要がある。切替前の視線方向を示す方位角φold は、ノードＮに到着した時点の視線方向を示すものであるから、図示の例の場合、φold ＝Ｄold ＋θとすればよい。これに対して、切替後の視線方向を示す方位角φnew については、いくつかの決定方法を採用できる。ここでは、２通りの決定方法を例示しておくことにする。
【０１６５】
第１の決定方法は、新経路に遷移した後も、旧経路で設定されていたオフセット角θをそのまま維持させる、という基本方針に基づく方法である。図２５では、この第１の決定方法で決定した方位角φnew が示されている。すなわち、図示する新経路Ｒ２上の位置Ｐ２には、新経路Ｒ２の基準方向を示す方位角Ｄnew に対して、オフセット角θ（旧経路Ｒ１において設定されていたオフセット角θと同じもの）を加えることにより定まる方位角φnew を新たな視線方向とする例が示されている。
【０１６６】
この第１の決定方法を採用した場合、旧経路を移動中の仮想ユーザの顔の向きが、新経路においても維持されることになる。すなわち、図２５に示す例の場合、旧経路Ｒ１において、仮想ユーザは斜め右方向に顔を向けながらノードＮへ向けて進行しており、移動動画Ｍ１としては、φold ＝Ｄold ＋θで示される視線方向の視界が提示される。一方、新経路Ｒ２においても、仮想ユーザは斜め右方向に顔を向けながらノードＮを出発することになり、移動動画Ｍ２としては、φnew ＝Ｄnew ＋θで示される視線方向の視界が提示される。したがって、ノードＮにおいて提示される切替動画Ｍｔは、このようにして決定された方位角φold からφnew へ視線方向が徐々に変化するようなパン映像になる。
【０１６７】
図２６(a) は、この第１の決定方法を採用した場合について、ノードＮを介した切替前後の視線方向を定める式を示す図である。この式によれば、切替前の視線方向を示す方位角φold は、旧経路Ｒ１の基準方向に対応する方位角Ｄold に基づいて、φold ＝Ｄold ＋θなる式に基づいて決定され、切替後の視線方向を示す方位角φnew は、新経路Ｒ２の基準方向に対応する方位角Ｄnew に基づいて、φnew ＝Ｄnew ＋θなる式に基づいて決定される。すなわち、位置方向更新部１４１は、これらの式に基づいてφold ，φnew をそれぞれ決定することになり、切替動画再生指示部１４３は、方位角φがφold からφnew へと徐々に変化してゆく切替動画再生指示を切替動画再生部１３２に与えることになる。
【０１６８】
一方、第２の決定方法は、新経路に遷移した時に、旧経路で設定されていたオフセット角θを０にリセットする、という基本方針に基づく方法である。図２６(b) は、この第２の決定方法を採用した場合について、ノードＮを介した切替前後の視線方向を定める式を示す図である。この式によれば、切替前の視線方向を示す方位角φold は、上述した第１の決定方法と同様に、旧経路Ｒ１の基準方向に対応する方位角Ｄold に基づいて、φold ＝Ｄold ＋θなる式に基づいて決定される。ところが、切替後の視線方向を示す方位角φnew は、新経路Ｒ２の基準方向に対応する方位角Ｄnew のみに基づいて、φnew ＝Ｄnew なる式に基づいて決定される。すなわち、位置方向更新部１４１は、これらの式に基づいてφold ，φnew をそれぞれ決定することになり、切替動画再生指示部１４３は、方位角φがφold からφnew へと徐々に変化してゆく切替動画再生指示を切替動画再生部１３２に与えることになる。
【０１６９】
この第２の決定方法を採用した場合、旧経路を移動中の仮想ユーザの顔の向きがどの方向であろうが、新経路における顔の向きは常に正面（すなわち、移動方向）を向いたものになる。図２５において、仮想ユーザが旧経路Ｒ１を斜め右方向に顔を向けながら進行すれば、移動動画Ｍ１としては、φold ＝Ｄold ＋θで示される視線方向の視界が提示されるが、新経路Ｒ２では、仮想ユーザは正面を向いて進行することになり、移動動画Ｍ２としては、φnew ＝Ｄnew で示される視線方向の視界が提示されることになる。ノードＮにおいて提示される切替動画Ｍｔは、このようにして決定された方位角φold からφnew へ視線方向が徐々に変化するようなパン映像になる。
【０１７０】
第１の決定方法を採用すれば、経路の変遷が生じた場合でも、常にオフセット角θが維持されるので、仮想ユーザの進行方向に対する顔の向きが常に一定となる。したがって、図２に示す美術館の参観路などにおいて、仮想ユーザが、常に右側の壁の展示品を眺めながら順路に沿って絵画を鑑賞してゆくような参観方法を採る場合には好都合である。これに対して第２の決定方法を採用すれば、新たな経路に進入した初期状態では、常に進行方向正面向きの映像が提示されるので、ユーザは経路の空間的な位置関係を理解しやすくなり、仮想の街や史跡などを巡る情景を提示する場合に好都合である。
【０１７１】
このように、視線方向に関する第１の決定方法や第２の決定方法には、それぞれ固有の特徴があり、提示対象となる場所や施設の性質やユーザへの動画の提示目的などを考慮して、適宜、最適な決定方法を採用するようにすればよい。もちろん、本発明を実施するにあたり、経路遷移時の視線方向を決定する方法は、上述した２通りの決定方法に限定されるものではなく、この他にも様々な決定方法を採用することができる。
【０１７２】
なお、切替動画の再生中に、オフセット角θを増減させるユーザの指示があった場合には、指示に応じてθを変更してφnew を再計算するようにしてもよいが、切替動画再生中には、オフセット角θを変更するユーザからの指示を受け付けないようにしてもよい。
【０１７３】
＜５−２：切替動画のパン方向に関する変形例＞
これまで述べたとおり、切替動画は、切替前の視線方向（方位角φold ）から切替後の視線方向（方位角φnew ）への変化を伴うパン映像として提示されるが、ここで、方位角φold から方位角φnew へ至るまでの回転方向は任意の方向でかまわない。たとえば、図２４や図２５に示す例では、ノードＮを中心として、方位角φold から方位角φnew へと視線方向を回転させたパン映像からなる切替動画Ｍｔを提示することになるが、このときの視線方向の回転方向は、時計回りでも反時計回りでもかまわない。ただ、一般的には、回転角がより小さくなる回転方向を選択するのが好ましく、図２４や図２５に示す例の場合は、時計回りに回転させるのが好ましい。
【０１７４】
図２３に示す例において、切替前の視線方向φ＝９０°から切替後の視線方向φ＝１８０°まで変化させるのに、φ＝９１°，９２°，９３°，... ，と時計回りに変化させているのは、回転角のスパンがより小さくなる回転方向を選択したためであるが、もちろん、特殊な効果を演出する場合には、回転角のスパンがより大きくなる回転方向を選択するようにしてもかまわない。この場合、切替動画における視線方向は、φ＝９０°，８９°，８８°，... ，０°，３５９°，３５８°，... ，１８１°，１８０°と反時計回りに変化することになる。
【０１７５】
また、演出効果として必要な場合には、まず、３６０°に渡って１回転させた後、最終的に切替後の視線方向に向くように更に回転を加えるようにすることも可能である。要するに、最初の画像として切替前の視線方向（方位角φold ）を向いた視界が提示され、最後の画像として切替後の視線方向（方位角φnew ）を向いた視界が提示されるようなパン映像が切替動画として提示されれば、その間に視線方向をどのように動かしてもかまわない。
【０１７６】
更に、これまで述べた実施形態では、個々の経路を同一の二次元平面上に定義しているが、各経路を、三次元空間上に定義することも可能である。そうすれば、スロープや階段など高低差のある経路を定義することができる。経路を三次元空間上に定義した場合、経路の基準方向も三次元空間内のベクトルとして定義されることになるので、切替前の視線方向や切替後の視線方向は、三次元ベクトルの方向を示す立体方位角として与えられることになり、切替動画として提示されるパン映像は、いわゆる水平パンのみではなく、垂直パン（チルト）も組み合わせた三次元空間上での視線変化を示す映像になる。図８では、視野画像Ｑ（Ｐ（ｉ），φ（ｉ））の縦幅をパノラマ画像Ｆ（ｉ）の縦幅に一致させた切出例を示したが、視野画像Ｑの領域を小さくし縦幅を小さくすれば、視野画像Ｑの位置は方位角φおよび仰角Ψによって規定されることになるので、仰角Ψを変化させれば、チルトの効果をもった移動動画や切替動画を再生することも可能である。
【０１７７】
＜５−３：曲線状経路を用いた変形例＞
これまで述べた実施形態では、個々の経路が直線である例を述べたが、実在の場所に存在する経路は、必ずしも直線の経路であるとは限らない。たとえば、円周上の回廊を有する美術館の参観路は、円弧状の経路によって構成されることになる。このように、実在の経路が曲線状経路である場合、全方位カメラによる撮影経路も当該曲線状経路にならざるを得ず、得られる動画データも、この曲線状経路に沿った撮影データということになる。
【０１７８】
この場合、ルート情報ＲＴとしては、たとえば、ベジェ曲線などを利用して曲線からなる経路を定義する情報を用意すればよい。あるいは、実在の曲線状経路上に複数のノードと、これらノード間を結ぶ直線状の経路を定義し、折れ線によって擬似的に曲線状経路を近似することもできる。
【０１７９】
いずれにしても、ある１つの経路を、その両端点となる２つのノードによって定義するようにすれば、当該経路の基準方向は、当該経路の両端に位置する２つのノード間を結ぶ直線の方向により定義できる。たとえば、図２７に示すように、２つのノードＮ１，Ｎ２間にベジェ曲線などによって曲線状の経路Ｒが定義されていた場合、この曲線状の経路Ｒに沿って移動する視点の移動方向は逐次変化することになるが、経路Ｒの基準方向としては、図に破線で示すように、ノードＮ１からＮ２に向かうベクトルの方向Ｄを採用すれば、本発明を実施する上で、実用上の支障は生じない。
【０１８０】
このように、実在の経路が曲線状であった場合にも、両端点を結ぶ直線として当該経路の基準方向を定義することができるので、図２４や図２５に示すような方法で切替前の視線方向（方位角φold ）や切替後の視線方向（方位角φnew ）を決定する際にも、何ら支障は生じない。
【０１８１】
＜５−４：コントローラの変形例＞
図９に示すコントローラ５０は、指示入力部１５０の一部を構成する機器としての一例を示すものであり、実用上は、この他にも様々な形態の機器をコントローラとして利用することが可能である。特に、操作ボタンなどの形態や配置は、設計上、自由に設定可能である。§２では、ボタンＢ６〜Ｂ９の役割についての説明はなされていないが、これらのボタンには、たとえば、移動速度を設定する機能や、表示倍率を設定する機能など、様々な機能を割り当てることができる。
【０１８２】
また、ボタンの代わりに、ジョイスティックを用いることも可能である。たとえば、１本のジョイスティックを前方に倒すと前進指示、後方に倒すと後退指示、左方に倒すと左向き指示、右方に倒すと右向き指示を与えるようにすれば、ボタンＢ１〜Ｂ４の代わりに用いることができる。更に、スティックの傾斜角度に基づいて、移動速度を変化させるような使い方もできる。
【０１８３】
＜５−５：指示入力部を省略する変形例＞
図１０に示す動画提示装置１００には、ユーザからの指示を入力するための指示入力部１５０が備わっているが、本発明を実施するにあたり、指示入力部１５０は必ずしも必要な構成要素ではなく、利用形態によっては、指示入力部１５０を省略することも可能である。
【０１８４】
すなわち、位置方向更新部１４１が、視点位置および視線方向を、予め設定された所定の規則に基づいて自動更新する機能を備えていれば、ユーザの指示入力なしに動画提示が可能である。たとえば、図２に示す参観路について、経路Ｒ２，Ｒ３，Ｒ４，Ｒ６によって構成される正方形の巡回ルートを設定しておき、位置方向更新部１４１が、この巡回ルートに沿って自動的に視点位置および視線方向の更新を行うようにすれば、いわゆるデモ映像として、当該巡回ルートに沿った視界を示す動画の提示が可能になる。
【０１８５】
この場合、経路Ｒ２を移動中には動画データＭ２に基づく移動動画が提示され、ノードＮ３に到達すると新経路Ｒ３へ移行するための切替動画が提示され、新経路Ｒ３を移動中には動画データＭ３に基づく移動動画が提示され、ノードＮ４に到達すると新経路Ｒ４へ移行するための切替動画が提示され、... という具合に、移動動画と切替動画が交互に自動的に提示されることになる。
【符号の説明】
【０１８６】
１０：魚眼レンズ
２０：ビデオカメラ
３０：データ処理ユニット
４０：台車
５０：コントローラ
１００：動画提示装置
１１０：動画データ格納部
１２０：基本情報格納部
１３０：動画再生部
１３１：移動動画再生部
１３２：切替動画再生部
１４０：再生指示部
１４１：位置方向更新部
１４２：移動動画再生指示部
１４３：切替動画再生指示部
１５０：指示入力部
２００：ディスプレイ装置
Ａ：経路の端点となるノード
Ｂ：経路の端点となるノード
Ｂ１〜Ｂ９：ボタン
Ｄ，Ｄ１，Ｄ２：経路の基準方向
Ｄnew ：新経路の基準方向に対応する方位角
Ｄold ：旧経路の基準方向に対応する方位角
Ｅ（ｉ）：視線ベクトル
Ｆ（１），Ｆ（２），Ｆ（ｉ−１），Ｆ（ｉ），Ｆ（ｉ＋１），Ｆ（ｎ−１），Ｆ（ｎ）：動画データを構成する個々のフレーム（全方位画像）
Ｆnew ：切替後全方位画像（新経路の動画データの最初のフレーム）
Ｆold ：切替前全方位画像（旧経路の動画データの最後のフレーム）
Ｇ：ブレンド画像の画素値
Ｇ（φ）：方位角φについてのブレンド画像
ｉ：フレーム番号
ｊ：動画データ番号
Ｍ，Ｍ１〜Ｍ６：動画データ／移動動画
ＭＣ：動画データ対応情報
Ｍｔ：切替動画
ｍｋ１〜ｍｋ３：マーカ
Ｎ，Ｎ１〜Ｎ６：ノード
ｎ：動画データに含まれるフレーム数
Ｏ：天頂点／二次元座標系の原点
Ｐ，Ｐ１，Ｐ２：経路上の位置
Ｐ（１），Ｐ（２），Ｐ（ｉ−１），Ｐ（ｉ），Ｐ（ｉ＋１），Ｐ（ｎ−１），Ｐ（ｎ）：経路上の地点
Ｑ，Ｑ（Ｐ（ｉ），φ（ｉ））：視野画像
ＱＡ〜ＱＺ：視野画像
Ｑ（Ｆnew （φ））：切替後全方位画像Ｆnew から切り出した方位角φで示される方向の視野画像の画素値
Ｑ（Ｆold （φ））：切替前全方位画像Ｆold から切り出した方位角φで示される方向の視野画像の画素値
Ｒ，Ｒ１〜Ｒ６：経路
ＲＴ：ルート情報
Ｔ：切替期間
ｔ：時間
ｔ１，ｔ２：特定の時点
Ｘ：二次元座標系の座標軸
Ｙ：二次元座標系の座標軸
α：ブレンド比率
Δ：切出角度
φ，φ１，φ２，φ（ｉ）：視線方向（方位角）
φnew ：切替後の視線方向を示す方位角
φold ：切替前の視線方向を示す方位角
θ：オフセット角
【図１】
0005861499.tif 000002
【図２】
0005861499.tif 000003
【図３】
0005861499.tif 000004
【図４】
0005861499.tif 000005
【図５】
0005861499.tif 000006
【図６】
0005861499.tif 000007
【図７】
0005861499.tif 000008
【図８】
0005861499.tif 000009
【図９】
0005861499.tif 000010
【図１０】
0005861499.tif 000011
【図１１】
0005861499.tif 000012
【図１２】
0005861499.tif 000013
【図１３】
0005861499.tif 000014
【図１４】
0005861499.tif 000015
【図１５】
0005861499.tif 000016
【図１６】
0005861499.tif 000017
【図１７】
0005861499.tif 000018
【図１８】
0005861499.tif 000019
【図１９】
0005861499.tif 000020
【図２０】
0005861499.tif 000021
【図２１】
0005861499.tif 000022
【図２２】
0005861499.tif 000023
【図２３】
0005861499.tif 000024
【図２４】
0005861499.tif 000025
【図２５】
0005861499.tif 000026
【図２６】
0005861499.tif 000027
【図２７】
0005861499.tif 000028