(57)【特許請求の範囲】
【請求項１】
ビデオ映像データおよびビデオ映像データの各画像フレームの撮影視点位置、光軸方向、画角を記憶する記憶手段と、
ビデオ映像データの撮影経路に対し指定される指定視点の移動量を入力する速度調整手段と、
前記記憶手段に記憶したビデオ映像データ中から所定のフレーム数ごとに順次提示する画像フレームを選択するフレーム選択手段と、
該フレーム選択手段により選択された画像フレームを順次その時点での前記指定視点における提示画像に画像変換する画像変換手段と、
該画像変換手段により画像変換された前記提示画像を所定の単位時間当たりの表示数で順次表示し、前記指定視点の移動に合致した情景を示す提示画像により映像空間を表現する画像表示手段とを備えたビデオ映像による空間表現装置。
【請求項２】
フレーム選択手段は、ビデオ映像データから連続する画像フレームを順に１フレームずつ選択し、
画像表示手段は画像変換手段より順次得られる提示画像をビデオ映像データの単位時間当たりの撮影フレーム数と一致する単位時間当たりの表示フレーム数にて順次表示することを特徴とする請求項１記載のビデオ映像による空間表現装置。
【請求項３】
フレーム選択手段は、速度調整手段によって与えられる指定視点の移動量によって更新される指定視点位置と、選択されている画像フレームの撮影視点位置との間の距離が所定の距離以上離れていると、前記指定視点位置に近い撮影視点位置の画像フレームを再選択することを特徴とする請求項１または請求項２記載のビデオ映像による空間表現装置。
【請求項４】
フレーム選択手段が選択する画像フレームに対応する移行点をあらかじめ設定する移行点設定手段を備え、
フレーム選択手段は、
指定視点位置に近い撮影視点位置の画像フレームを、前記移行点設定手段によりあらかじめ設定した移行点の画像フレーム間で選択することを特徴とする請求項３記載のビデオ映像による空間表現装置。
【請求項５】
画像変換手段は、
フレーム選択手段がすでに選択した画像フレームと再選択した画像フレームを共に画像変換し、
前記画像変換手段が画像変換した変換画像を合成し、提示画像を補間し、補間における割合を徐々に前記再選択された画像フレームに関して大きくする画像合成手段を備えていることを特徴とする請求項３または請求項４記載のビデオ映像による空間表現装置。
【請求項６】
ビデオ映像データが撮影された空間内にスタート視点と光軸方向、画角を初期設定する視点位置設定手段を備え、
フレーム選択手段は、
前記視点位置設定手段により設定された前記スタート視点に最適な画像フレームを選択し、
画像変換手段は、
前記フレーム選択手段により選択された画像フレームを、前記視点位置設定手段により設定されたスタート視点と光軸方向、画角をもとに提示画像へ画像変換することを特徴とする請求項１記載のビデオ映像による空間表現装置。
【請求項７】
画像変換手段は、
指示画像の光軸上一定距離にある被写体が提示画像上で正しく描画されるように、選択された画像フレームを変換することを特徴とする請求項１から請求項６のうちのいずれか１項記載のビデオ映像による空間表現装置。
【請求項８】
画像変換手段は、
選択された画像フレームの平行移動と拡大または縮小により画像変換を行うことを特徴とする請求項７記載のビデオ映像による空間表現装置。
【請求項９】
ビデオ映像データの撮影視点位置は直線上に並び、光軸はその直線上、撮影視点位置の進行方向に向かっており、
画像変換手段は、
指定視点位置と選択された画像フレームの前記撮影視点位置との距離によって決まる画像フレームの拡大または縮小により画像変換を行うことを特徴とする請求項１から請求項６のうちのいずれか１項記載のビデオ映像による空間表現装置。
【請求項１０】
ビデオ映像データの撮影視点位置は直線上に並び、光軸はその直線と直交しており、
画像変換手段は、
指定視点位置と選択された画像フレームの前記撮影視点位置との距離によって決まる画像フレームの平行移動により画像変換を行うことを特徴とする請求項１から請求項６のうちのいずれか１項記載のビデオ映像による空間表現装置。
【請求項１１】
画像表示手段は、ビデオ映像データの画像フレームより小さいサイズで画像変換手段より得られる提示画像の中心部を表示することを特徴とする請求項１から請求項１０のうちのいずれか１項記載のビデオ映像による空間表現装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、動きのある空間を撮影したビデオ映像を用いて、その動きを再現する空間を仮想的な映像として提示するビデオ映像による空間表現装置に関するものである。
【０００２】
【従来の技術】
従来の空間表現装置としては、特開平９−１６７７２号公報、特開平９−２２０３０８号公報などに開示された技術があるが、図３２は、このような従来の空間表現装置を示すブロック図である。図３２において、１はビデオ映像データおよびビデオ映像データの各フレームの撮影視点位置と光軸方向を記憶する記憶装置、２は表示する視点位置を入力する視点入力装置、３は視点入力装置２によって指定された視点に対しビデオ映像データの画像フレームを１つ選択するフレーム選択装置、４は選択された画像フレームを表示する画像表示装置である。
【０００３】
また、図３３、図３４、図３５および図３６は前記従来の空間表現装置の動作を示す説明図である。図において、５はビデオカメラ、６はビデオカメラ５の撮影経路、７はビデオカメラ５により撮影されたビデオ映像データ、８はユーザが指定する指定視点位置、９はビデオ映像データ７の中の撮影視点位置１０で撮影された画像フレーム、１０は撮影経路６上での各フレーム撮影時の撮影視点位置、１１は撮影視点位置１０の中で指定視点位置８に最も近い近接撮影視点、１２はビデオ映像データ７中の近接撮影視点１１で撮影された画像フレーム、１３は提示画像、１４は提示画像１３を指定視点位置８の変更に応じて随時更新することによって表現される生成映像、１５は空間内に存在する動きのある対象物の一例である木々である。
【０００４】
次に動作について説明する。
この従来の空間表現装置は、ビデオカメラ５で対象となる空間内の撮影経路６上で撮影されたビデオ映像データ７から、ユーザが指定した指定視点位置８での情景画像を随時生成することにより、ビデオ映像データ７を用いて対象空間を表現しようとするものである。
【０００５】
また、この空間表現装置では、図３３に示すように、撮影されたビデオ映像データ７が記憶装置１に蓄えられている。図３４に示すように、視点入力装置２により指定視点位置８を指定すると、フレーム選択装置３によって、記憶装置１に記憶された撮影視点位置１０の位置情報を参照し、撮影視点位置１０の中から指定視点位置８に一致する撮影視点位置があればそれを、また一致する撮影視点位置がなければ指定視点位置８に最も近い近接撮影視点１１を検出する。そして、例えば近接撮影視点１１において撮影されたビデオ映像データ７中の１フレームである画像フレーム１２を記憶装置１から読み出す。読み出された画像フレーム１２は画像表示装置４によりユーザに提示画像１３として提示される。
【０００６】
【発明が解決しようとする課題】
従来のビデオ映像による空間表現装置は以上のように構成されているので、ユーザの指定した指定視点位置８と撮影視点位置１０の位置関係のみによって画像フレーム１２を選択し、選択した画像フレームを提示画像１３としていたので、ビデオ映像データ７のフレーム順序、すなわち、撮影時刻は考慮されず、画像フレーム１２が撮影時刻に無関係に選択され、提示画像１３として提示されることになる。
一方、撮影した対象空間が、街並みや自然の景勝など現実の環境である場合、その中には動きのある対象物が存在するが、このような場合、従来のビデオ映像による空間表現装置においては、その動きを忠実に再現することができず、生成映像１４によって表現される空間に現実感が伴わないという課題があった。
【０００７】
これについてさらに詳説すると、図３５に示すように、指定視点位置８が図中８ａ，８ｂ，８ｃと移動した場合、近接撮影視点１１ａ，１１ｂ，１１ｃが順次選択され、画像フレーム１２ａ，１２ｂ，１２ｃが提示画像１３ａ，１３ｂ，１３ｃとして生成映像１４を構成する。このため、撮影経路６上を撮影時より高速に指定視点位置８を移動させた場合、ビデオ映像データ７中でフレームが間引かれて生成映像１４が生成されることになり、空間中の対象物、例えば風にそよぐ木々１５の動きが実際の動きよりも速いものになってしまう。
【０００８】
また、逆に、図３６に示すように、撮影経路６上を撮影時より低速で指定視点位置８が図中８ａ，８ｂ，８ｃのように移動した場合、近接撮影視点１１は同一のものが選択され、画像フレーム１２が連続して提示画像１３ａ，１３ｂ，１３ｃとなるため、生成映像１４では木々１５が静止してしまう。このように、現実の環境を忠実に再現できないという課題があった。
【０００９】
この発明は上記のような課題を解決するためになされたものであり、対象の空間を撮影したビデオ映像データを用いて、ビデオの各画像フレームの撮影順序を考慮することで、空間中に存在する事物の動きを仮想的な映像として正しく再現した映像を生成できるビデオ映像による空間表現装置を得ることを目的とする。
【００１０】
【課題を解決するための手段】
この発明に係るビデオ映像による空間表現装置は、ビデオ映像データおよびビデオ映像データの各画像フレームの撮影視点位置、光軸方向、画角を記憶する記憶手段と、ビデオ映像データの撮影経路に対し指定される指定視点の移動量を入力する速度調整手段と、前記記憶手段に記憶したビデオ映像データ中から所定のフレーム数ごとに順次提示する画像フレームを選択するフレーム選択手段と、該フレーム選択手段により選択された画像フレームを順次その時点での前記指定視点における提示画像に画像変換する画像変換手段と、該画像変換手段により画像変換された前記提示画像を所定の単位時間当たりの表示数で順次表示し、前記指定視点の移動に合致した情景を示す提示画像により映像空間を表現する画像表示手段とを備えるようにしたものである。
【００１１】
この発明に係るビデオ映像による空間表現装置は、ビデオ映像データから連続する画像フレームを順に１フレームずつ選択するフレーム選択手段と、画像変換手段より順次得られる提示画像をビデオ映像データの単位時間当たりの撮影フレーム数と一致する単位時間当たりの表示フレーム数にて順次表示する画像表示手段とを備えるようにしたものである。
【００１２】
この発明に係るビデオ映像による空間表現装置は、速度調整手段によって与えられる指定視点の移動量によって更新される指定視点位置と、選択されている画像フレームの撮影視点位置との間の距離が所定の距離以上離れていると、前記指定視点位置に近い撮影視点位置の画像フレームを再選択するフレーム選択手段を備えるようにしたものである。
【００１３】
この発明に係るビデオ映像による空間表現装置は、フレーム選択手段が選択する画像フレームに対応する移行点をあらかじめ設定する移行点設定手段と、前記指定視点位置に近い撮影視点位置の画像フレームを、前記移行点設定手段によりあらかじめ設定した移行点の画像フレーム間で再選択するフレーム選択手段を備えるようにしたものである。
【００１４】
この発明に係るビデオ映像による空間表現装置は、フレーム選択手段がすでに選択した画像フレームと再選択した画像フレームを共に画像変換する画像変換手段と、該画像変換手段が画像変換した変換画像を合成し、提示画像を補間し、補間における割合を徐々に前記再選択された画像フレームに関して大きくする画像合成手段を備えるようにしたものである。
【００１５】
この発明に係るビデオ映像による空間表現装置は、ビデオ映像データが撮影された空間内にスタート視点と光軸方向、画角を初期設定する視点位置設定手段を備え、前記視点位置設定手段により設定された前記スタート視点に最適な画像フレームをフレーム選択手段が選択し、前記フレーム選択手段により選択された画像フレームを、前記視点位置設定手段により設定されたスタート視点と光軸方向、画角をもとに画像変換手段が提示画像へ画像変換するようにしたものである。
【００１６】
この発明に係るビデオ映像による空間表現装置は、提示画像の光軸上一定距離にある被写体が提示画像上で正しく描画されるように、選択された画像フレームを画像変換手段が変換するようにしたものである。
【００１７】
この発明に係るビデオ映像による空間表現装置は、選択された画像フレームの平行移動と拡大または縮小により画像変換手段が画像変換を行うようにしたものである。
【００１８】
この発明に係るビデオ映像による空間表現装置は、ビデオ映像データの撮影視点位置は直線上に並び、光軸はその直線上、撮影視点位置の進行方向に向かっており、指定視点位置と選択された画像フレームの前記撮影視点位置との距離によって決まる、画像フレームの拡大または縮小により画像変換手段が画像変換を行うようにしたものである。
【００１９】
この発明に係るビデオ映像による空間表現装置は、ビデオ映像データの撮影視点位置は直線上に並び、光軸はその直線と直交しており、指定視点位置と選択された画像フレームの前記撮影視点位置との距離によって決まる、画像フレームの平行移動により画像変換手段が画像変換を行うようにしたものである。
【００２０】
この発明に係るビデオ映像による空間表現装置は、ビデオ映像データの画像フレームより小さいサイズで画像変換手段より得られる提示画像の中心部を表示する画像表示手段を備えるようにしたものである。
【００２１】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１は、この発明の実施の形態１のビデオ映像による空間表現装置の構成を示すブロック図であり、図１において、１６はビデオ映像データおよびビデオ映像データの各フレームのフレーム番号と撮影視点位置、光軸方向、画角を記憶する記憶装置（記憶手段）、１７は視点の移動速度を入力する速度調整装置（速度調整手段）、１８はビデオ映像データの次に提示するフレームを順次選択するフレーム選択装置（フレーム選択手段）、１９は選択された画像フレームに変換を施す画像変換装置（画像変換手段）、２０は変換された画像フレームを提示画像として表示する画像表示装置（画像表示手段）である。
【００２２】
また、図２から図１４はこの発明の実施の形態１のビデオ映像による空間表現装置の動作を示す説明図である。図において、５はビデオカメラ、６はビデオカメラ５の撮影経路、７はビデオカメラ５により撮影されたビデオ映像データ、８はユーザが指定する指定視点位置、９はビデオ映像データ７の中の例えば撮影視点位置１０で撮影された画像フレーム、１０は撮影経路６上での各フレーム撮影時の撮影視点位置、１１は撮影視点位置１０の中で指定視点位置８に最も近い近接撮影視点、１２はビデオ映像データ７中の近接撮影視点１１で撮影された画像フレーム、１３は提示画像、１５は空間内に存在する動きのある対象物の一例である木々である。
【００２３】
２１は撮影経路６の始点、２２は指定視点位置８の前回の位置、２３は前回提示に用いられた画像フレーム、２４はフレーム選択装置１８により選択された画像フレーム、２５は画像フレーム２４を変換した変換画像、２６は提示画像１３における注視点、２７は光軸、２８は選択された画像フレーム２４の視点位置、２９は画像面である。
【００２４】
このように構成されたビデオ映像による空間表現装置においては、対象の動きを忠実に再現するため、ビデオ映像データ７の画像フレーム９をその撮影順序に従って提示画像１３とすることで映像を生成する。このため、対象物の動きはビデオ映像データ７に記憶されたものと同一の速度で再現され、これにより、前記生成された映像では空間の現実感が希薄にならない。
【００２５】
次に動作について説明する。
図２に示すように、Ｎ枚の画像フレーム９で構成されるビデオ映像データ７をＩn （ｎ＝０，１，２，・・・Ｎ）とし、Ｉi はそのｉ番目の画像フレームを表す。このビデオ映像データ７は、ビデオカメラ５を撮影経路６上を移動させながら撮影されたものである。
ここで、撮影経路６の始点２１から、撮影経路６に沿って測定した距離をｔで表し、始点２１から距離ｔとなる点をＣ（ｔ）とする。水平面をｘｙ平面とし、図３に示すように、光軸方向θ、画角φともにｘｙ平面内で定義する。また、ビデオ映像データ７は光軸をｘｙ平面に平行とし、その水平軸をｘｙ平面に平行に撮影されるとして考える。また、提示画像１３をＪとする。
【００２６】
さらに、図３５で示したように提示画像１３からなる生成映像１４は、ビデオ映像データ７とフレーム速度（単位時間当たりに撮影あるいは提示される画像フレーム枚数）を同一に生成するものとする。
そして、指定視点位置８を、撮影経路６上、撮影時とは異なる速度で移動させ、その際の映像をビデオ映像データ７から生成する。また、指定視点位置８をｑとして、画像フレームの撮影視点位置１０をｐi で表す。
【００２７】
以上の定義を行った後、先ず、ｑで示される指定視点位置８を撮影経路６上の画像フレームの撮影視点ｐi から移動させる。
この場合、提示画像Ｊとしてはｐi を撮影視点とする画像フレームＩi が選択され、それが提示画像１３となる。これ以降、画像フレームＩi に続く画像フレームを次の提示画像Ｊとして順次選択、提示していく。
【００２８】
ただし、視点の移動速度は可変であるので、提示画像Ｊを提示する際の指定視点位置８は必ずしもその時点で選択されている画像フレームＩi の撮影視点ｐi とは一致しない。これらを補正し、画像フレームＩi が指定視点位置８での情景にできるだけ合致するように画像フレームＩi に変換を施し、これを提示画像Ｊとする。
これにより、対象物の動きの速度を保ち、なおかつ移動速度可変な生成映像１４を合成する。
【００２９】
図１５は、以上説明した映像生成の手順を示すフローチャートであり、以下、このフローチャートに従って説明を行う。
先ず、初期状態として、ビデオ映像データ７と図５に示すフレーム数Ｎと撮影時の各画像フレームの撮影視点の位置ｐi と撮影光軸方向θ、撮影画角φのデータが記憶装置１６に記憶されている。ビデオ映像データ７はビデオカメラ５によって撮影される。
撮影視点位置と光軸方向は、例えば、ＧＰＳ装置やジャイロセンサによって計測して入力、あるいは、先に入力したビデオ映像データ７の映像内容から、既知の点の画像中の位置から計算によって求めてもよい。
また、あらかじめ決められた経路上を一定の速度で移動したとみなせるときは、その経路を撮影した画像フレーム数で等分して撮影視点位置としてもよい。画角についても、あらかじめ既存パターンを写すなどして求めておく。画角を一定として行えば後の処理が容易になる。
【００３０】
先ず、ステップＳＴ１では、提示に用いる画像フレームの番号を示す変数ｉを初期設定する。これは処理開始時の提示映像と視点位置を指示するもので、例えば最初のフレーム１と設定する。同時に、撮影経路６上の指定視点位置ｑをｐi に初期設定し、さらに撮影経路の始点２１からの距離を示す変数ｔをＣ（ｔ）＝ｑなるｔ、すなわち、始点２１から指定視点位置ｑまでの撮影経路６上の距離に初期設定する。
【００３１】
ステップＳＴ２では、フレーム選択装置１８により記憶装置１６に格納されたビデオ映像データ７からｉ番目の画像フレームＩi を読み出す。また、その視点位置ｐi 、光軸方向θi 、画角φi を読み出す。
【００３２】
ステップＳＴ３では、画像変換装置１９により画像フレームＩi に対し画像変換を施し、指定視点位置ｑからの情景に合致する変換画像Ｋを生成する。
なお、この詳細については後述する。
【００３３】
ステップＳＴ４では、変換画像Ｋを提示画像Ｊとして画像表示装置２０により表示する。ただし、ここでは映像のフレーム描画速度を同一にするため、所定のタイミングで前回描画時の画像から、今回の画像に描画を切り替える。すなわち、１秒間に３０フレームというフレーム描画速度のビデオ映像データを用いている場合、１／３０秒ごとに新たな画像を描画することになる。ここでは、ステップＳＴ２からステップＳＴ７までの処理サイクルが、充分、この１／３０秒内に実行できるものとする。
【００３４】
ステップＳＴ５では、速度調整装置１７により、指定視点位置８の撮影経路６上の移動距離ｄを入力し、新たな指定視点を設定する。これは、例えば、マウスやキーボードなどの入力デバイスによって実行される。ステップＳＴ５へ到達した時点で、例えば、ｄのデフォルト値を定め、特定のキー入力があればｄを大きく、あるいは小さく変更するというように構成し、ｄの入力待ちにはならないようにする。
【００３５】
ステップＳＴ６では、ｉに“１”加算する。すなわち、次の提示画像の生成には使用した画像フレームに連続する画像フレームを用いるようにする。
【００３６】
ステップＳＴ７では、処理を続行するかどうかを判定する。これには、あらかじめ指定した終了を示すキーボード入力等がなされているかどうかをチェックし、なされていれば終了、そうでなければステップＳＴ２に戻るというように構成する。また、ｉがＮより大きくなった場合も処理を終了する。
【００３７】
以上のように処理を行うため、図４に示すように、最初、視点位置２２で撮影された画像フレーム２３を用いた場合、ステップＳＴ６のｉの“１”加算処理により、次のステップＳＴ２では画像フレーム２３に連続して撮影された画像フレーム２４が読み出される。これは、指定視点位置８の配置が図４に示すものである場合に、従来の空間表現装置で用いられる画像フレーム１２とは異なる。画像フレーム２３に続けて画像フレーム２４を提示することにより、木々１５など対象物の正しい動きを表現することが可能である。
【００３８】
ここで、ステップＳＴ３の画像変換について説明する。
読み出された画像フレームＩi は、その視点位置ｐi における、光軸方向θi 、画角φi での情景を表す。一方、生成したいのは、同空間の同時刻における指定視点位置ｑでの情景となる。なお、光軸と画角は、ここではそれぞれθi 、φi と同一とする。
情景の生成には種々の方法が考えられるが、ここでは、簡便に行うため提示画像Ｊの中心に、図６に示すように、光軸２７上の所定の距離Ｄにある被写体位置が適切な大きさで描かれるように変換する。
この所定の距離Ｄは例えば１０メートルというように設定する。このとき、提示画像の注視点２６が提示画像の中心に正しい大きさで描かれるようにする。なお、ここでｐi （ｐix，ｐiy，ｐiz）、ｑ（ｑx ，ｑy ，ｑz ）、ａ＝Ｄ（ｃｏｓθi ，ｓｉｎθi ，０）＋ｑ＝（ａx ，ａy ，ａz ）とする。注視点２６が正しく描かれるようにするため、画像フレーム２４に対し、以下に示す、左右方向の移動ｒh （画像の右方向への移動を正）、上下方向の移動ｒv （画像の上方向への移動を正）と倍率ｒz の拡大縮小を施す。
図７に示すように、ｘｙ平面において、ｒh とｆとの比は、注視点２６の画像フレーム２４の光軸２７ａからの距離と、注視点２６の光軸２７ａへの垂線の足の視点位置２８からの距離との比に等しくなるから、
【００３９】
【数１】
0003746380.tif 000002
【００４０】
となる。×はベクトルの外積、・はベクトルの内積を示す。なお、Ｍx は画像フレーム２４の水平方向の画素数である。ｆは焦点距離でありｆ＝Ｍx ／｛２ｔａｎ（φi ／２）｝となる。
これより、
【００４１】
【数２】
0003746380.tif 000003
【００４２】
を得る。
また、ｚ方向については、視点位置２８から注視点２６に向かう視線が画像面２９を交差する点について、その視点位置２８からのｘｙ平面上での距離は焦点距離ｆと異なる。これをｆv とおくと、
【００４３】
【数３】
0003746380.tif 000004
【００４４】
である。
これより、
【００４５】
【数４】
0003746380.tif 000005
【００４６】
であるので、
【００４７】
【数５】
0003746380.tif 000006
【００４８】
を得る。
ここで、Ｍy は画像フレーム２４の水平方向の画素数である。
次に、ｒz は、視点位置から注視点２６までの距離の比とにより、
【００４９】
【数６】
0003746380.tif 000007
【００５０】
とする。
これにより図８に示すように、画像フレーム２４にｒh とｒv の平行移動を行い、倍率ｒz の拡大あるいは縮小を施すことにより、中心２６ｂが画像中心にきて、注視点２６にある対象被写体の大きさが正しく描かれる変換画像２５を生成する。
【００５１】
また、特に、図９のように撮影経路が直線で、光軸が直線前方に向かう場合、の直線経路上、進行方向にｘ軸をとれば、ａx ＝ｑx ＋Ｄ、ａy ＝ｐiy＝０であるから、倍率ｒz は、
【００５２】
【数７】
0003746380.tif 000008
【００５３】
となり、図１０のように拡大または縮小のみで扱うことができる。
【００５４】
さらに、図１１のように撮影経路６が直線で、光軸２７がその直線に直交する場合、やはり、この直線上で進行方向にｘ軸をとれば、ａx ＝ｑx 、ｑy ＝ｐiy＝０であるから、画像の変換は、図１２に示すように、
【００５５】
【数８】
0003746380.tif 000009
【００５６】
の水平平行移動となる。このような場合、視点位置間の距離の差によりどのくらいの倍率、あるいは平行移動量が適当かをあらかじめビデオ映像データ７を用いて確認しておけば、より画質のよい映像を得ることができる。もちろん、被写体の詳細な形状や位置が既知の場合は、より精密に合致するよう変換することもできる。
【００５７】
なお、画像フレーム２４の平行移動や縮小においては、変換画像２５の周辺部に対応のつかない領域が発生することになる。これに対処するため、図１３に示すように、提示画像１３においてはその中心部のみを表示する。その適切なサイズはビデオ映像データ７によって異なってくるが、例えば、全体の９０％を表示する。
【００５８】
以上、説明したように、この実施の形態１によれば、視点位置の移動速度を変更した場合も、用いる画像フレームの順序およびフレーム速度を変えずに生成映像を合成するので、ビデオ映像データ７に示された対象物の微妙な動き、例えば木の葉の揺れ具合などが不自然でない状態で生成映像に再現できるビデオ映像による空間表現装置が得られる効果がある。
【００５９】
なお、生成映像１４の一例を図１４に示すが、これは図３５に示す例と対応させたものである。図３５に示す生成映像１４と比べ図１４に示す生成映像１４は対象物の微妙な動き、例えば木の葉の揺れ具合などが不自然でない状態で再現されるのがわかる。
この結果、例えば、木々に囲まれた環境内を歩調を変えて散策する場合などの感覚を不自然さなく与えることができるビデオ映像による空間表現装置が得られる効果がある。
【００６０】
実施の形態２．
図１６は、この発明の実施の形態２のビデオ映像による空間表現装置の構成を示すブロック図である。図１６において図１と同一または相当の部分については同一の符号を付し説明を省略する。図１６において、３０はビデオ映像データの次に提示するフレームを１つ選択するフレーム選択装置（フレーム選択手段）であるが、視点位置間の距離の差が所定の値を越えると、指定地点位置に最も近い視点位置をもつ画像フレームを選択する。
【００６１】
図１７は、この発明の実施の形態２のビデオ映像による空間表現装置の動作を示す説明図であり、図４と同一または相当の部分については同一の符号を付し説明を省略する。図において、３１は新たに選択された視点位置、３２は視点位置３１で撮影された画像フレームである。
【００６２】
この実施の形態２では、前記実施の形態１と同様にビデオ映像データ７をＩn （ｎ＝０，１，２，・・・Ｎ）、提示画像１３をＪとする。また、指定視点位置８は撮影経路６上にあり、この撮影経路上を移動するものとして考える。このとき、映像生成の過程で、指定視点位置ｑが現在選択されている画像フレームの撮影視点位置ｐi と大きく離れた場合、変換後においても歪みが大きくなり、情景が正しく表現されなくなる可能性が出てくる。そこで、ビデオ映像データ撮影時の視点移動速度と大きく異なる速度で指定視点を移動させても対処できるように適切な画像フレームに選択し直す機構を付加して構成する。
【００６３】
この結果、指定視点位置と選択しているビデオ映像データ７の画像フレームの撮影視点位置の差が大きくなった場合、新たに適切な画像フレームを選択し直すことにより、生成映像の画質を維持することが可能になる。
【００６４】
次に動作について説明する。
図１８は、この発明の実施の形態２のビデオ映像による空間表現装置の映像生成動作を示すフローチャートである。このフローチャートでは、前記実施の形態１で説明した図１５に示したフローチャートにステップＳＴ２０１、ステップＳＴ２０２が追加されており、図１５と同一または相当のステップについては同一の符号を付し説明を省略する。
【００６５】
ステップＳＴ２０１では、視点位置間の距離の差｜ｑ−ｐi ｜が所定の閾値Ｌ以下かどうかを判定する。この閾値Ｌは適宜設定してもよいが、例えばビデオ映像データ撮影時の撮影経路上１秒間の移動距離の平均値、というように設定する。Ｌ以下であればステップＳＴ２に戻り、そうでなければステップＳＴ２０２に進む。
【００６６】
ステップＳＴ２０２では、フレーム選択装置３０において新たな画像フレームを設定する。これはｐi とｑとの距離｜ｑ−ｐi ｜を最小とするような画像フレームである。変数ｉをこの新しい画像フレームの番号に置き換え、ステップＳＴ２に進む。
【００６７】
すなわち、図１７に示す画像フレーム２３が表示に用いられた後、ステップＳＴ２０１で「ＮＯ」となりステップＳＴ２０２に進んだ場合、フレーム選択装置３０は指定視点位置８に最も近い視点位置３１をもつ画像フレーム３２を選択する。
従って、次のステップＳＴ２では、画像フレーム２３に連続する画像フレーム２４ではなく、画像フレーム３２が読み出され、以下、この画像フレーム３２を起点に連続的に画像フレームが選択されていく。
【００６８】
以上、説明したように、この実施の形態２においては、指定視点位置と画像フレームの撮影視点位置との距離が大きく離れた場合、再度適切な画像フレームを選択し、その画像フレームからの映像に移行するように構成したので、大きく歩調を変えても情景の歪みが大きくならず、情景が正しく表現されなくなるのを回避できる空間表現装置が得られる効果がある。
【００６９】
実施の形態３．
図１９は、この発明の実施の形態３のビデオ映像による空間表現装置の構成を示すブロック図である。図１９において図１と同一または相当の部分については同一の符号を付し説明を省略する。
図１９において、３３はビデオ映像データについて使用画像フレームを切り替える際の移行点をあらかじめ定める移行点設定装置（移行点設定手段）、３４は移行点において次回用いる画像フレームを選択する機能を付加したフレーム選択装置（フレーム選択手段）である。
【００７０】
図２０、図２１、図２２はこの発明の実施の形態３のビデオ映像による空間表現装置の動作を示す説明図であり、図４と同一または相当の部分については同一の符号を付し説明を省略する。図において、３５は移行点での視点位置、３６は視点位置３５での画像フレーム、３７は移行先の視点位置、３８は視点位置３７での画像フレーム、３９は移行点に関連する画像フレーム、４０はビデオ映像データ７の前方への移行を判定するための距離、４１はビデオ映像データ７の後方への移行を判定するための距離である。
【００７１】
この実施の形態３でも前記実施の形態１と同様に、ビデオ映像データ７をＩn （ｎ＝０，１，２，・・・Ｎ）、提示画像１３をＪとする。また、指定視点位置８は撮影経路６上にあり、この撮影経路６上を移動するものとして考える。前記実施の形態２でも説明したように、映像生成の過程で、指定視点位置ｑが現在選択されている画像フレームの撮影視点位置ｐi と大きく離れた場合、変換後においても歪みが大きくなり、情景が正しく表現されなくなる可能性が出てくる。
そこで、この実施の形態３においては、ビデオ映像データ撮影時の視点移動速度と大きく異なる速度で指定視点を移動させても対処できるよう、チェックポイントである移行点を設け、適宜適切な画像フレームに移行するように構成する。
【００７２】
この結果、指定視点位置と選択しているビデオ映像データ７の画像フレームの撮影視点位置の差が大きくなった場合、画像フレームをあらかじめ設定してある画像フレーム間で選択し直すことにより、生成映像の画質を維持することが可能になる。
【００７３】
次に動作について説明する。
先ず、移行点設定装置３３による移行点の設定方法について説明する。図２３は、この移行点の設定方法を示すフローチャートである。
初期状態として前記実施の形態１に示した各数値が求まっている他、各ｐi について、その撮影経路上の始点２１からの距離が配列Ｘ［ｉ］により求まっているとする。これは例えば、隣接する画像フレームについての視点位置の差｜ｐi −ｐ(i-1) ｜を積算して求めることができる。
【００７４】
ステップＳＴ３０１では、ビデオ映像データの画像フレームを示す変数ｉを“１”に初期化する。また、仮の移行点の画像フレームを示す変数ｈをＨｍｉｎに初期化する。
このＨｍｉｎは、移行点間の最小のフレーム差を表し、あらかじめ例えば１秒当たりのフレーム数３０というように設定する。また、移行点フレームを示す変数ＨもＨｍｉｎに初期化する。また、移行点の数を示す変数ｎを“１”に初期化し、それを格納する配列Ｔの第１の撮影経路上の始点２１からの距離として格納する。
さらに、誤差を示す変数Ｅを十分大きな値（例えば、画素値の取り得る値の二乗に画素数を乗じた値）に初期化する。
【００７５】
ステップＳＴ３０２では、ｉ番目の画像フレームとｈ番目の画像フレームとの不一致度を計算する。これは、ｉ番目の画像フレームを撮影視点ｐh からの情景に変換し、その変換画像ＫとＩh との画素値の誤差の二乗和をとることで行う。
この値をｅとする。なお、このとき用いる画像の変換は、前記実施の形態１において説明した変換である。
【００７６】
ステップＳＴ３０３では、Ｅ＞ｅかどうかを判定する。「ＹＥＳ」であるならステップＳＴ３０４へ進み、「ＮＯ」であればステップＳＴ３０５に進む。
【００７７】
ステップＳＴ３０４では、移行点を示す変数Ｈをｈに、誤差Ｅをｅに更新する。ステップＳＴ３０５では、ｈに“１”加算する。
【００７８】
ステップＳＴ３０６では、ｈがＮ以下であるか否かを判定し、「ＮＯ」であればステップＳＴ３０７でｎを“１”加算し、最後の移行点ＨをＴ［ｎ］に設定し、移行点設定処理を終了する。
この結果、ビデオ映像データ内でｎ個の移行点が設定され、それらのフレーム番号が配列Ｔに格納されることになる。
【００７９】
ステップＳＴ３０８では、ｈ−ｉがＨｍａｘ以下であるか否かを判定する。Ｈｍａｘは移行点間の最大のフレーム差を表し、あらかじめ、例えば５秒当たりのフレーム数５×３０＝１５０というように設定する。ステップＳＴ３０８で「ＹＥＳ」であればステップＳＴ３０２に戻り、「ＮＯ」であればステップＳＴ３０９に進む。
【００８０】
ステップＳＴ３０９では、移行点Ｈについて、その数を示す変数ｎを“１”増加させ配列Ｔに格納する。この移行点Ｈは、１つ前の移行点からフレーム幅Ｈｍｉｎ以上、Ｈｍａｘ以下の範囲の中で、その１つ前の移行点の画像フレームとの不一致度が最も小さくなる画像フレームである。
【００８１】
ステップＳＴ３１０では、移行点Ｈを新たなｉに、そのｉにＨｍｉｎを加算したものを新たなｈに設定し、またＥとＨとの再初期化を行う。
【００８２】
ステップＳＴ３１１ではｈがフレーム数Ｎ以下であるか否かを判定し、「ＹＥＳ」であればステップＳＴ３０２に戻り、「ＮＯ」であれば移行点設定処理を終了する。
【００８３】
以上の処理により、最小Ｈｍｉｎ、最大Ｈｍａｘの間隔をもつｎ個の移行点が設定される。この例を図２０に示す。ビデオ映像データ７上に移行点となる視点位置２１，３５ｂ，３５ｃ，３５ｄと、その画像フレーム３９ａ、３９ｂ，３９ｃ，３９ｄが設定される。これにより、隣接の移行点間で画像フレームを切り替えた場合、誤差が小さくなるため顕著な不連続が生じないように生成映像を構成することが可能になる。
【００８４】
次に、この実施の形態３による映像生成の動作について説明する。
図２４は、この映像生成の動作を示すフローチャートである。図２４において図１５と同一または相当のステップについては同一の符号を付し説明を省略する。
ステップＳＴ３５１では、移行点の番号を示すｍを１に設定し、その移行点をｈとする。
ステップＳＴ３５２では、ｈがｉより大きいか否かを判断し、「ＮＯ」であれば「ＹＥＳ」になるまで、ステップＳＴ３５３で移行点を順次変更していく。
ステップＳＴ３５４では、ｉが移行点ｈかどうかを判定する。この結果「ＹＥＳ」であればステップＳＴ３５５へ進み、「ＮＯ」であればステップＳＴ２へ戻る。
【００８５】
ステップＳＴ３５５では、視点位置間についてｔ−Ｘ［Ｔ［ｍ＋１］］≧０であるか否かを判定する。この結果、「ＹＥＳ」であればステップＳＴ３５６に進み、「ＮＯ」であればステップＳＴ３５７へ進む。
ただし、ｍ＋１がｎより大きくなるときは、Ｔ［ｍ＋１］に対する移行点は存在しないのでステップＳＴ３５７へ進む。
【００８６】
ステップＳＴ３５６では、画像フレームｉが移行点でありｐi からみて、指定視点ｑは撮影経路上、次の移行点Ｔ［ｍ＋１］以遠にあることになる。そこで、Ｔ［ｍ＋１］で示される次の移行点におけるフレームを用いて画像を生成した方が歪みが小さくなると期待できる。したがって、Ｔ［ｍ＋１］をｉと置き直す。さらに、Ｔ［ｍ＋２］をｈとし、ｍ＋２を新たにｍとする。ただし、ｍ＋２がｎより大きくなるときは、ｈとｍの更新は行わない。
これを図２１に示す。判定に用いた距離４０が正または“０”であれば、前回表示に用いた画像フレーム２３に対して、それに続く画像フレーム３６（視点位置３５）を取りやめ、指定視点位置８に近い画像フレーム３８（視点位置３７）を表示に用いる。画像フレーム３６、画像フレーム３８は移行点の画像フレームであるため滑らかな置き換え、移行が可能になる。
【００８７】
ステップＳＴ３５７では、視点位置間について、Ｘ［Ｔ［ｍ−１］］−ｔ≧０であるか否かを判定する。この結果、「ＹＥＳ」であればステップＳＴ３５８に進む。ただし、ｍが“１”のときは、Ｔ［ｍ−１］に対する移行点は存在しないので「ＮＯ」の場合と同様にステップＳＴ３５９へ進む。
ステップＳＴ３５９では移行点を更新する。ただし、ｍ＋１がｎより大きくなるときは、更新を行わない。
【００８８】
ステップＳＴ３５８では、画像フレームｉが移行点であり、ｐi からみて指定視点ｑは撮影経路上、前の移行点Ｔ［ｍ−１］以遠にあることになる。そこで、Ｔ［ｍ−１］で示される前の移行点におけるフレームを用いて画像を生成した方が歪みが小さくなると期待できる。したがって、Ｔ［ｍ−１］をｉと置き直す。
これを図２２に示す。判定に用いた距離４１が正または“０”であれば前回表示に用いた画像フレーム２３に対して、それに続く画像フレーム３６（視点位置３５）を取りやめ、指定視点位置８に近い画像フレーム３８（視点位置３７）を表示に用いる。画像フレーム３６、画像フレーム３８は移行点の画像フレームであるため滑らかな置き換え、移行が可能になる。
【００８９】
以上、説明したように、この実施の形態３によれば、映像を切り替える移行点を、映像に不連続を生じないようにあらかじめ設定し、設定した移行点間のみで映像を切り替えるように構成したので、例えば対象環境内を人や車などが横切っていくような場面が発生しても、その間には移行点が設定されず移行時にいきなり車が現れたり消えたりはしない。従って、移動する事物を含むビデオ映像データを用いる場合でも時間的に不連続性のない空間を表現できる空間表現装置が得られる効果がある。
【００９０】
実施の形態４．
図２５は、この発明の実施の形態４のビデオ映像による空間表現装置の構成を示すブロック図である。図２５において図１６と同一または相当の部分については同一の符号を付し説明を省略する。図２５において、４２は２つの画像フレームから提示画像を合成するとともに補間し、補間における割合を徐々に再選択された画像フレームに関して大きく設定し、再選択された画像フレームへ徐々に変化させ提示画像の不連続を顕著にさせないための画像合成装置（画像合成手段）である。
【００９１】
図２６は、このビデオ映像による空間表現装置の動作を示す説明図であり、図において、４３は画像フレームを変換して得られる第２の変換画像である。
【００９２】
この空間表現装置では、生成映像における移行点において所定のフレーム幅で徐々に映像を変化させるように移行させる。しかしながらビデオ映像データの移行点においては必ずしも情景を一致させられるとは限らない。そこで、この実施の形態では不連続を顕著にさせないため一方から他方の映像に徐々に変化させて映像生成を行う。
【００９３】
次に動作について説明する。
図２７は、この発明の実施の形態４のビデオ映像による空間表現装置による映像生成動作を示すフローチャートである。なお、図２７において図１８と同一または相当のステップについては同一の符号を付し説明を省略する。
ステップＳＴ４０１では、移行領域か否かを示す変数Ｆを“０”に初期化する。この変数Ｆが“０”のときは通常の画像生成を行い、正のときは移行領域とみて２つの画像フレームを合成して提示画像を得る。
【００９４】
ステップＳＴ２からステップＳＴ７の処理の後、ステップＳＴ４０２では、変数Ｆが“０”であるか否かを判定する。「ＹＥＳ」であればステップＳＴ２０１に進み、映像を移行するかどうかを判定する。また、変数Ｆが“０”でなければ、すでに移行領域であるのでステップＳＴ４０４以下の移行領域の処理を行う。
【００９５】
ステップＳＴ２０１へ進んで映像を移行すると判定した場合、すなわち「ＮＯ」の場合でありステップＳＴ４０３へ進む。ステップＳＴ４０３では画像フレーム番号ｉをｊに格納し、変数ＦをＷとする。Ｗは正の整数であり、２つの画像フレームを合成して生成する提示画像のフレーム数、すなわち、移行領域の幅である。この値はあらかじめ定め、例えば０．５秒分の１５フレームというようにする。
ステップＳＴ２０２終了後、移行先の画像フレーム３２が新たにｉで表される。ステップＳＴ２０２からステップＳＴ４０４へ進み、ステップＳＴ４０４以下では、前記新たな画像フレーム３２と、前回表示した画像フレーム２３に連続する画像フレーム２４（ｊ）とを混合し、徐々に移行先の映像に変化させていくように生成映像を合成していく。移行領域の処理であるステップＳＴ４０４では、通常のｉ番目の画像フレーム３２および変数に加え、ｊ番目の画像フレーム２４および変数を記憶装置から読み出す。
【００９６】
ステップＳＴ４０５では、ｉ番目の画像フレーム３２およびｊ番目の画像フレーム２４をそれぞれ変換し、図２６に示す変換画像２５（Ｋ）および第２の変換画像４３（Ｋ’）を生成する。この変換は上述のものと同一である。
【００９７】
ステップＳＴ４０６では、画像合成装置４２において、変換されたそれぞれの映像フレームを式（９）に示すように、
【数９】
0003746380.tif 000010
のように合成して図２６に示す提示画像１３（Ｊ）を得る。これは、前記変数Ｆに従って徐々に移行後の映像フレームの比率を高めていくもので、Ｗフレーム目以後で完全に移行後の映像に切り替わる。なお、ここでＫ，Ｋ’に対する係数は、画像の画素値に係数を乗算することを表す。
【００９８】
ステップＳＴ４０７では、Ｊを画像表示装置２０により表示する。この場合もフレーム速度を撮影時の値に一致させる。ステップＳＴ４０８では、変数Ｆを“１”減じるとともに、ｊに“１”加算する。ここまでが移行領域の処理で、この後、ステップＳＴ５に進む。
【００９９】
以上、説明したように、この実施の形態４によれば、映像を切り替える移行点において幅Ｗフレームの移行領域を設定し、その領域で移行前後の映像を滑らかに徐々に変化させるようにしたため、移行部が顕著に表れない生成映像を合成できる空間表現装置が得られる効果がある。
【０１００】
実施の形態５．
図２８は、この発明の実施の形態５のビデオ映像による空間表現装置の構成を示すブロック図である。図２８において図１と同一または相当の部分については同一の符号を付し説明を省略する。図２８において、６１はスタート指定視点位置ｑに対し最も適切な画像フレームを選択するフレーム選択装置（フレーム選択手段）、６２はスタート指定視点位置ｑと光軸方向、画角を初期設定する視点位置設定装置（視点位置設定手段）である。
【０１０１】
図２９および図３０は、この発明の実施の形態５のビデオ映像による空間表現装置の動作を示す説明図であり、図４および図７と同一または相当の部分については同一の符号を付し説明を省略する。図において、４７はフレーム選択装置６１により初期段階で選択された画像フレーム、４８は画像フレーム４７の視点位置である。
【０１０２】
この実施の形態５では、指定視点位置ｑは撮影経路上に限らず自由に指定できる。
【０１０３】
次に動作について説明する。
図３１は、この発明の実施の形態５のビデオ映像による空間表現装置による映像生成動作を示すフローチャートである。なお、図３１において図１５と同一または相当のステップについては同一の符号を付し説明を省略する。
先ず、ステップＳＴ５０１では、視点位置設定装置６２により撮影経路上のスタート指定視点位置ｑと光軸方向Θ、画角Φを初期設定する。この場合、スタート指定視点位置ｑは撮影経路上には限定しない。続くステップＳＴ５０２では、フレーム選択装置６１によりスタート指定視点位置ｑに対し最も適切な画像フレーム４７（Ｉi ）を選択する。この場合、例えば、光軸方向のなす角が所定の閾値、例えば１５度以下であって、視点位置４８について視点間の差｜ｑ−ｐi ｜が最小となる画像フレームＩi というように選択する。この画像フレーム４７の番号を変数ｉに格納する。
【０１０４】
なお、ステップＳＴ２からステップＳＴ４までの動作は、前記実施の形態１で説明した動作と同一である。
ステップＳＴ５０３では、視点位置設定装置６２により視点の移動ｖと光軸方向の移動ｕ、画角の変化ｓを指定する。
続くステップＳＴ６，ステップＳＴ７は前記実施の形態１で説明した動作と同一である。
【０１０５】
ここで、この実施の形態のステップＳＴ３における画像変換について説明する。
前記実施の形態１と同様に、この実施の形態でも提示画像１３の注視点２６が正しく中心に描かれるようにする。このためには、図３０に示すように符号２６で示す注視点ａ＝Ｄ（ｃｏｓΘ，ｓｉｎΘ，０）＋ｑ＝（ａx ，ａy ，ａz ）として、
【０１０６】
【数１０】
0003746380.tif 000011
【０１０７】
となるから、
【０１０８】
【数１１】
0003746380.tif 000012
【０１０９】
を得る。ｒv に関しては前記実施の形態１と同様である。倍率ｒz は、視点位置から注視点２６までの距離の比と画角の差により、
【０１１０】
【数１２】
0003746380.tif 000013
【０１１１】
となる。
【０１１２】
以上、説明したように、この実施の形態５によれば、ビデオ映像データの撮影時の撮影経路、および撮影経路上の指定視点位置によらず、動きのある環境内で歩調を変えて散策する場合などの感覚を与えることができる空間表現装置が得られる効果がある。
特に、指定視点位置８を撮影経路６に沿って移動させ、提示画像１３の光軸方向を画像フレーム４７の光軸方向の近傍で変化させたならば、ビデオ映像データ７に撮影された動きのある空間内を、左右を見渡しつつ、自由な歩調で散策する映像を生成できる。
【０１１３】
なお、以上説明した各実施の形態における記憶装置１６は、計算機の主記憶装置あるいは磁気ディスク装置あるいはビデオテープ装置およびビデオテープである。
【０１１４】
実施の形態６．
以上説明した各実施の形態において、前記実施の形態１のビデオ映像による空間表現装置では速度調整装置１７、フレーム選択装置１８、画像変換装置１９を構成要素として備え、また前記実施の形態２では特徴的な構成要素としてフレーム選択装置３０を備え、また前記実施の形態３では特徴的な構成要素として移行点設定装置３３、フレーム選択装置３４を備え、また前記実施の形態４では特徴的な構成要素として画像合成装置４２を備え、また前記実施の形態５では特徴的な構成要素としてフレーム選択装置６１、視点位置設定装置６２を備える構成であったが、これら各構成要素の動作を計算機によりソフトウェアで実現するようにしてもよい。
【０１１５】
実施の形態７．
前記各実施の形態では、生成映像１４のフレーム速度をビデオ映像データ７と同じとしたが、これを異なるように構成してもよい。この場合、仮に生成映像１４のフレーム速度がビデオ映像データ７の１／ｎ（単位時間に提示するフレームが１／ｎ）とすれば、ステップＳＴ６の動作はｉ←ｉ＋ｎとなる。
逆に、生成映像１４のフレーム速度がビデオ映像データ７のｎ倍（単位時間に提示するフレームがｎ倍）とすれば、ステップＳＴ６の動作は、ステップＳＴ６がｎ回実行される毎にｉが“１”加算されるような動作となる。
【０１１６】
実施の形態８．
前記実施の形態５では、連続したビデオ映像データ７を用いたが、複数に分けて撮影された複数のビデオ映像データ７を用いて構成してもよい。
【０１１７】
実施の形態９．
前記各実施の形態では、水平面をｘｙ平面内として説明したが、鉛直面など他の平面に設定してもよく、同一の動作となり、同一の効果が期待できる。
【０１１８】
実施の形態１０．
前記各実施の形態では、ビデオ画像データと提示画像の光軸をｘｙ平面に平行として説明したが、これに限るものではなく、ビデオ画像データと提示画像の光軸がｘｙ平面に平行でない場合でも、簡単な画像の変換によって対処できる。
【０１１９】
実施の形態１１．
前記各実施の形態では、ビデオ画像データと提示画像の水平軸をｘｙ平面に平行として説明したが、これに限るものではなく、ビデオ画像データと提示画像の水平軸がｘｙ平面に平行でない場合でも、簡単な画像の変換によって対処できる。
【０１２０】
実施の形態１２．
前記実施の形態４では、画像合成装置４２の行う演算を式（９）に示す画素値の補間混合として説明したが、合成する２つの変換画像間で被写体中の同一点を表す特徴点の対応付けを行い、それらが同一画素に置かれるように、互いを移動、変形させてから画素値を混合する、いわゆるモーフィングにより行うように構成してもよい。
【０１２１】
実施の形態１３．
前記各実施の形態では、画像フレームを順に１フレームずつ選択して提示したが、対象物の動く速度が定まっていない場合、指定視点位置の移動が速いときは、例えば、最大１フレームまでは画像フレームを間引いて選択する。また、指定視点位置の移動が遅いときは、例えば、同一画像フレームを最大２回までは続けて提示するというように構成してもよい。
【０１２２】
【発明の効果】
以上のように、この発明によれば、ビデオ映像データから選択された画像フレームを、撮影経路に対し指定された指定視点位置での情景に合致するよう画像変換する構成を備えるようにしたので、視点位置が異なるが被写体の動きを正しく示す画像フレームを選択することができ、被写体の動きを正しく再現する映像を生成できる効果がある。
【０１２３】
この発明によれば、ビデオ映像データから連続する画像フレームを順に１フレームずつフレーム選択手段が選択する構成を備えるようにしたので、視点位置は異なるが被写体の正しい動きを示す画像フレームを順に１フレームずつ選択し、被写体の動きを正しく再現する映像を生成できる効果がある。
【０１２４】
この発明によれば、速度調整手段により与えられる指定視点の移動量によって更新される指定視点位置と、選択されている画像フレームの撮影視点位置との間の距離が所定の距離以上離れていると、前記指定視点位置に近い撮影視点位置の画像フレームを再選択するフレーム選択手段を備えるように構成したので、再現する情景が実際のものと大きく異なることなく、映像空間を再現できる効果がある。
【０１２５】
この発明によれば、フレーム選択手段が選択する画像フレームに対応する移行点をあらかじめ設定する移行点設定手段を備え、指定視点位置に近い撮影視点位置の画像フレームを、前記移行点設定手段によりあらかじめ設定した移行点の画像フレーム間でフレーム選択手段が選択するように構成したので、移行点での再現される映像空間の不連続が顕著に現われない映像を生成できる効果がある。
【０１２６】
この発明によれば、フレーム選択手段がすでに選択した画像フレームと再選択した画像フレームを共に画像変換手段が画像変換し、前記画像変換手段が画像変換した変換画像を合成し、提示画像を補間し、補間における割合を徐々に前記再選択された画像フレームに関して大きくする画像合成手段を備えるように構成したので、映像を滑らかに移行することができ、不連続が顕著にならない映像を生成できる効果がある。
【０１２７】
この発明によれば、ビデオ映像データが撮影された空間内にスタート視点と光軸方向、画角を初期設定する視点位置設定手段を備え、前記視点位置設定手段により設定された前記スタート視点に最適な画像フレームをフレーム選択手段が選択し、前記フレーム選択手段により選択された画像フレームを、前記視点位置設定手段により設定されたスタート視点と光軸方向、画角をもとに画像変換手段が提示画像へ画像変換するように構成したので、ビデオ映像データの撮影時の撮影経路、および撮影経路上の指定視点位置によらず、ビデオ映像データに撮影された動きのある空間内で、前記初期設定されたスタート視点と光軸方向、画角に応じた映像を生成できる効果がある。
【０１２８】
この発明によれば、提示画像の光軸上一定距離にある被写体が提示画像上で正しく描画されるように、選択された画像フレームを画像変換手段が変換するように構成したので、注視する中心付近が正しく描かれる提示画像を生成できる効果がある。
【０１２９】
この発明によれば、選択された画像フレームの平行移動と拡大または縮小により画像変換手段が画像変換を行うように構成したので、簡単な演算で被写体の動きを正しく再現する提示画像を生成できる効果がある。
【０１３０】
この発明によれば、ビデオ映像データの撮影視点位置は直線上に並び、光軸はその直線上、撮影視点位置の進行方向に向かっており、指定視点位置と選択された画像フレームの前記撮影視点位置との距離によって決まる、画像フレームの拡大または縮小により画像変換手段が画像変換を行うように構成したので、簡単な演算で前進速度を任意に変えた映像を生成できる効果がある。
【０１３１】
この発明によれば、直線上の撮影経路上でその直線に直交する方向に向けて撮影されたビデオ映像データを用いる処理にあたり、画像フレームの変換を画像の平行移動で行うようにしたので、簡単な演算で並進速度を任意に変えた映像を生成できる効果がある。
【０１３２】
この発明によれば、ビデオ映像データの画像フレームより小さい変換画像を画像変換手段が生成するように構成したので、画像フレームの変換において発生する変換画像の周辺部の対応付けることができない領域が影響しない映像を生成できる効果がある。
【図面の簡単な説明】
【図１】  この発明の実施の形態１のビデオ映像による空間表現装置の構成を示すブロック図である。
【図２】  この発明の実施の形態１のビデオ映像による空間表現装置の動作を示す説明図である。
【図３】  この発明の実施の形態１のビデオ映像による空間表現装置の動作におけるカメラ配置を示す説明図である。
【図４】  この発明の実施の形態１のビデオ映像による空間表現装置の動作を示す説明図である。
【図５】  この発明の実施の形態１のビデオ映像による空間表現装置の記憶装置に記憶されるデータを示す説明図である。
【図６】  この発明の実施の形態１のビデオ映像による空間表現装置の動作を示す説明図である。
【図７】  この発明の実施の形態１のビデオ映像による空間表現装置の動における視点配置を示す説明図である。
【図８】  この発明の実施の形態１のビデオ映像による空間表現装置の動作における画像変換を示す説明図である。
【図９】  この発明の実施の形態１のビデオ映像による空間表現装置の動作を示す説明図である。
【図１０】  この発明の実施の形態１のビデオ映像による空間表現装置の動作における画像変換の一例を示す説明図である。
【図１１】  この発明の実施の形態１のビデオ映像による空間表現装置の動作を示す説明図である。
【図１２】  この発明の実施の形態１のビデオ映像による空間表現装置の動作における画像変換の一例を示す説明図である。
【図１３】  この発明の実施の形態１のビデオ映像による空間表現装置の動作における画像変換の一例を示す説明図である。
【図１４】  この発明の実施の形態１のビデオ映像による空間表現装置における生成映像の一例を示す説明図である。
【図１５】  この発明の実施の形態１のビデオ映像による空間表現装置の映像生成動作を示すフローチャートである。
【図１６】  この発明の実施の形態２のビデオ映像による空間表現装置の構成を示すブロック図である。
【図１７】  この発明の実施の形態２のビデオ映像による空間表現装置の動作における画像変換の一例を示す説明図である。
【図１８】  この発明の実施の形態２のビデオ映像による空間表現装置の映像生成動作を示すフローチャートである。
【図１９】  この発明の実施の形態３のビデオ映像による空間表現装置の構成を示すブロック図である。
【図２０】  この発明の実施の形態３のビデオ映像による空間表現装置の動作を示す説明図である。
【図２１】  この発明の実施の形態３のビデオ映像による空間表現装置の動作を示す説明図である。
【図２２】  この発明の実施の形態３のビデオ映像による空間表現装置の動作を示す説明図である。
【図２３】  この発明の実施の形態３のビデオ映像による空間表現装置の移行点の設定手順を示すフローチャートである。
【図２４】  この発明の実施の形態３のビデオ映像による空間表現装置の映像生成動作を示すフローチャートである。
【図２５】  この発明の実施の形態４のビデオ映像による空間表現装置の構成を示すブロック図である。
【図２６】  この発明の実施の形態４のビデオ映像による空間表現装置の動作を示す説明図である。
【図２７】  この発明の実施の形態４のビデオ映像による空間表現装置の映像生成動作を示すフローチャートである。
【図２８】  この発明の実施の形態５のビデオ映像による空間表現装置の構成を示すブロック図である。
【図２９】  この発明の実施の形態５のビデオ映像による空間表現装置の動作を示す説明図である。
【図３０】  この発明の実施の形態５のビデオ映像による空間表現装置の動作における視点配置を示す説明図である。
【図３１】  この発明の実施の形態５のビデオ映像による空間表現装置の映像生成動作を示すフローチャートである。
【図３２】  従来の空間表現装置の構成を示すブロック図である。
【図３３】  従来の空間表現装置の動作を示す説明図である。
【図３４】  従来の空間表現装置の動作を示す説明図である。
【図３５】  従来の空間表現装置による生成映像の一例を示す説明図である。
【図３６】  従来の空間表現装置による生成映像の一例を示す説明図である。
【符号の説明】
１６  記憶装置（記憶手段）、１７  速度調整装置（速度調整手段）、１８，３０，３４，６１  フレーム選択装置（フレーム選択手段）、１９  画像変換装置（画像変換手段）、２０  画像表示装置（画像表示手段）、３３  移行点設定装置（移行点設定手段）、４２  画像合成装置（画像合成手段）、６２  視点位置設定装置（視点位置設定手段）。
【図１】
0003746380.tif 000014
【図２】
0003746380.tif 000015
【図３】
0003746380.tif 000016
【図４】
0003746380.tif 000017
【図５】
0003746380.tif 000018
【図６】
0003746380.tif 000019
【図７】
0003746380.tif 000020
【図８】
0003746380.tif 000021
【図９】
0003746380.tif 000022
【図１０】
0003746380.tif 000023
【図１１】
0003746380.tif 000024
【図１２】
0003746380.tif 000025
【図１３】
0003746380.tif 000026
【図１４】
0003746380.tif 000027
【図１５】
0003746380.tif 000028
【図１６】
0003746380.tif 000029
【図１７】
0003746380.tif 000030
【図１８】
0003746380.tif 000031
【図１９】
0003746380.tif 000032
【図２０】
0003746380.tif 000033
【図２１】
0003746380.tif 000034
【図２２】
0003746380.tif 000035
【図２３】
0003746380.tif 000036
【図２４】
0003746380.tif 000037
【図２５】
0003746380.tif 000038
【図２６】
0003746380.tif 000039
【図２７】
0003746380.tif 000040
【図２８】
0003746380.tif 000041
【図２９】
0003746380.tif 000042
【図３０】
0003746380.tif 000043
【図３１】
0003746380.tif 000044
【図３２】
0003746380.tif 000045
【図３３】
0003746380.tif 000046
【図３４】
0003746380.tif 000047
【図３５】
0003746380.tif 000048
【図３６】
0003746380.tif 000049