(57)【要約】【課題】実空間で撮影した画像情報を観察者が当該実空間内で自由に動き回って周囲を観察するように、ディスプレイ画面に表示することを可能にする画像表示手段を提供する。【解決手段】実空間に設定した格子点で撮影した全方位画像ないしその格子点アイだの動画片をその撮影点と関連させて記憶し、観察者の仮想平面内での目の移動方向が指定されたときに、移動開始点に関連させた全方位画像から指定された移動方向の所定の視野角で切出される部分画像をディスプレイに表示し、仮想観察者の移動量に関連して生ずる部分画像の大きさの変化を当該部分画像の連続的なズームアップで補完して表示し、仮想観察者が当該方向の隣接する格子点に達したときに到達点に関連させて記憶した全方位画像を読込んで前記移動方向の部分画像を切出して表示し、各格子点で仮想観察者の移動方向を維持又は変換して上記動作を繰り返す。【選択図】　図７
2004012717.tif 000002
【特許請求の範囲】
【請求項１】
実空間で所定領域を占める二次元平面に分散設定した多数の撮影点で撮影した全方位画像をその撮影点と関連させて記憶し、前記所定領域に対応して設定された仮想平面内を移動する仮想移動体の移動方向が指定されたときに、当該仮想移動体の移動開始座標に対応する撮影点に関連させた全方位画像から指定された移動方向の所定の視野角で切出される部分画像をディスプレイに表示し、仮想移動体の当該方向への移動量に関連して生ずる前記視野角で切出される部分画像の大きさの変化を当該部分画像の連続的なズームアップで補完して表示し、仮想移動体が当該方向の隣接する撮影点に対応する座標に達したときに到達座標に対応する撮影点に関連させた全方位画像を読込んで前記移動方向の視野に対応する部分画像を切出して表示し、各撮影点に対応する座標点で仮想移動体の移動方向を維持又は変換して上記動作を繰り返すことを特徴とする、画像の表示方法。
【請求項２】
撮影点が縦横の格子の交点に設定されている、請求項１記載の画像の表示方法。
【請求項３】
実空間で所定領域を占める二次元平面に設定した縦横の格子の格子線に沿って移動しながら撮影した動画をその格子点間隔ごとに切取った動画片としてその両端の格子点に関連づけて記憶し、
前記所定領域に対応して設定された仮想平面内を移動する仮想移動体の移動方向が指定されたときに、
仮想移動体の移動方向が上記格子線の方向に一致するときはその移動開始点から隣接する到達点に至る格子点間の動画片を再生してディスプレイに表示し、その再生が終了したときに到達点における全方位画像から前記移動方向の所定の視野角で切出される部分画像を切出して表示し、
指定された移動方向が格子線から外れた方向であるときは、当該仮想移動体の移動開始点の全方位画像から指定された移動方向の前記視野角で切出される部分画像をディスプレイに表示し、仮想移動体の当該方向への移動量に関連して生ずる前記視野角で切出される部分画像の大きさの変化を当該部分画像の連続的なズームアップで補完して表示し、仮想移動体が当該方向の隣接する格子点に達したときに到達点の全方位画像を読込んで前記移動方向の視野に対応する部分画像を切出して表示し、各格子点で仮想移動体の移動方向を維持又は変換して上記動作を繰り返すことを特徴とする、移動体視野の表示方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、実空間で撮影した画像を観察者があたかもその実空間内で動き回ったり周囲を見回したりしているようにディスプレイに表示する方法に関するものである。
【０００２】
【従来の技術】
ディスプレイ画面上に地図や鳥瞰図などの地域画を表示し、この地域画上の予め定められた特定地点に対応する位置に地点記号を重ねて表示して、その地点記号がポイントされたときに、当該地点の景観を示す画像をディスプレイ画面上に表示する画像表示方法は公知である。
【０００３】
また特開２００１−２１５９４１号公報には、観察者が位置や方角を統合的に制御可能にする画像情報の表示方法として、ディスプレイ画面上に表示された地域画上に方向指示要素を備えた地点記号を表示し、当該地点の方向指定情報が入力されたときに、当該地点に対応する画像情報から指定方向の画像部分を切り出して表示する画像表示方法が、この発明の出願人によって提案されている。
【０００４】
更に上記公報及び特開２００１−４３８９号公報、特開２０００−２４４８１２号公報などには、地域画上に移動経路を示す軌跡記号を表示し、当該軌跡に沿って移動体を移動させたときの景観の変化を示す動画情報を表示する方法が提案されている。
【０００５】
【発明が解決しようとする課題】
上記のような従来の画像表示手段は、地域画上に表示された複数の移動軌跡の景観情報を観察者に自由に選択させて表示させることができるという特徴がある。しかし従来の方法では、観察者は地域画上の予め定められた特定の移動軌跡を選択できるだけであり、地域内を自由に動き回って周囲の景観を見るということができない。
【０００６】
この発明は、観察者が実空間内で自由に動き回って周囲を観察するように、当該実空間で撮影した画像情報をディスプレイ画面に表示することを可能にする画像表示手段を提供することを課題としており、より少ない補助記憶領域、メモリ容量及びＣＰＵ速度で実現することが可能な上記方法を得ることを課題としている。
【０００７】
【課題を解決するための手段】
上記課題を解決したこの出願の請求項１の発明に係る画像の表示方法は、実空間で所定領域を占める二次元平面に分散設定した多数の撮影点（実施例では格子点）で撮影した全方位画像をその撮影点と関連させて電子計算機の記憶装置に記憶し、前記所定領域に対応して設定された仮想平面内を移動する仮想移動体（観察者の仮想平面内での目）の移動方向が指定されたときに、当該仮想移動体の移動開始座標に対応する撮影点に関連させた全方位画像から指定された移動方向の所定の視野角で切出される部分画像を電子計算機のディスプレイに表示し、仮想移動体の当該方向への移動量に関連して生ずる前記視野角で切出される部分画像の大きさの変化を当該部分画像の連続的なズームアップで補完して表示し、仮想移動体が当該方向の隣接する撮影点に対応する座標に達したときに到達座標に対応する撮影点に関連させて記憶した全方位画像を読込んで前記移動方向の前記視野角に対応する部分画像を切出して表示し、各撮影点に対応する座標点で仮想移動体の移動方向を維持又は変換して上記動作を繰り返すというものである。
【０００８】
請求項２の発明に係る画像の表示方法は、撮影点が縦横の格子の交点に設定されている請求項１記載の画像の表示方法である。請求項２の方法によれば、多数の撮影点での全方位画像の撮影及びその記憶装置への入力並びに電子計算機内での演算処理とが容易になるという実益がある。
【０００９】
上記課題を解決する第２の方法である請求項３の発明は、実空間で所定領域を占める二次元平面に設定した縦横の格子の格子線に沿って移動しながら撮影した動画をその格子点間隔ごとに切離した動画片にしてその両端の格子点に関連づけて電子計算機の記憶装置に記憶し、前記所定領域に対応して設定された仮想平面内を移動する仮想移動体の移動方向が指定されたときに、仮想移動体の移動方向が上記格子線の方向に一致するときは、その移動開始点から隣接する到達点に至る格子点間の動画片を再生して電子計算機のディスプレイに表示し、その再生が終了したときに到達点における全方位画像から前記移動方向の所定の視野角で切出される部分画像を切出して表示し、指定された移動方向が格子線から外れた方向であるときは、当該仮想移動体の移動開始点の全方位画像から指定された移動方向の前記視野角で切出される部分画像をディスプレイに表示し、仮想移動体の当該方向への移動量に関連して生ずる前記視野角で切出される部分画像の大きさの変化を当該部分画像の連続的なズームアップで補完して表示し、仮想移動体が当該方向の隣接する格子点に達したときに到達点の全方位画像を読込んで前記移動方向の視野に対応する部分画像を切出して表示し、各格子点で仮想移動体の移動方向を維持又は変換して上記動作を繰り返すことを特徴とする、移動体視野の表示方法である。
【００１０】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態を説明する。図１は、この発明の方法を実施するためのハードウェア構成の一例を示した図で、ディスプレイ１と、２本のジョイスティック２、３と、本体装置４とを備えている。本体装置４は、ＣＰＵとメモリ及びハードディスクなどの補助記憶装置を内蔵しており、この補助記憶装置には画像データベース、画像表プログラム、画像切出しプログラム、画像補完プログラム、動画再生プログラムなどが登録されている。
【００１１】
実施例１の方法では、データベースに登録する全方位画像は、観察しようとする実空間を所定間隔の縦横の格子線Ｌｘ、Ｌｙで区画したときの各格子点Ｐにおける全方位画像として取得される。この全方位画像は、例えば魚眼レンズを上に向けたビデオカメラを実空間に想定した格子線Ｌｘ、Ｌｙに沿って一定速度で移動しながら撮影し、各格子点位置におけるフレームをその格子点の座標をインデックスにして記憶することによって行われる。
【００１２】
撮影された全方位画像は、図４（ａ）に示すように、円板状の画像となるが、これを所望の実空間の高さに対応する半径方向の幅でリング状に切り取って（図４（ａ）の領域Ａ）、これを図４（ｂ）に示すような３６０度の円筒を展開した画像に補正して画像データベースに登録する。
【００１３】
登録された画像情報は、ある格子点が指定されたときに、その格子点座標に基づいて検索され、メモリに読み込まれる。メモリに読み込まれた全方位画像は、切出しプログラムで矩形の部分画像に切出され、当該部分画像が画像表示プログラムによってディスプレイ１に表示される。切出しプログラムは、ビュー方向の情報を受取ったとき、その方向情報と予め登録されている視野角とに基づいて、当該方向の部分画像を切出す。すなわち、図５に示すように、円筒状の全方位画像Ｍから視野角２αの領域の画像を切出して、画像表示プログラムに送り、画像表示プログラムは受取った部分画像をディスプレイ１に表示する。
【００１４】
ビュー方向は、方向ジョイスティック２の操作方向やマウスのドラッグ方向などによって指令する。従って、観察者が方向ジョイスティック２を好みの方向に操作すれば、現在の格子点における任意の方向の画像をディスプレイ１に表示できる。
【００１５】
観察者が観察エリアを移動したときに連続的に変化する画像は、ズーム技術を応用した補完プログラムによって生成される。すなわち、図５において、現在格子点位置Ｐで所定の視野角２αの部分画像を見ながら、その方向に距離ｄだけ移動すると、その移動地点Ｑにおける視野角２αは変化せず、従って移動前の格子点Ｐにいたときの部分画像の幅ａに対してｄだけ移動した後の移動地点Ｑにおける部分画像の幅ａ′は、式１で与えられる。
【式１】
2004012717.tif 000003
ここでｈは記憶した全方位画像の実空間における被対象物までの距離である。この関係からズーム率ａ′／ａは、式２で表される。
【式２】
2004012717.tif 000004
ここで、αの２倍が視野角、ｄは現在格子点からの移動距離、ａは各格子点で表示する部分画像の幅である。観察者が移動するとき、移動距離ｄは、移動速度ｖに現在格子点を出発又は通過してからの時間Δｔを乗じた値となるから、移動速度と経過時間から距離ｄを算出してやれば、ズーム率ａ′／ａが算出できる。従って、切出した画像をこのズーム率に応じて拡大してディスプレイ１に表示することにより、観察者がある方向に移動すると、その移動に応じて画像が変化する。観察者が移動方向に隣接する次の格子点に到達したとき、補完プログラムによって補完された部分画像は、到達した格子点の全方位画像の当該移動方向の部分画像によって置き換えられる。
【００１６】
実空間の広さに対して格子点間隔が粗すぎると、この補完画像から新しい部分画像への置き換えの際に、格子点から被対象物までの距離の大小による画像の飛躍が生ずる。この問題は、格子点間隔を小さくし、隣接する格子点へ移動方向を制限することによって解決することができる。図３に示すように、縦横の格子を等間隔とし、観察者の移動方向を格子線に沿う方向と斜め４５度の方向とに制限すれば、格子点間隔を０．５ｍとしたとき、補完によって処理しなければならない最大の移動距離は、０．７０７ｍとなる。視野角２α＝２０度として部分画像の切出し幅ａ＝６ｍとすると、最大格子点間隔０．７ｍとして観察に耐え得る連続画像が得られる。
【００１７】
次に図６に示すフローチャートを参照して、第１実施例の画像表示方法を説明する。観察が開始されると、デフォルトの格子点座標とビュー方向とが与えられ、当該座標で検索した全方位画像がメモリに読み込まれ、デフォルト方向の部分画像が設定された視野角ないし画像幅で切出されてディスプレイ１に表示される。この状態で観察者が方向ジョイスティック２を操作すると、その操作方向によって指令されたビュー方向の部分画像が同様に切出されてディスプレイ１に表示される。観察者が移動ジョイスティック３を操作すると、その操作方向が８方向に近似して入力され、ビュー方向がその移動方向に設定されて表示画面が移動方向の部分画像となり、予め設定された移動速度又は移動ジョイスティックの操作量によって指定される移動速度ｖに直前の格子点を出発又は通過してからの経過時間Δｔを乗じた移動距離ｄが算出され、切出しプログラムが切出し画像のズーム率を計算して、移動量に応じて拡大された部分画像をディスプレイ１に表示する。移動距離ｄが当該方向の格子点間隔に達すると、到達した格子点座標で検索された全方位画像がメモリに読み込まれ、当該全方位画像の移動方向をビュー方向とする部分画像が切出されて、ズーミングにより補完された画像と置き換えられる。
【００１８】
観察者が移動ジョイスティック３の操作方向を変更しなければ、到達した格子点を通過点として上記と同じ動作が繰り返され、観察者はある方向の格子点を渡り歩くようにして進行方向の画像を観察してゆく。観察者が移動ジョイスティック３の操作方向を変換すると、次の格子点に達したときに、ビュー方向と移動方向とが切換えられ、新たな方向での画像表示が繰り返される。従って、格子点間隔を十分小さく取ることによって、観察者は観察エリア内を自由に移動することができるようになる。そして、観察者が移動ジョイスティックの操作を止めれば移動は停止し、その位置で方向ジョイスティック２を操作することにより、自由にビュー方向を変えて周囲を見回すことができる。
【００１９】
上記第１実施例は、各格子点に当該地点に対応する全方位の静止画像を登録して、これを当該格子点の座標をキーにして呼び出すようにした例である。前述したように、実空間の映像は、格子線に沿う全方位の動画として撮影できる。そこで他の方法として、縦横の格子線に沿って撮影した動画を格子点間隔に対応する長さで切り刻んで動画片とし、各動画片をその両端の格子点の座標をキーにして画像データベースに登録する例を第２実施例として示す。
【００２０】
まずデフォルトの格子点座標とビュー方向とが読込まれる。第２実施例では、前回終了時のものがデフォルトとなっている。この第２実施例では、各格子点が指定されたときに、その格子点から四方に延びる線分に対応する動画片がメモリに読み込まれる。この読み込みは、格子点座標で画像データベースを検索することによって実現できる。
【００２１】
現在格子点に表示可能なフレーム（静止画像）は、読み込まれた４個の動画片の現在格子点側の端にあるから、そのどれを表示するかを判定させるために、予め優先フレームを決めておかなければならない。どれを優先フレームとするかは任意であるが、例えばＸ方向の最後のフレーム（動画片は格子線に沿って一方向に撮影した動画を格子点位置で切断した切片であるから、Ｘ方向の２個の動画片のうち、一方の最初のフレームと他方の最後のフレームとが現在格子点側のフレームである）というように決めておく。格子点位置で表示される画像は、この優先フレームの全方位画像からビュー方向に切出された部分画像である。この状態で方向ジョイスティック２が操作されると、優先フレームの全方位画像が指令された方向で切出された表示される。この動作は第１実施例と同様である。
【００２２】
移動ジョイスティック３が操作されたとき、操作方向を８方向に近似して移動方向を取得することは第１実施例と同じであるが、移動方向が格子線方向であるときの表示が第１実施例と大きく異なる。そのため取得した方向が格子線方向か斜めの方向かを判定する判定ステップが設けられ、格子線方向であるときは動画片の再生動作、斜め方向であるときは第１実施例で説明した補完ズーミング動作で移動中の画像を表示する。
【００２３】
すなわち、この第２実施例では、格子線に沿う方向に移動するときの格子点間の画像は、連続的な動画像として記憶されているので、その動画片を再生してやればよい。この場合、撮影方向と移動方向が同じであれば正方向、反対であれば逆方向に動画片を再生することになる。
【００２４】
メモリ容量を小さくしたいときは、画像データベースからメモリに動画片を読み込むときに、各線分に対応する全方位動画像を現在格子点から隣接する格子点に向う方向の部分画像に切出してメモリに読み込み、最後のフレームのみ（最後のフレームを優先フレームとしたとき）を全方位画像のまま読み込む。
【００２５】
この第２実施例の場合には、斜め４５度の方向に移動するとき、対応する動画像がないので、斜め方向移動の場合にのみ、前記補完プログラムによる画面表示を行う。すなわち、移動ジョイスティックで指定された移動方向を近似した方向が斜め方向であったとき、現在格子点の全方位画像から当該斜め方向の部分画像を切出して、移動距離に応じて補完方法でズーミングすることによって移動中の画像を表示し、対角線上にある隣接する格子点に達したときに、到達格子点における優先フレームの全方位画像から移動方向に切出した部分画像に置き換えることにより、斜め方向の移動を可能にするのである。
【００２６】
図７は、この第２実施例のフローチャートを示すもので、観察が開始されると、最初の格子点座標とビュー方向とが読み込まれ、その格子点から延びる４つの格子線の方向の動画片がメモリに読み込まれて、予め定めた優先フレームのビュー方向の部分画像が表示される。観察者が方向ジョイスティックを操作したときの処理は、第１実施例と同じである。操作者が移動ジョイスティックを操作したとき、取得した移動方向（近似した移動方向）が格子線の方向であれば、メモリの読み取られた当該方向の動画片を再生する。この動画片の再生が終了すると、隣接する次の格子点に達したことになるから、到達格子点の移動してきた方向の動画片を除く３方向の動画片がメモリに読み込まれる。また、移動方向が斜め方向であると判断されたときは、第１実施例と同様な方法で格子点間の部分画像がズーミングにより補完されて表示され、対角方向に隣接する格子点に達したときに、到達格子点の４方向の動画片がメモリに読み込まれて優先するフレームの移動方向の部分画像が表示される。
【図面の簡単な説明】
【図１】実施例のハードウェア構成を示す図
【図２】観察エリアに設定された格子点を示す説明図
【図３】格子点間の観察者の移動を示す説明図
【図４】各格子点又は格子線上で撮影された円形の画像から所定高さの円筒状の全方位画像への変換を示す説明図
【図５】仮想空間内での目の移動を部分画像のズーミング処理により補完する方法を示した説明図
【図６】第１実施例の画像表示手順を示すフローチャート
【図７】第２実施例の画像表示手順を示すフローチャート
【符号の説明】
１　ディスプレイ
２，３　ジョイスティック
２α視野角
４　本体装置
Ｍ　全方位画像
Ｌｘ，Ｌｙ　格子線
Ｐ　格子点
【図１】
2004012717.tif 000005
【図２】
2004012717.tif 000006
【図３】
2004012717.tif 000007
【図４】
2004012717.tif 000008
【図５】
2004012717.tif 000009
【図６】
2004012717.tif 000010
【図７】
2004012717.tif 000011