(57)【要約】【課題】アノテーション対象物と体験者との相対的な位置によってアノテーションの表示位置の決定方法を変更し、常に適切な位置にアノテーションを表示可能とする。【解決手段】複数地点の実写画像より、仮想空間における視点位置に基づいて実写画像を抽出し、抽出された実写画像に基づいて出力画像を生成するにおいて、アノテーションに関して設定された複数の領域のうち、視点位置がどの領域に存在するかを判定し、この判定結果に基づいてアノテーションの表示方法を切り換える（Ｓ１０３）。ここで、複数の領域はアノテーションの対象物の存在する領域の少なくとも一部を含む第１領域と、この第１領域の周辺の第２領域とを含み、視点位置が第１領域にある場合はアノテーションの表示位置を出力画像の所定位置に固定し、視点位置が第２領域にある場合は、視点位置とアノテーションに設定されている表示座標とに基づいて出力画像におけるアノテーションの表示位置を決定する。【選択図】  図９
2005174024.tif 000002
【特許請求の範囲】
【請求項１】
複数地点の実写画像より、仮想空間における視点位置に基づいて実写画像を抽出し、抽出された実写画像に基づいて出力画像を生成する画像生成方法であって、
アノテーションに関する複数の領域が設定された仮想空間中において、視点位置が該複数の領域のいずれに存在するかを判定する判定工程と、
前記判定工程の判定結果に基づいて前記アノテーションの表示方法を切り換える切り替え工程とを備え、
前記複数の領域は前記アノテーションの対象物の存在する領域の少なくとも一部を含む第１領域と、該第１領域の周辺の第２領域とを含み、
前記切り替え工程は、前記視点位置が前記第１領域にある場合は前記アノテーションの表示位置を出力画像の所定位置に固定する第１方法を採用し、前記視点位置が前記第２領域にある場合は、該視点位置と前記アノテーションに設定されている表示座標とに基づいて前記出力画像における該アノテーションの表示位置を決定する第２方法を採用することを特徴とする画像出力方法。
【請求項２】
前記複数の領域は、前記第１領域の周辺に隣接した第３領域を含み、
前記切り替え工程は、前記視点位置が前記第３領域に存在する場合は、前記第１方法に従った前記アノテーションの表示を視線方向に基づいてオン／オフさせる第３方法を採用することを特徴とする請求項１に記載の画像出力方法。
【請求項３】
前記複数の領域は、前記第２領域と前記第３領域の間の第４領域を含み、
前記切り換え工程は、前記視点位置が前記第４領域に存在する場合は、該第４領域と該第２領域の境界位置において前記第２方法を用いて決定される画像上のアノテーションの表示位置と、前記第１方法における画像上の前記所定位置との間に該アノテーションの表示位置を決定する第４方法を採用することを特徴とする請求項１又は２に記載の画像出力方法。
【請求項４】
前記第４方法は、前記第２領域から前記第４領域を経て前記第３領域へと侵入する経路上を前記視点位置が移動する場合、前記経路が前記第２領域へ侵入する近傍において前記第２方法を用いて決定される画像上のアノテーションの表示位置と、前記第３方法にける該画像上の前記所定位置の間を結ぶ線分上であって、該経路の前記第２領域への侵入位置と該経路の前記第３領域への侵入位置と該経路上の現在の視点位置とに基づいて該アノテーションの表示位置を決定することを特徴とする請求項３に記載の画像出力方法。
【請求項５】
前記実写画像はパノラマ画像であり、
前記視点位置に基づいて対応するパノラマ画像を選択し、視線方向に基づいて該パノラマ画像から部分画像を切り出す切り出し工程を更に備え、
前記第２方法は、前記パラノラマ画像において前記アノテーションの表示位置を決定することを特徴とする請求項１に記載の画像出力方法。
【請求項６】
前記複数の領域は、２次元地図上において設定されることを特徴とする請求項１に記載の画像出力方法。
【請求項７】
複数地点の実写画像より、仮想空間における視点位置に基づいて実写画像を抽出し、抽出された実写画像に基づいて出力画像を生成する画像生成装置であって、
アノテーションに関する複数の領域が設定された仮想空間中において、視点位置が該複数の領域のいずれに存在するかを判定する判定手段と、
前記判定手段の判定結果に基づいて前記アノテーションの表示方法を切り換える切り替え手段とを備え、
前記複数の領域は前記アノテーションの対象物の存在する領域の少なくとも一部を含む第１領域と、該第１領域の周辺の第２領域とを含み、
前記切り替え手段は、前記視点位置が前記第１領域にある場合は前記アノテーションの表示位置を出力画像の所定位置に固定する第１方法を採用し、前記視点位置が前記第２領域にある場合は、該視点位置と前記アノテーションに設定されている表示座標とに基づいて前記出力画像における該アノテーションの表示位置を決定する第２方法を採用することを特徴とする画像出力装置。
【請求項８】
請求項１乃至６のいずれかに記載の画像出力方法をコンピュータに実行させるための制御プログラム。
【請求項９】
請求項１乃至６のいずれかに記載の画像出力方法をコンピュータに実行させるための制御プログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実空間の撮影によって得られた画像データをもとに構築される仮想空間の画像上へのアノテーションの表示技術に関する。
【背景技術】
【０００２】
移動体に搭載された撮影装置によって現実空間を撮影し、撮影された実写画像データをもとに、撮影した現実空間を計算機を用いて仮想空間として表現する試みが提案されている（例えば非特許文献１、または非特許文献２などを参照）。
【０００３】
実写画像データをもとに、撮影した現実空間を仮想空間として表現する手法としては、実写画像データから現実空間の幾何形状モデルを再現し、従来のＣＧ技術で表現する手法が挙げられるが、モデルの正確性や写実性の点で限界がある。一方、幾何形状モデルの再現を行わずに、実写画像を用いて仮想空間を表現するImage-Based Rendering（ＩＢＲ）技術が近年注目を集めている。ＩＢＲ技術は実写画像に基づいて仮想空間画像を生成するので、写実的な仮想空間の表現が可能である。また、都市や町のような広大な空間の幾何形状モデルを作成するためには膨大な時間や労力が必要とされるが、ＩＢＲ技術ではそのような幾何形状モデルは不要であり、幾何形状モデル作成のための時間や労力は必要とされない。
【０００４】
ＩＢＲ技術を用いてウォークスルー可能な仮想空間を構築するためには、体験者の仮想空間内の位置に応じた画像の生成・呈示を行う必要がある。そのため、この種のシステムにおいては、実写画像データの各画像フレームと仮想空間内の位置を対応付けて保存しておき、体験者の仮想空間における位置と視線方向に基づいて対応する画像フレームを取得し、これを再生する。
【０００５】
このような仮想空間内のウォークスルーにおいては、体験者が各視点位置で所望の方向を見ることができるように、各視点位置に対応する画像フレームを再生時の画角よりも広い範囲をカバーするパノラマ画像で保存しておく。そして、再生時には、体験者の仮想空間内の視点位置に基づいてパノラマ画像を読出し、視線方向に基づいて部分画像をパノラマ画像から切出して表示する。仮想空間における視点位置の軌跡が撮影装置を搭載した車輌の軌跡と同一である場合、観察者はあたかも自分がその車輌に乗って走っているかのような感覚を味わうことができる。
【０００６】
さらに、再生中の画像内のビルの上にビルの名前などのアノテーション（注釈）を合成して表示することにより、より豊かな情報を観察者に提供することができる。また実写画像上では暗くて見えにくい標識などをアノテーションとして見やすく表示することも可能である。
【非特許文献１】“移動車輌搭載カメラを用いた都市空間の電脳映像化について”（遠藤、片山、田村、廣瀬、渡辺、谷川：信学ソサイエティ、PA−3−4、pp.276−277、1997年）
【非特許文献２】“移動車輌搭載カメラを用いた電脳映像都市空間の構築(2)−実写画像を用いた広域仮想空間の生成−”（廣瀬、渡辺、谷川、遠藤、片山、田村：日本バーチャルリアリティ学会第2回大会論文集、pp.67−70、1997年）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
仮想空間をウォークスルーする体験者にアノテーションを有効に表示するために、アノテーションの対象となるオブジェクト（アノテーション対象物）と体験者の相対的な動きに合わせてアノテーションの画像内の表示位置が決まる。例えば、画像内の建築物の上にアノテーションを表示している場合、体験者の視線方向が変われば画像内の建築物の表示位置が変わり、それにあわせてアノテーションの表示位置も変わる。体験者にとってアノテーションは常にアノテーション対象物の上に存在するので、体験者は画像中のオブジェクトとアノテーションとの関連を容易に把握できる。
【０００８】
しかし、アノテーション対象物の物体や建築物等に近づきすぎると、アノテーションの表示位置が不適切になる場合がある。例えば、アノテーションが建物の上の方で表示されている場合、その建物に近づくとアノテーションが視界から外れたりする。さらに、体験者とアノテーション対象物が相対的に近くになると、体験者の動きに応じたアノテーションの動きが激しくなり、その動きが体験者に違和感を与えたりすることもある。さらに、アノテーション対象物が面積を有する場合、例えば体験者の位置がアノテーション対象の地域内や建築物の中などであった場合は、体験者の位置にかかわらず体験者との相対的な位置は同じになり、画像内でのアノテーションの表示する位置が不定になる。
【０００９】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、アノテーション対象物と体験者との相対的な位置によってアノテーションの表示位置の決定方法を変更し、常に適切な位置にアノテーションを表示可能とすることにある。
また、本発明の他の目的は、アノテーション対象物と体験者との相対的な位置がはっきりしていない場合等でもアノテーション表示位置を求めることにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するための本発明の一態様による画像生成方法は、
複数地点の実写画像より、仮想空間における視点位置に基づいて実写画像を抽出し、抽出された実写画像に基づいて出力画像を生成する画像生成方法であって、
アノテーションに関する複数の領域が設定された仮想空間中において、視点位置が該複数の領域のいずれに存在するかを判定する判定工程と、
前記判定工程の判定結果に基づいて前記アノテーションの表示方法を切り換える切り替え工程とを備え、
前記複数の領域は前記アノテーションの対象物の存在する領域の少なくとも一部を含む第１領域と、該第１領域の周辺の第２領域とを含み、
前記切り替え工程は、前記視点位置が前記第１領域にある場合は前記アノテーションの表示位置を出力画像の所定位置に固定する第１方法を採用し、前記視点位置が前記第２領域にある場合は、該視点位置と前記アノテーションに設定されている表示座標とに基づいて前記出力画像における該アノテーションの表示位置を決定する第２方法を採用する。
【発明の効果】
【００１１】
本発明によれば、アノテーション対象物と体験者との相対的な位置によってアノテーションの表示位置の決定方法が変更され、常に適切な位置にアノテーションを表示することが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、添付図面を参照しながら、本発明の好適な一実施形態を説明する。
【００１３】
まず、本実施形態による仮想空間のウォークスルーシステムについて説明する。本実施形態では、例えば自動車などの移動体に搭載された複数の撮影装置によって撮影して得られた実写画像データからパノラマ画像データを生成し、このパノラマ画像データを現実空間の位置に対応する地図上の位置と対応付けて保持する。そして、体験者の仮想空間における視点位置（地図上の位置）と視線方向に応じて、保持されているパノラマ画像データから表示画像を生成することにより、仮想空間内のウォークスルーを実現する。
【００１４】
図１は本実施形態によるウォークスルーシステムの機能構成を説明するブロック図である。本ウォークスルーシステムを構成する画像再生装置１は、操作部１０、視点位置・視線方向決定部２０、地図データ保存部３０、画像再生制御部４０、アノテーション表示位置決定部５０、アノテーションデータ保存部６０、画像データ保存部７０、表示部８０を有する。各部の機能については、以降の説明により明らかとなろう。
【００１５】
図２は、本実施形態における画像再生装置１のハード構成を示すブロック図である。図２に示したハード構成は通常のパーソナルコンピュータの構成と同等である。図２において、ディスク１０５は画像データ保存部７０を構成するものである。なおディスク１０５は、同時に地図データ保存部３０、アノテーションデータ保存部６０をも構成する。ディスク１０５としては、ハードディスク、ＣＤ、ＤＶＤ等が挙げられる。
【００１６】
ＣＰＵ１０１は、ディスク１０５またはＲＯＭ１０６、または外部記憶装置（不図示）に保存され、ＲＡＭ１０７にロードされたプログラムを実行することにより、視点位置・視線方向決定部２０、画像再生制御部４０、アノテーション表示位置決定部５０として機能する。
【００１７】
ＣＰＵ１０１が表示コントローラ１０２に対して各種の表示指示を行うことにより、表示コントローラ１０２及びフレームバッファ１０３によって表示器１０４に所望の表示がなされる。なお、図２では表示コントローラ１０２としてＣＲＴＣ、表示器１０４としてＣＲＴを示したが、表示器としては陰極線管に限らず、液晶表示器等を用いてもよいことはもちろんである。なお、ＣＲＴＣ１０２、フレームバッファ１０３及びＣＲＴ１０４は、上述の表示部８０を構成する。
【００１８】
マウス１０８、キーボード１０９及びジョイスティック１１０は、当該画像再生装置１へのユーザの操作入力を行うためのものであり、上述の操作部１０を構成する。
【００１９】
次に、以上の構成を備えた本実施形態のウォークスルーシステムにおける、画像再生装置１の動作の概要について説明する。
【００２０】
操作部１０は、視点位置の移動パラメータ、視線方向の回転パラメータを生成する。本実施形態では、視点位置・視線方向の制御にジョイスティック１１０を用いるものとするが、ゲームコントローラ等の他の入力装置で行ってもよいことは明らかである。ジョイスティック１１０は、スティックの傾斜角と回転角を独立に制御することができる。本実施形態では、ジョイスティック１１０のスティックを傾斜させる操作を仮想空間内における視点位置の移動に、スティックを左右に回転させる操作を仮想空間内における視線方向の回転に対応させる。
【００２１】
地図データ保存部３０は、２次元の地図データを格納する。この地図データに基づいて地図画像を生成、表示することができる。視点位置・視線方向決定部２０は、操作部１０により入力された移動パラメータ、回転パラメータをもとに、地図データ保存部３０に保存されている２次元地図上における観察者の視点位置、視線方向を決定する。すなわち、ウォークスルーを体験する体験者の仮想空間における視点位置及び視線方向は、この２次元地図上の位置、方向に対応する。
【００２２】
画像データ保存部７０は、２次元地図上の各位置に対応したパノラマ画像データを格納する。なお、画像データ保存部７０は画像再生装置１にローカルに存在する必要はない。例えば、ネットワーク上に画像データ保存部７０を設置しておき、ネットワークを介して画像データを読み出すようにしてもよい。
【００２３】
画像再生制御部４０は、視点位置・視線方向決定部２０から、観察者の地図上での視点位置及び視線方向を受け取り、その視点位置に対応したパノラマ画像データを画像データ保存部７０から読み出す。画像データ保存部７０から視点位置に対応したパノラマ画像データを読み出すために、本実施形態では地図上の視点位置と画像データを対応づける対応付けデータを用いる。この対応付けデータはシステム中のどこに保存されてもよいが、本実施形態では画像データ保存部７０に保存されるものとする。対応付けデータは例えば以下のデータ格納形態を有する。
【００２４】
すなわち、観察者の移動を撮影経路上に限定して、経路を交差点（分岐点）や曲がり角といった区分点で区切り、区分点と、２つの区分点に挟まれた道とを用いて表現する。区分点は２次元地図上に設定され、道は区分点に挟まれた線分となる。各区分点や道にはＩＤが割り当てられ、区分点には対応する実空間の位置で撮影されたパノラマ画像が、道には両端の区分点に割り当てられたパノラマ画像に挟まれたパノラマ画像群が割り当てられる。図３はこの様子を説明する図である。図３において、ＩＤがＣ１である区分点とＣ２である区分点に挟まれた線分（道）にＲ１というＩＤが付与されている。そしてＧＰＳデータ等に基づいて区分点Ｃ１とＣ２に対応するパノラマ画像が特定されると、区分点Ｃ１にはフレーム番号ｎのパノラマ画像が、区分点Ｃ２にはフレーム番号ｎ＋ｍのパノラマ画像が割り当てられる。区分点にパノラマ画像が割り当てられると、道Ｒ１には自動的にフレーム番号ｎ＋１からｎ＋ｍ−１までのパノラマ画像群が割り当てられる。
【００２５】
また、図４に示すように、各区分点、各パノラマ画像は２次元地図上での２次元座標を属性として持つ。なお、地図上での２次元座標は、ＧＰＳデータによって得られる緯度・経度データから求められるが、コンピュータ・ビジョンを利用して画像情報から求めてもよい。或いは、両端の区分点の座標のみを求め、区分点間の道に含まれる各パノラマ画像の２次元地図上の２次元座標は補間（例えば、図３において、区分点Ｃ1とＣ２の間の道をｍ等分して、各区切り位置にｍ−１個のパノラマ画像（ｎ＋１〜ｎ＋ｍ−１）を割り当てる）によって求めてもよい。以上のような対応付けデータを用いることにより、画像再生制御部４０は２次元地図上の視点位置に対応した画像データを画像データ保存部７０〜取得することができる。
【００２６】
また、画像再生制御部４０は、アノテーション表示位置決定部５０に地図上の視点位置を与える。アノテーション表示位置決定部５０は、受け取った視点位置情報をもとにアノテーションの表示位置を決定し、画像再生制御部４０にアノテーション表示位置を与える。アノテーションの表示位置の決定方法については後述する。画像再生制御部４０は、視点位置に対応したパノラマ画像より、表示部８０に表示する画角にあわせて部分画像を切出して射影変換を行い、アノテーション表示位置決定部５０より受けとったアノテーション表示位置に従ってアノテーション画像を合成して表示部８０に表示する画像を生成する。表示部８０は画像再生制御部４０において生成された画像を表示する。
【００２７】
次に、アノテーション表示位置決定部５０の動作について詳細に説明する。図５に示すように、本実施形態では、区分点に挟まれる道上において、パノラマ画像の正面方向は道の方向に平行、つまり撮影時の進行方向に平行であるとする。
【００２８】
本実施形態では、アノテーション対象物に関して仮想空間中に複数の領域を設定し、体験者が（視点位置が）どの領域に存在するかによってアノテーションの表示位置の決定方法を変える。本実施形態では、アノテーションの表示位置の決定方法を決めるために、各アノテーション対象物に対して、仮想空間を４つの領域（アノテーション表示モード領域）に分ける。図６は、本実施形態を説明するための一例を示す図であり、地図データによって表される地図６０１を示す。地図６０１には、公園６０２がある。図７では図６に示した地図上において、アノテーション対象物（公園６０２）に対する領域の設定例を示す図である。図７の例では、公園６０２がアノテーション対象物であって、星印７０１はそのアノテーションの２次元地図上の位置である。７０２は対象物のある領域、７０３は領域７０２を含み、７０２より広い領域である。更に領域７０４は領域７０３を含み、領域７０３より広い。更に、領域７０５は仮想空間のその他の領域である。なお、領域７０２，７０３，７０４，７０５は、それぞれ表示モード領域Ａ、Ｂ、Ｃ、Ｄと呼ぶこともある。
【００２９】
なお、上記の各領域の決定方法は、例えばアノテーション対象物が体験者の視野のどのぐらいを占めるかによって決定することができる。一例を挙げれば、次のような基準で決定することができる。まず、アノテーション対象物６０２の領域は、領域７０２とする。体験者が領域７０２の外にいて、さらに、体験者の水平視野の２５％以下をアノテーション対象物が占める体験者の位置を領域７０５とする。また、体験者の水平視野の２５％から５０％をアノテーション対象物が占める体験者の位置を領域７０４とする。そして、体験者の水平視野の５０％以上をアノテーション対象物が占める体験者の位置を領域７０３とする。
また、ここでは、説明のために四角い領域を例としてあげているが、この形に限るものではなく、例えば図８に示すように、アノテーション対象物からの距離で領域を決めても良いし、そのほかの領域の決め方でも良い。
【００３０】
図９は、アノテーション表示位置決定部５０の動作を説明するフローチャートである。まずステップＳ１０１において、新たな視点情報（視点位置、視線方向）を獲得する。次にステップＳ１０２において、ステップＳ１０１で獲得した視点情報から該当する視点位置情報に基づいてアノテーションを表示すべき対象物を探索する。アノテーション対象物の検索条件は、体験者の視野に入っていることとする。すなわち、ステップＳ１０２では、体験者の視野に入っているアノテーション対象物が検索される。本実施形態では、複数の対象物に対してアノテーションを表示することができ、以下では、１つ又は複数のアノテーション対象物が検索された場合の処理を説明する。
【００３１】
ステップ１０２において、検索されたアノテーション対象物より１つ目のアノテーション対象物を決定し、ステップＳ１０３へ進む。ステップＳ１０３において、該当する視点位置に対応したパノラマ画像におけるアノテーションの表示位置を計算する。ステップＳ１０３の詳細な処理については、図１０のフローチャートを参照して後述する。次に、ステップＳ１０４において終了判定を行う。ステップＳ１０２で検索されたアノテーション対象物のうち、まだステップＳ１０３の処理を終えていないアノテーション対象物が存在する場合はステップＳ１０５に進む。ステップＳ１０５において、次のアノテーション対象物を決定し、ステップＳ１０３の処理に戻る。ステップＳ１０４においてアノテーションを表示させるべき対象物すべてについてアノテーションの表示位置が決定している場合には、本処理を終了する。
【００３２】
図１０は、図９のステップＳ１０３のアノテーション表示位置を計算する詳細な処理の説明をするフローチャートである。ステップＳ１１１、Ｓ１１２とＳ１１３において、ステップＳ１０１で得られた体験者の視点位置がアノテーション対象物に対してどの表示モード領域に入っているのかを判断する。本実施形態では、体験者の視点位置が表示モード領域Ａ〜Ｄのいずれの表示モード領域いるかに従って、アノテーション表示の位置決定方法が異なる。
【００３３】
ステップＳ１１１において、視点位置が表示モード領域Ａにあると判断した場合には、ステップＳ１１４へ進む。一方、視点位置は表示モード領域Ａには無く、表示モード領域Ｂにあると判断された場合はステップＳ１１２からステップＳ１１５へ進む。また、視点位置が表示モード領域Ｃにあると判断された場合はステップＳ１１３からステップＳ１１６へ進み、視点位置が表示モード領域Ａ〜Ｃのいずれにも無い（即ち表示モード領域Ｄにある）と判断された場合はステップＳ１１３からステップＳ１１７へ進む。ステップＳ１１４、Ｓ１１５、Ｓ１１６及びＳ１１７のいずれかにおいてアノテーション表示位置を決定すると、ステップＳ１０３のアノテーション表示位置計算処理を終えたことになるので、処理は図１０のフローチャートに戻る。
【００３４】
以下、ステップＳ１１４〜Ｓ１１７の各領域毎の表示位置決定処理について詳細に説明する。
【００３５】
まず、視点位置が表示モード領域Ｄにいる場合のアノテーション表示位置の決定処理（ステップＳ１１７）を説明する。この場合のアノテーション表示位置の計算では、アノテーション対象物と視点位置との相対的な位置関係に基づいて画像内の表示位置が決まる。この表示位置決定方法に従えば、例えば、体験者が仮想空間を見回している間、アノテーションの表示位置を画像内のアノテーション対象物の映像の上に常に表示させることができる。
【００３６】
図１１はステップＳ１１７におけるアノテーション表示位置決定方法を説明する図である。図１１において、１２０２は区分点Ｃ１、１２０１は区分点Ｃ１に対応するパノラマ画像、１２０９は区分点Ｃ２、１２０４は道Ｒ１、１２０６はアノテーション対象物、１２０５は対象物１２０６のアノテーションを表示すべき地図上での位置、１２０７は道Ｒ１上の視点位置、１２０８は視点位置１２０７に対応するパノラマ画像、１２０３は視点位置１２０７に対応したパノラマ画像１２０８におけるアノテーションの表示位置（パノラマ画像の正面方向からの相対角度θ）である。
【００３７】
簡単のために、区分点Ｃ１をｘｙ平面の原点とし、区分点Ｃ２をｘ軸上の点１２０９に取る（すなわち道Ｒ１はｘ軸の一部となる）。図１１において、区分点Ｃ１、区分点Ｃ２、対象物１２０６のアノテーションを表示したい位置１２０５の地図上の座標はそれぞれ（0,0）、（x2,0）、（xo,yo）である。道Ｒ１上での点１２０７の地図上の座標は（x,0）である。点１２０７に対応するパノラマ画像において、対象物１２０６のアノテーションを表示する水平方向の位置は、パノラマ画像の正面方向からの相対角度θ（rad）で表すと、次式で表される。
【００３８】
【数１】
2005174024.tif 000003
【００３９】
即ち、視点位置が表示モード領域Ｄにある場合（ステップＳ１１７）は、アノテーション表示位置の（１２０５）の視点位置（１２０７）に対する相対位置を計算し、当該視点位置に対応するパノラマ画像（１２０８）におけるアノテーションの表示位置（パノラマ画像の正面方向からの相対角度）θを上記式（１）により求める。
【００４０】
次に、視点位置が表示モード領域Ａにある場合のアノテーション表示位置の決定方法（ステップＳ１１４）を説明する。表示モード領域Ａでは、視点位置は、アノテーション対象物の中と想定する。例えば、アノテーション対象である公園の敷地内や、建物の中などに視点位置がある場合である。体験者の視点位置が表示モード領域Ａにある場合は、対象物のアノテーションの表示位置を、シーンを表示する画面上の所定位置に固定し、表示モード領域Ａ内で視点位置や視線方向が変わってもアノテーションの表示位置は変わらないようにする。なお、表示モード領域Ａでのアノテーションの表示位置については種々の決定方法が考えられる。例えば、仮想空間全体で一つの表示位置に決めても良いし、アノテーション対象物毎にアノテーションの固定表示位置を決めても良い。また、システムで予め定められた位置としても良いし、体験時に体験者が好みの位置に決められるようにしても良い。
【００４１】
次に、視点位置が表示モード領域Ｂにある場合のアノテーション表示位置の決定方法（ステップＳ１１５）について説明する。表示モード領域Ｂはアノテーション対象物が隣接する領域であり、この領域においては、体験者の視線方向が対象物の方に向くと当該対象物が視野の全体或いは大部分を占めるようになり、対象物の反対方向に視線が向くと当該対象物が見えなくなる（視野の外に出てしまう）。
【００４２】
図１２は視点位置が表示モード領域Ｂにいる場合を説明する図である。１３０１はアノテーション対象物（例えば公園、ビル等）、１３０２は２次元地図上でのアノテーションの位置、１３０３は対象物１３０１に対しての表示モード領域Ｂ、１３０４は視点位置とその位置に対応するパノラマ画像、１３０４〜１３１３は道１３１４上でのパノラマ画像である。
【００４３】
図１３は、表示モード領域Ｂに視点位置があるときのシーンの例である。１４０１はビル等のアノテーション対象物、１４０２はアノテーション対象物１４０１に対するアノテーションの地図上に設定された表示位置を示す。１４０３は対象物１４０１の表示するアノテーションである。１４０４は表示モード領域Ｂ内における一つの視点位置と対応するパノラマ画像であり、１４０５は表示モード領域Ｂ内のもう一つの視点位置と対応するパノラマ画像である。１４０６と１４０８は視点１４０４から視線方向１４１０で対象物１４０１を見たときの画像である。同様に、１４０７と１４０９は視点位置１４０５と視線方向１４１１で対象物１４０１を見たときの画像である。画像１４０６と１４０７では、アノテーション１４０３は地図上のアノテーション設定位置に対する表示位置に表示している。そのため、アノテーションは夫々の画像において半分ずつしか表示されない。それに対し、画像１４０８と１４０９では、アノテーションの表示位置は画像上の所定の位置に固定さている。図１３を見て分かるように画像１４０８と１４０９でのアノテーションの表示位置の方がより有効的である。
【００４４】
従って、本実施形態では、視点位置が表示モード領域Ｂにいる場合のアノテーション表示位置の決定方法を以下のとおりとする。まず、視線方向がアノテーション対象物に向いていれば表示モード領域Ａと同様の決定方法を採用する。つまり、対象物が視野に入っている場合、視点位置と対象物の相対位置が変わってもアノテーションの画像上の表示位置は変わらず、固定にする。そして、対象物がある程度体験者の視野から出た場合（たとえば、対象物の５０％以上が視野から出た場合）、異なる表示モード領域の処理をする。例えば、視線方向が対象物に向いていない場合には、アノテーションを表示しないようにする。図１３で言うと、例えば視線方向がビル１４０１の反対側に向いたような場合には、ビル１４０１のアノテーションを表示しない。
【００４５】
次に、視点位置が表示モード領域Ｃにある場合のアノテーション表示位置の決定方法（ステップＳ１１０６）を説明する。上述した様に、表示モード領域Ｄでは視点位置と対象物体の相対値が変わるとアノテーションの表示位置も変化し、表示モード領域Ｂではアノテーション表示位置が固定されている。表示モード領域Ｃはそれら表示モード領域Ｄと表示モード領域Ｂの中間にあり、表示モード領域Ｄから表示モード領域Ｂ（或いはその逆）へのアノテーション表示位置のスムースな移行を実現するための表示方法が表示モード領域Ｃにおいて実行される。
【００４６】
図１４は視点位置が表示モード領域Ｃにいる場合を説明する図である。１５０１はアノテーション対象物（例えば公園、ビル等）、１５０２は２次元地図上でのアノテーションの位置を示す。また、１５０３は対象物１５０１に対しての表示モード領域Ｂ、１５０４は対象物１５０１に対しての表示モード領域Ｃを示す。１５０８は表示モード領域Ｃに入っている視点位置とその位置に対応するパノラマ画像を示し、１５０５〜１５１３は道１５１４上でのパノラマ画像を示している。
【００４７】
図１５は、表示モード領域Ｄ、表示モード領域Ｃと表示モード領域Ｂに視点位置がある場合の表示シーンとそれぞれのアノテーション表示を示す。１６０４は表示するアノテーションである。１６０１は視点位置が表示モード領域Ｄにある、例えば図１４の位置１５０７（表示モード領域Ｄ）にあるときのアノテーションの表示状態を示す。上述した様に、表示モード領域Ｄでは視点と対象物の相対位置によってアノテーションの表示位置が変わる。１６０３は視点位置が表示モード領域Ｂ（１５０３）内にある、例えば位置１５１０の点にあり、さらに対象物１５０１に視線が向かっているときのアノテーションの表示例を示す。アノテーションは固定の位置で表示している。１６０２は視点位置が表示モード領域Ｃ、例えば位置１５０８にある場合のアノテーションの表示例を示す。本実施形態では、視点が表示モード領域Ｃにある場合のアノテーションの表示位置は、表示モード領域Ｄの時の表示位置と表示モード領域Ｂの表示位置の中間的な位置に決定する。その決定方法は、例えば線形補間による方法でも良いが、そのほかの決定方法でも良い。
【００４８】
ここでは、線形補間によってアノテーション表示位置を決める場合を図１７を参照して説明する。説明のために、表示モード領域Ｃにおける視点位置は位置１５０８にあるものとして説明する。まず、位置１５０８から表示モード領域Ｄの表示位置計算方法で表示位置を計算する。つまり、視点の位置１５０８とアノテーションの位置１５０２の相対位置に応じたパノラマ画像上のアノテーション表示位置を、例えば上述の式（１）を用いて算出する。次に、表示モード領域Ｂにおける固定の表示位置（切り出し範囲の画像における所定位置）を取得する。そして、表示モード領域Ｃの視点位置１５０８でのアノテーションの表示位置は、表示モード領域Ｄから表示モード領域Ｃに入る直前の視点位置１５０７の２次元地図上の位置（(x1507,y1507)）とそのときの表示位置Ｈｄ、表示モード領域Ｃから表示モード領域Ｂに入った直後の視点位置１５１０の２次元地図上の位置（(x1510,y1510)）とそのときの表示位置Ｈｂ、及び表示モード領域Ｃの視点位置１５０８の２次元地図上の視点位置（(x1508,y1508)）から、次式（２）により算出される。
【００４９】
【数２】
2005174024.tif 000004
【００５０】
なお、アノテーション表示の高さ方向の位置は、位置１５０７におけるアノテーション表示位置の高さＶｄと、位置１５１０におけるアノテーション表示位置の高さＶｂを用いて、水平方向位置（Ｈｃ、式（２））と同様に以下の式（３）により求めることができる。なお、図１７ではＨｃとＶｃで決まるパノラマ表示位置が（Ｈｄ，Ｖｄ）と（Ｈｂ，Ｖｂ）を結ぶ破線上より外れた位置に示したが、式（２）、（３）を用いて算出された位置（Ｈｃ，Ｖｃ）は破線上となる。但し、図１７に示した破線の傾きは視線方向によりＨｂの位置が変わるので、視線方向により変化することになる。
【００５１】
【数３】
2005174024.tif 000005
【００５２】
上記では、表示モード領域Ｄと表示モード領域Ｂでの表示位置から表示モード領域Ｃでの表示位置を線形的に計算する際に２次元地図上でのパノラマ画像の距離を利用したが、パノラマ画像の枚数によって線形的に表示位置を算出しても良い。例えば、位置１５０８から位置１５０７までのパノラマ画像の枚数と、位置１５０８から位置１５１０までのパノラマ画像の枚数に基づいて表示位置を算出する。
【００５３】
図１６は、画像再生制御部４０におけるアノテーション合成の処理を説明する図である。ここでは、視点位置が表示モード領域Ｄにあると仮定する。アノテーション表示位置決定部５０はアノテーション表示位置θを決定する。画像再生制御部４０は視線方向と画角αに応じてパノラマ画像を切出す。そして、切出したパノラマ画像上に、アノテーションデータ保存部６０から読み出されたアノテーション画像が合成され、表示画像が生成される。パノラマ画像を透視投影画像に変換する斜影変換はパノラマ画像に対してのみ行われる。視点位置が他の領域にある場合は同様に、切り出したパノラマ画像の上に、固定の位置や線形補間により計算された位置にアノテーション画像が合成される。
【００５４】
以上のように、上記実施形態によれば、アノテーションを表示したい対象物位置と観察者の視点位置の２次元地図上での相対位置によってアノテーション表示モードを切り換えることで、観察者の視点が対象物から遠い位置にいても、対象物の中にいても観察者に対象物のアノテーションを分かりやすく表示することが可能になる。
【００５５】
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００５６】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００５７】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５８】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００５９】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６０】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００６１】
【図１】本実施形態におけるウォークスルーシステムの機能構成を説明するブロック図である。
【図２】本実施形態における画像再生装置１のハード構成を示す図である。
【図３】本実施形態における仮想空間の表現方法を説明する図である。
【図４】区分点、道の属性の一例を示す図である。
【図５】パノラマ画像と道の方向の対応を説明する図である。
【図６】仮想環境の２次元地図の一例を示す図である。
【図７】アノテーション対象物を中心とした仮想環境の複数の領域を地図上に示した図である。
【図８】アノテーション表示モード領域を対象物からの距離によって決められた一例を示す図である。
【図９】アノテーション表示位置決定部５０の動作を説明するフローチャートである。
【図１０】アノテーション表示モード領域によって、アノテーション表示位置の決定方法を説明するフローチャートである。
【図１１】観察者の視点位置がアノテーション表示モード領域Ｄにいる場合のアノテーション表示位置決定方法を示す図である。
【図１２】観察者の視点位置がアノテーション表示モード領域Ｂにいる場合のアノテーション表示位置決定方法を説明する図である。
【図１３】観察者の視点位置がアノテーション表示モード領域Ｂにいる場合のアノテーション表示位置決定方法を説明する図である。
【図１４】観察者の視点位置がアノテーション表示モード領域Ｃにいる場合のアノテーション表示位置の利点を説明する図である。
【図１５】観察者の視点位置がアノテーション表示モード領域Ｄ、領域Ｃと領域Ｂにいる時の表示シーンとそれぞれのアノテーション表示を示す図である。
【図１６】画像再生制御部４０における観察者の視点位置がアノテーション表示モード領域Dにいる時のアノテーション合成の処理を説明する図である。
【図１７】領域Ｃに視点位置がある場合のアノテーション表示位置の決定方法を説明する図である。
【図１】
2005174024.tif 000006
【図２】
2005174024.tif 000007
【図３】
2005174024.tif 000008
【図４】
2005174024.tif 000009
【図５】
2005174024.tif 000010
【図６】
2005174024.tif 000011
【図７】
2005174024.tif 000012
【図８】
2005174024.tif 000013
【図９】
2005174024.tif 000014
【図１０】
2005174024.tif 000015
【図１１】
2005174024.tif 000016
【図１２】
2005174024.tif 000017
【図１３】
2005174024.tif 000018
【図１４】
2005174024.tif 000019
【図１５】
2005174024.tif 000020
【図１６】
2005174024.tif 000021
【図１７】
2005174024.tif 000022