(57)【要約】【課題】アノテーションの表示位置の決定を簡便にすることによって、多数の画像に対しても少ない労力や時間でアノテーションを合成表示可能にする。【解決手段】地図上での視点位置、視線方向を決定する視点位置・視線方向決定し、複数のパノラマ画像におけるオブジェクトの観察方向によって決定される該オブジェクトの地図上での位置と、前記視点位置、視線方向から該オブジェクトのアノテーション表示位置を決定し、前記視点位置に対応した実写画像上の前記アノテーション表示位置にアノテーション画像を合成する。【選択図】      図１
2004234455.tif 000002
【特許請求の範囲】
【請求項１】
地図上での視点位置、視線方向を決定する視点位置・視線方向決定工程と、
複数のパノラマ画像におけるオブジェクトの観察方向によって決定される該オブジェクトの地図上での位置と、前記視点位置、視線方向から該オブジェクトのアノテーション表示位置を決定するアノテーション表示位置決定工程と、
前記視点位置に対応した実写画像上の前記アノテーション表示位置にアノテーション画像を合成する合成工程を備えることを特徴とする情報処理方法。
【請求項２】
前記地図は、２次元地図画像であることを特徴とする請求項１に記載の画像再生方法。
【請求項３】
前記アノテーション表示位置決定工程は、前記複数のパノラマ画像間に挟まれるパノラマ画像のアノテーション表示位置を、前記決定されたオブジェクトの地図上での位置を用いて決定することを特徴とする請求項１または２に記載の情報処理方法。
【請求項４】
前記決定されたアノテーション表示位置を、マニュアル調整できることを特徴とする請求項３記載の情報処理方法。
【請求項５】
地図表示部とパノラマ画像表示部を有するグラフィカルユーザインターフェースを有し、
該地図表示部を用いて前記複数のパノラマ画像を選択し、
前記パノラマ画像表示部に表示された前記選択されたパノラマ画像上で、前記オブジェクトの観察方向を指定することを特徴とする請求項１乃至４のいずれかに記載の情報処理方法。
【請求項６】
請求項１乃至５のいずれかに記載の画像再生方法をコンピュータによって実現させるための制御プログラム。
【請求項７】
実写画像を用いて表現される仮想空間内においてウォークスルーを実現する画像再生装置で用いる実写画像にアノテーション画像を合成するための情報処理方法であって、
複数の実写画像のそれぞれにおけるアノテーション表示位置を設定し、
前記複数の実写画像のそれぞれにおいて設定されたアノテーション表示位置を用いて、該複数の実写画像間に位置する他の実写画像に対するアノテーション表示位置を算出し、
前記算出されたアノテーション表示位置に基づき、実写画像にアノテーション画像を合成することを特徴とする情報処理方法。
【請求項８】
前記複数の実写画像のそれぞれにおけるアノテーション表示位置の設定は、ユーザのマニュアル指示に応じて行われ、
さらに、前記算出されたアノテーション表示位置を、ユーザのマニュアル指示に基づく調整可能であることを特徴とする請求項７記載の情報処理方法。
【請求項９】
前記他の実写画像に対するアノテーション表示位置は、前記複数の実写画像のそれぞれにおいて設定されたアノテーション表示位置を補間することにより算出されることを特徴とする請求項７または８記載の情報処理方法。
【請求項１０】
前記補間は非線形補間であり、
あらかじめ保持されている複数の非線形曲線から、前記複数の実写画像におけるオブジェクトのアノテーション位置に基づき非線形曲線が決定されることを特徴する請求項９に記載の情報処理方法。
【請求項１１】
請求項１乃至１０のいずれかに記載の情報処理方法を実現するためのプログラム。
【請求項１２】
地図上での視点位置、視線方向を決定する視点位置・視線方向決定手段と、
複数のパノラマ画像におけるオブジェクトの観察方向によって決定される該オブジェクトの地図上での位置と、前記視点位置、視線方向から該オブジェクトのアノテーション表示位置を決定するアノテーション表示位置決定手段と、
前記視点位置に対応した実写画像上の前記アノテーション表示位置にアノテーション画像を合成する画像再生制御手段を備えることを特徴とする画像再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、実写画像をもとに構築される仮想空間において、実写画像上に表示するアノテーション位置を設定するものに関する。
【０００２】
【従来の技術】
移動体に搭載された撮影装置によって現実空間を撮影し、撮影された実写画像データをもとに、撮影した現実空間を、計算機を用いて仮想空間として表現する試みが提案されている（例えば遠藤、片山、田村、廣瀬、渡辺、谷川：“移動車輌搭載カメラを用いた都市空間の電脳映像化について”（信学ソサイエティ、ＰＡ−３−４、ｐｐ．２７６−２７７、１９９７年）、または廣瀬、渡辺、谷川、遠藤、片山、田村：“移動車輌搭載カメラを用いた電脳映像都市空間の構築（２）−実写画像を用いた広域仮想空間の生成−”（日本バーチャルリアリティ学会第２回大会論文集、ｐｐ．６７−７０、１９９７年）などを参照）。
【０００３】
実写画像データをもとに撮影した現実空間を仮想空間として表現する手法としては、実写画像データから現実空間の幾何形状モデルを再現し、従来のＣＧ技術で表現する手法が挙げられるが、モデルの正確性や写実性の点で限界がある。一方、幾何形状モデルの再現を行わずに、実写画像を用いて仮想空間を表現するＩｍａｇｅ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ（ＩＢＲ）技術が近年注目を集めている。ＩＢＲ技術は実写画像に基づいているために、写実的な仮想空間の表現が可能である。また、都市や町のような広大な空間の幾何形状モデルを作成するためには膨大な時間や労力が必要とされるが、ＩＢＲ技術ではそのような時間や労力は必要とされない。
【０００４】
ＩＢＲ技術を用いてウォークスルー可能な仮想空間を構築するためには、体験者の仮想空間内の位置に応じた画像の生成・呈示を行う必要がある。そのため、この種のシステムにおいては、実写画像データの各画像フレームと仮想空間内の位置を対応付けて保存しておき、体験者の仮想空間における位置と視線方向に基づいて対応する画像フレームを取得し、これを再生する。
【０００５】
このような仮想空間内のウォークスルーにおいて、体験者が各視点位置で所望の方向を見ることができるように、各視点位置に対応する画像フレームを再生時の画角よりも広い範囲をカバーするパノラマ画像で保存しておく。再生時には、体験者の仮想空間内の視点位置に基づいてパノラマ画像を読出し、視線方向に基づいて部分画像をパノラマ画像から切出して表示する。仮想空間における視点位置の軌跡が撮影装置を搭載した車輌の軌跡と同一である場合、観察者はあたかも自分がその車輌に乗って走っているかのような感覚を味わうことができる。
【０００６】
さらに、画像内のビルの上にビルの名前などのアノテーション（注釈）を合成して表示することにより、観察者により豊かな情報を提供することができる。また実写画像上では暗くて見えにくい標識などをアノテーションとして見やすく表示することも可能である。
【０００７】
【発明が解決しようとする課題】
仮想空間が幾何形状モデルにより記述されている場合には容易にアノテーションを所望の位置に合成表示することが可能であるが、幾何形状モデルを持たないＩＢＲ技術により仮想空間が構築されている場合には、画像ごとにアノテーションの表示位置を決定しなければならない。
【０００８】
しかし、これまで、前述のようなＩＢＲ技術によって構築されている仮想空間にアノテーションを合成表示する際には、画像ごとに手作業で表示位置を決定する必要があるため、画像の数が膨大な場合にはアノテーション表示位置を決定する作業にかなりの手間がかかっていた。
【０００９】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、アノテーションの表示位置の決定を簡便にすることにある。
【００１０】
【課題を解決するための手段】
以上の目的を達成するために、本発明は以下の構成を有することを特徴とする。
【００１１】
本願請求項１の発明は、地図上での視点位置、視線方向を決定する視点位置・視線方向決定工程と、複数のパノラマ画像におけるオブジェクトの観察方向によって決定される該オブジェクトの地図上での位置と、前記視点位置、視線方向から該オブジェクトのアノテーション表示位置を決定するアノテーション表示位置決定工程と、前記視点位置に対応した実写画像上の前記アノテーション表示位置にアノテーション画像を合成する合成工程を備えることを特徴とする。
【００１２】
本願請求項７の発明は、実写画像を用いて表現される仮想空間内においてウォークスルーを実現する画像再生装置で用いる実写画像にアノテーション画像を合成するための情報処理方法であって、複数の実写画像のそれぞれにおけるアノテーション表示位置を設定し、
前記複数の実写画像のそれぞれにおいて設定されたアノテーション表示位置を用いて、該複数の実写画像間に位置する他の実写画像に対するアノテーション表示位置を算出し、
前記算出されたアノテーション表示位置に基づき、実写画像にアノテーション画像を合成することを特徴とする。
【００１３】
【発明の実施の形態】
以下、添付図面を参照しながら、本発明の好適な実施形態を説明する。
【００１４】
＜第１実施形態＞
まず、本実施形態による仮想空間のウォークスルーシステムについて説明する。本実施形態では、例えば自動車などの移動体に搭載された複数の撮影装置によって撮影して得られた実写画像データからパノラマ画像データを生成し、このパノラマ画像データを、現実空間の位置に対応する地図上の位置と対応付けて保持する。そして、体験者の仮想空間における視点位置（地図上の位置）と視線方向に応じて、保持されているパノラマ画像データから表示画像を生成することにより、仮想空間内のウォークスルーを実現する。
【００１５】
図１は本実施形態によるウォークスルーシステムの機能構成を説明するブロック図である。本ウォークスルーシステムを構成する画像再生装置１は、操作部１０、視点位置・視線方向決定部２０、地図データ保存部３０、画像再生制御部４０、アノテーション表示位置決定部５０、アノテーションデータ保存部６０、画像データ保存部７０、表示部８０を有する。
【００１６】
図２は、本実施形態における画像再生装置１のハード構成を示すブロック図である。図２に示したハード構成は通常のパーソナルコンピュータの構成と同等である。図２において、ディスク１０５は画像データ保存部７０を構成するものである。なおディスク１０５は、同時に地図データ保存部３０、アノテーションデータ保存部６０をも構成する。
【００１７】
ＣＰＵ１０１は、ディスク１０５またはＲＯＭ１０６、または外部記憶装置（不図示）に保存されているプログラムを実行することにより、視点位置・視線方向決定部２０、画像再生制御部４０、アノテーション表示位置決定部５０として機能する。
【００１８】
ＣＰＵ１０１が表示コントローラ１０２に対して各種の表示指示を行うことにより、表示コントローラ１０２及びフレームバッファ１０３によって表示器１０４に所望の表示がなされる。なお、図では表示コントローラ１０２としてＣＲＴＣ、表示器１０４としてＣＲＴを示したが、表示器としては陰極線管に限らず、液晶表示器等を用いてもよいことはもちろんである。なお、ＣＲＴＣ１０２、フレームバッファ１０３及びＣＲＴ１０４は、上述の表示部８０を構成する。
【００１９】
マウス１０８、キーボード１０９及びジョイスティック１１０は、当該画像再生装置１へのユーザの操作入力を行うためのものであり、上述の操作部１０を構成する。
【００２０】
次に、以上の構成を備えた本実施形態のウォークスルーシステムにおける、画像再生装置１の動作の概要について説明する。
【００２１】
操作部１０は、マウス、キーボード、ジョイスティック等を備える。操作部１０は、視点位置の移動パラメータ、視線方向の回転パラメータを生成する。本実施形態では、視点位置・視線方向の制御にジョイスティックを用いているが、ゲームコントローラ等の他の入力装置で行ってもよい。ジョイスティックは、スティックの傾斜角と回転角を独立に制御することができる。本実施形態では、ジョイスティックを傾斜させる操作を仮想空間内での視点位置の移動に、ジョイスティックを左右に回転させる操作を視線方向の回転に対応させる。
【００２２】
地図データ保存部３０は、２次元地図画像データを格納する。
【００２３】
視点位置・視線方向決定部２０は、操作部１０からの移動パラメータ、回転パラメータをもとに、地図データ保存部３０に保存されている地図画像上における観察者の視点位置、視線方向を決定する。
【００２４】
画像データ保存部７０は、地図上の各位置に対応したパノラマ画像データを格納する。画像データ保存部７０は、画像再生装置１のローカルに存在する必要はなく、ネットワーク上に設置して、ネットワークを介して画像データを読み出してもよい。
【００２５】
画像再生制御部４０は、視点位置・視線方向決定部２０から、観察者の地図上での視点位置及び視線方向を受け取り、その視点位置に対応した画像データを画像データ保存部７０から読み出す。なお、本実施形態において、地図上の視点位置と画像データを対応づける対応付けデータは、次のデータ格納形態をとる。
【００２６】
すなわち、観察者の移動を撮影経路上に限定して、経路を交差点（分岐点）や曲がり角といった区分点で区切り、区分点と、２つの区分点に挟まれた道として表現する。区分点は２次元地図画像上に設定され、道は区分点に挟まれた線分となる。各区分点や道にはＩＤが割り当てられ、区分点には対応する実空間の位置で撮影されたパノラマ画像が、道には両端の区分点に割り当てられたパノラマ画像に挟まれたパノラマ画像群が割り当てられる。図３はこの様子を説明する図である。図３において、ＩＤがＣ１である区分点とＣ２である区分点に挟まれた線分（道）にＲ１というＩＤが付与されている。そしてＧＰＳデータ等に基づいて区分点Ｃ１とＣ２に対応するパノラマ画像が特定されると、区分点Ｃ１にはフレーム番号ｎのパノラマ画像が、区分点Ｃ２にはフレーム番号ｎ＋ｍのパノラマ画像が割り当てられる。区分点にパノラマ画像が割り当てられると、道Ｒ１には自動的にフレーム番号ｎ＋１からｎ＋ｍ−１までのパノラマ画像群が割り当てられる。
【００２７】
また、図４に示すように、各区分点、各パノラマ画像は地図上での２次元座標を属性として持つ。地図上での２次元座標は、ＧＰＳデータによって得られる緯度・経度データから求められるが、コンピュータ・ビジョンを利用して画像情報から求めてもよい。また、両端の区分点の座標のみを求め、区分点間の道に含まれる各パノラマ画像の地図上の２次元座標は補間によって求めてもよい。
【００２８】
画像再生制御部４０は、アノテーション表示位置決定部５０に地図上の視点位置を与える。アノテーション表示位置決定部５０は、受け取った視点位置情報をもとにアノテーションの表示位置を決定し、画像再生制御部４０にアノテーション表示位置を与える。アノテーションの表示位置の決定方法は後述する。画像再生制御部４０は、表示部８０に表示する画角にあわせてパノラマ画像を切出して射影変換を行い、アノテーション表示位置に従ってアノテーション画像を合成して表示部８０に表示する画像を生成する。
【００２９】
表示部８０は画像再生制御部４０において生成された画像を表示する。
【００３０】
次に、アノテーション表示位置決定部５０の動作について詳細に説明する。図５に示すように、本実施形態では、区分点に挟まれる道上において、パノラマ画像の正面方向は道の方向に平行、つまり撮影時の進行方向に平行であるとする。
【００３１】
図６はアノテーション表示位置決定部５０におけるアノテーション表示位置決定方法を示す図である。簡単のために、区分点Ｃ１をｘｙ平面の原点とし、区分点Ｃ２をｘ軸上に取る（すなわち道Ｒ１はｘ軸の一部となる）。
【００３２】
図６において、区分点Ｃ１、区分点Ｃ２、建物Ａのアノテーションを表示したい位置の地図上の座標はそれぞれ（０，０）、（ｘ２，０）、（ｘｏ，ｙｏ）である。区分点Ｃ１に対応するパノラマ画像において、建物Ａのアノテーションを表示する水平方向の位置は、パノラマ画像の正面方向からの相対角度θ１（ｒａｄ）で表すと、次式で表される。
【００３３】
【外１】
2004234455.tif 000003
【００３４】
また、区分点Ｃ２に対応するパノラマ画像において、建物Ａのアノテーションを表示する水平方向の位置は、パノラマ画像の正面方向からの相対角度θ２（ｒａｄ）で表すと、次式で表される。
【００３５】
【外２】
2004234455.tif 000004
【００３６】
同様にして、道Ｒ１上の点（ｘ，０）に対応するパノラマ画像において、建物Ａのアノテーションを表示する水平方向の位置は、パノラマ画像の正面方向からの相対角度θで表すと、次式で表される。
【００３７】
【外３】
2004234455.tif 000005
【００３８】
アノテーション表示位置決定部５０は、上記の式によりアノテーションを表示する水平方向の位置を決定する。図７は、アノテーション表示位置決定部５０の動作を説明するフローチャートである。まずステップＳ１０１において、新たな視点情報（視点位置、視線方向）を獲得する。次にステップＳ１０２において、ステップＳ１０１で獲得した視点情報から決定される道が、前のフレームと同じ道である場合にはステップＳ１０５に進む。前のフレームと異なる新たな道である場合には、ステップＳ１０３に進む。ステップＳ１０３において、該当する道においてアノテーションを表示するオブジェクトを決定する。本実施形態では、複数のオブジェクトに対してアノテーションを表示することができる。ステップＳ１０３においてアノテーションを表示するオブジェクトを決定した後、ステップＳ１０４に進む。ステップＳ１０４において、該当する道の両端の区分点のうちどちらか一方の区分点をｘｙ平面の原点とし、道がｘ軸となるよう座標軸を回転させて、アノテーションを表示するすべてのオブジェクトの相対位置を計算する。次にステップＳ１０５において、アノテーションを表示するすべてのオブジェクトについて、上記の式により該当する視点位置に対応したパノラマ画像におけるアノテーションの表示位置（パノラマ画像の正面方向からの相対角度）θを求める。ステップＳ１０６において終了判定を行い、まだ終了しない場合は、ステップＳ１０１において新たに視点情報を獲得する。
【００３９】
図８は、画像再生制御部４０におけるアノテーション合成の処理を説明する図である。アノテーション表示位置決定部５０においてアノテーション表示位置θが決定されると、画像再生制御部４０は視線方向と画角αに応じてパノラマ画像を切出す。切出したパノラマ画像上に、アノテーションデータ保存部から読み出されたアノテーション画像が合成され、表示画像が生成される。パノラマ画像を透視投影画像に変換する斜影変換はパノラマ画像に対してのみ行われる。
【００４０】
以上のように、第１実施形態によれば、アノテーションを表示したいオブジェクト位置と観察者の視点位置の２次元地図上での座標から、アノテーションの表示位置を決定することにより、多数の画像に対してアノテーション表示位置を決定する際の労力や時間を節約することが可能になる。
【００４１】
＜第２実施形態＞
上記第１実施形態では、アノテーションを表示したいオブジェクト位置と観察者の視点位置の地図上での座標によって、アノテーションの表示位置を決定した。第２実施形態では、オブジェクトの地図上での位置を、２枚のパノラマ画像における該オブジェクトの観察方向によって決定することにより、オブジェクト位置や視点位置の地図上での座標の精度が低い場合でも適切な位置にアノテーションを表示する。
【００４２】
図９は、２枚のパノラマ画像からオブジェクト位置を決定する方法を説明する図である。本実施形態においては、視点位置の地図上での座標をもとにオブジェクトの地図上の位置を決定する。オブジェクトの地図上での位置は、道ごとに決定され、アノテーション表示位置を計算する際には、視点位置が存在する道で決定されたオブジェクトの地図上での位置を用いる。図９では、簡単のために区分点Ｃ１をｘｙ平面の原点とし、区分点Ｃ２をｘ軸上に取る（すなわち道Ｒ１はｘ軸の一部となる）。区分点Ｃ１、Ｃ２の座標はそれぞれ（０，０）、（ｘ２，０）である。道Ｒ１では、パノラマ画像の正面方向は常にｘ軸の正の方向である。
アノテーションを表示したいオブジェクトＡの区分点Ｃ１からの観察方向（正面方向からの相対方向）がθ１、区分点Ｃ２からの観察方向がθ２である場合、オブジェクトの地図上での座標（ｘｏ，ｙｏ）は次式から求められる。
【００４３】
【外４】
2004234455.tif 000006
【００４４】
【外５】
2004234455.tif 000007
【００４５】
図１０は、オブジェクトごとに２枚のパノラマ画像からオブジェクトの地図上の位置を決定する手順を説明するフローチャートである。まずステップＳ２０１において、アノテーションを表示したいオブジェクトを決定する。次に、ステップＳ２０２において、該オブジェクトのアノテーションを表示するすべての道においてオブジェクトの位置決定が終了したかどうかを判別する。すべての道において位置決定が終了していない場合には、ステップＳ２０３に進み、該オブジェクトの位置決定を行う道を決定し、ステップＳ２０４において、上記の式によって該道におけるオブジェクトの位置を算出する。ステップＳ２０２においてすべての道においてオブジェクトの位置決定が終了している場合には、ステップＳ２０５に進む。ステップＳ２０５において、アノテーションを表示させたいオブジェクトすべてについて位置決定が終了している場合には、位置決定を終了し、終了していない場合には、ステップＳ２０１に戻って次のオブジェクトを決定する。
【００４６】
図１１は、本実施形態におけるオブジェクトの位置決定を行うためのグラフィカルユーザインタフェース（ＧＵＩ）１０００の図である。ＧＵＩは、２次元地図画像を表示する地図表示ウィンドウ１０１０、地図表示ウィンドウ上で選択した道の両端の区分点に対応するパノラマ画像を表示するパノラマ画像表示ウィンドウ１０２０、１０２１、オブジェクト追加ボタン１０３０、既存オブジェクトボタン１０４０、更新ボタン１０５０より構成される。
【００４７】
まだ位置決定を行っていない新規のオブジェクトの位置決定を行う場合には、オブジェクト追加ボタン１０３０をマウスでクリックする。すでに位置決定を行ったオブジェクトの位置を修正する場合には、既存オブジェクトボタン１０４０をマウスでクリックし、表示されるオブジェクトのリストの中から所望のオブジェクトを選択する。
【００４８】
地図表示ウィンドウ１０１０には、２次元地図画像の上に区分点と道が表示されている。ユーザがオブジェクトの位置決定をしたい道をマウスでクリックすると、パノラマ画像表示ウィンドウ１０２０、１０２１に、選択した道の両端の区分点に対応するパノラマ画像が表示される。
【００４９】
なお、２枚の代表的なパノラマ画像は道の両端の区分点に対応するパノラマ画像でなくても構わず、地図上からユーザが独立に指定した位置におけるパノラマ画像であっても構わない。たとえば、同一の道上の区分点でない位置のパノラマ画像を用いても構わない。
【００５０】
図１２は、上記のＧＵＩにおけるオブジェクトの位置決定方法を示す図である。ここでは、区分点Ｃ１と区分点Ｃ２に挟まれた道Ｒ１におけるオブジェクトＡの位置決定を行う場合について説明する。道Ｒ１をマウスでクリックするとパノラマ画像表示ウィンドウ１０２０、１０２１にはそれぞれ区分点Ｃ１、Ｃ２に対応したパノラマ画像が表示される。まず、パノラマ画像表示ウィンドウ１０２０において、オブジェクトＡが観察される方向をマウスでクリックする。クリックすると、パノラマ画像表示ウィンドウ１０２０上のクリックした点上を通るパノラマ画像の垂直方向に平行な直線が引かれ、地図表示ウィンドウ１０１０には、クリックされた方向を示す直線が引かれる。次に、パノラマ表示ウィンドウ１０２１において、同様の操作を行う。その結果、地図表示ウィンドウ１０１０上で２直線が交わる点が道Ｒ１におけるオブジェクトＡの位置であると算出される。
【００５１】
オブジェクトの位置決定を、すべてのアノテーションを表示したい道について行ったら、更新ボタン１０５０をクリックすることにより位置データを保存する。
【００５２】
図１３は、アノテーションを表示したいオブジェクトと区分点・道を地図上に示した図である。図１３では、オブジェクト（建物Ａ）が、道Ｒ１、Ｒ２、Ｒ３、Ｒ４から観察することが可能になっている。このオブジェクトに対して、道Ｒ１と道Ｒ２においてアノテーションを表示する場合には、道Ｒ１に対しては区分点Ｃ１とＣ２に対応するパノラマ画像からオブジェクトの位置を算出し、道Ｒ２に対しては区分点Ｃ２とＣ３に対応するパノラマ画像からオブジェクトの位置を算出する。図１４に、アノテーションを表示するオブジェクトの属性を示す。道Ｒ１においてアノテーション表示位置を決定する場合にはオブジェクトの地図上の位置座標として（ｘｏ１，ｙｏ１）を用い、道Ｒ２においてアノテーション表示位置を決定する場合にはオブジェクトの地図上の位置座標として（ｘｏ２，ｙｏ２）を用いる。アノテーション画像は道ごとに異なる画像を表示してもよい。
また、図１４ではアノテーション画像はＪＰＥＧ画像であるが、他の画像フォーマットでもよいし、動画像でもよい。
【００５３】
アノテーション表示位置決定部５０は、上述のように決められたオブジェクトの地図上の位置座標を用いて、アノテーションを表示する位置を決定する。
【００５４】
以上のように、第２実施形態によれば、オブジェクトの地図上での位置を、２枚のパノラマ画像における該オブジェクトの観察方向によって決定することにより、オブジェクト位置や視点位置の地図上での座標の精度が低い場合でも適切な位置にアノテーションを表示することが可能になる。
【００５５】
また、ＧＵＩを用いることにより、オブジェクトの地図上での位置決定を簡便に行うことが可能になる。
【００５６】
＜第３実施形態＞
上記第２実施形態では、アノテーションを表示したいオブジェクトの地図上での位置を、２枚のパノラマ画像における該オブジェクトの観察方向によって決定した。第３実施形態では、パノラマ画像単位でアノテーション表示位置を設定可能にして優先的に用いることで、より適切な位置へのアノテーション表示を行う。
【００５７】
図１５は、パノラマ画像単位でアノテーション表示位置の設定を行うＧＵＩ２０００の図である。地図表示ウィンドウ１０１０、パノラマ画像表示ウィンドウ１０２０、１０２１、オブジェクト追加ボタン１０３０、既存オブジェクトボタン１０４０、更新ボタン１０５０は図１１と同一であるので説明を省略する。パノラマ画像表示ウィンドウ１０２２は、選択されている道上の任意の点に対応するパノラマ画像を表示する。
【００５８】
図１６は、上記のＧＵＩにおけるパノラマ画像単位のアノテーション表示位置決定方法を説明する図である。オブジェクトＡの位置を２つの区分点におけるパノラマ画像の観察方向から決定した後、道上の点をマウスでクリックする。クリックすると、パノラマ画像表示ウィンドウ１０２２に、クリックした点に対応するパノラマ画像が表示され、同時にオブジェクトＡの位置から決定されるアノテーション表示位置が、パノラマ画像の垂直方向に平行な直線で示される。パノラマ画像の地図上での位置座標の精度が低い場合、示されたアノテーション表示位置は、実際に表示したい位置よりずれることがある。そのため、パノラマ画像表示ウィンドウ１０２２上で適切なアノテーション表示位置をクリックする。このようにパノラマ画像単位で決定されたアノテーション表示位置は、アノテーション表示位置決定部５０において、オブジェクトの地図上の位置と視点位置から決定されるアノテーション表示位置よりも優先的に用いられる。
【００５９】
図１７は、第３実施形態における、アノテーションを表示したいオブジェクトの属性を示す図である。オブジェクト（建物Ａ）は、道Ｒ１において２枚のパノラマ画像（フレーム番号ｎ、ｍ）に対して個別にアノテーション表示位置を設定している。個別に設定されるアノテーション表示位置はパノラマ画像の正面方向からの相対角度θｎ、θｍによって記述される。
【００６０】
図１８は、第３実施形態におけるパノラマ画像単位でアノテーション表示位置を決定する手順を説明するフローチャートである。ステップＳ２０１からステップＳ２０５は図１０と同一であるので説明を省略する。図１９において、ステップＳ３０１でパノラマ画像単位でアノテーション表示位置を決定しない場合はＢに進む。決定する場合は、ステップＳ３０２において、アノテーション表示位置を決定するパノラマ画像を選択し決定する。次にステップＳ３０３において、該パノラマ画像におけるアノテーション表示位置を設定する。ステップＳ３０４において終了判定を行い、他のパノラマ画像についてアノテーション表示位置を決定する場合には、ステップＳ３０２に戻る。
【００６１】
図２０は、アノテーション表示位置決定部５０において、あるオブジェクトのアノテーション表示位置を決定する手順を示すフローチャートである。ステップＳ３１１において、該オブジェクトに対して視点位置に対応するパノラマ画像においてアノテーション表示位置が設定されている場合には、そのアノテーション表示位置をそのまま用いる。設定されていない場合には、オブジェクト位置と視点位置からアノテーション表示位置を決定し、それを用いる。その後、ステップＳ３１３においてアノテーション表示位置を決定し、終了する。
【００６２】
以上のように、第３実施形態によれば、パノラマ画像単位でアノテーション表示位置を設定可能にして優先的に用いることで、より適切な位置へのアノテーション表示を行うことが可能になる。
【００６３】
また、ＧＵＩを用いることにより、パノラマ画像単位でのアノテーション表示位置を簡便に設定することが可能になる。
【００６４】
＜第４実施形態＞
上記第１実施形態〜第３実施形態では、観察者の地図上での視点位置およびオブジェクトの地図上での位置からアノテーションの表示位置を決定したが、第４実施形態では、地図上での位置を用いずに簡便にアノテーション表示位置を決定する。
【００６５】
図２１は、第４実施形態におけるアノテーション表示位置の決定方法を説明する図である。区分点Ｃ１から始まり区分点Ｃ２で終わる道Ｒ１は、直線で表され、区分点Ｃ１、区分点Ｃ２に対応するパノラマ画像及び道Ｒ１に対応付けられたパノラマ画像群の正面方向はすべて同一（区分点Ｃ１からＣ２へ向かう方向）であるとする。また、区分点Ｃ１にはフレーム番号ｎのパノラマ画像が、区分点Ｃ２にはフレーム番号ｎ＋ｍ（ｍ＞０）のパノラマ画像が、道Ｒ１にはフレーム番号ｎ＋１からｎ＋ｍ−１までのパノラマ画像が対応付けされているとする。
【００６６】
図２１における建物Ａのアノテーションを、道Ｒ１に対応付けられたパノラマ画像群に表示する場合、まず道Ｒ１の両端の区分点Ｃ１、Ｃ２における建物Ａの観察方向θ１、θ２を求める。観察方向θ１、θ２はあらかじめ前処理で求めておく。また、θ１、θ２は、道ごとに求める。
【００６７】
アノテーション表示位置決定部５０において、区分点Ｃ１、区分点Ｃ２からの建物Ａの観察方向がそれぞれθ１、θ２である場合、道Ｒ１上のフレーム番号ｎ＋ｉ（ｉ＞０）のパノラマ画像における建物Ａのアノテーション表示位置θｉは、以下の式に示すように線形補間で求める。
【００６８】
【外６】
2004234455.tif 000008
【００６９】
以上のように、第４実施形態によれば、２地点のパノラマ画像におけるオブジェクトの観察方向を線形補間することにより、２地点に挟まれる道に対応付けられたパノラマ画像群へのアノテーション表示位置の決定を簡便に行うことが可能になる。また、線形補間であるため、計算量を減らすことが可能になる。
【００７０】
＜第５実施形態＞
上記第４実施形態では、２地点のパノラマ画像におけるオブジェクトの観察方向を線形補間することによりアノテーション表示位置を求めた。第５実施形態では、非線形の補間を行うことでより精度高くアノテーション表示位置を求める。
【００７１】
図２２は、図２１に示されるθ１、θ２と、θｉとの関係を示す図である。横軸はフレーム番号、縦軸はオブジェクトの観察方向を示す。図２２ではθ１、θ２の範囲を、
【外７】
2004234455.tif 000009
に限定している。また、道Ｒ１において、各フレームの撮影位置の間隔は等間隔であるとする。図２２（ａ）は
【外８】
2004234455.tif 000010
の場合の、道Ｒ１の各フレームにおけるオブジェクトの観察方向を示す図である。また、図２２（ｂ）は
【外９】
2004234455.tif 000011
の場合の、道Ｒ１の各フレームにおけるオブジェクトの観察方向を示す図である。また、図２２（ｃ）は、
2004234455.tif 000012
の場合の、道Ｒ１の各フレームにおけるオブジェクトの観察方向を示す図である。図２２に示すように、パノラマ画像が等間隔で撮影されていると仮定すると、オブジェクトの観察方向は線形に変化するのではなく、非線形に変化する。図２２に示す非線形曲線は、θ１、θ２より求まる逆正接関数となる。
【００７２】
アノテーション表示位置決定部５０は、オブジェクトのアノテーション表示位置を決定する際に、道を挟む２つの区分点からのオブジェクトの観察方向θ１、θ２からも泊まる逆正接関数を補間関数として用いてアノテーション表示位置θｉを決定する。計算量を減らすために、補間関数は上記の逆正接関数を直線近似したものを用いてもよい。
【００７３】
また、逆正接関数の計算量を減らすために、フレーム番号とアノテーション表示位置の関係をあらかじめテーブルとして持っておいてもよい。図２３に示すように、−π＜θ１≦π、−π＜θ２≦πである場合、オブジェクトの観察方向θ１、θ２の値によって、フレーム番号とアノテーション表示位置の対応関係は６種類の逆正接関数の形に分類される。アノテーション表示位置決定部５０は、あらかじめ代表的なθ１、θ２の値で６種類のパターンのフレーム番号とアノテーション表示位置の関係の対応テーブルを保持しておき、現在の道の両端の区分点からのオブジェクトの観察方向θ１、θ２から、６つパターンのうちどれに近いかを判別し、フレーム番号によってテーブルの値を参照する。６つのパターンのうちどれに近いかどうかはあらかじめ判別しておいてもよい。対応テーブルは、道に対応付けられたパノラマ画像の枚数によって変化するが、あらかじめ十分細かい解像度で対応テーブルを作成しておき、該当する道のパノラマ画像の枚数によってスケーリングすることで対応テーブルの数を抑制する。なお、本実施形態では対応テーブルの数を６つにしているが、ＲＡＭの容量などに応じて増やすことが可能である。また、最初は少ない数の対応テーブルにしておき、実際のアノテーション表示位置を見て現在の対応テーブルでは近似しきれない場合は、表示がずれている道の両端の区分点におけるオブジェクトの観察方向を用いて決定される補間関数を随時追加していって精度を上げることが可能である。
【００７４】
以上のように、第５実施形態によれば、２地点のパノラマ画像におけるオブジェクトの観察方向から求めた逆正接関数を用いた補間を行うことにより、２地点に挟まれる道に対応付けられたパノラマ画像群へのアノテーション表示位置の決定をより精度高く行うことが可能になる。
【００７５】
＜その他の実施形態＞
上記実施形態ではパノラマ画像を用いているがパノラマ画像でなくても構わない。
【００７６】
また前述した実施形態の機能を実現するためのソフトウエアのプログラムコードをネットワークを介して供給し供給することも本発明の範疇に含まれる。
【００７７】
またこの場合、前記ソフトウエアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段は本発明を構成する。
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００７８】
【発明の効果】
以上説明したように、本発明によれば、アノテーションの表示位置の決定を簡便にすることができる。
【図面の簡単な説明】
【図１】本実施形態におけるウォークスルーシステムの機能構成を説明するブロック図である。
【図２】本実施形態における画像再生装置１のハード構成を示す図である。
【図３】本実施形態における仮想空間の表現方法を説明する図である。
【図４】区分点、道の属性の一例を示す図である。
【図５】パノラマ画像と道の方向の対応を説明する図である。
【図６】アノテーション表示位置決定部５０におけるアノテーション表示位置決定方法を示す図である。
【図７】アノテーション表示位置決定部５０の動作を説明するフローチャートである。
【図８】画像再生制御部４０におけるアノテーション合成の処理を説明する図である。
【図９】２枚のパノラマ画像からオブジェクト位置を決定する方法を説明する図である。
【図１０】オブジェクトごとに２枚のパノラマ画像からオブジェクトの地図上の位置を決定する手順を説明するフローチャートである。
【図１１】オブジェクトの位置決定を行うためのグラフィカルユーザインタフェース（ＧＵＩ）１０００を示す図である。
【図１２】ＧＵＩ１０００におけるオブジェクトの位置決定方法を示す図である。
【図１３】アノテーションを表示したいオブジェクトと区分点・道を地図上に示した図である。
【図１４】アノテーションを表示するオブジェクトの属性の一例を示す図である。
【図１５】パノラマ画像単位でアノテーション表示位置の設定を行うＧＵＩ２０００を示す図である。
【図１６】ＧＵＩ２０００におけるパノラマ画像単位のアノテーション表示位置決定方法を説明する図である。
【図１７】第３実施形態における、アノテーションを表示したいオブジェクトの属性を示す図である。
【図１８】第３実施形態におけるパノラマ画像単位でアノテーション表示位置を決定する手順を説明するフローチャートである。
【図１９】第３実施形態におけるパノラマ画像単位でアノテーション表示位置を決定する手順を説明するフローチャートである。
【図２０】アノテーション表示位置決定部５０において、あるオブジェクトのアノテーションを決定する手順を示すフローチャートである。
【図２１】第４実施形態におけるアノテーション表示位置の決定方法を説明する図である。
【図２２】２地点のパノラマ画像からのオブジェクトの観察方向θ１、θ２と、２地点に挟まれる道上のパノラマ画像からのオブジェクトの観察方向θｉとの関係を示す図である。
【図２３】オブジェクトの観察方向θ１、θ２の値による、フレーム番号とアノテーション表示位置の対応関係を示す図である。
【図１】
2004234455.tif 000013
【図２】
2004234455.tif 000014
【図３】
2004234455.tif 000015
【図４】
2004234455.tif 000016
【図５】
2004234455.tif 000017
【図６】
2004234455.tif 000018
【図７】
2004234455.tif 000019
【図８】
2004234455.tif 000020
【図９】
2004234455.tif 000021
【図１０】
2004234455.tif 000022
【図１１】
2004234455.tif 000023
【図１２】
2004234455.tif 000024
【図１３】
2004234455.tif 000025
【図１４】
2004234455.tif 000026
【図１５】
2004234455.tif 000027
【図１６】
2004234455.tif 000028
【図１７】
2004234455.tif 000029
【図１８】
2004234455.tif 000030
【図１９】
2004234455.tif 000031
【図２０】
2004234455.tif 000032
【図２１】
2004234455.tif 000033
【図２２】
2004234455.tif 000034
【図２３】
2004234455.tif 000035