(57)【要約】【課題】実写画像データと現実空間の位置との対応付けに関る操作の操作性を向上する。【解決手段】撮影画像を用いてウォークスルー可能な仮想空間を構築するための画像処理装置は、複数の撮像装置によって撮影された撮影画像を保存する画像データ保存部１０と、地図データを保存する地図データ保存部２０と、ユーザの指示に基づき、前記地図データと前記撮影画像の対応づけを行う画像・地図対応づけ部３０とを備える。そして、画像・地図対応付け部３０は、地図データに応じた地図画像表示と撮影画像に応じた画像表示とを行う操作画面を有し、この画像表示は、複数の撮像装置によって撮影された撮影画像を同期をとって表示する。【選択図】　図１
2004070929.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像を用いてウォークスルー可能な仮想空間を構築するための画像処理装置であって、
複数の撮像装置によって撮影された撮影画像を保存する撮影画像保存部と、
地図データを保存する地図データ保存部と、
ユーザの指示に基づき、前記地図データと前記撮影画像の対応づけを行う画像・地図対応づけ部とを備え、
前記画像・地図対応付け部は、
前記地図データに応じた地図画像表示と前記撮影画像に応じた画像表示とを行う操作画面を有し、前記画像表示は、前記複数の撮像装置によって撮影された撮影画像を同期をとって表示することを特徴とする画像処理装置。
【請求項２】
前記同期をとって表示する画像の数を指定可能であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像表示は、前記連続する複数の撮影画像を表示することを特徴とする請求項１記載の画像処理装置。
【請求項４】
撮影画像を用いてウォークスルー可能な仮想空間を構築するための画像処理方法であって、
地図データを保存する地図データ保存部より地図データを取得して表示する地図画像を表示し、複数の撮像装置によって撮影された撮影画像を保存する撮影画像保存部より撮影画像を取得して撮影画像を表示する操作画面を提供する提供工程と、
前記操作画面に対するユーザの指示に基づき、前記地図データと前記撮影画像の対応づけを行う画像・地図対応づけ工程とを備え、
前記操作画面における撮影画像の表示は、前記複数の撮像装置によって撮影された撮影画像を同期をとって表示することを特徴とする画像処理方法。
【請求項５】
撮影画像を用いてウォークスルー可能な仮想空間を構築するための画像処理方法をコンピュータに実行させるための制御プログラムを格納する記録媒体であって、該画像処理方法が、
地図データを保存する地図データ保存部より地図データを取得して表示する地図画像を表示し、複数の撮像装置によって撮影された撮影画像を保存する撮影画像保存部より撮影画像を取得して撮影画像を表示する操作画面を提供する提供工程と、
前記操作画面に対するユーザの指示に基づき、前記地図データと前記撮影画像の対応づけを行う画像・地図対応づけ工程とを備え、
前記操作画面における撮影画像の表示は、前記複数の撮像装置によって撮影された撮影画像を同期をとって表示することを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像の処理方法、画像処理装置及び記憶媒体に関する。特に、実空間の撮影によって得られた画像データと地図上の位置データとの対応付けを行うのに好適なユーザインタフェースを備えた画像処理方法、画像処理装置および記憶媒体に関する。
【０００２】
【従来の技術】
移動体に搭載された撮影装置によって現実空間を撮影し、撮影された実写画像データをもとに、撮影した現実空間を計算機を用いて仮想空間として表現する試みが提案されている（例えば遠藤、片山、田村、廣瀬、渡辺、谷川：“移動車輌搭載カメラを用いた都市空間の電脳映像化について”（信学ソサイエティ、ＰＡ−３−４、ｐｐ．２７６−２７７、１９９７年）、または廣瀬、渡辺、谷川、遠藤、片山、田村：“移動車輌搭載カメラを用いた電脳映像都市空間の構築（２）−実写画像を用いた広域仮想空間の生成−”（日本バーチャルリアリティ学会第２回大会論文集、ｐｐ．６７−７０、１９９７年）などを参照）。
【０００３】
移動体に搭載された撮影装置によって撮影された実写画像データをもとに、撮影した現実空間を仮想空間として表現する手法としては、実写画像データをもとに現実空間の幾何形状モデルを再現し、従来のＣＧ技術で表現する手法が挙げられるが、モデルの正確性や精密度、写実性などの点で限界がある。一方、モデルを用いた再現を行わずに、実写画像を用いて仮想空間を表現するＩｍａｇｅ−Ｂａｓｅｄ　Ｒｅｎｄｅｒｉｎｇ（ＩＢＲ）技術が近年注目を集めている。ＩＢＲ技術は、複数の実写画像をもとに、任意の視点から見た画像を生成する技術である。ＩＢＲ技術は実写画像に基づいているために、写実的な仮想空間の表現が可能である。
【０００４】
このようなＩＢＲ技術を用いてウォークスルー可能な仮想空間を構築するためには、体験者の仮想空間内の位置に応じた画像の生成・呈示を行う必要がある。そのため、実写画像データの各フレームと、仮想空間内の位置とを対応付ける必要がある。但し、ここでは、仮想空間は現実空間をもとに生成された空間であるので、仮想空間内の位置は、現実空間の位置と換言できる。つまり、実写画像データの各フレームと現実空間の位置データの対応付けを行い、各フレームが現実空間内のどの位置で撮影されたかを既知としておく必要がある。
【０００５】
現実空間内の位置データを得る手法としては、カー・ナビゲーション・システムなどにも用いられているＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）に代表される人工衛星を用いた測位システムを利用するのが一般的である。ＧＰＳなどから得られる位置データと、実写画像データを対応付ける手法としては、タイムコードを用いて対応付ける手法が提案されている（特開平１１−１６８７５４）。この手法では、位置データに含まれる時刻データと、実写画像データの各フレームに付加したタイムコードとを対応付けることで、実写画像データの各フレームと位置データとの対応付けを行う。
現実空間内の位置データを得る手法としては、カー・ナビゲーション・システムなどにも用いられているＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）に代表される人工衛星を用いた測位システムを利用するのが一般的である。ＧＰＳなどから得られる位置データと、実写画像データを対応付ける手法としては、タイムコードを用いて対応付ける手法が提案されている（特許文献１）。この手法では、位置データに含まれる時刻データと、実写画像データの各フレームに付加したタイムコードとを対応付けることで、実写画像データの各フレームと位置データとの対応付けを行う。
【０００６】
【発明が解決しようとする課題】
しかしながら、例えばＧＰＳの場合には地理的条件によって位置データを得ることができなかったり、位置データに含まれる誤差が無視できないほど大きくなる場合が起こりうる。そのため、画像データと位置データの対応付けができなかった、もしくは不正確だった部分に対して、簡易に位置を求め、画像データとの対応付けを行う手法が求められている。
【０００７】
本発明は上記の課題に鑑みてなされたものであり、実写画像データと現実空間の位置とを簡易な操作で対応づけ可能とすることを目的とする。
また、本発明の他の目的は、ＧＰＳを用いて実写画像データと現実空間との位置の対応づけを行った場合に、適正に対応づけが出来なかった部分について簡易な操作で対応づけを可能とすることにある。
【０００８】
また、一般的な手法による画像データと位置との対応付けでは、各フレーム毎に位置との対応付けを行なうので、データ量が膨大となってしまう。そこで本発明の他の目的は、実写画像データと現実空間との対応付けをより簡易に少ないデータ量で行なうことを可能とした画像データ記録を提供することにある。
【０００９】
更に、本発明の他の目的は、上記画像データ記録に基づいて画像再生を可能とすることにある。
【００１０】
また、上記画像再生においては、実写画像データを順次再生することになるので、所望の位置を再生するためには、道に沿って当該所望の位置まで再生を進めなくてはならない。このため、所望の位置の再生を得るのに少なからぬ時間と手間がかかることになる。そこで、本発明の他の目的は、実写画像の再生開始位置を地図上で指定可能とすることにある。
【００１１】
【課題を解決するための手段】
上記の目的の少なくとも一つを達成するための本発明による画像処理装置は以下の構成を備える。すなわち、
撮影画像を用いてウォークスルー可能な仮想空間を構築するための画像処理装置であって、
複数の撮像装置によって撮影された撮影画像を保存する撮影画像保存部と、
地図データを保存する地図データ保存部と、
ユーザの指示に基づき、前記地図データと前記撮影画像の対応づけを行う画像・地図対応づけ部とを備え、
前記画像・地図対応付け部は、
前記地図データに応じた地図画像表示と前記撮影画像に応じた画像表示とを行う操作画面を有し、前記画像表示は、前記複数の撮像装置によって撮影された撮影画像を同期をとって表示する。
【００１２】
また、上記の目的の少なくとも一つを達成するための本発明による画像処理方法は、
撮影画像を用いてウォークスルー可能な仮想空間を構築するための画像処理方法であって、
地図データを保存する地図データ保存部より地図データを取得して表示する地図画像を表示し、複数の撮像装置によって撮影された撮影画像を保存する撮影画像保存部より撮影画像を取得して撮影画像を表示する操作画面を提供する提供工程と、
前記操作画面に対するユーザの指示に基づき、前記地図データと前記撮影画像の対応づけを行う画像・地図対応づけ工程とを備え、
前記操作画面における撮影画像の表示は、前記複数の撮像装置によって撮影された撮影画像を同期をとって表示する。
【００１３】
また、本発明によれば、上記画像処理方法をコンピュータに実行させるための制御プログラムを格納した記録媒体が提供される。
【００１４】
【発明の実施の形態】
以下、添付図面を参照しながら、本発明の好適な実施形態を説明する。
【００１５】
＜第１の実施形態＞
本実施形態では、例えば自動車などの移動体に搭載された撮影装置によって撮影して得られた実写画像データと、現実空間の位置としての地図データとの対応付けを、視覚的なユーザ・インタフェースを用いて行うことができる画像記録装置を説明する。
【００１６】
図１は本実施形態による画像記録装置の機能構成を説明する図である。本画像記録システムは、画像データ収集システム９０と画像記録装置１とを含んで構成される。画像記録装置１は、画像データ保存部１０、地図データ保存部２０、画像・地図対応付け部３０、操作部４０、対応付けデータ保存部５０を有する。
【００１７】
画像データ保存部１０は、後述の画像データ収集システム９０によって得られた実写画像データとしてのビデオデータ（以下、画像データという）を格納する。地図データ保存部２０は、地図のイメージ情報と該地図イメージ上の各位置を経度と緯度に関連した座標で表すための座標情報を含む地図データを格納する。地図データ保存部２０には、少なくとも画像データ収集システム９０によって撮影され、画像データ保存部１０に保存された画像データの現実空間位置に対応した地図データが保存されている。なお、地図データは、ここでは不図示のハードディスク、ＲＡＭまたは他の外部記憶装置に保存される。
【００１８】
画像・地図対応付け部３０は、画像データ保存部１０に保存されている画像データと、地図データ保存部２０に保存されている地図データを読み出して操作部４０の有する表示装置上に表示するとともに、操作部４０を用いてユーザが行った画像データと地図データの対応付けを行う。こうして対応付けされた画像データと地図データは、対応付けデータとして対応付けデータ保存部５０に保存される。なお、操作部４０は、表示装置、マウス及びキーボードなどから構成される。
【００１９】
図２は、画像データ保存部１０に保存される画像データを収集するための画像データ収集システムの構成例を示す図である。図２に示されるように、この画像データ収集システム９０は、撮影部６０、記録部７０、Ａ／Ｄ変換部８０の３つの部分に分けられる。以下、各部について、図３〜図５を参照して詳細に説明する。
【００２０】
図３は、撮影部６０の構成を詳細に示すブロック図である。本実施形態では、撮影部６０は車輌などの移動体に搭載して用いられる。撮影部６０は、ｎ台（ｎ≧１）のビデオカメラ（６０−１〜６０−ｎ）と同期信号発生部６２から成る。ビデオカメラ６０−１〜６０−ｎにはそれぞれ同期信号発生部６２からの外部同期信号を入力することが可能である。同期信号発生部６２より出力される外部同期信号を用いてビデオカメラ６０−１〜６０−ｎのｎ台の撮影タイミングを一致させる。
【００２１】
図４は、記録部７０の構成を詳細に示すブロック図である。記録部７０はタイムコード発生部７２と、ビデオカメラ６０−１〜６０−ｎに対応する録画部（本例ではビデオカセットレコーダＶＣＲ）７０−１〜７０−ｎとを備える。撮影部６０のビデオカメラ６０−１〜６０−ｎからの画像出力は、それぞれ録画部７０−１〜７０−ｎの入力となる。また、タイムコード発生部７２は、撮影時刻を表すタイムコードを各ＶＣＲ７０−１〜７０−ｎに供給する。ＶＣＲ７０−１〜７０−ｎは、対応するビデオカメラからの画像入力とタイムコード発生部７２からのタイムコードを取り込み、タイムコードつきの画像データとして格納する。
【００２２】
図５Ａは、Ａ／Ｄ変換部８０の構成を詳細に示すブロック図である。Ａ／Ｄ変換部８０は、パーソナルコンピュータ（以下ＰＣ）８４と、ＶＣＲ７０−１〜７０−ｎの各々に対応するビデオ・キャプチャ・ボード（以下、キャプチャ・ボード）８２を有する。キャプチャ・ボードは必ずしもビデオカメラの台数分必要ではなく、ＰＣに搭載できる数のキャプチャ・ボードを共有してもよい。Ａ／Ｄ変換部８０は、各ＶＣＲから供給されるアナログ画像データをディジタル画像データ（例えばＡＶＩフォーマット）に変換し、ＰＣ８４に接続されたハードディスク１０またはその他の記憶媒体に保存する。画像データがキャプチャ・ボード８２を通じてＰＣ８４内に取り込まれる際には、記録されているタイムコードを用いてキャプチャ開始部分、終了部分を決定し、ｎ台のＶＣＲおよびキャプチャ・ボードを介して取得されるディジタル画像データがすべて同時刻に撮影された、同じ長さのキャプチャデータで構成されるようにする。なお、採用され得るデータフォーマットとしては、たとえばＡＶＩフォーマットが挙げられる。
【００２３】
図５Ｂは、画像データ保存部１０における画像データの保存形態の一例を示す図である。図５Ｂに示すように、各カメラ（６０−１〜６０−ｎ）毎に、フレーム番号とフレームデータとが対応付けられて格納される。なお、同時刻のフレームデータには同一のフレーム番号が付与される。また、本実施形態では、画像データは通常の撮影手段によって撮影された画像データとして保存されるものとするが、同一のフレーム番号の複数のフレームを合成してパノラマ画像として保存されていてもよい。
【００２４】
図６は、本実施形態による画像記録装置のハード構成を示すブロック図である。図６に示したハード構成は通常のパーソナルコンピュータの構成と同等である。図６において、ディスク１０５には、上述した画像データ収集システム９０によって得られたディジタル画像データが記憶されている。ディスク１０５は上述の画像データ保存部１０、地図データ保存部２０、対応付けデータ保存部５０を構成する。ＣＰＵ１０１は、ディスク１０５またはＲＯＭ１０６、または外部記憶装置（不図示）に保存されているプログラムを実行し、図７のフローチャート等を用いて後述する画像データと地図データとの対応付けを実行する。すなわち、画像・地図対応づけ部３０を実現する。
【００２５】
ＣＰＵ１０１が表示コントローラ１０２に対して各種の表示指示を行うことにより、表示コントローラ１０２およびレームバッファ１０３によって表示器１０４に所望の表示がなされる。なお、図では表示コントローラ１０２としてＣＲＴＣ、表示器１０４としてＣＲＴを示したが、表示器としては陰極線管に限らず、液晶表示器等を用いてもよいことはもちろんである。マウス１０８やキーボード１０９は、ユーザの操作入力を行うためのものであり、後述するＧＵＩへの入力を行う。画像・地図対応付け部によって出力されるデータは、ディスク１０５または外部記憶装置（不図示）に記録される。ＣＲＴ１０４、マウス１０８、キーボード１０９は上述の操作部４０を構成する。
【００２６】
以上の構成を備えた本実施形態の画像記録装置において、画像データ保存部１０に格納された現実空間の画像データと地図データ保存部２０に保存された地図情報との対応付けをユーザの操作に従って行う画像・地図対応付け部３０の動作について説明する。
【００２７】
図７は画像・地図対応付け部３０による処理手順を示すフローチャートである。画像・地図対応付け部３０は、まずステップＳ１において、地図データをＣＲＴ１０４に表示するとともに、当該地図上に区分点や道を特定するためのユーザインターフェースを提供する。そして、ステップＳ２において、提供されたユーザインターフェースを用いて、表示された地図データに対して撮影経路を区分する点（以後、区分点と呼ぶ）と区分点を結ぶ線分（以後、道と呼ぶ）を、必要な区分点、道の数だけ設定する。このとき、区分点、道には、それぞれを唯一に特定できるＩＤが付けられる。なお、区分点を結ぶ線分とは、２つの区分点の間、すなわち区間を表す直線もしくは曲線である。
【００２８】
図８は区分点と道を設定するためのユーザインターフェースにおける画面表示例を示す図である。ステップＳ１において画面上に表示された地図データを表示するとともに、当該地図８０１上に後述の区分点と道を設定するためのユーザインターフェース（ＧＵＩ）を提供する。ステップＳ２では、ステップＳ１で表示された地図上に、撮影経路に沿って、主に道の分岐点等に区分点を設定するとともに、両端が区分点で挟まれた道をユーザ操作により設定する。ここで、区分点や道のＩＤは自動的に付与されるようにしてもよいし、ユーザが設定して付与するようにしてもよい。また、各道や区分点には、名称（○○通り、××交差点等）を付与可能とし、この名称によって検索可能としてもよい。また、区分点は道路の分岐点のみでなく、道路の任意の箇所に設定してよい。
【００２９】
なお、以上の区分点と道の設定は、例えば次のような操作で行われる。画面上に表示された地図上でマウスをクリックするとクリックされた位置に区分点が設定される。もちろん、区分点はキーボードより、地図上の座標値として与えてもよい。また区分点から区分点へマウス・ポインタをドラッグすると道が設定できる。もちろん、キーボードから２つの区分点のＩＤを与えて２点を結ぶことにより道を設定してもよい。
【００３０】
こうして設定された区分点や道の格納に関しては、種々の方法が考えられるが、本実施形態では、図９Ａ，Ｂに示すような形態で区分点や道を保持するものとする。図９Ａは区分点の登録例を説明する図である。また、図９Ｂは、道の登録例を説明する図である。図９Ａに示されるように、区分点リスト９００において、各区分点について、それを特定するための区分点ＩＤ９０１とその地図上の位置を表す地図座標データ９０２と区分点に付与された名称９０３とが登録される。なお、名称データは付与されてもされなくてもかまわない。また、図９Ｂに示されるように、道リスト９１０においては、各道について、道ＩＤ９１１と、その道の両端の区分点を示す開始区分点９１２、終了区分点９１３、及び道の名称９１４が登録される。なお、名称データは付与されてもされなくてもかまわない。なお、開始フレーム９１５、終了フレーム９１６、フレーム位置情報９１７については後述する。
【００３１】
図７に戻り、次に、画像データ収集システム９０によって収集され、画像データ保存部１０に図５Ｂの如く保存された画像データと、上記処理によって設定された区分点、道との対応付けを行うために、ステップＳ３においてその操作のための画面（ＧＵＩ）をＣＲＴ１０４に表示する。
【００３２】
図１０は、ステップＳ３で表示される、本実施形態による画像データと地図データとの対応付けを行うためのＧＵＩ画面の表示例を示す図である。このＧＵＩ上には、地図データ表示部３０１、画像データ表示部３０２、道情報表示部３０３、画像データ再生操作部３０４が表示される。地図データ表示部３０１には、地図データ保存部２０に保持された地図データとともに、上述のステップＳ１、Ｓ２によって設定された区分点および道（区分点リスト、道リストに登録されている）が、それぞれたとえば○と太線で表示される。
【００３３】
画像データ表示部３０２には、画像データ保存部１０に保持された画像データが再生される。画像データ表示部３０２では、複数台（本例ではｎ台）のカメラによって撮影された画像が同期をとって表示される。道情報表示部３０３には、道のＩＤ、その道に付与された名称、その道の両端の区分点のＩＤ、その道に対応する画像データのフレーム番号（開始（Ｓｔａｒｔ）と終了（Ｅｎｄ））を表示する。ただし、フレーム番号は、道との対応づけが行われるまでは表示されない（この場合、未定と表示してもよい）。また、画像データ再生操作部３０４は、再生、停止、早送り、巻戻し、コマ送りなどの操作ボタンを具備する。
【００３４】
以降のステップＳ４〜Ｓ６では、以上の図１０に示したＧＵＩを用いて画像データのフレームと道との対応付けを行う。まず、ステップＳ４において、ユーザは先のステップＳ１、Ｓ２において設定され、地図データ表示部３０１に表示された道から所望の道をマウスにより選択する。なお、道の選択は、地図データ表示部３０１に表示された所望の道の上もしくは近傍でダブルクリック操作をする、或いはダイアログを開いてキーボードから入力するなどして行われる。ここで、選択された道に関する情報が道情報表示部３０３に表示される。
【００３５】
そして、ステップＳ５において、この選択された道の両端の区分点に対応するビデオフレームの探索を行う。すなわち、ユーザは、画像データ再生操作部３０４の再生、停止、早送り、巻戻し、コマ送りボタン等を用いて画像データ表示部３０２に画像を再生させ、選択された道の両端の区分点において撮影された画像に最も近いフレームを画像データ内から探索する。そして、道の両端の区分点に対応した２つのフレーム番号を決定する。ステップＳ６では、以上のようにして選択された２つのフレームと、それら２つのフレーム間の画像データをその選択された道に対応付け、対応づけデータとして登録する。こうして、道の両端の開始区分点及び終了区分点に対して決定されたフレーム番号は、それぞれ図９Ｂに示した道リストの開始フレーム９１５及び終了フレーム９１６に登録される。
【００３６】
図１１は、地図と画像データの対応付けによって各フレームが撮影された位置を求める概念図を示す。上述したようにコマ送り操作等によって表示された画像１１０１を選択して区分点ｔ０と対応付け、画像１１０２を選択して区分点ｔ１と対応付ける。すると、区分点に対応付けられた２つのフレーム間の画像フレーム群１１０３が、地図上の２つの区分点ｔ０、ｔ１を両端とする道に対応付けられることになる。即ち、道とフレーム群とを対応付ける情報が得られることになる。さらに、本実施形態では、区分点間に割り当てた画像フレーム群１１０３のフレーム数で当該区分点間を等分することで、各画像フレームが撮影された実空間内の位置を簡便に求める。求められた各フレームの位置情報は、図９Ｂに示した道リストのフレーム位置情報９１７に登録される。ただし、本実施形態では、各フレームの位置情報は、両端の区分点の地図座標がわかれば補間により求めることができるので、省略することもできる。
【００３７】
すなわち、画像フレーム群１１０３は、（１）区分点に対応付けられたビデオフレーム間に存在する画像フレーム毎に上記補間によって求められた位置情報を付与して記憶してもよいし、（２）各道の開始及び終了区分点に対応するビデオフレームのみを登録しておき、画像再生時に、その道の区分点間の画像フレームを、当該区分点間の画像フレーム数と再生時間或いは距離に応じて均等に再生するようにしてもよい。図５Ｂでは（１）の方法による格納形態を示しており、フレーム位置情報９１７において、各フレームに開始区分点の位置、終了区分点の位置、或いは仮想的な位置を付与している。たとえば、（ｕ１，ｖ１）及び（ｕ１００，ｖ１００）が道Ｒ１の開始区分点及び終了区分点に相当し、その間のフレームを道Ｒ１に均等に配置した座標値が付与されている。なお、上述のように、（２）の方法を採用する場合にはフレーム位置情報９１７は省略可能である。
【００３８】
以上のようにして、選択した道に対する画像データの対応付けが終了したら、ステップＳ７において、他の道について対応付けを行うのであればステップＳ４へ戻る。また、これ以上の対応付けを行わないのであれば、ユーザの終了操作により本処理を終了する。
【００３９】
なお、本実施形態では、画像データ表示部３０２にｎ台のビデオカメラから撮影された画像を同期を取って表示する。こうすることにより、たとえば前後左右方向を向くカメラからの画像を同時に見ることができ、交差点等の位置をより正確に特定しやすくなる。しかしながら、画像データ表示部３０２における表示形態はこれに限られるものではない。たとえば、ｎ台のうちの１台のビデオカメラからの画像を表示するようにしてもよい。１台分の画像を表示すればよいので、ＣＰＵの負荷が軽減される。また、何台のビデオカメラからの画像を同時に表示するかを指定可能としてもよい。さらに、１台あるいは所望台数のビデオカメラからの画像を同時に表示する場合、画像データ表示部３０２に表示すべき画像をどのカメラの画像にするかを選択可能としてもよい。また、所望台数のビデオカメラからの画像を同時に表示する場合にはその台数を指定可能にしてもよい。
【００４０】
さらに、コマ送り操作が行われた場合は、画像データ表示部３０２において、図１０の画像データ表示部３０２に示したように、各カメラからの画像毎に連続する複数のコマを表示するようにしてもよい。本実施形態では、マウスで所望のコマを選択すると、そのコマを道の両端の区分点のどちら（開始点か終了点か）に対応付けるかを問い合わせる画面がポップアップし、それに応答することで、所望の区分点と画像のフレームとを対応付ける。
【００４１】
以上のようにして画像・地図対応付け部３０から対応付けデータ保存部５０に保存されるデータは、画像データと地図上の位置データが何らかの形でリンクしているデータである。つまり地図上の、道上の所望の位置が指定されれば、対応する画像データのフレームが特定され、これを表示することを可能とするデータである。
【００４２】
図１２は対応付けデータ保存部５０に保存されるリンク・データの記録フォーマットの一例を示す図である。このデータ・フォーマットはツリー構造になっており、地図データを頂点としている。地図データ１２０１は、地図データ保存部に保存されているデータである。地図データ１２０１には、道データ１２０２、区分点データ１２０３、画像データ１２０４がリンクしている。道データ１２０２は、図９Ｂで示した道リスト９１０を含み、各道の名前、両端の区分点のＩＤ、両端の区分点に対応する画像データのフレーム番号、画像データの各フレームの位置を示すフレーム位置情報が記録される。また、区分点データ１２０３は、図９Ａで示した区分点リスト９００を含み、区分点の名前、その区分点に接続されている道のＩＤが記録される。画像データ１２０４は、画像データ保存部１０に保持された画像データ、或いは同一フレーム番号同士のビデオフレームを合成して得られたパノラマ画像であり、フレーム番号と対応付けて格納される。
【００４３】
すなわち、撮影部６０のビデオカメラ６０−１〜６０−ｎによって撮影された画像は、各ビデオフレーム毎にフレーム番号が付与されて記録されるようになっており、図１１に示すように地図上で区分点ｔ０、ｔ１を選択し、その区分点に対応するビデオフレームを選択して対応付けを行なった場合には、区分点ｔ０、ｔ１とこれに対応付けられたビデオフレーム番号とがリンク可能に記憶されることになる。
【００４４】
また、図１２では、地図上の区分点に対応するフレーム番号をリンクさせて記憶しているが、当該区分点の長さに相当するフレーム数で当該区分点間を分割して、仮想的にフレーム位置を設定して各ビデオフレームに割り当てて記憶してもよい。なお、上述のように、区分点に対応するビデオフレームのみを記憶した場合は、その中間のビデオフレームは区分点間のビデオフレームを再生するときに、その区分点間の距離及び／または再生時間に応じて順次再生してゆくことになる。なお、再生系の詳しい内容については、第３の実施形態で説明する。
【００４５】
以上説明したように、第１の実施形態によれば、収集した実写画像データと地図上の位置とを容易に対応付けることが可能である。
【００４６】
なお、図１０に示したＧＵＩでは、プレビューボタン３０５が設けられている。地図表示部３０１状で所望の道を選択し、このプレビューボタンを押すと、ウインドウがポップアップし、選択された道の指定区間に割り当てられたビデオフレームの再生が連続して行われる。このようなプレビューボタンを設けることで、ユーザは割り付け操作を行いながら、その割り付け状態を随時確認できるので、操作性が向上する。
【００４７】
＜第２の実施形態＞
上述した第１の実施形態では、収集した実写画像データのすべてについて、図１０に示したＧＵＩを用いて地図上の位置との対応付け行う。第２の実施形態では、ＧＰＳによって得られた位置情報を有効に利用して画像データと地図情報との対応付けを行うことにより、より効率的に対応付け作業を行えるようにする。すなわち、第２の実施形態では、実写画像データと現実空間の位置データの対応付けを行う際に、ＧＰＳによって位置データが得られなかった部分や、得られた位置データの誤差が大きい部分などへ位置データの対応付けを行う。すなわち、第１の実施形態で説明したＧＵＩを用いた位置データの対応付けを、ＧＰＳで得られた位置データを補完するのに用いる。
【００４８】
図１３は第２の実施形態による画像収集システムの構成を示すブロック図である。図１３において、ビデオカメラ６０−１からの画像はＶＣＲ７０−１に記録される。このとき、第１の実施形態で説明したようにタイムコード発生部７２からのタイムコードがＶＣＲ７０−１に供給され、タイムコードつきの画像データがＶＣＲ７０−１に記録されることになる。ＶＣＲ７０−１の出力はキャプチャ・ボード８２−１によってディジタル画像データ（例えばＡＶＩフォーマット）に変換され、ＰＣ８４に接続されたハードディスク１０またはその他の記憶媒体に保存される。なお、図１３ではビデオカメラ、ＶＣＲ、キャプチャ・ボードを一組示したが、第１の実施形態のように複数組で構成してもよいことは言うまでもない。
【００４９】
また、図１３では、さらにＧＰＳ部１３０１より緯度、経度データとタイムコード発生部７２からのタイムコードがＰＣ８４に供給される。ＰＣ８４は、これら緯度、経度データとタイムコードとを対応させた情報をハードディスク１０に格納する。図１４は第２の実施形態による画像データ保存部１０におけるビデオデータと位置データ（ＧＰＳ測定結果データ）の格納状態例を示す図である。こうして、図１４に示すように、タイムコードが付加されたビデオフレームとタイムコードが付加された位置データとが格納されることになる。よって、このタイムコードを介して、ビデオフレームと位置データが対応付けられる。
【００５０】
なお、ＧＰＳにおける３次元位置の算出は公知であり、ここでは詳細な説明を省略する。以上のようにして、ｎ台のビデオカメラによって画像を撮影しながら、ＧＰＳによって逐次得られる緯度、経度データＰ（θ，φ）をタイムコード発生部７２からのタイムコードに対応付けて格納していく。そして、このタイムコードに基づいて、画像の各フレームと緯度，経度データを対応付ける。
【００５１】
図１５は第２の実施形態による地図データ表示部３０１の表示状態を示す図である。また、図１６は第２の実施形態による処理手順を説明するフローチャートである。
【００５２】
まず、ステップＳ１００において、区分点と道を設定するための画面を表示する。これは上述の図７におけるステップＳ１と同様である。次にステップＳ１０１において、地図表示上へＧＰＳデータをプロットする。なお、図１５では、ＧＰＳデータによるプロットを点線で示してある。
【００５３】
その後、ステップＳ１０２において、図７のステップＳ２で説明したように、ステップＳ１で表示した地図上に区分点と道を設定する。この時点で、地図表示部３０１上には、図１５に示すように、地図、ＧＰＳデータのプロット、区分点及び道が表示されることになる。その後、画像データ対応付け処理の開始が指示されると、処理はステップＳ１０３からステップＳ１０４へ進むことになる。尚、画像データ対応付け処理の開始の判断は、図１０に示したユーザインターフェース上に適当なボタンを設け、これがクリック操作されたか否かで行なうことができる。
【００５４】
さて、画像データ対応付け処理が開始されると、まずステップＳ１０４において、ユーザに画像データを対応付けるべき道を指定させる。道が指定されると、ステップＳ１０５において、当該指定された道の両端の区分点を取得し、これら区分点に対応するフレームを探索する。フレームの探索は、地図上における区分点の座標と各フレームのＧＰＳデータの座標とを比較し、区分点の位置に最も近い位置のフレームが取得される。そして、その距離が所定範囲内であった場合に、当該区分点に対応するフレームとする。ステップＳ１０５では、このようにして、指定された道の両端の区分点に対応するフレームの取得が試みられ、両区分点に対応するフレームが取得できた場合には、ステップＳ１０６からステップＳ１０７へ進み、指定された道について、図９Ｂに示す開始フレームと終了フレームが登録される。
【００５５】
更に、ステップＳ１０８では、ステップＳ１０５で取得された２つのフレームに挟まれるフレーム群の各位置について指定された道から大きく逸脱するもの、或いはＧＰＳデータが欠落しているものが無いかを調べる。そして、調査されたフレーム群の各位置が、指定された道に対して所定距離内に納まる場合は、ステップＳ１０９へ進み、それらフレーム群とＧＰＳデータに基づく位置情報に従って図９Ｂのフレーム位置情報９１７への登録が行なわれる。
【００５６】
一方、ステップＳ１０５、Ｓ１０６において区分点に対応するフレームが見つからなかった場合はステップＳ１１０へ進み、マニュアルによるフレームの割当てが行なわれる。この処理は、第１の実施形態で説明したのと同様の処理である。即ち、ビデオフレームを再生して指定された道の両端に対応する終了及び開始フレームを指定する。そしてステップＳ１１１で、指定された開始及び終了フレーム間のフレーム群を、図１１で説明したようにして道に割り当てる。また、開始及び終了フレームに挟まれるフレーム群にＧＰＳデータの不良が存在する場合には、ステップＳ１０８からステップＳ１１１へ進み、ステップＳ１０７で決定された開始及び終了フレームに挟まれるフレーム群について図１１で説明した道への割当て処理が行なわれる。
【００５７】
その後、ステップＳ１１２において、終了が指示されたか否かを判断し、指示されていなければ処理をステップＳ１０４へ戻し上記の処理を繰り返す。一方、終了が指示されたのであれば、本処理を終了する。
【００５８】
なお、地図上の各位置（ｘ，ｙ）は関数ｆ（θ，φ）で求まる（地図を作成する際の投影方法により関数ｆは異なる）。すなわち、
位置（ｘ，ｙ）＝ｆ（θ，φ）
によって、ＧＰＳデータを地図上の位置座標に換算し、表示された地図上にプロットする。プロットされた点を線で結んで表示してもよい。図１５の例では点線によってプロットを結んで表示した例を示している。
【００５９】
ユーザはこの地図データ表示部３０１の表示内容からＧＰＳによる測定誤差が大きい部分やＧＰＳデータが欠落している部分を認識することができる。図１５の例では、１５０１の個所でＧＰＳの誤差が大きく、１５０２の個所でＧＰＳデータが欠落している。
【００６０】
図１５において、区分点１５１１と１５１２を両端にもつ道１５１３を選択し、上述のごとく両区分点とビデオフレームとの対応付けを行えば、ＧＰＳによる測定誤差の大きかった１５０１の部分について、より正しくビデオフレームと位置データとを対応付けることができる。また、区分点１５２１と１５２２を両端にもつ道１５２３を選択し、上述のごとく両区分点とビデオフレームとの対応付けを行えば、ＧＰＳによる測定が不能であった１５０２の個所を含むビデオフレーム群を正しく位置データに対応付けることができる。
【００６１】
なお、上記実施形態では道に対してＧＰＳデータの誤差が許容範囲であった場合にはそのままＧＰＳデータを位置データと用いてフレーム位置情報９１７への登録を行なったがこれに限らない。たとえば、ＧＰＳデータに基づいて開始及び終了フレームが決定されたならば、それらを区分点に対応付けるとともに、これらフレームで挟まれたフレーム群については、ＧＰＳデータを用いずに、図１１で説明した手法を適用して道との対応付けを行なうようにしてもよい。
【００６２】
以上説明したように、第２の実施形態によれば、ＧＰＳによって位置データを得られない場合や、位置データに含まれる誤差が無視できないほど大きい場合でも、簡易的に位置データを求め、画像データと位置データとの対応付けを行うことができる。また、ＧＰＳによって不完全である部分を補うだけで画像データ収集システムによって収集されたビデオフレームと地図上の位置とを対応付けることができるので、より簡易にビデオフレームと位置との対応付けを行うことができる。
【００６３】
なお、ＧＰＳデータの欠落としては、上記測定誤差によるものの他に、ＧＰＳデータが動画像のレート（３０ｆｒａｍｅｓ／ｓｅｃ）では記録できない場合が挙げられる。すなわち、図１４に示すように各フレーム毎にＧＰＳによる測定結果データが得られる場合はよいが、そうでない場合は、ＧＰＳが記録されているフレーム間のフレームの位置情報を補間によって求めるようにしてもよい。
【００６４】
この場合、たとえば、フレームｉ（位置（ｕｉ，ｖｉ））とフレームｉ＋ｎ（位置（ｕｉ＋ｎ，ｖｉ＋ｎ）のＧＰＳデータが記録されている場合、これらフレームｉからフレームｉ＋ｎの間の各フレームｘ（ｘ＝ｉ＋１，…，ｉ＋ｎ−１）の位置（（ｕｘ，ｖｘ）は、たとえば、
ｕｘ＝ｕｉ＋（ｘ−ｉ）（ｕｉ＋ｎ−ｕｉ）／ｎ
ｖｘ＝ｖｉ＋（ｘ−ｉ）（ｖｉ＋ｎ−ｖｉ）／ｎ
で求めることができる。
【００６５】
なお、上記の例では、線形補間によってフレームｘの各位置を求めたが、線形補間に限られるものではない。
【００６６】
以上のように、画像フレームよりＧＰＳデータが疎にサンプリングされた場合には、位置情報が得られていない画像フレームについて補間によって位置情報を求めることも可能である。
【００６７】
＜第３の実施形態＞
次に、上述のようにして地図と画像をリンクさせたデータベースを用いた画像の再生系について説明する。
【００６８】
図１７は画像再生系の機能構成を説明するブロック図である。なお、再生系の装置構成は上述の第１の実施形態（図６）と同様であり、ＣＰＵ１０１がＲＯＭ１０６に格納された、或いはＲＡＭ１０７にロードされた制御プログラムを実行することによって、図１７に示す各機能が実現されることになる。
【００６９】
図１７において、対応付けデータ保存部５０には、上述したような道リスト９１０（図９Ｂ）を含む対応付けデータが保持されている。なお、本実施形態では、対応付けデータ保存部５０に保存されているフレームは、複数台のカメラから得られた同一フレーム番号の複数の画像を合成して得られたパノラマ画像であるとする。また、対応付けデータは各道の開始及び終了フレームが登録され、フレーム位置情報９１７は省略された形態を有するものとする。
【００７０】
１７０１はパノラマ画像フレーム群取得部であり、対応付けデータ保存部５０から再生すべき「道」に対応するフレーム群を取得し、再生方向に応じて順次フレームを表示処理のために出力する。なお、出力されたフレームが当該「道」の何番目のフレームであるかを視点位置取得部１７０４に通知する。１７０２は視線方向画像抽出部であり、パノラマ画像フレーム取得部１７０１から取得されたパノラマ画像より、指定された視線方向に対応した部分画像を抽出する。１７０３は表示部であり、ＣＲＴ１０４に視線方向画像抽出部１７０２で抽出された部分画像を表示するとともに、地図データ保存部２０に保持された地図データに基づいて地図を表示する。
【００７１】
１７０４は視点位置取得部であり、視線方向画像抽出部１７０２によって画像抽出の対象となっているフレームが、パノラマ画像フレーム群取得部１７０１で取得されたフレーム群のうちの何番目のフレームであるか（パノラマ画像フレーム群取得部１７０１より通知される）に基づいて、当該「道」における現在位置を割り出す。この現在位置の情報は、表示部１７０３に送られ、地図表示上に現在位置を表示するのに用いられる。１７０５は位置・視線方向指示部であり、ユーザの現在位置及び視線方向を指示する。
【００７２】
図１８は第３の実施形態による表示例を示す図である。図１８に示されるように画面内には、地図のウインドウである地図表示部３０１と、撮影画像を表示するウインドウである画像データ表示部３０２が表示され、不図示のジョイスティックとマウスにより再生操作を行う。画像データ表示部３０２には、パノラマ画像フレーム取得部１７０１から取得され、視線方向画像抽出部１７０２で抽出された画像が表示される。なお、視線方向はジョイスティックの傾斜角度に基づいて位置・視線方向指示部１７０５が検出し、視線方向画像抽出部１７０２に通知する。
【００７３】
また、地図のウインドウ３０１には地図データ保存部から取得された地図情報が表示される。地図表示部３０１には、画像データ表示部３０２で表示されている位置及びその視線方向を示す位置マーク３２０が表示される。また、地図表示部３０１の右側と下側に設けられているスクロールバー３０９，３１０を操作して、表示する地図を最適位置に修正することができる。
【００７４】
上記の構成において、図１２に示すデータを読み込み、視点位置の存在する道の画像フレーム群が順次再生される。たとえば、現在の視点位置が道ｉの第ｊフレームに対応する位置とすると、道ｉの第ｊフレームが画像データ表示部３０２に表示されることになる。それとともに、第ｊフレームの地図上での位置を道ｉをはさむ両区分点の地図上の座標から補間により求め、位置マーク３２０を表示する（なお、図９Ｂに示すフレーム位置情報９１７がある場合は、その情報から第ｊフレームの地図上での位置が求まる）。すなわち、再生系では対応付けデータ保存部５０に保持されたフレームに基づいて画像表示を行なうと共に、地図データも同時に画面上に表示し、現在の位置（第ｊフレームの位置）を地図上に矢印等の位置マーク３２０を表示する。
【００７５】
道ｉを進行中の場合、道ｉに対応するフレーム群を用いて再生画像が表示されると共に、各フレーム毎に位置を求めて地図上に表示する。しばらく道ｉを移動していくと、区分点に対応するフレームに到達する。区分点に到達した場合は、そのときの視線方向と、当該区分点に接続されている道の方向とに基づいて次に進む道を決定する。
【００７６】
図１９は進行方向の決定を説明する図である。たとえば、視線方向１を向いた状態で区分点に到達したならば、［１］の方向の道が選択される。その結果、［１］の道に対応するフレーム群がパノラマ画像フレーム取得部１７０１によって選択されて画像再生及び地図上への位置表示が行なわれる。
【００７７】
さて、以上のようにして実写画像系列によって仮想都市空間を移動する場合、所定の初期位置から画像の再生が開始され、所望の位置へ移動するには、地図上のフレーム群の存在する道に沿って移動していかなければならず、無駄な時間や手間がかかってしまう。そこで本実施形態では、地図上の所望の位置をユーザが指定した場合に、指定された位置に最も近い位置の画像から再生を開始可能として、その操作性を向上する。
【００７８】
例えば、ユーザが地図表示部３０１においてカーソル３２１をマウス等によって移動し、所望の位置を指示すると、地図上におけるクリック位置が算出され、当該クリック位置に最も近い道が検出され、更にその道上においてクリック位置に最も近いフレーム位置を有するフレームから再生を開始する。
【００７９】
図２０は以上の様なユーザインターフェースを実現するための制御手順を説明するフローチャートである。図２０において、ステップＳ１９０１で表示すべき道が決定されると、ステップＳ１９０２において、当該決定された道に対応するフレーム群が取得される。そして、ステップＳ１９０３で、取得した画像をシーケンシャルに画像データ表示部３０２上に表示する。尚、視線方向はジョイスティックのレバーの方向によって与えられるとする。また、その際、ステップＳ１９０４で、表示中のフレームの位置を算出し、現在の再生位置を示す矢印をこの算出結果に基づいて地図表示部３０１上に表示する。
【００８０】
そして、再生画像が区分点のフレーム（即ち、当該［道」の開始フレームか終了フレーム）に到達したならば、図１９によって上述した方法により、次に進むべき道を決定し（ステップＳ１９０１）、上記ステップＳ１９０２以降の処理によって画像の再生が行なわれる。
【００８１】
また、上記の画像再生中に、マウスによって地図表示部３０１における所望の位置がクリックされると、処理はステップＳ１９０６からステップＳ１９０７へ進む。ステップＳ１９０７では、クリックされた地図上の位置に最も近い道を検索し、更にその道上でクリック位置に最も近いフレームを選択する。その後、ステップＳ１９０８において、ステップＳ１９０７で決定した再生開始フレームを静止表示し、待機状態となる。ジョイスティックによって進行開始が指示されると、ステップＳ１９０３へ戻り、ステップＳ１９０７で取得したフレーム群を用いて画像データ表示部３０２への画像再生を開始する。
【００８２】
次に、ステップＳ１９０７におけるクリック位置に近い道とフレームの選択処理を図２１のフローチャートを参照して説明する。
【００８３】
ステップＳ２００１で地図をクリックするイベントが発生すると、ステップＳ２００２へ進み、クリックされた地図の座標位置（ｘ，ｙ）を取得する。そして、ステップＳ２００３へ進み、対応付けデータ保存部に保存されている道リストから順次「道」を選択し、ステップＳ２００４で選択された「道」とクリックされたいちとの距離を算出する。以上のステップＳ２００３とステップＳ２００４の処理を道リストに登録された全ての道について行なう（ステップＳ２００５）。
【００８４】
全ての道につて、クリック位置との距離が算出されると、ステップＳ２００６へ進み、最も距離の小さい道を、「クリックされた地図上の位置に最も近い道」として選択する。
【００８５】
更に、ステップＳ２００７では、ステップＳ２００６で選択した「道」に対して、クリックされた点から垂線をおろし、「道」と垂線との交点を求め、この交点に対応する画像フレームを求める。例えば、選択された「道」に対応付けられたフレーム群を所得し、フレーム群のフレーム数でこの「道」を等分割する。そして、上記交点に最も近い分割位置を決定し、対応するフレームを取得する。
【００８６】
ステップＳ２００８では以上のようにして求めた「道」のＩＤと画像フレーム番号を結果として返す。
【００８７】
尚、上記実施形態においては画像再生中に所望の位置が指定される場合を示したが、画像再生の初期位置を地図表示部３０１上で所望に設定可能としてもよい。
【００８８】
また、第３の実施形態では、最も近い道をクリック位置からの距離を算出することで選択したが、予めクリック位置と道との対応をテーブル化（地図上のクリック位置に対して道が一意に決定できるように対応付けた情報）して保持するようにしてもよい。この場合のステップＳ１９０７における処理を図２２のフローチャートを参照して説明する。
【００８９】
図２２において、まずステップＳ２１０１で地図をクリックするイベントが発生するとステップＳ２１０２へ進み、クリックされた地図の座標位置（ｘ，ｙ）を取得する。次にステップＳ２１０３に進み、上記テーブルから（ｘ，ｙ）に対応付けられた道を取得する。その後、ステップＳ２１０４に進み、ステップＳ２１０３で選択した「道」に対して、クリックされた点から垂線をおろし、「道」と垂線との交点を求め、この交点に対応する画像フレームを求める。例えば、選択された「道」に対応付けられたフレーム群を所得し、フレーム群のフレーム数でこの「道」を等分割する。そして、上記交点に最も近い分割位置を決定し、対応するフレームを取得する。ステップＳ２１０５では以上のようにして求めた「道」のＩＤと画像フレーム番号を結果として返す。
【００９０】
以上のように、図２１、図２２のフローチャートで示される処理によれば、クリック位置に近い道を選択してからフレームを特定するので、各フレームについて位置情報をもたせる必要がなくなり、管理が容易である。また、図２１の処理の場合においては、「道」との距離計算を行なうので、フレーム毎に距離計算を行なう必要がなくなり、計算量を削減できる。また、図２２の処理によれば、距離計算が不要となるので高速な処理が可能となる。
【００９１】
また、複数の地域に対応した複数のフレーム系列を含む場合は、それら複数の地域を含む広域地図を表示しておいて、当該広域地図上のクリック位置に最も近い地域のフレーム系列を選択可能にしてもよい。この場合、まず選択されたフレーム系列に対応する地域の地図を表示し、その後、上述した手順でクリック位置に対応するフレームの特定を行なう。また、広域地図の範囲が広すぎて、クリック位置に対して複数の地域が候補となってしまう場合は、それら候補となった地域を含む広域地図（直前の広域地図よりは狭い範囲を表す）を表示し、絞込を行なうように構成してもよい。
【００９２】
＜第４の実施形態＞
第４の実施形態では、地図上で任意の位置を指定することによってその位置に対応する画像を表示させたり、地図上で複数の区分点を指定することによってその間に形成されるパスに対応する複数の画像を動画或いはコマ送り再生するようにした機能について説明する。このようにすることにより、地図上の任意の位置における風景画像を再生することができる。また同じ地点における異なる方向の画像（各カメラの画像）を再生することもできる。尚、地図上で指定された任意の位置に対応するフレームの特定は上述したとおりである。
【００９３】
図２３は、この機能を実現するためのユーザインターフェースを示すものである。基本的に図１０のユーザインターフェースと類似する部分もあるが、実行する機能に応じて適宜切り替えて使用できるようになっている。
【００９４】
画面内に表示された、地図のウインドウ３０１と、画像データ表示部３０２が形成され、画像データ再生制御部３０４の操作ボタンによって各操作を行う。
【００９５】
まず、検索ボタン３０７をマウス等でクリックすると、地名入力用のスペース３０６が表示され、任意の地名を入力することができる。続いて実行ボタン３０８をクリックすることによって地図表示部３０１に入力した地名に対応する地域の地図が表示される。このとき画像データ表示部に、初期画像としていずれかの静止画像を表示してもよい。この場合、表示する画像は、入力された地域に対応する画像化、最も近い位置の画像等でよい。また、地図表示部３０１の右側と下側に設けられているスクロールバー３０９，３１０を操作して、表示する地図を最適位置に修正することができる。
【００９６】
次に表示された地図上において、マウス等で、任意の位置をクリックすることにより、指定された位置に区分点の表示を行なう。同図では○の表示である。
【００９７】
この区分点の指定を行なって、再生制御部３０４の再生ボタンをクリックすると、その区分点にリンクされている画像が画像データ表示部に表示される。
【００９８】
また、区分点をあらかじめ複数指定すると、各区分点間のパスが表示され（同図の太線）、そのパスをマウス等でクリックして選択し（このとき選択されたパスは色を変化させるなど、表示を異ならせる）、再生ボタンをクリックすると、そのパス上にリンクされている複数の画像を連続して順次再生し、動画再生することができる。また、動画再生する方向については、順方向再生ボタン、逆方向再生ボタンで選択すればよい。
【００９９】
また、コマ送りボタン、コマ戻しボタンを用いれば、選択されたパス上の画像をコマ送りで確認しながら再生することができる。また、再生中、一時停止ボタンによって、再生動作を一時停止することができる。
【０１００】
また、表示する再生画像は、複数のカメラそれぞれに対応して存在するので、カメラすなわち各地点における再生画像の方向を方向選択ボタン３１１を操作して選択することができる。また、再生時は、区分点は、分岐点だけでなくパスの途中に設定することもできる。
【０１０１】
以上のシステムにより、任意の地域の地図を表示し、その地図上の任意の位置における景色を画像で確認することができる。このシステムは、地図と移動するパスに応じた景色の変化のシミュレーションだけでなく、カーナビゲーション等においても、進行ルートの景色、目印等をあらかじめ知ることができる機能等として用いることができ、種々の適用が可能である。
【０１０２】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【０１０３】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１０４】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【０１０５】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０６】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０７】
【発明の効果】
以上説明したように、本発明によれば、実写画像データと現実空間の位置との対応付けに関る操作の操作性が向上する。
【図面の簡単な説明】
【図１】本実施形態による画像記録装置の機能構成を説明する図である。
【図２】画像データ保存部１０に保存される画像データを収集するための画像データ収集システムの構成例を示す図である。
【図３】撮影部６０の構成を詳細に示すブロック図である。
【図４】記録部７０の構成を詳細に示すブロック図である。
【図５Ａ】Ａ／Ｄ変換部８０の構成を詳細に示すブロック図である。
【図５Ｂ】画像データ保存部に格納される画像データを説明する図である。
【図６】本実施形態による画像記録装置のハード構成を示すブロック図である。
【図７】画像・地図対応付け部３０による処理手順を示すフローチャートである。
【図８】区分点と道を設定するためのユーザインターフェースにおける画面表示例を示す図である。
【図９Ａ】区分点の登録例を説明する図である。
【図９Ｂ】道の登録例を説明する図である。
【図１０】ステップＳ３で表示される、本実施形態による画像データと地図データとの対応付けを行うためのＧＵＩ画面の表示例を示す図である。
【図１１】地図と画像データの対応付けによって各画像フレームが撮影された位置を求める概念を示す図である。
【図１２】対応付けデータ保存部５０に保存されるリンク・データの記録フォーマットの一例を示す図である。
【図１３】第２の実施形態による画像収集システムの構成を示すブロック図である。
【図１４】第２の実施形態による画像データ保存部１０におけるビデオデータと位置データ（ＧＰＳ測定結果データ）の格納状態例を示す図である。
【図１５】第２の実施形態による地図データ表示部３０１の表示状態を示す図である。
【図１６】第２の実施形態による処理手順を説明するフローチャートである。
【図１７】第３の実施形態による画像データの再生系の機能構成を示すブロック図である。
【図１８】第３の実施形態による表示例を示す図である。
【図１９】画像再生時における進行方向の変更を説明する図である。
【図２０】第３の実施形態による画像再生処理を説明するフローチャートである。
【図２１】指定位置から再生すべきフレームを取得するための手順を示すフローチャートである。
【図２２】指定位置から再生すべきフレームを取得するための、他の手順を示すフローチャートである。
【図２３】第４の実施形態による表示例を示す図である。
【図１】
2004070929.tif 000003
【図２】
2004070929.tif 000004
【図３】
2004070929.tif 000005
【図４】
2004070929.tif 000006
【図５Ａ】
2004070929.tif 000007
【図５Ｂ】
2004070929.tif 000008
【図６】
2004070929.tif 000009
【図７】
2004070929.tif 000010
【図８】
2004070929.tif 000011
【図９Ａ】
2004070929.tif 000012
【図９Ｂ】
2004070929.tif 000013
【図１０】
2004070929.tif 000014
【図１１】
2004070929.tif 000015
【図１２】
2004070929.tif 000016
【図１３】
2004070929.tif 000017
【図１４】
2004070929.tif 000018
【図１５】
2004070929.tif 000019
【図１６】
2004070929.tif 000020
【図１７】
2004070929.tif 000021
【図１８】
2004070929.tif 000022
【図１９】
2004070929.tif 000023
【図２０】
2004070929.tif 000024
【図２１】
2004070929.tif 000025
【図２２】
2004070929.tif 000026
【図２３】
2004070929.tif 000027