(57)【要約】【課題】ネットワーク上のデータを取得しながら、かつ、スムーズなウォークスルー体験を提供することを可能にする。【解決手段】画像再生装置１は、ネットワーク上のサーバ９０に蓄積された画像データを利用して画像を再生する。画像再生装置１において、データ取得部１０は、サーバ９０より、ウォークスルー再生のための画像データを順次取得し、取得された画像データはデータ蓄積部１５に蓄積される。データ取得部１０による画像データの取得と並行して、操作部４０、視点位置／視線方向決定部４５、対応画像決定部５０、画像生成部６５によって、データ蓄積部１５に蓄積されている画像データを用いたウォークスルー再生が行われる。経路情報合成部３０及び表示画像合成部５５は、地図を表示し、取得済みとなった画像データに基づいてウォークスルー可能な範囲を該地図上に表示する。【選択図】　図１
2004070609.tif 000002
【特許請求の範囲】
【請求項１】
外部装置に蓄積された画像データを利用して画像を再生する装置であって、
前記外部装置より、ウォークスルー再生のための画像データを順次取得する取得手段と、
前記取得手段で取得された画像データを格納する格納手段と、
前記取得手段と並行して、前記格納手段に格納されている画像データを用いてウォークスルー再生を行なう再生手段と、
地図を表示し、前記取得手段によって取得済みとなった画像データに基づいてウォークスルー可能な範囲を該地図上に表示する表示手段と
を備えることを特徴とする画像再生装置。
【請求項２】
前記地図を表示するための地図情報が予め画像再生装置に蓄積されていることを特徴とする請求項１に記載の画像再生装置。
【請求項３】
前記地図を表示するための地図情報が前記外部装置から取得されることを特徴とする請求項１に記載の画像再生装置。
【請求項４】
前記取得手段は、前記外部装置より予め決められた順に画像データを取得することを特徴とする請求項１に記載の画像再生装置。
【請求項５】
前記表示手段は、
地図を表示し、
前記取得手段で取得中の画像データによって最終的にウォークスルー可能となる最終経路を前記地図上に合成表示し、
更に、前記取得手段によって取得済みとなった画像データによって現時点でウォークスルーが可能な現経路を、前記最終経路上に合成表示することを特徴とする請求項１に記載の画像再生装置。
【請求項６】
前記最終経路を表す線と前記現経路を表す線とを異なる表示形態で表示することを特徴とする請求項５に記載の画像再生装置。
【請求項７】
前記取得手段は、前記地図を予め複数の領域に分割し、各領域毎に当該領域に含まれる画像データを取得し、
前記表示手段は、前記取得手段によって取得済みとなった画像データの属する領域と、他の領域とを区別できるように地図を表示することを特徴とする請求項１に記載の画像再生装置。
【請求項８】
前記地図上に設定された経路に関して定義された複数種類の移動順序の内の一つを指定する指定手段を更に備え、
前記取得手段は、前記指定手段で指定された移動順序に従って、前記画像データを取得することを特徴とする請求項１に記載の画像再生装置。
【請求項９】
前記地図上に設定された複数種類の経路のうちの一つを指定する第１指定手段を更に備え、
前記取得手段は、前記第１指定手段で指定された経路に沿うように順次画像データを取得することを特徴とする請求項１に記載の画像再生装置。
【請求項１０】
前記第１指定手段で指定された経路に関して、定義された複数種類の移動順序の内の一つを指定する第２指定手段を更に備え、
前記取得手段は、前記第１指定手段で指定された経路上における、前記第２指定手段で指定された移動順序に従って画像データを取得することを特徴とする請求項９に記載の画像再生装置。
【請求項１１】
外部装置に蓄積された画像データを利用して画像を再生する方法であって、
前記外部装置より、ウォークスルー再生のための画像データを順次取得する取得工程と、
前記取得工程で取得された画像データを格納手段に格納する格納工程と、
前記取得工程と並行して、前記格納手段に格納されている画像データを用いてウォークスルー再生を行なう再生工程と、
地図を表示し、前記取得工程によって取得済みとなった画像データに基づいてウォークスルー可能な範囲を該地図上に表示する表示工程と
を備えることを特徴とする画像再生方法。
【請求項１２】
請求項１１に記載の画像再生方法をコンピュータによって実現させるための制御プログラムを格納する記憶媒体。
【請求項１３】
請求項１１に記載の画像再生方法をコンピュータによって実現させるための制御プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、実空間の撮影によって得られた画像データをもとに仮想空間を表現する画像再生装置及び方法に関する。
【０００２】
【従来の技術】
移動体に搭載された撮影装置によって撮影された実写画像データをもとに、撮影した現実空間を仮想空間として表現する手法として、実写画像データをもとに現実空間の幾何形状モデルを再現し、従来のＣＧ技術で表現する手法が挙げられる。しかしながら、この手法では、モデルの正確性や精密度、写実性などの点で限界がある。一方、モデルを用いた再現を行わずに、実写画像を用いて仮想空間を表現するＩｍａｇｅ−Ｂａｓｅｄ　Ｒｅｎｄｅｒｉｎｇ（ＩＢＲ）技術が近年注目を集めている。ＩＢＲ技術は実写画像に基づいているために、写実的な仮想空間の表現が可能である。
【０００３】
このようなＩＢＲ技術を用いてウォークスルー可能な仮想空間を構築するためには、体験者の仮想空間内の位置に応じた画像の生成・呈示を行う必要がある。そのため、この種のシステムにおいては、実写画像データの各フレームと仮想空間内の位置とを対応付けて保存しておき、体験者の仮想空間における位置と視線方向に基づいてフレームを取得し、これを再生する。
【０００４】
このような仮想空間内のウォークスルーにおいては、体験者が各視点位置で所望の方向を見ることができるようにする。このため、各視点位置の画像を、再生時の画角よりも広い範囲をカバーするパノラマ画像で保存しておき、体験者の仮想空間における視点位置に基づいてパノラマ画像を選択するとともに、体験者の視線方向に基づいて再生すべき部分画像を切り出してこれを表示することが考えられる。
【０００５】
この場合、例えば、撮影装置を搭載した車輌を走らせて得られた撮影画像からパノラマ画像を生成し、当該車両を走らせた道に沿ってパノラマ画像の再生を行う。このような実写画像データの再生により、観察者はあたかも自分がその車輌に乗って走っているかのような感覚を味わうことができる。また、ウオークスルーによる再生画像が交差点に進入した際に、観察者が撮影時の車輌の走行方向とは異なる方向の道を選択した場合には、それまで再生されていたパノラマ画像群から、別の走行経路によるパノラマ画像群に切り替わり、パノラマ画像の再生が継続される。
【０００６】
このようなウォークスルーシステムのデータの保持方法としては、ウォークスルー用のデータをローカルな記憶装置に蓄積する場合と、ネットワーク上にあるデータサーバに蓄積する場合とが考えられる。特開２００１−８２３２号公報においては、クライアントが要求したパノラマデータのみをサーバからダウンロードすることにより、伝送時間の短縮を図っている。また、特開平１１−３１３３２３号公報では、クライアントが表示に必要する画像領域は元のパノラマ画像の一部であることから、その一部を取り出しやすいようにデータの持ち方（符号化）を工夫している。
【０００７】
【発明が解決しようとする課題】
ネットワーク上に配備されたデータサーバを利用する場合は、データをローカルに確保する必要がないため蓄積コストは少ないが、ネットワークの状況により、思うようにデータを取得できずに、スムーズなウォークスルー体験ができないという問題が生じる。特に、映像のストリーミングを利用した場合、ネットワークトラフィックの影響で後続のデータが入って来ないと、映像が静止したまままったくウォークスルーできなくなってしまう。
【０００８】
また、ウォークスルー用データをローカルに持つ場合は、高速なデータアクセスが確保されるため、体験時のストレスが極めて少ないというメリットがあるが、複数のコンテンツがある場合は、その数ぶんだけのデータを保持する必要があるため、データの蓄積コストが膨大になるという課題がある。さらに、両者の中間的な方式として、体験したいコンテンツを予めダウンロードするという方法もあるが、コンテンツの全データをダウンロードした後でなければウォークスルーが開始できず、ネットワークの状況によってはダウンロードに膨大な時間がかかるため、待ち時間が長いという課題がある。
【０００９】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、外部装置よりウォークスルーのための画像データを取得しながら、スムーズなウォークスルー体験を提供可能とすることにある。
【００１０】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像再生装置は以下の構成を備える。すなわち、
外部装置に蓄積された画像データを利用して画像を再生する装置であって、
前記外部装置より、ウォークスルー再生のための画像データを順次取得する取得手段と、
前記取得手段で取得された画像データを格納する格納手段と、
前記取得手段と並行して、前記格納手段に格納されている画像データを用いてウォークスルー再生を行なう再生手段と、
地図を表示し、前記取得手段によって取得済みとなった画像データに基づいてウォークスルー可能な範囲を該地図上に表示する表示手段とを備える。
【００１１】
また、上記の目的を達成する本発明の画像再生方法は、以下の工程を備える。すなわち、
外部装置に蓄積された画像データを利用して画像を再生する方法であって、
前記外部装置より、ウォークスルー再生のための画像データを順次取得する取得工程と、
前記取得工程で取得された画像データを格納手段に格納する格納工程と、
前記取得工程と並行して、前記格納手段に格納されている画像データを用いてウォークスルー再生を行なう再生工程と、
地図を表示し、前記取得工程によって取得済みとなった画像データに基づいてウォークスルー可能な範囲を該地図上に表示する表示工程とを備える。
【００１２】
また、本発明によれば、上記の画像再生方法をコンピュータによって実現するための制御プログラム及び該制御プログラムを格納する記憶媒体が提供される。
【００１３】
【発明の実施の形態】
以下、添付図面を参照しながら、本発明の好適な実施形態を説明する。
【００１４】
＜第１実施形態＞
まず、本実施形態による仮想空間のウォークスルーシステムについて説明する。本実施形態では、例えば自動車などの移動体に搭載された複数の撮影装置によって撮影して得られた実写画像データからパノラマ画像データを生成し、このパノラマ画像データを、現実空間の位置に対応する地図上の位置と対応付けてサーバ等に蓄積する。再生システムは、サーバから撮影位置や撮影方向、地図などの情報とパノラマ画像データをダウンロードしながら、体験者の仮想空間における視点位置（地図上の位置）と視線方向に応じて、保持されているパノラマ画像データから表示画像を生成し、経路情報が示された地図とともに表示することにより、仮想空間内のウォークスルーを実現する。
【００１５】
本実施形態では、ネットワーク上に蓄積されたデータ（特にパノラマ画像データ）を予め定められた順、あるいはユーザによって指定された順に取得してローカル上の記憶装置に蓄積しておき、この取得済みデータに対応する経路の範囲で自由なウォークスルーをユーザに提供することにより、ネットワークの状況によらないスムーズなウォークスルーを提供するものである。ここで、データ取得済の経路はウォークスルー可能な経路として、画像データが取得されていない経路とは異なる表示形態、例えば撮影経路とは異なる色あるいは線幅で経路上に即座に重畳表示される。データの取得はユーザの操作とは独立にバックグラウンドで継続されるため、ウォークスルー可能な範囲（道路）が時間と共に拡大され、その範囲は重畳表示から容易に確認できる。
【００１６】
図１は本実施形態によるウォークスルーシステムの機能構成を説明するブロック図である。本ウォークスルーシステムを構成する画像再生装置１は、データ取得部１０、データ蓄積部１５、対応付けデータ保持部２０、地図データ保存部２５、経路情報合成部３０、取得済経路情報保持部３５、操作部４０、視点位置・視線方向決定部４５、対応画像決定部５０、表示画像合成部５５、表示部６０、画像生成部６５を有する。
【００１７】
また、９０はサーバであり、ウォークスルーのための画像データや地図データを提供する。
【００１８】
図２は、本実施形態における画像再生装置１のハード構成を示すブロック図である。図２に示したハード構成は通常のパーソナルコンピュータの構成と同等である。図２において、ディスク１０５はデータ蓄積部１５を構成するの適用される。なお、ディスク１０５は上述の画像データ蓄積部１５のみならず、図１に示した対応付けデータ保持部２０、地図データ保持部２５、取得済経路情報保持部３５を構成するのにも適用され得る。
【００１９】
ＣＰＵ１０１は、ディスク１０５またはＲＯＭ１０６、または外部記憶装置（不図示）に保存されているプログラムを実行することにより、経路情報合成部３０、視点位置・視線方向決定部４５、対応画像決定部５０、画像生成部６５として機能する。
【００２０】
ＣＰＵ１０１が表示コントローラ１０２に対して各種の表示指示を行うことにより、表示コントローラ１０２およびフレームバッファ１０３によって表示器１０４に所望の表示がなされる。なお、図では表示コントローラ１０２としてＣＲＴＣ、表示器１０４としてＣＲＴを示したが、表示器としては陰極線管に限らず、液晶表示器等を用いてもよいことはもちろんである。なお、ＣＲＴＣ１０２、フレームバッファ１０３及びＣＲＴ１０４は、上述の表示部６０を構成する。マウス１０８、キーボード１０９及びジョイスティック１１０は、当該画像再生装置１へのユーザの操作入力を行うためのものであり、上述の操作部４０を構成する。
【００２１】
次に、以上の構成を備えた本実施形態のウォークスルーシステムにおける、画像再生装置１の各部の機能概要について説明する。
【００２２】
データ取得部１０は、ネットワーク上のサーバ９０より地図情報、撮影位置・方位情報、撮影画像データなどの必要なデータを順次ダウンロードする。撮影画像データのダウンロード順は、予めサーバにおいて決定されているか、または、クライアントである画像再生装置１からのリクエストにより決定される。データ蓄積部１５は、データ取得部１０で獲得された画像データ（地図上の各位置に対応したパノラマ画像データ）を格納する。
【００２３】
対応付けデータ保持部２０は、データ蓄積部１０に格納された画像データと地図データ保持部２５に格納された地図との対応情報（対応付けデータ）を保持する。なお、対応付けデータもサーバ９０より取得される（図１６、Ｓ１２０で後述する）。地図データ保持部２５は、データ取得部１０で獲得された、少なくともデータ蓄積部１５に保存されたパノラマ画像データに対応した地図上の位置を包含する地図データを格納する。取得済経路情報保持部３５は、データ蓄積部１５に蓄積された取得済みの画像データに対応する経路情報（これを部分経路情報と呼び、その情報で示される経路を部分経路と呼ぶことにする）とデータ取得部１０がサーバからダウンロードする予定の画像データ全体に対応する経路情報（これを全経路情報と呼び、その情報で示される経路を全経路と呼ぶことにする）とを保持する。各経路情報は、後述のＩＤを利用して表現する。
【００２４】
図１４に、取得済経路情報保持部３５が保持する経路情報の一例を示す。ダウンロード予定の画像データ（交差点や道路など）がリストとして保持され、取得済のものには「１」、未取得のものには「０」が記録されている。なお、このリストは対応付けデータに基づいて生成される。図中、Ｃ１やＲ１等のＩＤで示された交差点や道のリスト全体が全経路を表し、これらのうち取得済みの欄に「１」が記録されている交差点や道の集合がダウンロードされた経路、すなわち部分経路を表す。
【００２５】
経路情報合成部３０は、地図データ保持部２５に格納された地図と取得済経路情報保持部３５に格納された部分経路情報と全経路情報との三者を合成した画像を生成する。ここで、全経路を示す線と部分経路を示す線の表示形態を変える。例えば、地図に合成される全経路情報の色と部分経路情報の色とを異なるようすることで、ダウンロードを予定しているデータの範囲と既取得のデータ範囲が把握でき、自由にウォークスルー可能な領域の情報をユーザに提供できる。また、カラー表示ができないモニタなどに表示する際には、色を変えるのではなく、地図上に合成する全経路情報と部分経路情報の線幅や線の種類を異なるようにすることでも同様の目的を達成できる。また、色と線幅（或いは線種）の変更を同時に実現することも可能であり、例えば、全経路情報を薄く細い線で、部分経路情報を濃く太い線で表示するとより鮮明に表示することが可能である。
【００２６】
図９（ａ）は、地図データ保持部２５に格納された地図の一例であり、図９（ｂ）（ｃ）はそれぞれ全経路、部分経路の一例を示す。図１０に、これら３者を合成した画像を示す。ここでは薄い色で全経路を、また、濃い色で部分経路を表示している。丸印は視点位置、矢印は視線方向を表している。
【００２７】
操作部４０は、マウス１０８、キーボード１０９、ジョイスティック１１０等を備える。操作部４０は、視点位置の移動パラメータ、視線方向の回転パラメータを生成する。本実施形態では、操作部４０でジョイスティックを用いているが、ゲームコントローラなど他の入力装置でも同様の操作を行うことが可能である。
【００２８】
図３は、操作部４０におけるジョイスティック１１０の操作と移動パラメータ、回転パラメータの関係を示す図である。ジョイスティックは、スティックの傾斜とスティックの回転を独立に制御することができる。本実施形態では、ジョイスティックを前後に倒す操作を仮想空間内での視点位置の移動に、ジョイスティックを左右に捻る操作を視線方向の変化に対応させている。
【００２９】
図４は、操作部４０に関するデータの流れを表す図である。操作部４０からは、視点位置・視線方向決定部４５に対して、ジョイスティックの前後の倒し角α（前へ倒した場合はα＞０、後へ倒した場合はα＜０）が移動パラメータとして、左右の捻り角β（左へ捻った場合はβ＞０、右へ捻った場合はβ＜０）が回転パラメータとして与えられる。
【００３０】
視点位置・視線方向決定部４５は、操作部４０からの移動パラメータ、回転パラメータをもとに、地図データ保持部２５に保存されている地図データ上における観察者の視点位置（地図上の位置）、視線方向を決定する。
【００３１】
図５は、視点位置・視線方向決定部４５に関するデータの流れを示す図である。視点位置・視線方向決定部４５は、地図データ保持部２５から地図データを、また取得済経路情報保持部３５から全経路情報及び部分経路情報を獲得し、対応画像決定部５０に対して、観察者の地図上の視点位置及び視線方向を与える。視点位置及び視線方向は操作部からの前後傾斜角αと捻り角βで決定される。この部分での処理に関して、図１２を用いて詳しく説明する。
【００３２】
図１２は、本提案システムの表示手段に表示される画面の一例を示している。図中の左上に経路情報が重畳された地図が表示され、ここにユーザの現在の観察位置が丸印で、見ている方向（視線方向）が矢印で示されている。また、地図中の破線で示された経路は全経路であり、実線で示された経路が部分経路である。視点位置・視線方向決定部４５では、操作部４０からの情報を元に地図上での視点位置・視線方向を決定するが、操作部４０からの情報をもとに計算した地図上での視点位置が部分経路上にない場合は、移動を制限する。
【００３３】
このように、部分経路上でのみ視線位置の移動を可能にすることにより、移動範囲は制限されるが、滑らかなウォークスルーを実現することができ、全経路データをすべてダウンロードしてからウォークスルーする場合に比べて、ユーザの待ち時間が少なくなる。また、サーバからのデータ取得はバックグラウンドで継続されており、ユーザに特別な負荷をかけることなく、時間の経過と共にウォークスルー可能な部分経路が増える。そのため、ユーザはネットワークの状態を特に意識することなくウォークスルーに専念できる。
【００３４】
対応画像決定部５０は、観察者の視点位置・視線方向の情報をもとに画像生成部６５で画像を生成するために必要な画像のＩＤを決定する。
【００３５】
図６は、対応画像決定部５０に関するデータの流れを示す図である。視点位置・視線方向決定部４５で決定された体験者の仮想空間内における視点位置、視線方向及び対応付けデータ保存部２０に保存されている地図と画像の対応情報データから、表示画像合成部５５で使用する画像を生成するのに必要な画像をデータ蓄積部１５に保存されている画像の中から決定し、画像生成部６５に決定された画像のＩＤを渡す。
【００３６】
なお、対応付けデータ保存部２０において、本実施形態では以下に説明するデータ格納形態をとる。すなわち、交差点（分岐点）や曲がり角を区分点とし、区分点と区分点で挟まれた線分を道として、各区分点、道にＩＤを割り当て、このＩＤを対応するパノラマ画像に付加する。ここで、１つの道に対応するパノラマ画像群には、先頭から順に番号が振られる。
【００３７】
図７はこの様子を説明する図である。図７において、例えばＩＤがＣ１である区分点とＣ２である区分点に挟まれた線分（道）にＲ１というＩＤが付与されている。なお、これらＩＤや地図との対応は、地図データ保持部２５に保存されている。ＧＰＳデータ等に基づいて区分点Ｃ１とＣ２に対応する画像フレームが特定されると、それらのフレームに挟まれたパノラマ画像群が道Ｒ１に対応することとなる。図では、このパノラマ画像群にはｎ個の画像が存在する。そして、区分点Ｃ１とＣ２に対応する画像フレームにはそれぞれＣ１、Ｃ２のＩＤが付与され、道Ｒ１に対応するパノラマ画像群の各画像には、順番にＲ１−１〜Ｒ１−ｎが付与されている。
【００３８】
図１３に地図データ保持部２５に保存されているＩＤや地図との対応データの一例を示す。図１３（ａ）は、各交差点に接続されている道のリストである。この例では、交差点Ｃ１には道Ｒ１、Ｒ２、Ｒ３の３本が接続されている。図１３（ｂ）は、各交差点が地図上のどの地点に存在するかを表す座標である。この例では、地図画像上での画素位置を座標値として使用している。図１３（ｃ）は、各道がどの交差点に挟まれているかを表している。例えば、Ｒ２は、交差点Ｃ１とＣ５で挟まれた道であることを示している。
【００３９】
画像生成部６５は、表示画像合成部５５で合成に使用する画像を生成する。図８は、画像生成部６５に関するデータの流れを示す図である。画像生成部６５は、対応画像決定部５０で決定された画像のＩＤをもとに、データ蓄積部１５から画像を読み出し、表示部６０に表示する画角にあわせてパノラマ画像を切り出して、射影変換を行って表示画像合成部５５で合成に使用する画像を生成する。例えば、画像生成部６５において図１１に示されるような画像が生成されて表示画像合成部５５に送られる。
【００４０】
表示画像合成部５５は、経路情報合成部３０で生成された経路情報（例えば、図１０に示したような画像）と画像生成部６５で生成された画像（例えば、図１１の画像）とを合成し、図１２に示すような合成画像を生成する。生成された合成画像は表示部６０に送られる。
【００４１】
表示部６０では、表示画像合成部５５で生成された画像の表示を行う。なお、ここでは、表示画像合成部５５を設けて経路情報と画像をひとつの表示装置に表示するようにしたが、表示画像合成部５５を介さずに、経路情報合成部３０で生成された経路情報の画像と画像生成部６５で生成された画像とを別々の表示装置に表示することも可能である。
【００４２】
図１５は本実施形態によるシステムの処理の流れを示すフローチャートである。
【００４３】
ステップＳ１００１において、サーバに対してコンテンツのリストを要求し、コンテンツを選択する。そして、選択されたコンテンツの情報のダウンロードを開始する。次にステップＳ１００２において体験システム（ウォークスルー）を起動する。
【００４４】
図１６はコンテンツ選択とダウンロード用プロセス起動の処理の流れを示すフローチャートである。ステップＳ１００では、サーバにコンテンツリストを要求し、取得されたコンテンツリストから所望のコンテンツが選択されると、サーバにその情報（選択されたコンテンツを示す情報）が返送される。ステップＳ１１０では、選択されたコンテンツの地図情報を取得し、次のステップＳ１２０にてコンテンツ中の画像データと地図データとの対応データを取得する。なお、地図情報はサーバから取得するものとするが、ネットワーク上の他の装置や、ＣＤ−ＲＯＭ等の記憶媒体から取得するようにしてもよい。
【００４５】
その後ステップＳ１３０にて、ウォークスルーに必要となる全経路上の画像データを順次ダウンロードする。このダウンロードのプロセスは、次に説明する体験システムのプロセスとは独立に動作し、ウォークスルーに必要な画像データをサーバからすべてダウンロードするまで継続される。ここで画像データは予め決められた順（例えば予め決められた道の順番）にダウンロードされる。
【００４６】
図１７は体験システム用プロセスの処理に関するフローチャートである。まず、ステップＳ２００において、観察時の初期視点位置と視線方向を設定し、この視点位置・視線方向に応じた画像をダウンロード済みの画像群から生成する。その後、ビューワを起動する。ステップＳ２１０では、視点位置・視線方向に応じて生成された画像と地図情報などを合成して表示する。ステップＳ２２０では、操作部４０により操作情報を入力する。例えば、ジョイスティック１１０を用いた場合、ジョイスティックの倒し角とひねり具合によって操作情報を入力する。ステップＳ２３０では、操作デバイスから終了命令が入力されていないかをチェックし、もし入力されていたならば体験システムを停止する。それ以外はステップＳ２４０に進む。ステップＳ２４０では、ジョイスティックの操作情報から次の視点位置・視線方向を決定する。ステップＳ２５０では決定された視点位置および視線情報から表示画像を生成するために必要な画像を特定し、ステップＳ２６０にて特定された画像群から表示用の画像を生成する。その後ステップＳ２１０に戻り、上記処理を繰り返す。
【００４７】
図１８は画像表示処理（ステップＳ２１０）の流れを表すフローチャートである。ステップＳ３００において、経路情報合成部３０は、サーバから既にダウンロード済みの画像に対応する部分経路情報を取得済経路情報保持部３５より取得する。そして、ステップＳ３１０にて、経路情報合成部３０は地図データ保持部２５に格納されている地図情報と全経路情報と部分経路情報とを合成する。この際、部分経路情報と全経路情報の色（或いは線幅、線種）を異ならせるようにする。また同時に、視点位置・視線方向決定部４５より得られる視点位置、視線方向の情報に基づいて、図１２で説明したような視点位置・視線方向を示すイメージも合成する。次にステップＳ３２０において、視点位置、視線方向、経路情報が合成された地図と、視点位置・視線方向に対応した画像データとを合成し、ステップＳ３３０にて合成された画像を表示装置に表示する。
【００４８】
以上述べたように、サーバからウォークスルー用のデータをダウンロードしながら、ダウロード済み領域のみをウォークスルーするように制御することで、ネットワークの状態によらないスムーズなウォークスルー体験が可能になる。また、その際に、ダウンロード済みのデータに対応する部分経路を全経路上で異なる色で、あるいは異なる線幅（或いは異なる線種）で表示することにより、自分がウォークスルー可能な範囲を容易に確認できる。このため、状況（ダウンロード状況）が把握できない故に発生する体験者へのストレスを軽減することができる。
【００４９】
＜第２の実施形態＞
第１実施例ではユーザの移動可能範囲を地図上に経路情報を重畳することにより表示したが、地図自体をタイル状に分割し、移動可能な領域のみを他と異ならせて表示することにより、同様の効果を表すことも可能である。図１９にそのような例を示す。
【００５０】
図１９（ａ）はタイル状に分割された地図を表している。各タイルはその中に含む道と交差点の情報を保持しており、道や交差点に対応するデータがダウンロードされるとそのデータを含むタイルの部分が明るく表示される。例えば、図１９（ｂ）に示すように、色が全体的に黒いタイルはデータをまだ取得していないタイルを表し、明るい（白い）タイルはその中の道や交差点のデータを取得したことを示している。ユーザは、明るい色のタイルの領域を自由にウォークスルー可能である。データのダウンロードは第１実施例の場合と同様に、バックグラウンドで継続的に行われており、データが取得できたタイルの領域が順に明るく表示される。
【００５１】
ここで、道や交差点のデータをタイル単位にまとめ、各タイルのダウンロード順を予め決定しておき、タイル毎に道や交差点のデータをダウンロードするようにすれば、効率的にデータを取得することができる。また、図１９では、ユーザの視点位置や視線方向は示されていないが、第１実施例の場合と同様に視点位置、視線方向を丸と矢印で表示することも可能である。
【００５２】
このような表示方法をとることにより、ユーザに移動可能な範囲を直感的に示すことができるというメリットがある。
【００５３】
＜その他の実施形態＞
ユーザが観光地などをウォークスルーする場合、見たい場所が予め決まっている場合が多い。しかしながら、データの取得順が予め１通りに限定されているときには、当該取得順が目的の場所へ到達するのに都合の良いものであるとは限らない。よって、目的の場所のデータが取得されるまでに時間がかかり、ユーザにストレスを与えることになる。そこで、道や交差点データを取得する順番に関しては、複数のパターンを用意しておき、ウォークスルーに先立ってユーザに選択させる構成にすれば、この問題を軽減できる。
【００５４】
例えば、図２０に示すような地域のウォークスルーの場合、二条城→西本願寺→東本願寺→…の順、すなわち５０１、５０２、５０３、…の順に道や交差点データを取得するパターンと、平安神宮→知恩院→八坂神社→…の順、すなわち５２１、５２２、５２３、…を順に取得するパターンとを用意しておく。そして、二条城を見たい人は前者の取得パターンを、平安神宮、知恩院を見たい人には後者の取得パターンを選べるようにしておけばよい。これは、第１実施形態、第２実施形態ともに適用可能である。また、この例に限らず、取得パターンは１以上であればいく通り設定してもよい。
【００５５】
ここでは、１つの経路に対して、複数の取得パターンを用意しておく方法を示したが、複数の経路パターンを用意しておき、経路自体も選択させることも可能である。図２１を例にとると、御所、二条城、東本願寺はウォークスルーしたいけれど、清水寺は見たくない場合、図２１（ａ）のような経路パターンが選択されていればよい。もし、平安神宮、知恩院、清水寺をウォークスルーしたければ、図２１（ｂ）の経路パターンを選択すればよい。このようにして、ユーザが所望の経路を選択することにより、不要なデータの取得が低減し、短い時間で目的を達することが可能である。もちろん、複数の経路のそれぞれにおいて、取得パターンを複数設定できることは言うまでもない。
【００５６】
図２２は、コンテンツ選択に関する処理の流れを示している。ステップＳ４００において、サーバに存在するコンテンツの種類の情報を取得し、ステップＳ４１０にてユーザにどのコンテンツを利用するかを選択させる。これはユーザが見ている体験システムの画面上にコンテンツリストを表示してそれを選択させることにより実現可能である。また、これに限らず、例えば、広域地図上に利用可能なコンテンツの代表的な画像やシンボルを配置し、それを選択する等の方法も利用可能である。
【００５７】
コンテンツが選択図されると、ステップＳ４２０においてそのコンテンツ上でウォークスルーをする経路パターンの選択を行う。図２３はユーザにコンテンツを選択させるＧＵＩ（グラフィカルユーザインタフェース）の一例を示している。この図では経路パターンの候補が２つ提示され、ユーザがどちらかを選択するようにしているが、３以上の経路パターンを表示して選択させるようにしてもよいし、１通りのパターンでもよい。１通りのパターンしか設定されていない場合は、ステップＳ４２０の処理をスキップすることも可能であり、コンテンツの情報に応じて適宜処理できる。また、複数の経路パターンのうち、優先的に選択するパターン（お勧めコースなど）を予め指定しておき、ユーザが一定時間内に選択処理を行わなかった場合には予め指定されたコースを選択するようにしておいてもよい。
【００５８】
経路パターンが選択されると、ステップＳ４３０にてその経路パターンにおけるデータの取得順の選択を行う。これも経路選択パターンのときと同様に、名所など、ポイントとなる地名や建物名などを取得順のリストにして提示し、ユーザに選択させてもよいし、地図上に順路を示し、選択させるようにしてもよい。データの取得順に関しても、１通り以上設定されていればよい。また、優先的に選択する取得順（お勧めの見学の順番など）を予め指定しておき、ユーザが一定時間内に選択処理を行わなかった場合には予め指定された取得順を選択するようにしておいてもよい。
【００５９】
以上述べたように、経路パターンの選択、データ取得順の選択をユーザに行わせることにより、見たいところを早期に見られるように動作させることができ、快適なウォークスルー環境を提供することができる。
【００６０】
以上述べたように、サーバからウォークスルー用のデータをダウンロードしながら、ダウロード済み領域のみをウォークスルーするように制御することで、ネットワークの状態によらないスムーズなウォークスルー体験が可能になる。また、その際に、ダウンロード済みのデータに対応する部分経路を全経路上に色を変えて、あるいは線幅を異ならせて表示することにより、自分がウォークスルー可能な範囲を確認できるため、状況が把握できない故に発生する体験者へのストレスを軽減することができる。
【００６１】
また、地図自体をタイル状に分割し、移動可能な領域のみを他と異ならせて表示することにより、ユーザに移動可能な範囲（ウォークスルー可能な範囲）を直感的に示すことが可能になる。
【００６２】
さらに、複数の経路パターンや取得パターンを設定しておき、ユーザに選択させることにより、目的の場所をより早い時期にウォークスルー可能にすることができ、より快適なウォークスルーが可能となる。
【００６３】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００６４】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６５】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００６６】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６７】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６８】
【発明の効果】
以上説明したように、本発明によれば、外部装置よりウォークスルーのための画像データを取得しながら、スムーズなウォークスルー体験を提供可能とすることが可能となる。
【図面の簡単な説明】
【図１】本実施形態におけるウォークスルーシステムの機能構成を説明するブロック図である。
【図２】本実施形態による画像再生装置１のハード構成を示すブロック図である。
【図３】本実施形態のウォークスルーシステムにおける、ジョイスティック操作を説明する図である。
【図４】本実施形態のウォークスルーシステムにおける、操作部４０におけるデータ・フローを示す図である。
【図５】本実施形態のウォークスルーシステムにおける、視点位置・視線方向決定部４５におけるデータ・フローを示す図である。
【図６】本実施形態のウォークスルーシステムにおける、対応画像決定部５０におけるデータ・フローを示す図である。
【図７】道と区分点を用いたパノラマ画像の地図データへの対応付けを説明する図である。
【図８】本実施形態のウォークスルーシステムにおける、画像生成部６５におけるデータ・フローを示す図である。
【図９】本実施形態による経路情報合成部３０の動作を説明するための図である。
【図１０】本実施形態による経路情報合成部３０の動作を説明するための図である。
【図１１】本実施形態による画像生成部４５で生成される画像の一例である。
【図１２】本実施形態による表示画像合成部６５で生成される画像の一例である。
【図１３】本実施形態における地図データ保持部２５に保存されているＩＤや地図との対応データの一例である。
【図１４】本実施形態における取得済経路情報保持部３５が保持する経路情報の一例である。
【図１５】本実施形態における処理の流れを示すフローチャートである。
【図１６】本実施形態におけるコンテンツ選択とダウンロード用プロセス起動の処理の流れを示すフローチャートである。
【図１７】本実施形態における体験システム用プロセスの処理に関するフローチャートである。
【図１８】本実施形態における画像表示処理の流れを表すフローチャートである。
【図１９】第２の実施形態におけるタイル状に分割された地図の一例である。
【図２０】データの取得順を説明するための図である。
【図２１】経路パターンの選択を説明するための図である。
【図２２】コンテンツ選択に関する処理のフローチャートである。
【図２３】コンテンツ選択用のＧＵＩの一例を示す図である。
【図１】
2004070609.tif 000003
【図２】
2004070609.tif 000004
【図３】
2004070609.tif 000005
【図４】
2004070609.tif 000006
【図５】
2004070609.tif 000007
【図６】
2004070609.tif 000008
【図７】
2004070609.tif 000009
【図８】
2004070609.tif 000010
【図９】
2004070609.tif 000011
【図１０】
2004070609.tif 000012
【図１１】
2004070609.tif 000013
【図１２】
2004070609.tif 000014
【図１３】
2004070609.tif 000015
【図１４】
2004070609.tif 000016
【図１５】
2004070609.tif 000017
【図１６】
2004070609.tif 000018
【図１７】
2004070609.tif 000019
【図１８】
2004070609.tif 000020
【図１９】
2004070609.tif 000021
【図２０】
2004070609.tif 000022
【図２１】
2004070609.tif 000023
【図２２】
2004070609.tif 000024
【図２３】
2004070609.tif 000025