(57)【要約】【課題】実写データを用いたウォークスルー体験システムにおいて、ユーザが見たい場所を高解像度に表示することが可能なシステムを提供する。【解決手段】仮想空間をウォークスルーすることが可能である仮想空間体験システムにおいて、コンテンツを選択するコンテンツ選択手段と、前記コンテンツ内の移動可能な経路を指定する経路指定手段と、データの解像度を指定する解像度指定手段と、前記選択されたコンテンツ、前記指定された経路、前記指定された解像度に基づき、データを取得するデータ取得手段と、視点位置、視線方向を制御する操作手段と、前記取得したデータから、前記指定された視点位置に応じた画像を取り出し、指定された視線方向に対応する部分画像を生成し表示させる画像生成手段とを備える。【選択図】      図１
2004280250.tif 000002
【特許請求の範囲】
【請求項１】
仮想空間をウォークスルーすることが可能である仮想空間体験システムで適用可能な情報処理装置であって、
コンテンツを選択するコンテンツ選択手段と、
前記コンテンツ内の移動可能な経路を指定する経路指定手段と、
データの解像度を指定する解像度指定手段と、
前記選択されたコンテンツ、前記指定された経路、前記指定された解像度に基づき、データを取得するデータ取得手段と、
視点位置、視線方向を制御する操作手段と、
前記取得したデータから、前記指定された視点位置に応じた画像を取り出し、指定された視線方向に対応する部分画像を生成し表示させる画像生成手段とを備えることを特徴とする情報処理装置。
【請求項２】
前記解像度指定手段は、使用者によって指示された、表示されている地図上のオブジェクトに対して、高い解像度を指定することを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記データ取得手段は、前記解像度指定手段によって高い解像度と指定されたオブジェクトに対して、低解像度および高解像度のデータを取得することを特徴とする請求項２記載の情報処理装置。
【請求項４】
仮想空間をウォークスルーすることが可能である仮想空間体験システムで適用可能な情報処理方法であって、
ユーザの指示に応じて、任意の対象物にかかる取得するデータの解像度を指定する解像度指定工程と、
前記解像度指定手段によって指定された解像度に応じて、データを取得するデータ取得工程と、
視点位置、視線方向を制御する操作工程と、
前記取得したデータから、前記視点位置、視線視点位置に応じた部分画像を生成する生成工程とを有することを特徴とする情報処理方法。
【請求項５】
前記解像度指定工程は、表示されているウォークスルー可能な地図上の任意の対象物をユーザが指定することを特徴とする請求項４記載の情報処理方法。
【請求項６】
さらに、隣接フレーム間で解像度の変化を滑らかにすることを特徴とする請求項４記載の情報処理方法。
【請求項７】
前記データ取得工程は、高い解像度と指定された対象物に対しては、低解像度および高解像度のデータを取得することを特徴とする請求項４記載の情報処理方法。
【請求項８】
前記請求項４乃至７のいずれかに記載の情報処理方法をコンピュータを用いて実現するためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、実空間の撮影によって得られた画像データをもとに仮想空間を表現するものに関する。
【０００２】
【従来の技術】
移動体に搭載された撮影装置によって撮影された実写画像データをもとに、撮影した現実空間を仮想空間として表現する手法としては、実写画像データをもとに現実空間の幾何形状モデルを再現し、従来のＣＧ技術で表現する手法が挙げられるが、モデルの正確性や精密度、写実性などの点で限界がある。一方、モデルを用いた再現を行わずに、実写画像を用いて仮想空間を表現するＩｍａｇｅ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ（ＩＢＲ）技術が近年注目を集めている。ＩＢＲ技術は実写画像に基づいているために、写実的な仮想空間の表現が可能である。
【０００３】
このようなＩＢＲ技術を用いてウォークスルー可能な仮想空間を構築するためには、体験者の仮想空間内の位置に応じた画像の生成・呈示を行う必要がある。そのため、この種のシステムにおいては、実写画像データの各フレームと仮想空間内の位置とを対応付けて保存しておき、体験者の仮想空間における位置と視線方向に基づいて対応するフレームを取得し、これを再生する。
【０００４】
このような仮想空間内のウォークスルーにおいては、体験者が各視点位置で所望の方向を見ることができるようにする。このため、各視点位置の画像を、再生時の画角よりも広い範囲をカバーするパノラマ画像で保存しておき、体験者の仮想空間における視点位置と視線方向とに基づいてパノラマ画像を選択するとともに、再生すべき部分画像を切り出してこれを表示することが考えられる。この場合、実写画像データを再生するので、撮影装置を搭載した車輌が走る道に沿ってパノラマ画像の再生が行われ、観察者はあたかも自分がその車輌に乗って走っているかのような感覚を味わうことができる。また、ウォークスルーによる再生画像が交差点に進入し、観察者が実際の車輌の動きとは異なる方向の道を選択すると、再生されていたパノラマ画像群とは異なるパノラマ画像群に切り替わり、新たな進路でのパノラマ画像の再生が行われる。
【０００５】
この種のＶＲシステムとして、特開平９−６２８６１号には、パノラマ画像の系列を保持しておき、ユーザの操作に応じて所定のパノラマ画像が再生されるシステムが開示されている。また、特開２００１−００８２３２号には、ウォークスルーしたい経路をユーザが指定できるようなＶＲシステムが開示されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、前記従来例では、ウォークスルーに使用するデータは１つの経路に対して、単一の解像度のデータしか保持していないため、より解像度の高い高画質な映像を見たというユーザの要求を満足させることができない。また、ネットワークを介してデータを取得する場合には状況に応じてデータ量を加減したいが、単一の解像度のデータしか持たない場合には駒落としをする等対処法が限定される。
【０００７】
特開２００１−００８２３２号には、コンテンツの経路を指定することが開示されているが、データの解像度に関してはなんら開示されていない。一般に経路を指定するからにはその経路上に見たいオブジェクトが存在するはずであり、そのオブジェクトに近い位置にある（あるいは大きく写っているなど）データの解像度は高いほうが望ましい。これを実現する最も簡単な方法はあらかじめ解像度を変えて各フレームのデータを生成しておくことであるが、ユーザごとに興味の対象が異なるため、結局すべてのデータに対して複数の解像度のデータを持たないとすべてのユーザの要求を満足させることができない。
【０００８】
また、ユーザにとって興味のあるオブジェクトが、指定された経路上にまばらに存在する場合に、経路上のすべてのデータを取得するのは無駄である。
本発明は、上記の課題に鑑みてなされたものであり、その目的は、データ量を抑えつつユーザの興味のある対象を高画質に表示することが可能なウォークスルーシステムを提供することにある。
【０００９】
【課題を解決するための手段】
上記の目的を達成するための本発明は以下の構成を有することを特徴とする。
【００１０】
本願請求項１記載の発明は、仮想空間をウォークスルーすることが可能である仮想空間体験システムで適用可能な情報処理装置であって、コンテンツを選択するコンテンツ選択手段と、前記コンテンツ内の移動可能な経路を指定する経路指定手段と、データの解像度を指定する解像度指定手段と、前記選択されたコンテンツ、前記指定された経路、前記指定された解像度に基づき、データを取得するデータ取得手段と、視点位置、視線方向を制御する操作手段と、前記取得したデータから、前記指定された視点位置に応じた画像を取り出し、指定された視線方向に対応する部分画像を生成し表示させる画像生成手段とを備えることを特徴とする。
【００１１】
本願請求項４記載の発明は、仮想空間をウォークスルーすることが可能である仮想空間体験システムで適用可能な情報処理方法であって、ユーザの指示に応じて、任意の対象物にかかる取得するデータの解像度を指定する解像度指定工程と、前記解像度指定手段によって指定された解像度に応じて、データを取得するデータ取得工程と、視点位置、視線方向を制御する操作工程と、前記取得したデータから、前記視点位置、視線視点位置に応じた部分画像を生成する生成工程とを有することを特徴とする。
【００１２】
【発明の実施の形態】
以下、添付図面を参照しながら、本発明の好適な実施形態を説明する。
【００１３】
＜第１実施形態＞
まず、本実施形態による仮想空間のウォークスルーシステムについて説明する。本実施形態では、例えば自動車などの移動体に搭載された複数の撮影装置によって撮影して得られた実写画像データからパノラマ画像データを生成し、このパノラマ画像データを、現実空間の位置に対応する地図上の位置と対応付けてサーバ等に蓄積する。この際に、パノラマ画像データの各フレームを複数の異なる解像度のデータとして保持する。異なる解像度のデータは、階層的符号化などを用いて符号化しておいてもよい。再生システムは、サーバから撮影位置や撮影方向、地図などの情報と、指定された経路の低解像度パノラマ画像データおよびユーザによって指定されたフレームの高解像度パノラマ画像データを取得しながら、体験者の仮想空間における視点位置（地図上の位置）と視線方向に応じて、保持されているパノラマ画像データから表示画像を生成し、経路情報が示された地図とともに表示することにより、仮想空間内のウォークスルーを実現する。
【００１４】
図１は本実施形態によるウォークスルーシステムの機能構成を説明するブロック図である。本ウォークスルーシステムを構成する画像再生装置１は、通信部４、コンテンツ選択部５、データ取得部１０、データ蓄積部１５、対応付けデータ保持部２０、地図データ保存部２５、経路情報合成部３０、取得済経路情報保持部３５、操作部４０、視点位置・視線方向決定部４５、対応画像決定部５０、表示画像合成部５５、表示部６０、画像生成部６５を有する。
【００１５】
図２は、本実施形態における画像再生装置１のハード構成を示すブロック図である。図２に示したハード構成は通常のパーソナルコンピュータの構成と同等である。図２において、ディスク１０５はデータ蓄積部１５を構成するものである。なお、ディスク１０５は上述の画像データ蓄積部１５のみならず、図１に示した対応付けデータ保持部２０、地図データ保持部２５、取得済経路情報保持部３５をも構成するものである。
【００１６】
ＣＰＵ１０１は、ディスク１０５またはＲＯＭ１０６、または外部記憶装置（不図示）に保存されているプログラムを実行することにより、コンテンツ選択部５、経路情報合成部３０、視点位置・視線方向決定部４５、対応画像決定部５０、画像生成部６５として機能する。
【００１７】
ＣＰＵ１０１が表示コントローラ１０２に対して各種の表示指示を行うことにより、表示コントローラ１０２およびフレームバッファ１０３によって表示器１０４に所望の表示がなされる。なお、図では表示コントローラ１０２としてＣＲＴＣ、表示器１０４としてＣＲＴを示したが、表示器としては陰極線管に限らず、液晶表示器等を用いてもよいことはもちろんである。なお、ＣＲＴＣ１０２、フレームバッファ１０３及びＣＲＴ１０４は、上述の表示部６０を構成する。マウス１０８、キーボード１０９及びジョイスティック１１０は、当該画像再生装置１へのユーザの操作入力を行うためのものであり、上述の操作部４０を構成する。
【００１８】
次に、以上の構成を備えた本実施形態のウォークスルーシステムにおける、画像再生装置１の各部の機能概要について説明する。
【００１９】
通信部４は、各部からの要求に応じて外部のサーバとデータのやり取りを行う。コンテンツ選択部５は、外部のサーバに蓄積されているコンテンツをユーザに提示し、コンテンツをユーザに選択させる。同時に、コンテンツに含まれるオブジェクトデータも提示し、高解像度で表示する対象を指定させる。
【００２０】
図２４にコンテンツ選択画面の一例とオブジェクト指定画面の一例を示す。図２４（ａ）に示す画面において、リスト表示されたコンテンツの番号を入力するとコンテンツが選択される。コンテンツ選択画面としては、地図上に場所を表すマークを配置し、これをクリックすることにより選択動作を行ってもよい。図２４（ｂ）は、一例として京都が選択されたときのオブジェクト指定画面を表している。７２１〜７２７はオブジェクトを表している。ここではユーザが図中の丸をクリックすると、高解像度データで取得するオブジェクトに指定される。図中のオブジェクト７２３、７２７が黒丸になっているが、これは高解像度データに設定されたことを表している。それ以外は低い解像度に設定される。
【００２１】
データ取得部１０は、コンテンツ選択部５で指定された情報を基に、ネットワーク上のサーバあるいはローカルな記憶装置より地図情報、撮影位置・方位情報、撮影画像データなどの必要なデータを順次ダウンロードする。撮影画像データは、低解像度のもの（高解像度に指定されたオブジェクトの低解像度データを含む）をすべて取得した後、高解像度に指定されたオブジェクトのデータを取得する。低解像度データのダウンロード順は、予めサーバにおいて決定されているか、または、クライアントである画像再生装置１からのリクエストにより決定される。高解像度データに関しても同様である。このようにユーザの興味のある対象物のみを高解像度で、その他は低解像で取り込むことにより、見たい部分を高画質に再現しつつ、トータルのデータ量を押さえることができるため、表示のリアルタイム性を確保できる。また、ユーザに興味のあるものを指定させることにより、無駄なデータの取得を回避することができる。
【００２２】
データ蓄積部１５は、データ取得部１０で獲得された画像データ（地図上の各位置に対応したパノラマ画像データ）を格納する。対応付けデータ保持部２０は、データ蓄積部１０に格納された画像データと地図データ保持部２５に格納された地図との対応情報を保持する。地図データ保持部２５は、データ取得部１０で獲得された、少なくともデータ蓄積部１５に保存されたパノラマ画像データに対応した地図上の位置を包含する地図データを格納する。取得済経路情報保持部３５は、データ蓄積部１５に蓄積された取得済みの画像データに対応する経路情報（これを部分経路情報と呼び、その情報で示される経路を部分経路と呼ぶことにする。）とデータ取得部１０がサーバからダウンロード予定の画像データ全体に対応する経路情報（これを全経路情報と呼び、その情報で示される経路を全経路と呼ぶことにする）とを保持する。各経路情報は、後述のＩＤを利用して表現する。
【００２３】
図１４に、取得済経路情報保持部３５が保持する経路情報の一例を示す。ダウンロード予定の画像データ（交差点や道路など）がリストとして保持され、取得済のものには「１」、未取得のものには「０」が記録されている。図中、ＩＤで示された交差点や道のリスト全体が全経路を表し、このうちダウンロード済みの欄に「１」が記録されている交差点や道の集合が部分経路を表す。図１４（ｂ）中の高解像度の欄は、道セグメント全体を高解像度まで取得するかどうかを表している。この欄に「１」が記載されている場合は、低解像度のデータに加えて、高解像でのデータまで取得することを意味する。「０」の場合は、低解像度のみのデータを取得することを表す。ここでは道単位で高解像度にするかどうかを決定しているが、もちろん、道を構成するパノラマ画像単位に高解像度、低解像度を指定してもよい。但し、パノラマ画像単位に指定する場合、隣接するパノラマ画像間で解像度が急激に変化するときがある。その場合は、２種類の解像度ではなく、もっと多くの種類の解像度データを用意し、隣接パノラマ画像間で滑らかに変化するようにそれぞれのパノラマ画像の解像度を設定すればよい。
【００２４】
経路情報合成部３０は、地図データ保持部２５に格納された地図と取得済経路情報保持部３５に格納された部分経路情報と全経路情報との三者を合成する。ここで地図に合成される全経路情報の色は、部分経路情報の色と異なるようすることで、ダウンロードを予定しているデータの範囲と既取得のデータ範囲が把握でき、自由にウォークスルー可能な領域の情報をユーザに提供できる。また、カラー表示ができないモニタなどに表示する際には、色を変えるのではなく、地図上に合成する全経路情報と部分経路情報との線幅や種類を異なるようにすることでも同様の目的を達成できる。また、色と線幅の変更を同時に実現することも可能であり、全経路情報を薄く細い線で、部分経路情報を濃く太い線で表示するとより鮮明に表示することが可能である。
【００２５】
図９（ａ）は、地図データ保持部２５に格納された地図の一例であり、図９（ｂ）（ｃ）はそれぞれ全経路、部分経路の一例を示す。図１０に、これら３者を合成した画像を示す。ここでは薄い色で全経路を、また、濃い色で部分経路を表示している。丸印は視点位置、矢印は視線方向を表している。
【００２６】
操作部４０は、マウス、キーボード、ジョイスティック等を備える。操作部４０は、視点位置の移動パラメータ、視線方向の回転パラメータを生成する。また、コンテンツ選択、オブジェクトの指定等の機能を担う。本実施形態では、操作部４０でジョイスティックを用いているが、ゲームコントローラなど他の入力装置でも同様の操作を行うことが可能である。図３は、操作部４０におけるジョイスティックの操作と移動パラメータ、回転パラメータの関係を示す図である。ジョイスティックは、スティックの傾斜とスティックの回転を独立に制御することができる。本実施形態では、ジョイスティックを前後に倒す操作を仮想空間内での視点位置の移動に、ジョイスティックを左右に捻る操作を視線方向の変化に対応させている。
【００２７】
図４は、操作部４０におけるデータの流れを表す図である。操作部４０からは、視点位置・視線方向決定部４５に対して、ジョイスティックの前後の倒し角α（α＞０、後へ倒した場合は負の値）が移動パラメータとして、左右の捻り角β（β＞０、右へ捻った場合は負の値）が回転パラメータとして与えられる。
【００２８】
視点位置・視線方向決定部４５は、操作部４０からの移動パラメータ、回転パラメータをもとに、地図データ保持部２５に保存されている地図データ上における観察者の視点位置（地図上の位置）、視線方向を決定する。
【００２９】
図５は、視点位置・視線方向決定部４５におけるデータの流れを示す図である。視点位置・視線方向決定部４５は、地図データ保持部２５から地図データを、また取得済経路情報保持部３５から全経路情報及び部分経路情報を獲得し、対応画像決定部５０に対して、観察者の地図上の視点位置及び視線方向を与える。この部分での処理に関して、図１２を用いて詳しく説明する。
【００３０】
図１２は、本提案システムの表示手段に表示される画面の一例を示している。図中の左上に経路情報が重畳された地図が表示され、ここにユーザの現在の観察位置が丸印で、見ている方向が矢印で示されている。また、地図中の薄い色で示された経路は全経路であり、より濃い色で示された経路が部分経路である。視点位置・視線方向決定部４５では、操作部４０からの情報を元に地図上での視点位置・視線方向を決定するが、操作部４０からの情報をもとに計算した地図上での視点位置が部分経路上にない場合は、移動を制限する。
【００３１】
このように、部分経路上でのみ移動を可能にすることにより、移動範囲は制限されるが、滑らかなウォークスルーを実現することができ、全経路データをすべてダウンロードしてからウォークスルーする場合に比べて、ユーザの待ち時間が少なくなる。また、サーバからのデータ取得はバックグラウンドで継続されており、ユーザに特別な負荷をかけることなく、時間の経過と共にウォークスルー可能な部分経路が増える。そのため、ユーザはネットワークの状態を特に意識することなくウォークスルーに専念できる。また、経路データを低解像度データと高解像度データに分け、最初に低解像度データのみを取得して表示することにより、表示のまでの時間をよりいっそう短縮することができる。その後、付加分である高解像度データを取得することにより、ユーザの興味のある部分をより高画質に表現することができる。
【００３２】
対応画像決定部５０は、観察者の視点位置・視線方向の情報をもとに画像生成部６５で画像を生成するために必要な画像のＩＤを決定する。
【００３３】
図６は、対応画像決定部５０におけるデータの流れを示す図である。視点位置・視線方向決定部４５で決定された体験者の仮想空間内における視点位置、視線方向及び対応付けデータ保存部２０に保存されている地図と画像の対応情報データから、表示画像合成部５５で使用する画像を生成するのに必要なデータ蓄積部１５に保存されている画像を決定し、画像生成部６５に決定された画像のＩＤを渡す。
【００３４】
なお、対応付けデータ保存部２０において、本実施形態では次のデータ格納形態をとる。すなわち、交差点（分岐点）や曲がり角を区分点とし、区分点と区分点で挟まれた線分を道として、各区分点、道にＩＤを割り当て、このＩＤを対応するパノラマ画像に付加する。１つの道に対応するパノラマ画像群には、先頭から順に番号が振られる。
【００３５】
図７はこの様子を説明する図である。図７において、例えばＩＤがＣ１である区分点とＣ２である区分点に挟まれた線分（道）にＲ１というＩＤが付与されている。なお、これらＩＤや地図との対応は、地図データ保持部２５に保存されている。
【００３６】
ＧＰＳデータ等に基づいて区分点Ｃ１とＣ２に対応する画像フレームが特定されると、それらのフレームに挟まれたパノラマ画像群が道Ｒ１に対応することとなる。図では、このパノラマ画像群にはｎ個の画像が存在する。そして、区分点Ｃ１とＣ２に対応する画像フレームにはそれぞれＣ１、Ｃ２のＩＤが付与され、パノラマ画像群の各画像には、順番にＲ１−１〜Ｒ１−ｎが付与されている。
【００３７】
図１３に地図データ保持部２５に保存されているＩＤや地図との対応データの一例を示す。図１３（ａ）は、各交差点に接続されている道のリストである。この例では、交差点Ｃ１には道Ｒ１、Ｒ２、Ｒ３の３本が接続される。図１３（ｂ）は、各交差点が地図上のどの地点に存在するかを表す座標である。この例では、地図画像上での画素位置を座標値として使用している。図１３（ｃ）は、各道がどの交差点に挟まれているかを表している。例えば、Ｒ２は、交差点Ｃ１とＣ５で挟まれた道であることを示している。
【００３８】
画像生成部６５は、表示画像合成部５５で合成に使用する画像を生成する。図８は、画像生成部６５におけるデータの流れを示す図である。画像生成部６５は、対応画像決定部５０で決定された画像のＩＤをもとに、データ蓄積部１５から画像を読み出し、表示部６０に表示する画角にあわせてパノラマ画像を切り出して、射影変換を行って表示画像合成部５５で合成に使用する画像を生成する。例えば、画像生成部６５において図１１に示されるような画像が生成されて表示画像合成部５５に送られる。
【００３９】
表示画像合成部５５は、経路情報合成部３０で生成された経路情報（例えば、図１０に示したような画像）と画像生成部６５で生成された画像（例えば、図１１の画像）とを合成する。この合成画像を図１２に示す。合成画像は表示部６０に送られる。
【００４０】
表示部６０では、表示画像合成部５５で生成された画像の表示を行う。ここでは、表示画像合成部５５を設けて経路情報と画像をひとつの表示装置に表示するようにしたが、表示画像合成部５５を介さずに、経路情報合成部３０で生成された経路情報と画像生成部６５で生成された画像とを別々の表示装置に表示することも可能である。
【００４１】
図１５は本提案システムの処理の流れを示すフローチャートである。
ステップＳ１００１において、サーバーに対してコンテンツのリストを要求し、コンテンツを選択する。そして、選択されたコンテンツの情報のダウンロードを開始する。次にステップＳ１００２において体験システムを起動する。
【００４２】
図１６はコンテンツ選択とダウンロード用プロセス起動の処理の流れを示すフローチャートである。ステップＳ１００において、サーバにコンテンツリストを要求し、その中からコンテンツを選択してサーバにその情報を返す。また、同時に高解像で表示したいオブジェクトを指定しその情報をサーバに送る。ステップＳ１１０では、選択されたコンテンツの地図情報を取得し、次のステップＳ１２０にてコンテンツ中の画像データと地図データとの対応データを取得する。その後ステップＳ１３０にて、ウォークスルーに必要となる全経路上の画像データを順次ダウンロードする。このダウンロードのプロセスは、次に説明する体験システムのプロセスとは独立に動作し、ウォークスルーに必要な画像データをサーバからすべてダウンロードするまで継続される。
【００４３】
図１７は体験システム用プロセスの処理に関するフローチャートである。
【００４４】
まず、ステップＳ２００において、観察時の初期視点位置と視線方向を設定し、この視点位置・視線方向に応じた画像をダウンロードした画像群から生成する。その後、ビューワを起動する。ステップＳ２１０では、視点位置・視線方向に応じて設定された画像と地図情報などを合成して表示する。ステップＳ２２０では、ジョイスティックなどの操作デバイスを使い、ジョイスティックの倒し角とひねり具合によって操作情報を入力する。ステップＳ２３０では、操作デバイスから終了命令が入力されていないかをチェックし、もし入力されていたならば体験システムを停止する。それ以外はステップＳ２４０に進む。ステップＳ２４０では、ジョイスティックの操作情報から次の視点位置・視線方向を決定する。ステップＳ２５０では決定された視点位置および視線情報から表示画像を生成するために必要な画像を特定し、ステップＳ２６０にて特定された画像群から表示用の画像を生成する。但し、特定された画像が、高解像度と低解像度の双方のデータで構成されている場合は、両者を統合して画像を生成するが、高解像度データが未取得の場合は、低解像度データのみを使って表示用画像を生成する。これにより、表示画像の品質は低いが高速な画像表示が行えるため、ユーザの待ち時間が軽減される。もし、双方のデータが階層的符号化データとして構成されている場合は、低解像度のデータを復号した後に、復号した高解像度データをマージすることにより最終的な高解像度データを生成する。この画像を利用して、さらに表示用の画像を生成する。また、低解像度データと高解像度データが独立のデータである場合は、高解像度データのみを利用して表示用画像を生成すればよい。その後ステップＳ２１０に戻る。
【００４５】
図１８は画像表示処理の流れを表すフローチャートである。
【００４６】
ステップＳ３００においてサーバーから既にダウンロード済みの画像に対応する部分経路情報を取得し、ステップＳ３１０にて地図データ保持部２５に格納されている地図情報と全経路情報と部分経路情報とを合成する。この際、部分経路情報と全経路情報との色を異ならせるようにする。また同時に、視点位置・視線方向も合成する。次にステップＳ３２０において、視点位置、視線方向、経路情報が合成された地図と、視点位置・視線方向に対応した画像データとを合成し、ステップＳ３３０にて合成された画像を表示装置に表示する。
【００４７】
以上述べたように、サーバーからウォークスルー用のデータをダウンロードしながら、ダウロード済み領域のみをウォークスルーするように制御することで、ネットワークの状態によらないスムーズなウォークスルー体験が可能になる。また、その際に、ダウンロード済みのデータに対応する部分経路を全経路上に色を変えて、あるいは線幅を異ならせて表示することにより、自分がウォークスルー可能な範囲を確認できるため、状況が把握できない故に発生する体験者へのストレスを軽減することができる。
【００４８】
＜第２の実施形態＞
第１実施形態ではユーザの移動可能範囲を地図上に経路情報を重畳することにより表示したが、地図自体をタイル状に分割し、移動可能な領域のみを他と異ならせて表示することにより、同様の効果を表すことも可能である。図１９にそのような例を示す。
【００４９】
図１９（ａ）はタイル状に分割された地図を表している。各タイルはその中に含む道と交差点の情報を保持しており、道や交差点に対応するデータがダウンロードされるとそのデータを含むタイルの部分が明るく表示される。例えば、図１９（ｂ）に示すように、色が全体的に黒いタイルはデータをまだ取得していないタイルを表し、明るい（白い）タイルはその中の道や交差点のデータを取得したことを示している。ユーザは、明るい色のタイルの領域を自由にウォークスルー可能である。データのダウンロードは第１実施形態の場合と同様に、バックグラウンドで継続的に行われており、データが取得できたタイルの領域が順に明るく表示される。ここで、道や交差点のデータをタイル単位にまとめ、各タイルのダウンロード順を予め決定しておき、タイル毎に道や交差点のデータをダウンロードするようにすれば、効率的にデータを取得することができる。
【００５０】
また、図１９では、ユーザの視点位置や視線方向は示されていないが、第１実施形態の場合と同様に視点位置、視線方向を丸と矢印で表示することも可能である。
【００５１】
このような表示方法をとることにより、ユーザに移動可能な範囲を直感的に示すことができるというメリットがある。
【００５２】
＜その他の実施形態＞
ユーザが観光地などをウォークスルーする場合、見たい場所が予め決まっている場合が多い。このような場合には、予めデータの取得順が１通りだけ決定されているとすると目的の場所のデータが取得されるまでに時間がかかり、ユーザにストレスを与えることになる。そこで、道や交差点データを取得する順番に関しては、複数のパターンを用意しておき、ウォークスルーに先立ってユーザに選択させておくと、この問題を軽減できる。例えば、図２０に示すような地域のウォークスルーの場合、二条城→西本願寺→東本願寺→…の順、すなわち５０１、５０２、５０３、・・・の順に道や交差点データを取得するパターンと平安神宮→知恩院→八坂神社→…、すなわち５２１、５２２、５２３、…を順に取得するパターンを用意しておき、二条城を見たい人は前者の取得パターンを、平安神宮、知恩院を見たい人には後者の取得パターンを選べるようにしておけばよい。さらに、ユーザに経路を選択させる際に、高解像度で見たいオブジェクトも同時に指定させることにより、興味のある部分に多くのデータを割り当てることができるため、見た目の印象を向上させることができ、かつ、データ量は増えないので画像を生成する際のリアルタイム性も確保される。これは、第１実施形態、第２実施形態ともに適用可能である。また、この例に限らず、取得パターンは１以上であればいく通り設定してもよい。
【００５３】
ここでは、１つの経路に対して、複数の取得パターンを用意しておく方法を示したが、複数の経路パターンを用意しておき、経路自体も選択させることも可能である。図２１を例にとると、御所、二条城、東本願寺はウォークスルーしたいけれど、清水寺は見たくない場合、図２１（ａ）のような経路パターンが設定されていればよいし、もし、平安神宮、知恩院、清水寺をウォークスルーしたければ、図２１（ｂ）の経路パターンが設定されていれば、ユーザはそれらを選択することにより、不要なデータを取得する必要がないため、短い時間で目的を達することが可能である。もちろん、複数の経路のそれぞれにおいて、取得パターンを複数設定できることは言うまでもない。
【００５４】
図２２は、コンテンツ選択に関する処理の流れを示している。ステップＳ４００において、サーバに存在するコンテンツの種類の情報を取得し、ステップＳ４１０にてユーザにどのコンテンツを利用するかを選択させる。これはユーザが見ている体験システムの画面上にコンテンツリストを表示してそれを選択させることにより実現可能である。また、これに限らず、例えば、広域地図上に利用可能なコンテンツの代表的な画像やシンボルを配置し、それを選択する等の方法も利用可能である。コンテンツが選択されると、ステップＳ４２０においてそのコンテンツ上でウォークスルーをする経路パターンの選択を行う。図２３はユーザにコンテンツを選択させるＧＵＩ（グラフィカルユーザインタフェース）の一例を示している。この図では経路パターンの候補が２つ提示され、ユーザがどちらかを選択するようにしているが、３以上の経路パターンを表示して選択させるようにしてもよいし、１通りのパターンでもよい。１通りのパターンしか設定されていない場合は、ステップＳ４２０の処理をスキップすることも可能であり、コンテンツの情報に応じて適宜処理できる。また、複数の経路パターンのうち、優先的に選択するパターン（お勧めコースなど）を予め指定しておき、ユーザが一定時間内に選択処理を行わなかった場合には予め指定されたコースを選択するようにしておいてもよい。経路パターンが選択されると、ステップＳ４３０にてその経路パターンにおけるデータの取得順の選択を行う。これも経路選択パターンのときと同様に、名所など、ポイントとなる地名や建物名などを取得順のリストにして提示し、ユーザに選択させてもよいし、地図上に順路を示し、選択させるようにしてもよい。データの取得順に関しても、１通り以上設定されていればよい。また、優先的に選択する取得順（お勧めの見学の順番など）を予め指定しておき、ユーザが一定時間内に選択処理を行わなかった場合には予め指定された取得順を選択するようにしておいてもよい。次にステップＳ４４０において経路上に存在するオブジェクト情報を取得し、ステップＳ４５０にてオブジェクトの指定を行う。これらの処理は図２４（ｂ）のように地図上にオブジェクト情報を提示し、その地図上でオブジェクトをクリックすることによって選択する方法が簡便である。また、あらかじめ高解像度にするオブジェクトの組のパターンを作成しておき、そのリストから選択するようにしてもよい。ステップＳ４６０では、指定されたオブジェクトの解像度を決定する。第１実施形態のように、低解像度と高解像度の２種類を仮定する場合は、本ステップは必要ないが、隣接フレーム間の解像度の変化をなめらにするためには複数の解像度を設定することが必要となる。このような場合にはステップＳ４６０にて解像度の指定を行う。
【００５５】
解像度に関しては、画像の画素数を変化させる方法と、空間周波数を制御する方法（高周波成分をどれだけカットするか、あるいは、空間周波数領域上でどの程度粗く係数を量子化するかにより制御する）などがあるが、上述の例はどちらの場合にも適用可能であることは言うまでもない。
【００５６】
隣接フレーム間で解像度の変化を滑らかにするには、各フレームの解像度の変化を緩やかにすればよい。例えば、高解像度で表現したいオブジェクトが地図上でフレーム番号Ｎに最も近接していると仮定する。このフレームのデータを最高解像度で取得し、フレームＮ前後の数〜数十フレームの解像度を徐々に低下させていけば（図２５参照）、フレーム間の解像度の急激な変化を避けることができる。図２５では、各フレームはＭ段階の解像度を持つデータとして表現されている。○印は取得すべき各フレームの解像度を表している。ここでは、フレームＮ、Ｎ−１、Ｎ−２を解像度Ｍで設定し、フレームＮ−２、Ｎ−３、Ｎ＋２、Ｎ＋３を解像度Ｍ−１で、フレームＮ−４、Ｎ−５、Ｎ＋４、Ｎ＋５を解像度Ｍ−２で設定するというように、フレームＮを中心に離れるに従って徐々に解像度が低下するような例となっている。尚、ここに示した解像度の制御方法は一例であり、これに限るものではない。このように、指定されたオブジェクト付近のフレームを高解像度で取得し、その他は低解像度にすることにより、取得すべき全体のデータ量を低減することができる。
【００５７】
以上述べたように、経路パターンの選択、データ取得順の選択、高解像度で表示したいオブジェクトの指定をユーザに行わせることにより、見たいところを早期に高画質に見られるように動作させることができ、快適なウォークスルー環境を提供することができる。
【００５８】
【発明の効果】
以上述べたように、すべてのフレームのデータを複数の解像度で持っておき、ユーザが指定するオブジェクトが写っているフレーム、あるいは、経路に応じて設定されたフレームを高い解像度で取得し、それ以外は低い解像度のデータとして取得することにより、データ量を抑え、かつ、ユーザに高画質な映像体験を提供することができる。
【００５９】
さらに、複数の経路パターンや取得パターンを設定しておき、その経路上において高解像度で表示したいオブジェクトの指定と経路や取得パターンの選択をユーザに行わせることにより、目的の場所をより早い時期にウォークスルー可能にすることができ、より高画質で快適なウォークスルーが可能となる。
【図面の簡単な説明】
【図１】本実施形態におけるウォークスルーシステムの機能構成を説明するブロック図である。
【図２】本実施形態による画像再生装置１のハード構成を示すブロック図である。
【図３】本実施形態のウォークスルーシステムにおける、ジョイスティック操作を説明する図である。
【図４】本実施形態のウォークスルーシステムにおける、操作部４０におけるデータ・フローを示す図である。
【図５】本実施形態のウォークスルーシステムにおける、視点位置・視線方向決定部４５におけるデータ・フローを示す図である。
【図６】本実施形態のウォークスルーシステムにおける、対応画像決定部５０におけるデータ・フローを示す図である。
【図７】道と区分点を用いたパノラマ画像の地図データへの対応付けを説明する図である。
【図８】本実施形態のウォークスルーシステムにおける、画像生成部６５におけるデータ・フローを示す図である。
【図９】本実施形態による経路情報合成部３０の動作を説明するための図である。
【図１０】本実施形態による経路情報合成部３０の動作を説明するための図である。
【図１１】本実施形態による画像生成部４５で生成される画像の一例である。
【図１２】本実施形態による表示画像合成部６５で生成される画像の一例である。
【図１３】本実施形態における地図データ保持部２５に保存されているＩＤや地図との対応データの一例である。
【図１４】本実施形態における取得済経路情報保持部３５が保持する経路情報の一例である。
【図１５】本実施形態における処理の流れを示すフローチャートである。
【図１６】本実施形態におけるコンテンツ選択とダウンロード用プロセス起動の処理の流れを示すフローチャートである。
【図１７】本実施形態における体験システム用プロセスの処理に関するフローチャートである。
【図１８】本実施形態における画像表示処理の流れを表すフローチャートである。
【図１９】第２実施形態におけるタイル状に分割された地図の一例である。
【図２０】データの取得順を説明するための図である。
【図２１】経路パターンの選択を説明するための図である。
【図２２】コンテンツ選択に関する処理のフローチャートである。
【図２３】コンテンツ選択用のＧＵＩの一例を示す図である。
【図２４】コンテンツ選択画面およびオブジェクト指定用画面の一例を示す図である。
【図２５】データの解像度の制御方法の一例である。
【図１】
2004280250.tif 000003
【図２】
2004280250.tif 000004
【図３】
2004280250.tif 000005
【図４】
2004280250.tif 000006
【図５】
2004280250.tif 000007
【図６】
2004280250.tif 000008
【図７】
2004280250.tif 000009
【図８】
2004280250.tif 000010
【図９】
2004280250.tif 000011
【図１０】
2004280250.tif 000012
【図１１】
2004280250.tif 000013
【図１２】
2004280250.tif 000014
【図１３】
2004280250.tif 000015
【図１４】
2004280250.tif 000016
【図１５】
2004280250.tif 000017
【図１６】
2004280250.tif 000018
【図１７】
2004280250.tif 000019
【図１８】
2004280250.tif 000020
【図１９】
2004280250.tif 000021
【図２０】
2004280250.tif 000022
【図２１】
2004280250.tif 000023
【図２２】
2004280250.tif 000024
【図２３】
2004280250.tif 000025
【図２４】
2004280250.tif 000026
【図２５】
2004280250.tif 000027