(57)【要約】【課題】パノラマ実写画像を利用した仮想空間内のウォークスルーにおいて、使用者が走行経路を制限することを可能とする。【解決手段】複数のパノラマ実写画像を保持するパノラマ実写画像記憶手段と、移動可能経路情報を設定する移動可能経路設定手段と、前記移動可能経路情報を複数保持する移動可能経路記憶手段と、操作部と、前記移動可能経路記憶手段から所望の移動可能経路情報を選択する移動可能経路選択手段と、前記操作部から送られてきた操作情報と前記移動可能経路情報に基づいて、視点位置情報及び視線方向情報からなる視点情報を計算する視点計算手段と、前記視点情報に基づいて前記パノラマ実写画像から切出画像を生成し、前記移動可能経路情報に基づいて移動可能経路を表す経路図形を生成し、切出画像と経路図形を合成して表示画像を生成する画像生成手段と、前記表示画像を表示する画像表示部とを備える。【選択図】　　　図１
2004062755.tif 000002
【特許請求の範囲】
【請求項１】
複数のパノラマ実写画像を保持するパノラマ実写画像記憶手段と、
移動可能経路情報を設定する移動可能経路設定手段と、
前記移動可能経路情報を複数保持する移動可能経路記憶手段と、
使用者がその意図を反映させることのできる操作部と、
前記移動可能経路記憶手段から所望の移動可能経路情報を選択する移動可能経路選択手段と、
前記操作部から送られてきた操作情報と前記移動可能経路情報に基づいて、視点位置情報及び視線方向情報からなる視点情報を計算する視点計算手段と、
前記視点情報に基づいて前記パノラマ実写画像から切出画像を生成して表示画像を生成する画像生成手段と、
前記表示画像を表示する画像表示部とを備えることを特徴とする画像提示装置。
【請求項２】
前記パノラマ実写画像の撮影時の撮影経路情報を保持する撮影経路記憶手段をさらに備え、前記移動可能経路設定手段は、撮影経路情報の全部または一部を抽出して移動可能経路情報を設定することを特徴とする請求項１に記載の画像提示装置。
【請求項３】
前記移動可能経路設定手段は、既に設定されている前記移動可能経路情報の全部または一部を抽出して新たな移動可能経路情報を設定することを特徴とする請求項１もしくは請求項２に記載の画像提示装置。
【請求項４】
前記移動可能経路設定手段は、前記操作部の操作によってウォークスルーが行われた経路の全部または一部を移動可能経路情報に設定することを特徴とする請求項１乃至請求項３のいずれかに記載の画像提示装置。
【請求項５】
前記移動可能経路設定手段は、前記撮影経路情報に基づいて撮影経路を表す経路図形を生成し、経路図形の全部または一部を選択して移動可能経路情報を設定することを特徴とする請求項２に記載の画像提示装置。
【請求項６】
前記移動可能経路設定手段は、既に設定されている前記移動可能経路情報に基づいて移動可能経路を表す経路図形を生成し、経路図形の全部または一部を選択して新たな移動可能経路情報を設定することを特徴とする請求項１乃至請求項３のいずれかに記載の画像提示装置。
【請求項７】
前記撮影経路記憶手段は経路毎の属性情報をさらに保持し、前記移動可能経路設定手段は、前記撮影経路記憶手段に保持されている撮影経路情報および属性情報に基づいて自動処理で移動可能経路情報を設定することを特徴とする請求項２に記載の画像提示装置。
【請求項８】
前記移動可能経路選択手段は、ウォークスルー中に前記移動可能経路記憶手段から所望の移動可能経路情報を選択することを特徴とする請求項１乃至請求項７のいずれかに記載の画像提示装置。
【請求項９】
前記移動可能経路選択手段は、前記視点情報に基づいて、選択できる前記移動可能経路情報を限定することを特徴とする請求項１乃至請求項８のいずれかに記載の画像提示装置。
【請求項１０】
前記画像生成手段は、前記移動可能経路情報に基づいて移動可能経路を表す経路図形を生成し、切出画像と経路図形を合成して表示画像を生成することを特徴とする請求項１乃至請求項９のいずれかに記載の画像提示装置。
【請求項１１】
地図画像を保持する地図画像記憶手段をさらに備え、前記画像生成手段は、前記切出画像と地図画像と前記経路図形を合成して表示画像を生成することを特徴とする請求項１０に記載の画像提示装置。
【請求項１２】
進行不可能経路計算手段と地図情報を保持する地図情報記憶手段をさらに備え、進行不可能経路計算手段は、前記視点情報と地図情報と前記移動可能経路情報に基づいて進行不可能経路情報を計算することを特徴とする請求項１乃至請求項１１のいずれかに記載の画像提示装置。
【請求項１３】
前記操作部は、その操作によって使用者が進行不可能な経路へ進行しようとする時に、進行を妨げる方向に力を発生することを特徴とする請求項１２に記載の画像提示装置。
【請求項１４】
音を発生する音発生部をさらに備え、音発生部は、前記操作部の操作によって使用者が進行不可能な経路へ進行しようとする時に、警告の音を発生することを特徴とする請求項１２もしくは請求項１３に記載の画像提示装置。
【請求項１５】
操作部を用いた使用者の指示を入力し、
前記入力した指示と移動可能経路情報に基づいて視点位置情報及び視線方向情報からなる視点情報を計算し、
予め保持されている複数のパノラマ実写画像から、視点情報に基づいて該パノラマ実写画像から切出画像を生成する情報処理方法であり、
前記移動可能経路情報は編集することが可能であることを特徴とする情報処理方法。
【請求項１６】
請求項１５記載の情報処理方法を実現するためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、パノラマ実写画像を利用したウォークスルーシステムの使用者が移動可能経路を切り替えるかまたは設定することを可能とするものである。
【０００２】
【従来の技術】
移動体に搭載された撮影装置によって現実空間を撮影し、撮影された実写画像データをもとに、撮影した現実空間を計算機を用いて仮想空間として表現する試みが提案されている（例えば遠藤、片山、田村、廣瀬、渡辺、谷川：“移動車輌搭載カメラを用いた都市空間の電脳映像化について”（信学ソサイエティ，ＰＡ−３−４，ｐｐ．２７６−２７７，１９９７年）、または廣瀬、渡辺、谷川、遠藤、片山、田村：“移動車輌搭載カメラを用いた電脳映像都市空間の構築（２）−実写画像を用いた広域仮想空間の生成−”（日本バーチャルリアリティ学会第２回大会論文集，ｐｐ．６７−７０，１９９７年）などを参照）。
【０００３】
移動体に搭載された撮影装置によって撮影された実写画像データをもとに、撮影した現実空間を仮想空間として表現する手法としては、実写画像データをもとに現実空間の幾何形状モデルを再現し、従来のＣＧ技術で表現する手法が挙げられるが、モデルの正確性や精密度、写実性などの点で限界がある。一方、モデルを用いた再現を行わずに、実写画像を用いて仮想空間を表現するＩｍａｇｅ−Ｂａｓｅｄ　Ｒｅｎｄｅｒｉｎｇ（ＩＢＲ）技術が近年注目を集めている。ＩＢＲ技術は、複数の実写画像をもとに、任意の視点から見た画像を生成する技術である。ＩＢＲ技術は実写画像に基づいているために、写実的な仮想空間の表現が可能である。
【０００４】
このようなＩＢＲ技術を用いてウォークスルー可能な仮想空間を構築するためには、使用者の仮想空間内の位置に応じた画像の生成・呈示を行う必要がある。そのため、この種のシステムにおいては、実写画像データの各フレームと仮想空間内の位置とを対応付けて保存しておき、使用者の仮想空間における位置と視線方向に基づいて対応するフレームを取得し、これを再生する。
【０００５】
現実空間内の位置データを得る手法としては、カー・ナビゲーション・システムなどにも用いられているＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）に代表される人工衛星を用いた測位システムを利用するのが一般的である。ＧＰＳなどから得られる位置データと、実写画像データを対応付ける手法としては、タイムコードを用いて対応付ける手法が提案されている（特開平１１−１６８７５４）。この手法では、位置データに含まれる時刻データと、実写画像データの各フレームに付加したタイムコードとを対応付けることで、実写画像データの各フレームと位置データとの対応付けを行う。
【０００６】
このような仮想空間内のウォークスルーにおいては、使用者が各視点位置で所望の方向を見ることができるようにする。このため、各視点位置の画像を、再生時の画角よりも広い範囲をカバーするパノラマ実写画像で保存しておき、使用者の仮想空間における視点位置と視線方向とに基づいてパノラマ実写画像から再生すべき部分画像を切り出し、これを表示することが考えられる。
【０００７】
【発明が解決しようとする課題】
しかしながら、このような仮想空間内をウォークスルーする際に移動可能な経路は予め設計者が設定した経路に固定されており、その経路内のウォークスルーは制限されていなかった。そのため、たとえば屋外空間と屋内空間の両方が撮影されていて、両方の経路が移動可能な経路に含まれていた場合に、屋外のみのウォークスルーを希望する使用者が誤って屋内に入ってしまうような場合があった。また、大通りのみのウォークスルーを希望する使用者が誤って狭い路地に入ってしまうような場合もあった。
【０００８】
本発明は以上の事情を鑑みてなされたものであり、パノラマ実写画像を利用した仮想空間内のウォークスルーにおいて、使用者が移動可能な経路を切り替えるかまたは設定して、走行経路を制限可能とすることを目的とする。
【０００９】
また、本発明の他の目的は、使用者が移動不可能な経路を容易に判別可能とすることを目的とする。
【００１０】
【課題を解決するための手段】
上記の目的の少なくとも一つを達成するために、たとえば本発明の画像提示装置は以下の構成を有する。
【００１１】
本願請求項１記載の発明は、複数のパノラマ実写画像を保持するパノラマ実写画像記憶手段と、移動可能経路情報を設定する移動可能経路設定手段と、前記移動可能経路情報を複数保持する移動可能経路記憶手段と、使用者がその意図を反映させることのできる操作部と、前記移動可能経路記憶手段から所望の移動可能経路情報を選択する移動可能経路選択手段と、前記操作部から送られてきた操作情報と前記移動可能経路情報に基づいて、視点位置情報及び視線方向情報からなる視点情報を計算する視点計算手段と、前記視点情報に基づいて前記パノラマ実写画像から切出画像を生成して表示画像を生成する画像生成手段と、前記表示画像を表示する画像表示部とを備えることを特徴とする。
【００１２】
本願請求項１０記載の発明は、さらに、前記画像生成手段は、前記移動可能経路情報に基づいて移動可能経路を表す経路図形を生成し、切出画像と経路図形を合成して表示画像を生成することを特徴とする。
【００１３】
本願請求項１５記載の発明は、操作部を用いた使用者の指示を入力し、前記入力した指示と移動可能経路情報に基づいて視点位置情報及び視線方向情報からなる視点情報を計算し、予め保持されている複数のパノラマ実写画像から、視点情報に基づいて該パノラマ実写画像から切出画像を生成する情報処理方法であり、前記移動可能経路情報は編集することが可能であることを特徴とする。
【００１４】
【発明の実施の形態】
以下、添付図面に従って、本発明の好適な実施形態について説明する。
【００１５】
［第１の実施形態］
本実施形態では、パノラマ実写画像を利用したウォークスルーシステムの使用者が移動可能な経路を切り替えることができる画像提示装置を説明する。
【００１６】
図１は本発明の第１の実施形態による画像提示装置の概略構成を示すブロック図である。
【００１７】
１はパノラマ実写画像記憶手段であり、道路などの経路に沿った複数の地点におけるパノラマ実写画像を保持する。パノラマ実写画像は、たとえばハードディスクやテープやメモリなどの媒体に保持される。そしてパノラマ実写画像群には、たとえば先頭から順にフレーム番号が振られている。各パノラマ実写画像は複数の分割画像に分割して保持しておいてもよい。パノラマ実写画像記憶手段１に保持されるパノラマ実写画像は、たとえば全周方向が撮影できるように配置した一台以上のビデオカメラなどによって道路などの経路に沿って撮影した映像から合成され、たとえば撮影地点の位置情報および姿勢情報と関連付けられたものである。
【００１８】
２は撮影経路記憶手段であり、パノラマ実写画像記憶手段１に記憶されているパノラマ実写画像群の撮影時の経路（以後、撮影経路と呼ぶ）を表す撮影経路情報を保持する。撮影経路情報は、たとえばハードディスクやテープやメモリなどの媒体に保持される。撮影経路情報は、たとえば、撮影経路を区分する点（以後、分岐点と呼ぶ）と分岐点を結ぶ線分（以後、経路と呼ぶ）からなる。このとき、分岐点、経路には、それぞれを唯一に特定できるＩＤが付けられている。なお、分岐点を結ぶ線分とは、２つの分岐点の間、すなわち区間を表す直線もしくは曲線である。
【００１９】
分岐点や経路の記述に関しては、種々の方法が考えられるが、本実施形態では、図２Ａ、Ｂに示すような形態で分岐点や経路が記述されているものとする。図２Ａは分岐点の記述例を説明する図である。また、図２Ｂは、経路の記述例を説明する図である。図２Ａに示されるように、分岐点リスト２００において、各分岐点について、それを特定するための分岐点ＩＤ２０１とその位置を表す座標データ２０２と分岐点に付与された名称２０３とが記述される。なお、名称データは付与されてもされなくてもかまわない。また、図２Ｂに示されるように、経路リスト２１０においては、各経路について、経路ＩＤ２１１と、その経路の両端の分岐点を示す開始分岐点２１２、終了分岐点２１３、及び経路の名称２１４が記述される。なお、名称データは付与されてもされなくてもかまわない。なお、開始フレーム番号２１５、終了フレーム番号２１６は、パノラマ実写画像に関連付けられた撮影地点の位置姿勢情報などに基づいて特定された、それぞれ開始分岐点２１２と終了分岐点２１３に対応するパノラマ実写画像のフレーム番号である。
【００２０】
なお、分岐点とフレーム番号との対応付けは、撮影地点の位置姿勢情報などに従って自動的に行われるものとしたが、使用者が手動で対応付けをすることも可能である。この場合、分岐点に挟まれたパノラマ実写画像群の各パノラマ実写画像の位置情報を、例えば、当該分岐点を結ぶ線分上に等間隔に割り当てるようにすれば、撮影地点の位置姿勢情報を用いずに対応付けデータを生成、保持することが可能である。
【００２１】
なお、撮影経路情報には、各経路の属性情報がさらに記述されていてもよい。属性情報には、たとえば撮影経路の道幅や、撮影経路が屋内と屋外のどちらであるかという情報などを記述することができる。
【００２２】
３は移動可能経路設定手段であり、撮影経路記憶手段２に保持されている撮影経路情報に基づいて移動可能な経路を設定して、移動可能経路記憶手段４に送出する。移動可能経路情報は、たとえば撮影経路情報の全部または一部を抽出することによって設定される。移動可能経路情報には、たとえば図２Ａ、Ｂに示すような形態で分岐点や経路が記述される。
【００２３】
移動可能経路情報の抽出は、たとえば撮影経路情報を表す上述のような形態のデータをテキストエディタなどで編集することにより実現することができる。それ以外にも、たとえばさらに不図示の地図画像記憶手段を備え、地図画像上に撮影経路を表す経路図形を合成し、その画像上で移動可能経路として設定したい部分図形をたとえばマウスなどの装置で指定することにより、移動可能経路情報を抽出することも可能である。なお、撮影経路情報に各経路の属性情報が記述されている場合には、属性情報に基づいて自動処理で移動可能経路情報を抽出することも可能である。
【００２４】
また、既に移動可能経路記憶手段４に保持されている移動可能経路情報を基にして新たな移動可能経路情報を設定することも可能である。
【００２５】
４は移動可能経路記憶手段であり、移動可能経路設定手段３で設定された移動可能経路情報を複数保持する。移動可能経路情報は、たとえばハードディスクやテープやメモリなどの媒体に保持される。
【００２６】
移動可能経路情報の記述に関しては、種々の方法が考えられるが、本実施形態では、たとえば図１０に示すような形態で記述されているものとする。図１０に示すように、移動可能経路情報リスト１０００において、各移動可能経路情報について、それを特定するための移動可能経路情報ＩＤ１００１と、それを構成する経路ＩＤ１００２と、移動可能経路情報に付与された名称１００３とが記述される。なお、名称データは付与されてもされなくてもかまわない。
【００２７】
５は操作部であり、たとえばジョイスティックからなる。操作部５の操作は使用者により手動で行われ、使用者がその意図を反映させることができる。操作部５の操作により、使用する移動可能経路情報の選択と、画像生成の基となるパノラマ実写画像の指定と、そのパノラマ実写画像から切り出す部分の指定などが行われる。操作部５の操作情報は移動可能経路選択手段６および視点計算手段７に送出される。なお、操作部５はジョイスティックに限らず、使用する移動可能経路情報の選択と、画像生成の基となるパノラマ実写画像の指定と、そのパノラマ実写画像から切り出す部分の指定などができる装置であれば何でもよく、たとえばマウスやトラックボールやキーボードなどで構成してもよい。
【００２８】
６は移動可能経路選択手段であり、移動可能経路記憶手段４に保持されている複数の移動可能経路情報から所望の移動可能経路情報を選択する。たとえば操作部５からボタン押下の操作情報が送られてきたら、そのボタンの番号に対応する移動可能経路情報を選択する。または、操作部５からボタン押下の操作情報が送られてきたら移動可能経路情報の一覧を表示し、別のボタン押下の操作情報が送られてきたら、ボタン押下の回数に応じた移動可能経路情報を選択するようにすることもできる。なお、さらに操作部５とは別の操作部を持ち、それを操作することによって、たとえば上述と同様の方法で、複数の移動可能経路情報から所望の移動可能経路情報を選択するようにすることも可能である。
【００２９】
また、たとえば操作部５のボタンが押されていない場合にはデフォルトの移動可能経路情報を選択し、ボタンが押されている間だけそのボタンの番号に対応する移動可能経路情報に切り替えるようにすることもできる。たとえば、屋外空間と屋内空間の両方が撮影されていた場合に、操作部５のＡというボタンが押されている間は屋外空間のみのウォークスルーを可能とし、操作部５のＢというボタンが押されている間は屋内空間のみのウォークスルーを可能とし、一方でどのボタンも押されていない場合には屋外空間と屋内空間の両方ともウォークスルー可能とすることができる。
【００３０】
また、視点計算手段７によって計算される視点情報に基づいて、選択可能な移動可能経路情報を限定することも可能である。たとえば、複数の移動可能経路情報の中から，現在の視点がその経路上に存在するような移動可能経路情報のみを選択可能とすれば、移動可能経路の切り替え時に、視点が切り替え前と離れた位置に設定されてしまうようなことを防ぐことができる。
【００３１】
７は視点計算手段であり、操作部５から受け取った操作情報と移動可能経路選択手段６によって選択された移動可能経路情報に基づいて、視点位置情報及び視線方向情報からなる視点情報を計算し、画像生成手段８に送出する。ここで視点位置情報は、たとえば移動可能経路情報を基に算出できる各パノラマ実写画像の位置情報のいずれかと一致するようにすることができる。その場合には、視点位置を移動可能経路上に設定することが可能となる。なお、その場合には視点位置情報をパノラマ実写画像のフレーム番号によって表すことも可能である。
【００３２】
８は画像生成手段であり、視点計算手段７から送られてきた視点情報に応じて、画像生成の基となるパノラマ実写画像をパノラマ実写画像記憶手段１から取得し、視点情報に応じた切出画像を生成する。切出画像の生成においては、たとえば図３のような処理が行われる。まず画像生成の基となるパノラマ実写画像をパノラマ実写画像記憶手段１から取得する。その際、視線方向情報を利用して、画像生成に必要な分割画像のみを取得してもよい。次に、視線方向情報に応じて、全周パノラマ画像または分割画像から必要な部分画像を切り出す。そして、切り出した部分画像を円筒面にテクスチャマッピングし、透視変換処理を施すことによって、視点情報に応じた中心射影画像を生成する。
【００３３】
さらに画像生成手段８では、移動可能経路選択手段６によって選択された移動可能経路情報に基づいて、移動可能経路を表す経路図形を生成し、切出画像と合成して表示画像を生成する。ここで、さらに不図示の地図画像記憶手段を備え、図４に示すように地図画像上に移動可能な経路を表す経路図形を合成し、さらに上述の切出画像と合成して使用者に提示してもよい。
【００３４】
ここで、移動可能経路選択手段６から送られてきた移動可能経路情報と視点計算手段７から送られてきた視点情報に基づいて、経路図形の一部分である、次の分岐点における進行予定経路を表す部分図形の色などの属性を変えることにより、進行予定経路が容易に認識できるようにすることも可能である。また図５に示すように、さらに経路図形の一部分である、現在進行している経路を表す部分図形の色などの属性を変えることにより、現在の進行経路が容易に認識できるようにすることも可能である。さらに、経路図形上に現在の視点位置と視線方向を表す矢印などの図形を描画しても良い。また、撮影経路を表す経路図形を上述の色などの属性とは異なる属性で生成して、上述の表示画像と合成することも可能である。
【００３５】
また、使用者の視線方向情報に応じて経路図形全体を回転させることにより、進行方向が容易に認識できるようにすることも可能である。なお、経路図形は直線などによる構成に限らず、進行可能経路または進行予定経路または撮影経路を表す図形であれば何でもよい。また、経路図形は画像や文字などで置き換えることも可能である。
【００３６】
９は画像表示部であり、たとえばプロジェクタおよびスクリーンから構成され、画像生成手段８で生成された表示画像を取得して表示する。なお、画像表示部９はプロジェクタおよびスクリーンに限らず、画像を表示することができる媒体であれば何でもよく、たとえばＣＲＴや液晶モニタでもよい。また、画像表示部９は複数備えられていてもよく、その場合には使用者は広視野の画像を観察することが可能になる。そしてその場合には、画像生成手段８およびパノラマ実写画像記憶手段１の個数はたとえば画像表示部９の個数と同数となる。ここで、複数備えられた画像表示部の一部または全部に移動可能経路を表す経路図形を表示してもよい。
【００３７】
以上のような構成を備えた第１の実施形態の制御手順について、以下説明する。図６は本発明の画像提示装置における処理の手順を説明するフローチャートである。
【００３８】
ステップＳ６０１ではデータ準備を行う。ステップＳ６０１ではパノラマ実写画像記憶手段１に格納するパノラマ実写画像および撮影経路記憶手段２に格納する撮影経路情報を用意する。また、移動可能経路設定手段３が、撮影経路記憶手段２に格納された撮影経路情報に基づいて移動可能経路情報を設定し、移動可能経路記憶手段６に格納する。
【００３９】
データ準備後、ステップＳ６０２でシステムが起動される。ステップＳ６０３で操作部５が操作され、操作情報が移動可能経路選択手段６および視点計算手段７に送られる。
【００４０】
次にステップＳ６０４において、操作部５の操作によって移動可能経路情報の選択が指示されていた場合には、移動可能経路選択手段６が移動可能経路記憶手段４に保持されている複数の移動可能経路情報から１つの移動可能経路情報を選択する。
【００４１】
次にステップＳ６０５において、視点計算手段７が操作部５から受け取った操作情報と移動可能経路選択手段６によって選択された移動可能経路情報に基づいて視点情報を計算し、計算した視点情報を画像生成手段８に送出する。
【００４２】
次にステップＳ６０６において、画像生成手段８が視点計算手段７から送られてきた視点情報に応じて、画像生成の基となるパノラマ実写画像をパノラマ実写画像記憶手段５から取得し、視点情報に応じた切出画像を生成する。さらに、移動可能経路選択手段６から送られてきた移動可能経路情報に基づいて、移動可能な経路を表す経路図形を生成し、切出画像と合成して表示画像を生成する。
【００４３】
次にステップＳ６０７において、画像生成手段８で生成した表示画像を画像表示部９に表示する。
【００４４】
その後ステップＳ６０８においてシステムを終了するかどうかがチェックされ、システムを終了させる場合にはステップＳ６０９でシステムを終了させ、終了させない場合はステップＳ６０３に戻り、上述の処理を繰り返す。
【００４５】
なお、本実施形態では移動可能な経路を表す経路図形を切出画像に合成する場合を示したが、これに限定されることはなく、移動可能な経路を表す経路図形を切出画像と合成せずに、画像表示部９とは別の表示部に表示してもよい。
【００４６】
また、経路図形の表示位置や大きさを操作できるようにしてもよい。さらに、経路図形の表示／非表示を切り替えられるようにしてもよい。
【００４７】
以上のように、第１の実施形態によれば、パノラマ実写画像を利用したウォークスルーシステムの使用者が移動可能な経路を任意に切り替えることができる。そのため、たとえば屋外空間と屋内空間の両方が撮影経路に含まれていた場合に、屋外のみを移動可能な経路として選択すれば、屋外のみのウォークスルーを希望する使用者が誤って屋内に入ってしまうような場合を防ぐことができる。
【００４８】
［第２の実施形態］
本実施形態では、使用者が仮想空間内をウォークスルーしながら移動可能な経路を設定することができる画像提示装置を説明する。
【００４９】
図７は第２の実施形態における画像提示装置の概略構成を示すブロック図である。第１の実施形態による画像提示装置（図１）と同様の構成には同一の参照番号を付して、同様の機能を有する構成に関してはその詳細な説明を省略する。第２の実施形態では、第１の実施形態による画像提示装置の移動可能経路選択手段６を持たない点が異なる。また、移動可能経路設定手段３と操作部５と視点計算手段７と画像生成手段８の機能が第１の実施形態とは異なる。
【００５０】
移動可能経路設定手段３では、操作部５の操作によってウォークスルーが行われた経路、すなわち視点計算手段７によって計算された視点の軌跡を移動可能経路情報に設定して、移動可能経路記憶手段４と画像生成手段８に送出する。その際に、たとえば操作部５のボタンが押されている間だけ、ウォークスルーが行われた経路を移動可能経路情報に設定することも可能である。また、たとえば操作部５のボタンが押されている間だけ、ウォークスルーが行われた経路を移動可能経路情報から除去することも可能である。
【００５１】
操作部５では、その操作により、画像生成の基となるパノラマ実写画像の指定と、そのパノラマ実写画像から切り出す部分の指定、そして移動可能経路情報の設定などが行われる。操作部５の操作情報は視点計算手段７および移動可能経路設定手段３に送出される。
【００５２】
視点計算手段７では、操作部５から受け取った操作情報と撮影経路記憶手段２に保持されている撮影経路情報に基づいて視点情報を計算し、移動可能経路設定手段３と画像生成手段８に送出する。ここで視点位置情報は、たとえば撮影経路情報から算出できる各パノラマ実写画像の位置情報のいずれかと一致するようにすることができる。その場合には、視点位置を撮影経路上に設定することが可能となる。なお、視点位置情報をパノラマ実写画像のフレーム番号によって表すことも可能である。
【００５３】
画像生成手段８では、視点計算手段７から送られてきた視点情報に応じて、画像生成の基となるパノラマ実写画像をパノラマ実写画像記憶手段１から取得し、視点情報に応じた切出画像を生成し、また撮影経路記憶手段２に保持されている撮影経路情報に基づいて、撮影経路を表す経路図形を生成し、切出画像と合成して表示画像を生成する。さらに、移動可能経路設定手段３で設定された移動可能経路情報に基づいて、移動可能経路を表す経路図形を、撮影経路を表す経路図形の色などの属性とは異なる属性で生成して、上述の表示画像に合成する。この移動可能経路を表す経路図形は、ウォークスルーが行われるにつれて変化していく。
【００５４】
以上のような構成を備えた第２の実施形態の制御手順について、以下説明する。図８は本発明の画像提示装置における処理の手順を説明するフローチャートである。
【００５５】
ステップＳ８０１ではデータ準備を行う。ステップＳ８０１ではパノラマ実写画像記憶手段１に格納するパノラマ実写画像および撮影経路記憶手段２に格納する撮影経路情報を用意する。
【００５６】
データ準備後、ステップＳ８０２でシステムが起動される。ステップＳ８０３で操作部５が操作され、操作情報が視点計算手段７および移動可能経路設定手段３に送られる。
【００５７】
次にステップＳ８０４において、視点計算手段７が操作部５から受け取った操作情報と撮影経路記憶手段２に保持されている撮影経路情報に基づいて視点情報を計算し、計算した視点情報を移動可能経路設定手段３と画像生成手段８に送出する。
【００５８】
次にステップＳ８０５において、移動可能経路設定手段３が、操作部５の操作によって視点移動が行われた経路を移動可能経路情報に設定して、移動可能経路記憶手段４と画像生成手段８に送出する。
【００５９】
ここでウォークスルー中に移動可能経路情報を変更する場合について図１１を参考にして説明する。たとえば移動可能経路情報Ｍ１が選択されているときに、操作部５を操作して移動可能経路情報Ｍ２への変更を指示すると、移動可能経路情報Ｍ２に対応する経路ＩＤが移動可能経路情報リスト１０００に基づいて求められる。そして、求められた経路ＩＤで示される経路のみに沿ってウォークスルーが行われることになる。ここで、移動可能経路情報を表す経路図形は、各経路の開始分岐点と終了分岐点（図２Ｂに示す経路リスト２１０に基づいて求められる）を結ぶ線分の集まりとして表される。なお、各分岐点の座標は、図２Ａに示す分岐点リスト２００に基づいて求められる。
【００６０】
次にステップＳ８０６において、画像生成手段８が視点計算手段７から送られてきた視点情報に応じて、画像生成の基となるパノラマ実写画像をパノラマ実写画像記憶手段１から取得し、視点情報に応じた切出画像を生成する。また、撮影経路記憶手段２に保持されている撮影経路情報に基づいて、撮影経路を表す経路図形を生成する。さらに、移動可能経路設定手段３から送られてきた移動可能経路情報に基づいて、移動可能な経路を表す経路図形を生成し、切出画像と撮影経路と合成して表示画像を生成する。
【００６１】
次にステップＳ８０７において、画像生成手段８で生成した表示画像を画像表示部９に表示する。
【００６２】
その後ステップＳ８０８においてシステムを終了するかどうかがチェックされ、システムを終了させる場合にはステップＳ８０９でシステムを終了させ、終了させない場合はステップＳ８０３に戻り、上述の処理を繰り返す。
【００６３】
なお、本実施形態では撮影経路記憶手段２に保持されている撮影経路情報に基づいて移動可能経路情報を設定する場合を示したが、これに限定されることはなく、既に移動可能経路記憶手段４に保持されている移動可能経路情報を基にして新たな移動可能経路情報を設定することも可能である。
【００６４】
また、本実施形態では移動可能な経路を表す経路図形を切出画像に合成する場合を示したが、これに限定されることはなく、移動可能な経路を表す経路図形を切出画像と合成せずに、画像表示部９とは別の表示部に表示してもよい。
【００６５】
また、経路図形の表示位置や大きさを操作できるようにしてもよい。さらに、経路図形の表示／非表示を切り替えられるようにしてもよい。
【００６６】
また、さらに不図示の地図画像記憶手段を備え、パノラマ実写画像上に地図画像を合成し、さらに地図画像上に移動可能な経路を表す経路図形を合成して、使用者に提示してもよい。
【００６７】
以上のように、第２の実施形態によれば、パノラマ実写画像を利用したウォークスルーシステムの使用者が、ウォークスルーしながら移動可能な経路を設定することができる。そのため、たとえば景色が美しい経路のみを移動可能な経路として設定することが可能となる。
【００６８】
［第３の実施形態］
本実施形態では、使用者が仮想空間内のウォークスルー中に移動不可能な経路を容易に判別することができる画像提示装置を説明する。
【００６９】
第３の実施形態における画像提示装置の概略構成を示すブロック図は図１と同様であり、不図示の進行不可能経路計算手段と不図示の地図情報記憶手段をさらに備えている。なお、操作部５の機能が第１の実施形態とは異なる。
【００７０】
地図情報記憶手段では、パノラマ実写画像に関連付けられた撮影地点の位置姿勢情報などに基づいて範囲が決定された地図情報を保持する。地図情報は、たとえばハードディスクやテープやメモリなどの媒体に保持される。
【００７１】
進行不可能経路計算手段では、進行不可能な経路を表す進行不可能経路情報を計算する。まず、視点計算手段７によって計算された視点情報に基づいて次の分岐点を求める。次に、視点情報および地図情報記憶手段に保持されている地図情報から、次の分岐点における全ての進行経路候補を表す全進行経路情報を求める。一方、視点情報および移動可能経路選択手段６によって選択された移動可能経路情報を基に、次の分岐点における進行可能経路情報を求める。全進行経路情報から進行可能経路情報を除いたものが進行不可能経路情報となる。なお、全進行経路情報および進行可能経路情報および進行不可能経路情報には、たとえば図２Ａ、Ｂに示すような形態で分岐点や経路が記述される。その場合、図２Ａの分岐点ＩＤ２０１は次の分岐点を表すＩＤのみとなり、また図２Ｂの経路ＩＤ２１２は、対応する開始分岐点２１２または終了分岐点２１３のいずれかが次の分岐点を表すＩＤとなるもののみとなる。
【００７２】
操作部５では、その操作により、移動可能経路情報の選択と、画像生成の基となるパノラマ実写画像の指定と、そのパノラマ実写画像から切り出す部分の指定などが行われる。さらに操作部５は、使用者が分岐点で進行不可能な経路に進行しようとした時に、進行を妨げる方向に力を発生して使用者に移動不可能な経路を判別させる。
【００７３】
ここで、操作部５が発生する反力の大きさを決める方法について説明する。まず視線方向情報から視線方向ベクトルを求める。また進行不可能経路情報から進行不可能方向ベクトルを求める。そして、二つのベクトルのなす角度θを求め、角度が小さいほど大きな反力を発生するようにする。反力の大きさＦは、たとえば
Ｆ＝Ｆｍａｘ・ｃｏｓ（ｋθ）　（０°≦ｋθ≦９０°）
Ｆ＝０　（９０°＜ｋθ≦１８０°）
と定めればよい。ここでＦｍａｘは最大の反力とする。またｋは反力が発生する角度の範囲を定めるパラメータとする。たとえばｋ＝２の場合には０°≦θ≦４５°の範囲で反力が発生することになる。この時、反力は視線方向ベクトルが進行不可能方向ベクトルから離れるような方向に作用させればよい。ここで、視線方向情報がたとえば操作部５の把持部を捻ることによって指定される場合には、反力は把持部の捻り方向に発生させればよい。
【００７４】
なお、次の分岐点における進行不可能経路が複数存在する場合には、夫々の進行不可能方向ベクトルを求め、夫々に対して上述のような方法で反力の大きさを求め、それらをたとえば足し合わせればよい。
【００７５】
また、視線方向ベクトルと次の分岐点における進行不可能方向ベクトルのなす角が小さい場合に、その分岐点に近付きにくいように反力を発生させることも可能である。視点位置情報がたとえば操作部５の把持部を前後に倒すことによって指定される場合には、反力は把持部を前後に倒す方向に発生させればよい。この時、反力は視点位置が分岐点位置から離れるような方向に作用させればよい。
【００７６】
なお、上述のような反力の大きさは分岐点に近付くほど大きくすることも可能である。
【００７７】
以上のような構成を備えた第３の実施形態の制御手順について、以下説明する。図９は本発明の画像提示装置における処理の手順を説明するフローチャートである。
【００７８】
なお、第１の実施形態に示したフローチャート（図６）と同様の処理を行うステップについては同一の参照番号を付し、詳細な説明を省略する。以下では第１の実施形態と第３の実施形態で異なる部分の説明を行う。
【００７９】
第３の実施形態でも、第１の実施形態と同様、ステップＳ６０１でデータ準備を行う。ステップＳ６０１では、パノラマ実写画像記憶手段１に格納するパノラマ実写画像および撮影経路記憶手段２に格納する撮影経路情報および不図示の地図情報記憶手段に格納する地図情報を用意する。
【００８０】
また第３の実施形態では、ステップＳ６０７に続いてステップＳ９０１で移動不可能経路情報の計算を行う。移動不可能経路情報は視点情報および地図情報および移動可能経路情報から求めることができる。
【００８１】
次にステップＳ９０２において、操作部５に反力を発生させる。反力の大きさは視点情報および進行不可能経路情報から求めることができる。
【００８２】
ステップＳ９０２に続いてステップＳ６０８においてシステムを終了するかどうかがチェックされ、システムを終了させる場合にはステップＳ６０９でシステムを終了させ、終了させない場合はステップＳ６０３に戻り、処理を繰り返す。
【００８３】
なお本実施形態では、使用者が分岐点で進行不可能な経路に進行しようとした時に反力を発生させる場合を示したが、これに限定されることはなく、あまり進行させたくない経路を設定しておき、そのような経路に進行しようとした場合に反力を発生させることもできる。この場合、そのような経路に誤って進行してしまうことを防ぐことができる。一方で、そのような経路に敢えて進行することもできる。
【００８４】
また本実施形態では、反力を発生して使用者に移動不可能な経路を判別させる場合を示したが、これに限定されることはなく、不図示の音声発生部によって警告音を発生させてもよい。その他にも、操作部５を振動子などによって振動させたり、画像表示部９に表示する画像を点滅させたりすることによって、使用者に移動不可能な経路を判別させることも可能である。
【００８５】
以上のように、第３の実施形態によれば、パノラマ実写画像を利用したウォークスルーシステムの使用者が、ウォークスルー中に移動不可能な経路を容易に判別することができる。その結果、使用者を進行可能な方向に誘導することが可能となる、また、進行させたくない経路に進行しにくくすることも可能となる。
【００８６】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８８】
【発明の効果】
本発明によれば、パノラマ実写画像を利用した仮想空間内のウォークスルーにおいて、使用者が移動可能な経路を切り替えるかまたは設定して、走行経路を制限可能とすることができる。
【００８９】
また、使用者が移動不可能な経路を容易に判別可能とすることができる。
【図面の簡単な説明】
【図１】第１の実施形態における処理のブロック図を示す。
【図２】Ａは第１の実施形態における、分岐点の記述例を説明する図である。
Ｂは第１の実施形態における、経路の記述例を説明する図である。
【図３】第１の実施形態における、視点に応じた部分画像をパノラマ画像から切り出し、円筒面にテクスチャマッピングして透視変換することで、パースペクティブが正しい画像を生成する方法を説明する図である。
【図４】第１の実施形態における、パノラマ実写画像から生成した切出画像と地図画像と経路図形との合成を説明する図である。
【図５】第１の実施形態における、進行予定経路を表す部分図形と現在の進行経路を表す部分図形の色などの属性を変えた場合の画面表示例を説明する図である。
【図６】第１の実施形態における、画像提示装置における処理の手順を説明するフローチャートである。
【図７】第２の実施形態における処理のブロック図を示す。
【図８】第２の実施形態における、画像提示装置における処理の手順を説明するフローチャートである。
【図９】第３の実施形態における、画像提示装置における処理の手順を説明するフローチャートである。
【図１０】移動可能経路情報の記述例を説明する図である。
【図１１】ウォークスルー中に移動可能経路情報を変更する処理を説明する図である。
【図１】
2004062755.tif 000003
【図２】
2004062755.tif 000004
【図３】
2004062755.tif 000005
【図４】
2004062755.tif 000006
【図５】
2004062755.tif 000007
【図６】
2004062755.tif 000008
【図７】
2004062755.tif 000009
【図８】
2004062755.tif 000010
【図９】
2004062755.tif 000011
【図１０】
2004062755.tif 000012
【図１１】
2004062755.tif 000013