(57)【要約】【課題】静止画像を使用してその画像中を歩くようなウォークスルーの効果を持たせた表示を行う場合に、従来よりも高度な表示が行えるようにする。【解決手段】実空間上の複数個所を撮影した複数枚の静止画像に基づいて擬似的な立体画像を表示させる場合に適用される。入力された各静止画像について消失点を設定し、その消失点を参照した区割りで、地面と側面と背景とに分離する。分解されたそれぞれの静止画像の地面と側面上の物体と背景とを、実空間上の対応した配置とする。また、表示させる画像の視点位置及び方向を設定する。そのように設定された位置及び方向で、配置された地面と物体と背景が存在する場合に、それぞれを対応した配置とした画像を構築させる画像構築処理を行う。視点の方向を変えた際に、その変えた方向に配置された別の画像の地面と物体と背景が存在する場合には、その別の静止画像で画像を構築させるように変化させる。【選択図】図６
2009015583.tif 000002
【特許請求の範囲】
【請求項１】
実空間上の複数個所を撮影した複数枚の静止画像に基づいて、擬似的な立体画像を表示させる画像処理装置であって、
実空間上の複数個所を撮影した複数枚の静止画像を入力する画像入力部と、
前記画像入力部に入力されたそれぞれの静止画像について消失点を設定し、その消失点を参照した区割りで、地面と側面と背景とに分離する画像分離部と、
前記画像分離部で分解されたそれぞれの静止画像の地面と側面上の物体と背景とを前記実空間に対応した配置とする配置部と、
表示させる画像の視点位置及び方向を設定する設定部と、
前記設定部で設定された位置及び方向で、前記配置部で配置された地面と物体と背景が存在する場合に、それぞれを対応した配置とした画像を構築させる画像構築部と、
前記画像構築部で構築された画像信号を出力する出力部とを備え、
前記設定部で視点の方向を変えた際に、その変えた方向に配置された別の画像の地面と物体と背景が存在する場合に、前記画像構築部でその別の静止画像で画像を構築させるように変化させることを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
前記画像分離部で設定する消失点として、地面の消失点と、側面及び背景の消失点の位置を異なる位置としたことを特徴とする画像処理装置。
【請求項３】
請求項１記載の画像処理装置において、
前記画像構築部で地面と物体と背景とを配置する場合に、元の静止画像で物体又は背景が存在しない箇所を、近傍に配置される物体又は背景に類似した色で補間した画像を生成させることを特徴とする画像処理装置。
【請求項４】
請求項１記載の画像処理装置において、
前記出力部が出力する画像信号には、前記設定部で設定した視点位置を地図中で表示させる画像を含ませることを特徴とする画像処理装置。
【請求項５】
実空間上の複数個所を撮影した複数枚の静止画像に基づいて擬似的な立体画像を表示させる画像処理方法であって、
入力されたそれぞれの静止画像について消失点を設定し、その消失点を参照した区割りで、地面と側面と背景とに分離する画像分離処理と、
前記画像分離処理で分解されたそれぞれの静止画像の地面と側面上の物体と背景とを、前記実空間に対応した配置とする配置処理と、
表示させる画像の視点位置及び方向を設定する設定処理と、
前記設定処理で設定された位置及び方向で、前記配置処理で配置された地面と物体と背景が存在する場合に、それぞれを対応した配置とした画像を構築させる画像構築処理とを行い、
前記設定処理で視点の方向を変えた際に、その変えた方向に配置された別の画像の地面と物体と背景が存在する場合に、前記画像構築処理でその別の静止画像で画像を構築させるように変化させることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像を利用して、その画像の中を歩き回れるような擬似的な効果が得られる表示を行う画像処理装置、及びその表示を行う画像処理方法に関する。
【背景技術】
【０００２】
従来、スチルカメラなどで撮影された静止画像を、パーソナルコンピュータ装置に取り込み、その取り込まれた画像を加工することで、その静止画像中を歩いているような効果を持たすことが可能である。
【０００３】
図１３は、そのような効果を持たせる従来の例である。ここでは、図１３に示すように、直線の道路を撮影した静止画像１０があるとする。このとき、その画像１０の全体を表示した状態から、その道路を進んで行く効果を持たせるために、画像１０の中心部分を順に拡大するような表示状態とする。例えば、画像１０を全体に表示した状態から、画像中の消失点Ｖａに向かって順に表示範囲１１，１２・・・を狭めて、その表示範囲の狭まりに対応して拡大することで、見ている者が画像内を進んでいくような効果が得られる。
【０００４】
特許文献１には、静止画像中に消失点を設定して、その消失点に向かって進むように画像を拡大して、その静止画像の中を進んで歩いているような、いわゆるウォークスルーが行える効果が得られる表示を行う点についての記載がある。
【特許文献１】特開２００２−１４０７３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、静止画像中に設定した消失点に向かって単純に画像の拡大表示や縮小表示を行うだけでは、画像の変化が比較的単純であり、画像を見ているユーザにとっては、必ずしも画像の中を歩いているようには感じられない場合が多々あった。また、画像の中を進行する動きについても、画像の手前と消失点との間を直線的に動きだけであり、視線方向を変化させることが全くできず、変化に乏しい画像表示であった。特許文献１に記載された処理では、画像中に配置する人物などを変化させる処理についての記載があるが、画像を構成する地面や背景などは単調な変化であった。
【０００６】
本発明はこれらの点に鑑みてなされたものであり、静止画像を使用してその画像中を歩くようなウォークスルーの効果を持たせた表示を行う場合に、従来よりも高度な表示が行えるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、実空間上の複数個所を撮影した複数枚の静止画像に基づいて擬似的な立体画像を表示させる場合に適用される。
その処理としては、入力されたそれぞれの静止画像について消失点を設定し、その消失点を参照した区割りで、地面と側面と背景とに分離する。そして、分解されたそれぞれの静止画像の地面と側面上の物体と背景とを、実空間に対応した配置とする。また、表示させる画像の視点位置及び方向を設定する。そのように設定された位置及び方向で、配置された地面と物体と背景が存在する場合に、それぞれを対応した配置とした画像を構築させる画像構築処理を行う。そして、視点の方向を変えた際に、その変えた方向に配置された別の画像の地面と物体と背景が存在する場合に、その別の静止画像で画像を構築させるように変化させるものである。
【発明の効果】
【０００８】
本発明によると、実空間上の複数個所を撮影した複数枚の静止画像が、それぞれの静止画像内の地面と、側面の建物などの物体と、背景とに分離されて実空間に対応した位置に配置された上で、指示された視点位置から画像に構築させる処理が行われ、静止画像が存在する範囲で自由に画像内の各位置の視点を設定して表示させることができ、いわゆるウォークスルーの効果が得られる範囲を従来よりも大幅に増やすことができる。
しかも、本発明によると、地面と側面の建物などの物体と背景とを分離して実空間に対応した位置に配置することで、１枚の静止画像で示されている通りなどを進んでいく場合に、各要素の表示位置関係が実際の空間での配置に近いものになり、単なる画像の拡大・縮小とは異なる実際の動画像を表示させた場合に近い画像を表示させることが可能となる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の一実施の形態を、図１〜図１０を参照して説明する。
本実施の形態においては、実空間上の複数個所を撮影した複数枚の静止画像から、仮想立体画像を表示させる処理を行うものである。静止画像としては、ある特定のエリア内で撮影した画像とし、そのエリア内でほぼ水平方向に撮影した画像とする。撮影位置や撮影方向は、それぞれの静止画像で異なっているものとする。
【００１０】
まず、図１を参照して仮想立体画像を作成する画像作成装置１０の構成について説明する。画像作成装置１０は、画像作成装置１０は、例えば、パーソナルコンピュータ装置とその周辺機器を使用して構成される。画像作成装置１０の入力インターフェース部１１には、スキャナ２１とデジタルカメラ２２が接続させてある。スキャナ２１を使用した場合には、写真又はフィルムから取り込んだ静止画像のデータが入力インターフェース部１１に供給される。デジタルカメラ２２を使用した場合には、そのカメラで撮影された静止画像のデータが入力インターフェース部１１に供給される。デジタルカメラ２２の代わりに、静止画像データを記憶した記憶媒体（メモリカード、ディスクなど）からデータを読み出して供給してもよい。
【００１１】
入力インターフェース部１１に入力された静止画像データは、画像記憶部１２に記憶させる。画像記憶部１２に記憶された静止画像データは、制御部１４の制御で画像処理部１３に読み出されて、仮想立体画像の作成処理が行われる。仮想立体画像の作成処理は、プログラム記憶部１５に記憶されたプログラムの実行により行われる。仮想立体画像の作成処理の詳細については後述する。作成された仮想立体画像を表示させるためのデータは、画像記憶部１２に記憶される。
【００１２】
そして、仮想立体画像を表示させるためのデータが画像記憶部１２に記憶された状態で、操作部１６の操作で画像を表示させる操作があると、制御部１４は、そのデータを読み出して、指示された視点からの表示画像を画像処理部１３で作成させる。作成された表示画像データは、画像出力部１７から外部に出力されて、画像作成装置１０に接続された表示装置２３の画面上に画像を表示させる。
図１では、画像作成装置１０内の各構成要素はバスラインで相互にデータ伝送可能に接続させて示してあるが、必ずしも図１の構成に限定されるものではない。また、パーソナルコンピュータ装置などの汎用の情報処理装置を使用して画像作成装置１０を構成させるのではなく、画像作成機能だけを備えた専用の装置として構成させてもよい。
【００１３】
次に、本例の画像作成装置１０で行われる、仮想立体画像の作成処理を、図２のフローチャートを参照して説明する。
図２のフローチャートは、複数枚の写真から得た静止画像データから、仮想立体画像のデータを作成する処理を示したものであり、例えば図１の装置構成では制御部１４の制御により画像処理部１３で実行される。まず、写真としての静止画像データが入力されると、その静止画像から、建物と地面と背景をそれぞれ分離して抽出する（ステップＳ１１）。ここでの分離処理としては、画像の下部において、画像のほぼ中央の１点に向かう斜めのラインを検出して、そのラインよりも下側中央の部分を、地面であるとする。地面が収束する１点は、消失点である。但し、後述するように、この消失点は地面の消失点であり、建物及び背景の消失点は別に設定する。
【００１４】
そして、この消失点を参照した区割りで、地面以外の箇所が建物と背景に分離される。即ち、画像中のその地面の左右の脇の物体を、建物とする。建物については、１つ１つの建物として分離できる場合には、分離して抽出する。さらに、地面と建物以外の残りの部分が背景として抽出される。例えば通りを撮影した画像である場合には、地面は道路であり、建物はその道路の両脇に存在する建物である。そして、分離された地面と建物と背景のそれぞれの奥行き座標を求める（ステップＳ１２）。奥行き座標は、地面を基準にして設定する。
【００１５】
求められた座標位置を基準にして、ステップＳ１１で分離された建物と地面と背景を、それぞれ立体空間に配置する（ステップＳ１３）。ここでの立体空間は、演算処理で画像作成装置内に作成される仮想立体空間である。画像中の各部分の立体空間への配置が終わると、同一エリア内を撮影した別の静止画像（写真）があるか否か判断する（ステップＳ１４）。この判断で別の静止画像がある場合には、ステップＳ１１からステップＳ１３の処理が繰り返され、その静止画像についての、各部の抽出と奥行き座標の算出と立体空間への配置とが行われる。
【００１６】
ステップＳ１４で別の静止画像がないと判断した場合には、ここまで立体空間上に配置した各物体（地面、建物、背景）が接続させる処理を行う（ステップＳ１５）。例えば、背景として不足する部分を、その周辺の画像と同様の色調として接続させる。地面の左右の建物についても、画像が不足する部分については、近隣の物体に近い色調で補間させて接続させる。そして、このようにして立体空間上に各物体を配置した画像を、仮想立体画像を表示させるためのデータとして記憶させ（ステップＳ１６）、処理を終了する。
なお、この図２のフローチャートに示した各処理は、入力した静止画像を画像作成装置１０内で分析して全て自動的に行うようにしてもよいが、例えば、地面と建物と背景に分離する際などに、分離状態を表示装置２３などで表示させて、正しく分離されているかどうか操作者に確認させるようにして、正しくない場合には、操作部１６の操作などで分離位置などを修正できるようにしてもよい。また、１つ１つの分離処理を行うごとに、表示装置２３などにその処理状態を表示させて、操作者に確認させながら作業を進行させるようにしてもよい。
【００１７】
ここで、静止画像から消失点を求める処理を、図３及び図４を参照して説明する。
例えば静止画像として、図３に示すように、道路の両脇に建物が並んだ状態を撮影した画像であるとする。この図３中の横方向をＸ軸とし、縦軸をＹ軸とする。
図３の画像から、道路の右端のほぼ直線のラインＲ１と、左端のほぼ直線のラインＲ２とを検出して、そのラインＲ１，Ｒ２が結ぶ交点を、地面（道路）の消失点Ｖ１とする。但し、ラインＲ１，Ｒ２が交点まで伸びているとは限らない。交点まで延びていない場合には、延長させて交点（消失点Ｖ１）を求める。２つのラインＲ１，Ｒ２の間の部分を、地面の画像として抽出する。
【００１８】
そして、右側のラインＲ１から地面よりも外側（右側）に位置している画像中の物体を、建物ＳＤ１１，ＳＤ１２・・として抽出する。同様に、左側のラインＲ２から地面よりも外側（左側）に位置している画像中の物体を、建物ＳＤ２１，ＳＤ２２・・として抽出する。それぞれの側で、各建物の画像が分離可能である場合には、分離して抽出する。この図３の例では、右側の建物ＳＤ１１，ＳＤ１２を分離し、左側の建物ＳＤ２１，ＳＤ２２を分離する。さらに、道路と建物以外の部分（即ち画像の比較的上側の部分）を、背景Ｂ１１として抽出する。抽出された側面の各建物ＳＤ１１，ＳＤ１２，ＳＤ２１，ＳＤ２２は、その建物に隣接するラインＲ１又はＲ２の位置に応じて、奥行き方向（後述するＺ軸方向）の座標位置が決まる。
【００１９】
なお、画像の消失点については、地面（道路）の画像から検出された消失点Ｖ１は、地面の設定だけに使用され、図３に示すように、建物と背景の画像に対する消失点Ｖ２については、この消失点Ｖ１とは異なる位置に設定する。図３の例では、地面の消失点Ｖ１よりも、原画像中の若干上側の位置に、建物と背景の画像に対する消失点を設定する。
【００２０】
図４は、消失点の設定例を示した図である。図４で横方向の軸は、画像の手前から奥に進む方向であるＺ軸を示す。図４中のＶＰは視点位置を示し、この視点位置ＶＰから背景画像ＰＢを見た場合に、地面の中心位置である消失点Ｖ１に沿って、基準となるＺ軸が設定される。図３に示した背景画像Ｂ１１は、この消失点Ｖ１の位置に配置してある。図４の例では、視点位置のＸ軸、Ｙ軸、Ｚ軸の座標を（０，０，０）とすると、消失点Ｖ１は、座標（０，０，Ｚｖ１）であり、Ｚ軸上の適正な位置に背景画像Ｂ１１が配置される。
建物や背景の画像の消失点Ｖ２については、地面の消失点Ｖ１よりもＹ軸（垂直軸）に多少上方の座標（０，Ｙｖ２，Ｚｖ１）として示される。
【００２１】
視点位置ＶＰから、ある距離（ＳＴＥＰ）だけ進んだ場合には、そのときの視点の座標位置の変化ｙは、ｙ＝ＳＴＥＰ＊ｔａｎθで示され、図４に示すように、建物や背景の消失点Ｖ２に向かって視点位置が変化するようになる。
【００２２】
図５及び図６は、静止画像から抽出した各画像を、仮想立体空間上に配置した例を示したものである。
図５は、１枚の静止画像を分離して、仮想空間上に配置した例を示す。右脇のラインＲ１及び左脇のラインＲ２で区切られる道路などの地面Ｒａが、消失点Ｖ１に向かって配置される。その地面Ｒａの右の脇には、分離された各建物ＳＤ１１，ＳＤ１２，ＳＤ１３・・が、それぞれＺ軸方向の適正な座標位置に配置され、地面Ｒａの左の脇には、分離された各建物ＳＤ２１，ＳＤ２２，ＳＤ２３・・が、それぞれＺ軸方向の適正な座標位置に配置される。そのＺ軸方向に配置される座標位置は、各ラインＲ１，Ｒ２と建物とが接する位置に応じて決まる。さらに、背景画像Ｂ１１が、消失点Ｖ１の座標位置に配置される。図５から判るように、地面についてはＺ軸に沿って進む画像として配置され、建物や背景の画像については、それぞれの画像のＺ軸上の位置で、Ｘ軸とＹ軸の方向に広がる画像として配置される。
建物や背景の画像については、元の１枚の静止画像では不足する部分が存在することがあるが、そのような場合には、抽出した画像からの補間などで生成させる。あるいは、不足する部分は、何も存在しない領域として背景色として決めた色の領域としてもよい。
【００２３】
図５の例は、１枚の静止画像から分離した各要素の配置例であるが、本例においては、複数枚の静止画像から分離した各要素を、仮想立体空間上に配置する構成としてある。
図６は、２枚の静止画像から分離した各要素を、１つの仮想立体空間上に配置した例としてある。この図６例では、図５例に示した配置を行った１枚の静止画像（第１の静止画像）に対して、ほぼ９０右回りに水平方向に視線方向を変えた、別の静止画像（第２の精子画像）についても配置した例である。第２の静止画像は、第１の静止画像により設定されるＺ軸に沿って、ある程度進んだ位置から撮影した画像である。
【００２４】
この第２の静止画像の撮影位置を視点位置として、その位置から第２の静止画像中の地面の左右の境界線であるラインＲ３，Ｒ４を識別して、そのラインＲ３，Ｒ４で区切られる地面Ｒｂを消失点Ｖ３に向かって配置する。そして、この消失点Ｖ３に、第２の静止画像の背景画像（図６では図示せず）が配置され、地面ＲｂのラインＲ３，Ｒ４の左右の脇に、その第２の静止画像の建物ＳＤ３１，ＳＤ３２，ＳＤ４１，ＳＤ４２が、それぞれ適正な座標位置に配置される。第２の静止画像から抽出した各画像成分についても、元の静止画像で不足する部分については補間などで補うようにしてもよい。このようにして仮想立体空間上に配置された各画像は、例えば図１に示した画像作成装置１０の画像記憶部１２に記憶される。
なお、図６の例では、第１の静止画像に対して９０°水平方向に回転した位置で撮影した第２の静止画像を配置した例としたが、２枚の静止画像の角度位置の関係は、必ずしも９０°である必要はない。仮想立体空間上に配置する角度位置を、その２枚の静止画像の撮影方向の差に応じて設定すればよい。
【００２５】
次に、このようにして仮想立体空間上に配置された画像を使用して、表示装置の画面上に表示させる画像を生成させる、画像の描画処理を、図７のフローチャートを参照して説明する。この描画処理は、例えば図１に示した画像作成装置１０の制御部１４の制御で、画像処理部１３で実行される。
まず、視点位置の設定があるか否か判断する（ステップＳ２１）。視線位置の設定は、例えば操作者が操作部１６として用意されたキーなどを操作することで設定される。視点位置は、例えば地面（道路）が存在する座標位置上で、操作者の操作で自由に設定できる構成としてある。但し、画像の中を歩くようなウォークスルー効果を持たせるためには、一度視点位置が設定されると、以後はその設定された視点位置から連続的に位置が変化することが好ましい。視点位置の設定がない場合には、視点位置が設定されるまで待機する。なお、初期状態では、視点を設定する操作が何もない状態で、例えばある静止画像を撮影した位置を、初期時の視点位置として自動的に設定するようにしてもよい。
【００２６】
視点位置が定まると、その視点位置からの視線方向に、仮想立体空間上に配置された画像があるか否か判断する（ステップＳ２２）。この判断で、配置された画像がない場合には、表示不可能を告知する表示を行う（ステップＳ２８）。例えば、図１に示した表示装置２３の画面に、「この方向には画像がありません」などと文字で表示を行う。
ステップＳ２２で、設定された視線方向に画像があると判断した場合には、その視線の方向に配置された画像を、画像記憶部１２から読み出す（ステップＳ２３）。読み出した画像の内で、地面の画像を、第１の消失点に向かって配置する（ステップＳ２４）。また、建物の画像と背景画像とを、第２の消失点Ｖ２に向かって配置する（ステップＳ２５）。
そして、各画像が配置された状態で、視点位置から見た１枚の画像を描画する（ステップＳ２６）。このときには、視点位置から消失点Ｖ１，Ｖ２に向かうに従って各部のサイズが小さくなるようにして描画させる。このようにして描画された画像を、表示用の画像信号とし、その画像信号を表示装置２３に供給して、表示装置２３の画面上に表示させる（ステップＳ２７）。この図７に示す描画処理を、視点位置が変わるごとに行う。
【００２７】
次に、視点位置を順に変化させながら、図７のフローチャートに示した如き処理で描画が行われる状態の一例を、図８（ａ），（ｂ），（ｃ）に示す。また、図８（ａ），（ｂ），（ｃ）での視点位置の変化を、実際の撮影場所の平面図で示したのが図９である。
まず、図８（ａ）に示すように、直線状の通りを撮影した画像であるとする。この例では、道路に相当する地面Ｒａが、ラインＲ１，Ｒ２で区切られた画像となっており、その両脇に、建物ＳＤ１１，ＳＤ１２，ＳＤ１３，ＳＤ２１，ＳＤ２２，ＳＤ２３が配置され、さらに地面と建物以外の箇所に背景画像Ｂ１１が配置されている。この例では、背景画像Ｂ１１には、何らかの建物Ｂ１１ａが存在しているとする。また、側面の建物ＳＤ２２及びＳＤ１３には、入口Ｅａ及びＥｂが表示された画像となっている。この図８（ａ）での視点位置は、図９に示した位置Ａ１であり、撮影方向を位置Ａ１からの矢印で示してある。
【００２８】
この図９に示す位置Ａ１からそのまま視点位置を画像の奥に進めて、位置Ａ２としたときの画像が、図８（ｂ）である。この状態では、道路に相当する地面Ｒａの両脇に、建物ＳＤ１２，ＳＤ１３と建物ＳＤ２２，ＳＤ２３とが配置され、さらに背景画像Ｂ１１が配置されている。図８（ａ）の画像よりも視点位置が進んでいるため、建物や背景画像が拡大されている。また、建物及び背景画像の消失点（図３のＶ２）と、地面の消失点（図３のＶ１）とを異なる位置に設定してあるため、図８（ｂ）の画像は、図８（ａ）の画像の一部を単に拡大した画像とは異なる。即ち、画面の奥に進むに従って、地面の両脇の建物の高さが若干高くなると共に、背景画像中の建物Ｂ１１ａの高さについても、高く変化して、実空間を歩いているような画像変化となる。図８（ａ）と図８（ｂ）を比較すると判るように、背景画像中の建物Ｂ１１ａの高さと、その手前の建物ＳＤ１３，ＳＤ２３の高さとの関係が、両図では大きく異なっている。
【００２９】
そして本例においては、複数枚の静止画像に基づいて画像を形成させることができるので、別の画像がある位置では、視点方向を変化させて、その変化させた視点方向で進んで行くことが可能である。例えば、図８の例では、図８（ｂ）に示した建物ＳＤ２２の入口Ｅａがある箇所で、視点から見る方向を約９０°左側に変えて、その入口Ｅａ内を表示させることが可能である。この例では、入口Ｅａ内を撮影した静止画像が用意してある。図８（ｃ）は、この入口Ｅａ内を表示させた表示例である。この入口Ｅａを撮影した状態は、図９の位置Ａ３から撮影した状態である。なお、このように視点から見る方向を回転させる際には、その回転操作に対応して、建物ＳＤ２２が徐々に傾いて正面になるような画像を表示させ、入口Ｅａが正面になった状態で、その入口Ｅａが正面になった別の静止画像から構成させた画像に切換えるようにすればよい。
【００３０】
入口Ｅａ内を表示させる場合にも、図８（ｃ）に示すように、境界部のラインＲ３，Ｒ４で区切られる地面Ｒｂと、その両脇の建物ＳＤ３１，ＳＤ４１と、背景Ｂ１２とが表示させてある。この図８（ｃ）に示す状態でも、地面と建物・背景とは別に消失点を設定してあり、その入口Ｅａの中を進んでいくことで、それぞれの消失点に向かって地面や建物・背景が適切に設定される描画が行われた画像となり、ウォークスルーが行える。例えば、図９に示すように位置Ａ３から位置Ａ４へと進めた表示を行うことができる。別の入口Ｅｂについても、その方向を撮影した画像がある場合には、同様の表示が可能である。
【００３１】
図１０は、このようにして複数枚の静止画像を配置して構成される仮想立体空間内をウォークスルーするイメージを示したものである。即ち、静止画像を配置して構成される仮想立体空間内を歩いているように、図１０に示すように順に画像を変化させることが可能となる。この場合の画像の変化として、地面（道路）の消失点と、建物などの消失点を別に設定してあるため、実際に歩いている場合の目線での変化に近い画像の変化が再現でき、非常に良好な表示ができる。そして、複数の静止画像に基づいて、例えば建物の中に入って行くような表示処理や、別の通りに曲がって行くような表示処理が可能となり、実空間を撮影した数枚の静止画像だけから、その中を歩いているような高度な表示が可能となる。
【００３２】
図１１は、本実施の形態による画像表示と、地図表示とを同一画面上に行う例である。画像表示１０１については、既に説明したように複数枚の静止画像を分解して仮想立体空間上に配置したものから描画した画像である。その画像表示１０１と同一画面に、地図表示１０２を行うようにしてあり、地図１０２の中に、現在の視点位置１０３と、その視点位置からの視線方向を示す矢印１０４との表示を行うようにしてある。
この視点位置１０３と視線方向１０４とを、例えば操作者の操作で地図中の任意の位置で変化させることで、その変化に対応して、画像表示１０１を、指示された視点位置から見た画像とすることができる。
この図１１に示すように、画像と地図を並べて表示させることで、より判りやすい表示が可能となる。
【００３３】
なお、このような地図に対応させて表示を行うためには、静止画像を仮想立体空間に配置する処理を行う場合に、その静止画像が実空間のどの位置であるのかを操作者が指定する必要がある。ここで、例えば静止画像に付随するデータとして、撮影位置のデータがある場合には、そのデータを利用して、静止画像を自動的に地図中の対応した位置から見た画像として仮想立体空間に配置する処理が可能が可能となる。
即ち、例えば図１２に示すように、ＧＰＳ機能付デジタルカメラ３１を用意して、撮影時の絶対的な座標位置を、ＧＰＳ（Global Positioning System）機能などで測位し、さらに撮影方向についても判断できる構成とする。そのＧＰＳ機能付デジタルカメラ３１で撮影して出力する静止画像データを、撮影時の位置情報と撮影方向の情報を付加した状態で、画像作成装置３２に供給する。その画像作成装置３２では、既に説明した実施の形態の処理と同様に、静止画像を仮想立体空間に配置する処理を行うが、その場合に各静止画像を配置する座標位置を、撮影時の撮影位置と撮影方向の情報に基づいて決定する。このようにすることで、自動的に各静止画像内の各要素を適正な位置に配置できる。画像作成装置３２で描画された画像は、表示装置３３で表示させることができる。
【００３４】
この図１２に示した例では、静止画像を撮影するデジタルカメラと、そのカメラで撮影された静止画像を処理する画像作成装置を別体で構成させた例としたが、撮影から画像処理と表示を、１台の装置で行うようにしてもよい。例えば、カメラ機能付きの携帯電話端末内で、静止画像の撮影と、その撮影した静止画像の仮想立体空間内への配置と、指示された視点からの描画と、その描画された画像の表示とを全て行うようにしてもよい。
さらにその携帯電話端末が、ＧＰＳ機能などの測位機能を備えている場合には、静止画像の仮想立体空間内への配置時に、実際の地図上の位置との対応を自動的にとることもでき、便利である。
【００３５】
また、本発明の画像作成処理をコンピュータ装置やビデオゲーム機などの汎用の情報処理装置で行う場合には、図２のフローチャートに示した立体画像作成処理や、図７のフローチャートに示した描画処理を行うプログラム（コンピュータ用ソフトウェア）を作成して、そのプログラムを、情報処理装置に実装すればよい。プログラムは、光ディスクや半導体メモリなどの媒体に記憶させて配布する他に、インターネットなどを経由してダウンロードさせる構成としてもよい。
【図面の簡単な説明】
【００３６】
【図１】本発明の一実施の形態による装置構成例を示すブロック図である。
【図２】本発明の一実施の形態による処理を示すフローチャートである。
【図３】本発明の一実施の形態による消失点の設定例を示す説明図である。
【図４】本発明の一実施の形態による消失点の算出例を示す説明図である。
【図５】本発明の一実施の形態による画像の配置例を示す説明図である。
【図６】本発明の一実施の形態による複数枚の画像の配置例を示す説明図である。
【図７】本発明の一実施の形態による描画処理例を示すフローチャートである。
【図８】本発明の一実施の形態による画像の変化例を示す説明図である。
【図９】図８例の視点位置の例を平面図中に示す説明図である。
【図１０】本発明の一実施の形態による表示イメージを実際の画像で示す説明図である。
【図１１】本発明の他の実施の形態による表示例（画像と地図を一緒に表示させた例）を示す説明図である。
【図１２】本発明のさらに他の実施の形態による装置構成例を示すブロック図である。
【図１３】従来のウォークスルーの表示例を示す説明図である。
【符号の説明】
【００３７】
１０…画像作成装置、１１…入力インターフェース部、１２…画像記憶部、１３…画像処理部、１４…制御部、１５…プログラム記憶部、１６…操作部、１７…画像出力部、２１…スキャナ、２２…デジタルカメラ、２３…表示装置、３１…ＧＰＳ機能付デジタルカメラ、３２…画像作成装置、３３…表示装置
【図１】
2009015583.tif 000003
【図２】
2009015583.tif 000004
【図３】
2009015583.tif 000005
【図４】
2009015583.tif 000006
【図５】
2009015583.tif 000007
【図６】
2009015583.tif 000008
【図７】
2009015583.tif 000009
【図８】
2009015583.tif 000010
【図９】
2009015583.tif 000011
【図１２】
2009015583.tif 000012
【図１３】
2009015583.tif 000013
【図１０】
2009015583.tif 000014
【図１１】
2009015583.tif 000015