(57)【特許請求の範囲】
【請求項１】
共通の複数の物体等の対象を被写対象内に有するように、間隔をあけて平行方向に撮影して得られた２つの画像データを入力し、画像特徴データに変換する手段と、画像特徴データに変換された一方側の画像データを表示用基準画像データとし、他方の画像データをこの表示用基準画像データとの比較画像データとする手段と、この画像特徴データ化された表示用基準画像データにおける前記複数の対象の中から、３つの対象を指定すると共に、この３つの対象のうちから奥行き方向の相対距離計算の基準となる基準対象を指定する手段と、この基準対象と前記３つの対象のうちの前記基準対象以外の他の第１対象との奥行き方向の相対距離及びこの基準対象と前記３つの対象のうちの前記基準対象及び前記他の第１対象以外の他の第２対象との奥行き方向の相対距離を、前記表示用基準画像データにおける視点から前記基準対象までの奥行き方向の距離、前記表示用基準画像データにおける前記基準対象と前記比較画像データにおける前記基準対象との位置ずれ、前記表示用基準画像データにおける前記他の第１対象と前記比較画像データにおける前記他の第１対象との位置ずれ及び前記表示用基準画像データにおける前記他の第２対象と前記比較画像データにおける前記他の第２対象との位置ずれに基づいた所定の相対距離演算手段によって算出する手段とを具備したことを特徴とする擬似３次元情報作成装置。
【請求項２】
共通の複数の物体等の対象を被写対象内に有するように、間隔をあけて平行方向に撮影して得られた２つの画像データを入力し、画像特徴データに変換する工程と、画像特徴データに変換された一方側の画像データを表示用基準画像データとし、他方の画像データをこの表示用基準画像データとの比較画像データとする工程と、この画像特徴データ化された表示用基準画像データにおける前記複数の対象の中から、３つの対象を指定すると共に、この３つの対象のうちから奥行き方向の相対距離計算の基準となる基準対象を指定する工程と、この基準対象と前記３つの対象のうちの前記基準対象以外の他の第１対象との奥行き方向の相対距離及びこの基準対象と前記３つの対象のうちの前記基準対象及び前記他の第１対象以外の他の第２対象との奥行き方向の相対距離を、前記表示用基準画像データにおける視点から前記基準対象までの奥行き方向の距離、前記表示用基準画像データにおける前記基準対象と前記比較画像データにおける前記基準対象との位置ずれ、前記表示用基準画像データにおける前記他の第１対象と前記比較画像データにおける前記他の第１対象との位置ずれ及び前記表示用基準画像データにおける前記他の第２対象と前記比較画像データにおける前記他の第２対象との位置ずれに基づいた所定の相対距離演算手段によって算出する工程とを具備したことを特徴とする擬似３次元情報作成方法。
【請求項３】
コンピュータによって擬似３次元情報を作成するための作成プログラムを記録した記録媒体であって、この作成プログラムはコンピュータに、共通の複数の物体等の対象を被写対象内に有するように、間隔をあけて平行方向に撮影して得られた２つの画像データを入力し、画像特徴データに変換する機能と、画像特徴データに変換された一方側の画像データを表示用基準画像データとし、他方の画像データをこの表示用基準画像データとの比較画像データとする機能と、この画像特徴データ化させた表示用基準画像データにおける前記複数の対象の中から、３つの対象を指定すると共に、この３つの対象のうちから奥行き方向の相対距離計算の基準となる基準対象を指定する機能と、この基準対象と前記３つの対象のうちの前記基準対象以外の他の第１対象との奥行き方向の相対距離及びこの基準対象と前記３つの対象のうちの前記基準対象及び前記他の第１対象以外の他の第２対象との奥行き方向の相対距離を、前記表示用基準画像データにおける視点から前記基準対象までの奥行き方向の距離、前記表示用基準画像データにおける前記基準対象と前記比較画像データにおける前記基準対象との位置ずれ、前記表示用基準画像データにおける前記他の第１対象と前記比較画像データにおける前記他の第１対象との位置ずれ及び前記表示用基準画像データにおける前記他の第２対象と前記比較画像データにおける前記他の第２対象との位置ずれに基づいた所定の相対距離演算手段によって算出する機能と、を実現させることを特徴とする擬似３次元情報作成プログラムを記録した記録媒体。
【請求項４】
共通の複数の物体等の対象を被写対象内に有するように、間隔をあけて平行方向に撮影した２つの画像データが取り込まれると、この２つの画像データに基づく画像処理演算が行われる擬似３次元情報演算部と、この擬似３次元情報演算部に対して拡大または縮小表示を設定する入力手段と、この擬似３次元情報演算部での演算結果を用いて拡大または縮小表示する表示装置部とを備えた擬似３次元情報表示装置であって、擬似３次元情報演算部では、前記２つの画像データを画像特徴データに変換し、画像特徴データに変換した一方側の画像データを表示用基準画像データとすると共に、他方の画像データをこの表示用基準画像データとの比較画像データとし、この画像特徴データ化した表示用基準画像データにおける前記複数の対象の中から、３つの対象を指定すると共に、この３つの対象のうちから奥行き方向の相対距離計算の基準となる基準対象を指定し、この基準対象と前記３つの対象のうちの前記基準対象以外の他の第１対象との奥行き方向の相対距離及びこの基準対象と前記３つの対象のうちの前記基準対象及び前記他の第１対象以外の他の第２対象との奥行き方向の相対距離を、前記表示用基準画像データにおける視点から前記基準対象までの奥行き方向の距離、前記表示用基準画像データにおける前記基準対象と前記比較画像データにおける前記基準対象との位置ずれ、前記表示用基準画像データにおける前記他の第１対象と前記比較画像データにおける前記他の第１対象との位置ずれ及び前記表示用基準画像データにおける前記他の第２対象と前記比較画像データにおける前記他の第２対象との位置ずれに基づいた所定の相対距離演算手段によって算出し、前記入力手段による設定変更によって視点を前進または後退した状態を、表示用基準画像データを基に、それぞれ拡大または縮小表示するために、前記奥行き方向の各相対距離のデータを用いて、基準対象を含む各対象をそれぞれに応じた倍率で表示するための表示変更演算を行うことを特徴とする擬似３次元情報表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、間隔をあけて平行方向に撮影した２つの画像データに基づく擬似３次元情報作成装置、擬似３次元情報作成方法、擬似３次元情報作成プログラムを記録した記録媒体および擬似３次元情報表示装置に関する。
【０００２】
【従来の技術】
従来、３次元情報を表示する手段としては、例えば、３次元物体の各座標データと、この座標データに関連した線分データ等とを、非常に複雑なものならばスーパーコンピュータ等の超高速演算装置に入力し、それほど複雑でないものならばＣＡＤ装置に入力して、高度な演算手法を使用して演算し、その演算結果に基づき、あらゆる視点から見た３次元物体の状態を表示装置に表示可能としたものがある。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述の３次元情報を表示する手段では、非常に多数の座標データと、これに関連した線分データ等とを入力する必要があるために、３次元情報表示の基本データを入力完了するまでに大変長い時間（日数）がかかっている。また、非常に多数のデータを高度な演算手法を使用して演算するため、演算装置として、超高価なスーパーコンピュータ等の超高速演算装置や高価なＣＡＤ装置が必要である。
【０００４】
これに対して、例えば視点移動がリニア的であってもよく、しかも大雑把な画像表示であってもよい用途、例えば、建築関係の手軽な擬似３次元表示によるプレゼンテーション用表示装置（視点を前進または後退させて建築物とその周辺の見え方がどう変化するかを見せるもの）、擬似３次元アニメ描写の下絵作成時の視点移動時毎の描写線表示装置（擬似３次元アニメ描写の支援装置）や擬似３次元ゲームの表示画作成支援装置等が考えられつつある。それにはスーパーコンピュータやＣＡＤ装置では高価すぎる。また、従来のようなデータ入力のやり方では基本データを入力完了するまでの時間だけでも、やはりかなりの時間を要する。
【０００５】
尚、屋外設備位置測量方法としては、特開平７−３５５４６号公報にて開示されたものがある。しかしながら、この公報の内容は、純粋に位置測量の精度を上げるための方法である。
一方、本発明の擬似３次元情報作成方法では、精度を問題とせず、画像を大雑把に捉えて、擬似３次元情報を簡単に短時間で算出し、また、本発明の擬似３次元情報表示装置の場合には、この方法による算出結果に基づいて、大雑把な画像表示を行う点で大きく異なっている。
【０００６】
本発明の主たる目的は、データ入力・指定・演算等が比較的短時間で可能な擬似３次元情報作成方法、およびこの方法を利用した低コストな擬似３次元情報作成装置、擬似３次元情報表示装置並びに擬似３次元情報作成プログラムを記録した記録媒体を提供することにある。
【０００７】
【課題を解決するための手段】
上記問題を解決するために、本発明に係る擬似３次元情報作成方法は、共通の複数の物体等の対象を被写対象内に有するように、間隔をあけて平行方向に撮影して得られた２つの画像データを入力し、画像特徴データに変換する工程と、画像特徴データに変換された一方側の画像データを表示用基準画像データとし、他方の画像データをこの表示用基準画像データとの比較画像データとする工程と、この画像特徴データ化された表示用基準画像データにおける前記複数の対象の中から、３つの対象を指定すると共に、この３つの対象のうちから奥行き方向の相対距離計算の基準となる基準対象を指定する工程と、この基準対象と前記３つの対象のうちの前記基準対象以外の他の第１対象との奥行き方向の相対距離及びこの基準対象と前記３つの対象のうちの前記基準対象及び前記他の第１対象以外の他の第２対象との奥行き方向の相対距離を、前記表示用基準画像データにおける視点から前記基準対象までの奥行き方向の距離、前記表示用基準画像データにおける前記基準対象と前記比較画像データにおける前記基準対象との位置ずれ、前記表示用基準画像データにおける前記他の第１対象と前記比較画像データにおける前記他の第１対象との位置ずれ及び前記表示用基準画像データにおける前記他の第２対象と前記比較画像データにおける前記他の第２対象との位置ずれに基づいた所定の相対距離演算手段によって算出する工程とを備えたことを特徴とするとよい。
【０００８】
この方法を利用した装置の具体例としての本発明に係る擬似３次元情報表示装置としては、共通の複数の物体等の対象を被写対象内に有するように、間隔をあけて平行方向に撮影した２つの画像データが取り込まれると、この２つの画像データに基づく画像処理演算が行われる擬似３次元情報演算部と、この擬似３次元情報演算部に対して拡大または縮小表示を設定する入力手段と、この擬似３次元情報演算部での演算結果を用いて拡大または縮小表示する表示装置部とを備えた擬似３次元情報表示装置であって、擬似３次元情報演算部では、前記２つの画像データを画像特徴データに変換し、画像特徴データに変換した一方側の画像データを表示用基準画像データとすると共に、他方の画像データをこの表示用基準画像データとの比較画像データとし、この画像特徴データ化した表示用基準画像データにおける前記複数の対象の中から、３つの対象を指定すると共に、この３つの対象のうちから奥行き方向の相対距離計算の基準となる基準対象を指定し、この基準対象と前記３つの対象のうちの前記基準対象以外の他の第１対象との奥行き方向の相対距離及びこの基準対象と前記３つの対象のうちの前記基準対象及び前記他の第１対象以外の他の第２対象との奥行き方向の相対距離を、前記表示用基準画像データにおける視点から前記基準対象までの奥行き方向の距離、前記表示用基準画像データにおける前記基準対象と前記比較画像データにおける前記基準対象との位置ずれ、前記表示用基準画像データにおける前記他の第１対象と前記比較画像データにおける前記他の第１対象との位置ずれ及び前記表示用基準画像データにおける前記他の第２対象と前記比較画像データにおける前記他の第２対象との位置ずれに基づいた所定の相対距離演算手段によって算出し、前記入力手段による設定変更によって視点を前進または後退した状態を、表示用基準画像データを基に、それぞれ拡大または縮小表示するために、前記奥行き方向の各相対距離のデータを用いて、基準対象を含む各対象をそれぞれに応じた倍率で表示するための表示変更演算を行うことを特徴とするとよい。
【０００９】
この際、例えばデジタルカメラによって前記２つの画像（いわゆるステレオ画像）が、共通の複数の物体等の対象（つまり、物体以外に人物等を含めてもよい。）を被写対象内に有するように撮影される。擬似３次元情報演算部では、前記２つの画像のデータが取り込まれると、先ず、それぞれ、通常２値からなる画像の特徴（例えば輪郭）のみの画像特徴データとすることで、これ以降の演算データを大幅に減らしている。
【００１０】
次に、画像特徴データに変換した一方側の画像データを表示用基準画像データとすると共に、他方の画像データをこの表示用基準画像データとの比較画像データとする。この比較画像データは、奥行き方向の相対距離を算出するために使用される。表示用基準画像データは、奥行き方向の相対距離を算出する際に使用される他、表示装置部での初期画像表示に使用されたり、拡大または縮小表示する際の基準データとなっている。
【００１１】
次に、この表示用基準画像データにおいて画像特徴データ化した前記複数の物体の画像データに対して、平面扱いする複数のブロック画像データを指定する（つまり、各物体の画像データを、物体単位に平面扱いするブロック画像データとしたり、または場合によっては、物体を複数の部分からなると考えて、１つの物体を平面扱いする複数のブロック画像データとする。）と共に、この複数のブロック画像データのうちから奥行き方向の相対距離計算の基準となる基準ブロック画像データ（表示用基準画像データと比較画像データとに共通して現れている任意の１つのブロック画像であって、ポイントでもよい。）を指定する。以降、ブロック画像データ単位の処理とすることで、更に演算にかかわるデータを減らしている。
【００１２】
次に、この基準ブロック画像データと他の各ブロック画像データとの奥行き方向の各相対距離を、表示用基準画像データと比較画像データとの画像ずれに基づいた所定の相対距離演算手段（後述にて詳述する。）によって算出する。次に、入力手段（マウス等）による設定変更によって視点を前進または後退した状態を、表示用基準画像データを基に、それぞれ拡大または縮小表示するために、前記奥行き方向の各相対距離のデータを用いて、基準ブロック画像を含む各ブロック画像をそれぞれに応じた倍率で表示するための表示変更演算を行う。この演算結果が、表示装置部にて表示されることとなる。
【００１３】
このように、擬似３次元情報演算部での画像処理演算量は極めて簡素化されている。そのため、本発明に係る擬似３次元情報表示装置としては例えば通常のノートブックタイプのパーソナルコンピュータで十分である。
尚、ここでの擬似３次元情報表示とは、このように視点を前進または後退した状態を、各ブロック画像毎に異なった倍率で、それぞれ拡大または縮小表示することにより、視点を移動して見える状態を正確ではないものの、大雑把に表示するようにしたものである。よって、本発明に係る擬似３次元情報表示装置においては、単に同一視点から拡大・縮小表示するときのように全体を同一倍率で拡大・縮小するのとは異なって、３次元情報を利用して、視点を移動して見える状態を大雑把ではあるものの表示できるようになっている。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態に係る擬似３次元情報表示装置を図１〜図４を参照しつつ説明する。
【００１５】
図１は本発明の実施の形態に係る擬似３次元情報表示装置を示すブロック図、図２は本発明の実施の形態に係る擬似３次元情報表示装置の処理手順を示すフロー図、図３は本発明の実施の形態に係る擬似３次元情報表示装置に用いられる相対距離演算手段を説明するための概略的説明図、図４は図３に関連した図であって、同図（Ａ）は左の位置から撮影した画像の輪郭抽出後の状態を示す概略的説明図、同図（Ｂ）は右の位置から撮影した画像の輪郭抽出後の状態を示す概略的説明図である。
【００１６】
本発明の実施の形態に係る擬似３次元情報表示装置１００は、共通の複数の物体等の対象を被写対象内に有するように、間隔をあけて平行方向に撮影した２つの画像データが取り込まれると、この２つの画像データに基づく画像処理演算が行われる擬似３次元情報演算部１１０と、この擬似３次元情報演算部１１０に対して拡大または縮小表示を設定する入力手段１５０と、この擬似３次元情報演算部１１０での演算結果を用いて拡大または縮小表示する表示装置部１７０と、画像データ取り込み時に使用されるＰＣカードスロット１０５とＣＤ−ＲＯＭドライブ１０６とを有している。
【００１７】
擬似３次元情報演算部１１０では、前記２つの画像データを画像特徴データに変換し、画像特徴データに変換した一方側の画像データを表示用基準画像データとすると共に、他方の画像データをこの表示用基準画像データとの比較画像データとし、この表示用基準画像データにおいて画像特徴データ化した前記複数の物体等の対象の画像データに対して、平面扱いする複数のブロック画像データを指定すると共に、この複数のブロック画像データのうちから奥行き方向の相対距離計算の基準となる基準ブロック画像データを指定し、この基準ブロック画像データと他の各ブロック画像データとの奥行き方向の各相対距離を、表示用基準画像データと比較画像データとの画像ずれに基づいた所定の相対距離演算手段によって算出し、前記入力手段１５０による設定変更によって視点を前進または後退した状態を、表示用基準画像データを基に、それぞれ拡大または縮小表示するために、前記奥行き方向の各相対距離のデータを用いて、基準ブロック画像を含む各ブロック画像をそれぞれに応じた倍率で表示するための表示変更演算を行う。
尚、この擬似３次元情報演算部１１０での処理には、本発明の擬似３次元情報作成方法が利用されている。
【００１８】
前記２つの画像データは、デジタルカメラ２００によって撮影されたデータで、いわゆるステレオ画像データである。
本発明の実施の形態に係る擬似３次元情報表示装置１００は、ノートブックタイプのパーソナルコンピュータ（または同等品）にその機能が搭載されている。擬似３次元情報演算部１１０は、ノートブックタイプのパーソナルコンピュータ内に備えられたＣＰＵ１１１と、前記処理のソフトウェアが記憶されたメモリ１１２と、画像処理演算時のメモリ１１３とを主たるものとして構成されている。尚、メモリ１１２は、前記処理のソフトウェアが記憶された記録媒体そのものであってもよいが、通常は例えば、図示しないフロッピーディスクやＣＤ−ＲＯＭ等を前記処理のソフトウェアが記憶された記録媒体とし、そこからメモリ１１２（場合によっては図示しないハードディスク）に読み込むとする。
【００１９】
前記入力手段１５０は、ノートブックタイプのパーソナルコンピュータに備えられたマウス１５１（または相当品）およびキーボード１５２のキースイッチであって、拡大または縮小表示を設定する以外に、前記処理での各指定にも利用される。
【００２０】
表示装置部１７０は、ノートブックタイプのパーソナルコンピュータに備えられたＬＣＤ等の表示装置とそのドライバとを有している。
【００２１】
デジタルカメラ２００は、通常、業界標準となっているメモリカード２１０に画像データが記録されるようになっている。このメモリカード２１０は、デジタルカメラ２００から取り外しできるようになっている。このメモリカード２１０に記録された画像データをノートブックタイプのパーソナルコンピュータ（擬似３次元情報表示装置１００）に読み込むためには、このメモリカード２１０を、カードアダプタ２１５に挿入してＰＣカードスロット１０５にセットすると共に、デジタルカメラ２００の画像データ読み込み等のソフトウェアが記録されているＣＤ−ＲＯＭ２５０をＣＤ−ＲＯＭドライブ１０６にセットして所定の読み込み操作をすることで可能となっている。
【００２２】
以下、擬似３次元情報表示装置１００の動作とフローとを同時に説明する。
【００２３】
初期状態として、デジタルカメラ２００によって、共通の複数の物体１０、２０、３０（ここでは、図３に示すように、物体１０に対して物体２０は左奥側の物であり、物体３０は右手前側の物であるとしている。）を被写対象内に有するように、間隔（図３における任意の間隔寸法ａ）をあけて平行方向に撮影したときの２つの画像データ（いわゆるステレオ画像のデータ）が、メモリカード２１０に記録されているとする。
【００２４】
上述のようにメモリカード２１０を、カードアダプタ２１５に挿入してＰＣカードスロット１０５にセットすると共に、ＣＤ−ＲＯＭ２５０をＣＤ−ＲＯＭドライブ１０６にセットして所定の読み込み操作を行って、前記２つの画像データをメモリ１１３に取り込む（Ｓ１）。
【００２５】
前記操作を含め以下の操作は、通常、表示装置部１７０に画像を表示させ、ユーザが必要に応じて確認しつつ行う（Ｓ２）  。
【００２６】
取り込んだ画像データは、画像特徴データとしての輪郭抽出データに変換する（Ｓ３）。この変換は、一般的な輪郭抽出のための画像処理演算（例えば、エッジ強調処理・閾値処理・細線化処理等）で行われる。輪郭抽出後の状態は、図４のようになる。ここで、物体１０、２０、３０は、輪郭線の状態となり、図４（Ａ）では、それぞれ１０″、２０″、３０″となり、図４（Ｂ）では、それぞれ１０′、２０′、３０′となっている。
【００２７】
尚、デジタルカメラ２００からの画像データは、通常、カラー画像であり、１ピクセル当たりＲＧＢの３画素データ、しかも１画素当たり８ビットの階調データとなっている。しかし、輪郭抽出データへの変換以降のデータの扱いとしては、モノクロの２値データで十分であるため、１ピクセル（ＲＧＢの３画素データ）は、１表示単位とされる。よって、１ピクセル内のＲＧＢの３画素データは、まとめて１つのデータとして扱われる。
【００２８】
このまとめて１つのデータとして扱う方法としては、例えば（Ｒの画素データ／３）＋（Ｇの画素データ／３）＋（Ｂの画素データ／３）の演算を、一般的な輪郭抽出のための画像処理演算の手前で行っておく。よって、データ量は一般的な輪郭抽出のための画像処理演算以降、３分の１とされている。また、一般的な輪郭抽出のための画像処理演算では、２値化されるので、１画素当たり８ビットの階調データも１ビット化されており、データ量は更に８分の１とされている。
【００２９】
また、デジタルカメラ２００によっては、カメラ自体にモノクロ変換モードを有したものもあり、その場合には、ＲＧＢの３画素データのうちのいずれか１つの画素（例えばＲ画素）のデータのみを、一般的な輪郭抽出のための画像処理演算に使用することとなる。
【００３０】
次に、輪郭抽出データに変換された一方側の画像データ（例えば図４（Ｂ）を輪郭データとしたもの。）を表示用基準画像データとし、他方の画像データ（例えば図４（Ａ）を輪郭データとしたもの。）をこの表示用基準画像データとの比較画像データとする（Ｓ４）。これは、ユーザが、通常、画像を確認しつつキースイッチ入力等によって指定する。
【００３１】
尚、自動的にどちらかの画像データを表示用基準画像データとし、他方の画像データをこの表示用基準画像データとの比較画像データと指定されるとしてもよい。ただし、次の処理でブロック画像指定する際に、各ブロック画像の重なりが全くないかまたは少ないものの方が表示用基準画像データとして好ましいので、画像によってはユーザが指定する方が手っ取り早い。自動的に指定されるときには、この重なり具合を無視して指定される場合と、この重なり具合を考慮して設定される場合がある。考慮される場合には、例えば、ラベリング処理を施して、ラベルの数が多い画像データを重なり具合が少ない方であると判断して、表示用基準画像データとする。
【００３２】
次に、ユーザが表示用基準画像と比較画像とを比較しつつ、両方の画像に共通して現れている部分（ただし、その部分の形状は完全一致でなくてもよい。例えば、データ欠けや逆に付加部分を有していてもよい。）であって平面扱いする部分（実際には奥行きが多少あるものであっても、計算を単純化するため、多少強引に平面扱いしてもよい。）をブロック単位にブロック画像１０′、２０′、３０′であるとして、それぞれ表示用基準画像において指定する。
【００３３】
この際の指定方法としては、ユーザがマウスによってラバーバンド（ドラッグしつつ枠を作る方法で作られた矩形枠）で囲んで指定する。つまり、ラバーバンド内で指定された画像は１つのブロック画像であり、その画像のデータは１つのブロック画像データであるとする。尚、複雑な形状のものであって、近隣に同じ１つのものとはしたくない画像があった場合には、１つのラバーバンド内での指定が困難であることもある。そんな時のために、複数のラバーバンド内の画像を連結して１つのブロック画像とし、その画像のデータは１つのブロック画像データとする機能を設けておくと好ましい。
尚、ユーザが指定するのではなく、ラベリング処理等によって自動的に指定されるとしてもよい。
【００３４】
この際、ユーザが複数のブロック画像１０′、２０′、３０′のうちから相対距離計算の基準となる基準ブロック画像１０′（基準対象）をキースイッチ等で指定する。その画像のデータは基準ブロック画像データとされる（Ｓ５）。この基準ブロック画像１０′としては、前記複数のブロック画像１０′、２０′、３０′のうちから、表示用基準画像データと比較画像データとに共通して現れている任意の１つのブロック画像を基準ブロック画像（ポイントでもよい。）とする。
尚、ユーザが指定するのではなく、自動的に任意の１つのブロック画像データが基準ブロック画像データとして指定されるとしてもよい。
【００３５】
次に、この基準ブロック画像１０′（基準対象）と他の各ブロック画像２０′、３０′
（他の対象（他の第１対象、他の第２対象））との奥行き方向の各相対距離を、例えば以下のような理論に基づいた相対距離演算手段によって算出する（Ｓ６）。
【００３６】
先ず、大雑把な説明をする。
被写対象内の物体として、例えば、基準物、手前物（基準物よりも手前の物）、奥側物（基準物よりも奥側の物）といった３つの物があるとする。手前物と奥側物とが基準物よりも左にあるとする。これに対して平行方向に、右の位置から撮影された画像（以下「右画像」と呼ぶ。）と左位置から撮影された画像（以下「左画像」と呼ぶ。）とを比較する。そうすると、右画像に比べて左画像では、手前物と基準物との間隔寸法は短くなる一方、奥側物と基準物との間隔寸法は長くなる。この関係は、手前物と奥側物とが基準物よりも右にあると逆となる。
この関係は、目の前に３つの指を前記３つの物の位置関係に配置して、右目で見たときと左目で見たときとで、簡単に理解できる。
【００３７】
この関係を別の見方すると、手前物と奥側物とが基準物よりも左にある場合に、右画像と左画像の各基準物を重ね合わせると、左画像の奥側物は、右画像の奥側物よりも左側に位置することとなる一方、左画像の手前物は、右画像の手前物よりも右側に位置することとなる。この関係は、手前物と奥側物とが基準物よりも右にあると逆となる。つまり、例えば、右画像と左画像の各基準物を重ね合わせた後に、左画像の左側の奥側物を右画像の左側の奥側物に重ね合わせようとすると、必ず右にずらせる必要がある。よって、奥側物と基準物とのどちらが奥にあるかわかることになる。同様に考えると、奥側物と基準物と手前物との位置関係がわかることになる。
【００３８】
この関係を図３に示される前記物体１０、２０、３０に当てはめ、寸法的な要素を加味して詳しく説明すると下記の通りとなっている。
表示用基準画像と比較画像とを重ね合わせ表示し、表示用基準画像データにおける基準ブロック画像１０′の所定ポイントと、前記基準ブロック画像に対応する比較画像データにおける基準ブロック画像１０″の所定ポイントとが重なるまで、相対的に左右方向に画像（画像データ）を移動させる。ここでは、例えば表示用基準画像に対して比較画像を移動させる。この際のずらし量をｓｔｄとする。
【００３９】
また、両基準ブロック画像１０′、１０″の所定ポイントを重ねた状態から、表示用基準画像に対して比較画像を移動させ、他のブロック画像２０′、２０″、３０′、３０″についても、同様にそのブロック画像についての所定の共通ポイントを重ねる。この際のずらし量をｂ′とすると、図３におけるｂ（ｂ1 またはｂ2 ）は、ｂ＝ａ・ｂ′／ｓｔｄとなる。
【００４０】
この際、２つの視点間と直交する前方方向成分距離であって、視点から基準ブロック画像１０′の所定ポイントまでの奥行き方向の距離をｘ、視点から図３における基準ブロック画像１０′よりも手前側のブロック画像３０′の所定ポイントまでの奥行き方向の距離をｄ、基準ブロック画像１０′の所定ポイントから図３における基準ブロック画像１０′よりも奥側のブロック画像２０′の所定ポイントまでの奥行き方向の距離をｆとすると、以下の関係式が成り立っている。
【００４１】
ｄ／ａ＝（ｘ−ｄ）／ｂ2 
∴ｄ＝ａ・ｘ／（ｂ2 ＋ａ）＝ａ・ｘ／（ａ・ｂ2 ′／ｓｔｄ＋ａ）
＝ｘ・ｓｔｄ／（ｂ2 ′＋ｓｔｄ）
また、ｆ／ｂ1 ＝（ｘ＋ｆ）／ａ
∴ｆ＝ｂ1 ・ｘ／（ａ−ｂ1 ）
＝（ａ・ｂ1 ′／ｓｔｄ）・ｘ／（ａ−ａ・ｂ1 ′／ｓｔｄ）
＝ｂ1 ′・ｘ／（ｓｔｄ−ｂ1 ′）
【００４２】
この式によって、ｄとｆとは、任意の値として設定可能なｘに比例し、画面上でのずれｓｔｄ、ｂ1 ′、ｂ2 ′（ピクセル）を代入することによって求められるものであることがわかる。また、間隔寸法ａには依存しないので、撮影時の間隔寸法ａは、いわゆるステレオ画像が適切に撮れれば任意の寸法でよいこととなる。
この奥行き方向の相対距離演算での表示用基準画像と比較画像との重ね合わせとｓｔｄ、ｂ1 ′、ｂ2 ′〔ピクセル〕のカウントとは、ユーザの操作で行う。尚、ユーザの操作で行うのではなく、パターンマッチング等によって自動化してカウントしてもよい。
カウントされた値が、上述の式に代入されて演算されるが、例えばｘ＝１００と設定されて後に、ｆとｄとが演算される。
ここまでが、いわゆる準備段階である。
【００４３】
次に、前記入力手段１５０の内、例えばマウス１５１による設定変更によって視点を前進または後退（Ｓ７）する。
【００４４】
次に、この視点変更した状態を、表示用基準画像データを基に、それぞれ拡大または縮小表示するために、この奥行き方向の相対距離のデータｘ、ｄ、ｆを用いて、基準ブロック画像１０′を含む各ブロック画像１０′、２０′、３０′をそれぞれに応じた倍率で表示するための演算が行われ、この演算結果が表示装置部１７０に送られて表示される（Ｓ８）。
【００４５】
ここで、視点を初期位置から前進または後退した奥行き方向の距離をｓとすると、前進または後退した状態での各ブロック画像１０′、２０′、３０′の拡大または縮小の率は、基準ブロック画像１０′がｘ／（ｘ−ｓ）、基準ブロック画像１０′よりも奥側のブロック画像２０′が（ｘ＋ｆ）／（ｘ＋ｆ−ｓ）、基準ブロック画像１０′よりも手前側のブロック画像３０′が（ｘ−ｄ）／（ｘ−ｄ−ｓ）となる。
【００４６】
この拡大・縮小表示処理での演算をより具体的に説明すると、奥行き方向の相対距離演算での演算結果が例えば、ｘ＝１００、ｄ＝３０、ｆ＝２０であったとし、視点を前進または後退した奥行き方向の距離ｓ＝０、±１、±２、±３・・とする。
また、表示装置部１７０の表示能力がＸＧＡ規格の１０２４×７６８ピクセルであり、デジタルカメラ２００からの１つの画像当たりの画像データサイズは６４０×４８０ピクセルであるとする。
【００４７】
初期表示状態つまりｓ＝０のとき、表示装置部１７０には、表示用基準画像の初期画像と同じ状態のものが１０２４×７６８ピクセル内の中央付近の６４０×４８０ピクセル内（以下、「表示ウインドウ」と呼ぶ。）に表示され、その周囲の例えば右側に距離変更のためのスケール表示がされているとする。このスケール表示には、マウス１５１で移動させられるキー表示を設けておき、このキー表示を移動させることでｓの設定が変更されるとしておく。
尚、ｓの設定変更で演算結果が無限大倍または負の倍率となるときには、当該ブロック画像については表示しないこととする。
【００４８】
また、基準ブロック画像１０′を含む各ブロック画像１０′、２０′、３０′は、例えば、表示ウインドウの中心点を基準座標〔０，０〕ピクセルとして、拡大または縮小演算されて表示ウインドウ内に表示される。
【００４９】
この際、単純に倍率を掛けて拡大または縮小後の位置とすると、小数点以下の数字が出るので、小数点以下の値は四捨五入する。これにより、最寄りのピクセルに表示させることとなる。
【００５０】
ｓ＝１のときを考えると、基準ブロック画像１０′は、表示用基準画像の初期画像のときの１００／（１００−１）＝１００／９９倍となる。
基準ブロック画像１０′よりも奥側のブロック画像２０′は、表示用基準画像の初期画像のときの（１００＋２０）／（１００＋２０−１）＝１２０／１１９倍となる。
基準ブロック画像１０′よりも手前側のブロック画像３０′は、表示用基準画像の初期画像のときの（１００−３０）／（１００−３０−１）＝７０／６９倍となる。
【００５１】
次にｓ＝７０のとき（視点が基準ブロック画像１０′よりも手前側のブロック画像３０′まで進んだとき）を考えると、基準ブロック画像１０′は、表示用基準画像の初期画像のときの１００／（１００−７０）＝１０／３倍となる。
基準ブロック画像１０′よりも奥側のブロック画像２０′は、表示用基準画像の初期画像のときの（１００＋２０）／（１００＋２０−７０）＝１２／５倍となる。
基準ブロック画像１０′よりも手前側のブロック画像３０′は、表示用基準画像の初期画像のときの（１００−３０）／（１００−３０−７０）＝無限大倍〔つまり表示しない。〕となる。
【００５２】
次にｓ＝７１のときを考えると、基準ブロック画像１０′は、表示用基準画像の初期画像のときの１００／（１００−７１）＝１００／２９倍となる。
基準ブロック画像１０′よりも奥側のブロック画像２０′は、表示用基準画像の初期画像のときの（１００＋２０）／（１００＋２０−７１）＝１２０／４９倍となる。
基準ブロック画像１０′よりも手前側のブロック画像３０′は、表示用基準画像の初期画像のときの（１００−３０）／（１００−３０−７１）＝７０／（−１）＝−７０倍〔つまり表示しない。〕となる。
【００５３】
次にｓ＝１００のとき（視点が基準ブロック画像１０′まで進んだとき）を考えると、基準ブロック画像１０′は、表示用基準画像の初期画像のときの１００／（１００−１００）＝無限大倍〔つまり表示しない。〕となる。
基準ブロック画像１０′よりも奥側のブロック画像２０′は、表示用基準画像の初期画像のときの（１００＋２０）／（１００＋２０−１００）＝６倍となる。
基準ブロック画像１０′よりも手前側のブロック画像３０′は、表示用基準画像の初期画像のときの（１００−３０）／（１００−３０−１００）＝７０／（−３０）＝−７／３倍〔つまり表示しない。〕となる。
【００５４】
次にｓ＝１０１のときを考えると、基準ブロック画像１０′は、表示用基準画像の初期画像のときの１００／（１００−１０１）＝１００／（−１）＝−１００倍〔つまり表示しない。〕となる。
基準ブロック画像１０′よりも奥側のブロック画像２０′は、表示用基準画像の初期画像のときの（１００＋２０）／（１００＋２０−１０１）＝１２０／１９倍となる。
基準ブロック画像１０′よりも手前側のブロック画像３０′は、表示用基準画像の初期画像のときの（１００−３０）／（１００−３０−１０１）＝７０／（−３１）＝−７０／３１倍〔つまり表示しない。〕となる。
【００５５】
また、視点が後退したときの例としてｓ＝−１０のときを考えると、基準ブロック画像１０′は、表示用基準画像の初期画像のときの１００／（１００＋１０）＝１０／１１倍となる。
基準ブロック画像１０′よりも奥側のブロック画像２０′は、表示用基準画像の初期画像のときの（１００＋２０）／（１００＋２０＋１０）＝１２／１３倍となる。
基準ブロック画像１０′よりも手前側のブロック画像３０′は、表示用基準画像の初期画像のときの（１００−３０）／（１００−３０＋１０）＝７／８倍となる。
【００５６】
上述の視点変更入力処理（Ｓ７）および拡大・縮小表示処理（Ｓ８）は、ユーザの指示によって繰り返し行われる。
【００５７】
このように、本発明の実施の形態に係る擬似３次元情報表示装置においては、視点を変更すると、各ブロック画像１０′、２０′、３０′が、各ブロック画像毎に拡大または縮小演算されて表示されるが、この際の演算に係わるデータは非常に絞り込まれているので、低コストなノートブックタイプのパーソナルコンピュータでも十分これらの演算を比較的短時間でこなすことができ、表示変更も比較的短時間で可能である。
また、視点変更入力処理よりも前の処理においても、入力にかかる手間が簡素化されている上に、演算処理に係わるデータ量も削減されており、奥行き方向の相対距離演算完了までの準備も比較的短時間で可能である。
【００５８】
ところで、上述においては、説明し易くするため、平面扱いし易いものを例としたが、実際には、奥行き方向が長くなっているために、平面扱いすると、視点を変更して拡大または縮小表示すると違和感（隣接するブロック画像間の表示ずれ）が出てしまうものもある。このような場合、奥行き方向の線分の中点付近を、前記所定ポイントとして距離を演算し、倍率計算することで、違和感が減らせる（表示ずれが減らせる）。
【００５９】
更に違和感を減らすには、ブロック画像データ指定処理におけるラバーバンドの指定サイズを奥行き方向に細かく分割して行って、複数のブロック画像指定するとよい。または、この際の奥行き方向の線分について、この部分のみ座標データとこれに関する線分データ（ベクトル化データ）とを持たせて、ＣＡＤ並みの演算を施すとしてもよい。特別扱いする線分が少なければ、低コストなノートブックタイプのパーソナルコンピュータでも十分これらの演算を比較的短時間でこなすことができる。特別扱いする線分が多少多くなったとしても、時間が余分にかかるようになるだけである。また、たとえ時間的に問題となることがあったとしても、やや高速タイプのＣＰＵを搭載したややコスト高のノートブックタイプのパーソナルコンピュータで対応可能である。
【００６０】
本発明の実施の形態に係る擬似３次元情報表示装置１００においては、視点を変更して拡大表示すると画像が荒れてくるが、それでよいとしている。
ただし、一般的な画素補完演算を前記拡大・縮小表示処理として追加し、画像の粗れが拡大表示しても現れないとしてもよい。
この程度の演算を付加してもＣＡＤ装置を必要とするレベルとはならない。
【００６１】
本発明の実施の形態に係る擬似３次元情報表示装置１００においては、上述の各種演算に使用するデータ量を減らしているので、メモリ上で圧縮記憶させなくても差し支えないことが多いので、データ圧縮については記述していないが、適宜データ圧縮してよいことは言うまでもない。
【００６２】
本発明の実施の形態に係る擬似３次元情報表示装置１００においては、ブロック画像データ指定処理等において、表示用基準画像と比較画像とを２画面表示させる方が作業上都合がよいこともある。この際は、前記表示ウインドウ内にて画面切り替えするだけでなく、２つの表示ウインドウを並べて設ける機能をもたせるとよい。この際、表示装置部１７０の表示能力がＸＧＡ規格の１０２４×７６８ピクセルであるとしたので、フルサイズ６４０×４８０ピクセルを２画面並べて表示できない。その代わりに、例えば、表示用基準画像と比較画像とを、それぞれ１ピクセル毎に間引き表示して３２０×２４０ピクセルの２画面表示とするか、または、５１２×４８０ピクセルの２画面表示とするとよい。５１２×４８０ピクセルの２画面表示とする場合には、表示用基準画像と比較画像とは、間引きせず、フルサイズ６４０×４８０ピクセルの画像を５１２×４８０ピクセルの表示ウインドウ内を左右に移動表示することとなる。
【００６３】
尚、表示装置部１７０の表示能力がＶＧＡ規格の６４０×４８０ピクセルである場合には、拡大・縮小表示処理での表示を表示ウインドウに表示するのではなく、この画面全体に表示させる。距離変更のためのスケール表示は、例えば、この画面内の下側に重ね合わせて表示させる。また、２画面表示とする場合は、例えば３２０×４８０ピクセルの２画面表示とするとよい。
【００６４】
本発明の実施の形態に係る擬似３次元情報表示装置１００においては、画像取り込みに、デジタルカメラ２００を用いるとした。この他に例えばビデオカメラやスチルカメラでもよい。スチルカメラの場合には、撮影後にプリントをスキャナーを用いて画像データに変換してから、擬似３次元情報演算部１１０に取り込むこととなる。
【００６５】
ところで、上述のステレオ画像は、デジタルカメラ２００等で２つの画像を撮影する際に、その水平位置を揃えるようにして撮影されるものを指す。本発明の実施の形態に係る擬似３次元情報表示装置１００においては、入力される２つの画像データは、このステレオ画像のデータが好ましいものの、２つの画像の水平位置が相互にずれていても対処は可能である。ユーザが、奥行き方向の相対距離演算の処理（Ｓ６）において、表示用基準画像と比較画像とを重ね合わせ表示する際に、画像を相対的に上下方向にも移動させることができるようにするとよい。
回転方向のずれにも対処する場合には、同様に表示用基準画像と比較画像との画像を相対的に回転させることができるようにすればよい。
【００６６】
尚、この際、自動的にする場合には、例えば、パターンマッチング等を水平方向だけでなく上下方向にもずらせつつ行うようにすればよいが、処理時間の増大を避けるために、できればユーザが上記のように操作するとしたほうが好ましい。回転についても同様のことが言える。
ただし、本発明の実施の形態に係る擬似３次元情報表示装置１００においては、画像を大雑把に扱うため、多少、奥行き方向の相対距離演算結果が適切でなくても問題としないため、このようなユーザの余計な操作や自動化処理を省くとすることも可能である。
【００６７】
本発明の実施の形態に係る擬似３次元情報作成装置は、上述の本発明の実施の形態に係る擬似３次元情報表示装置１００の擬似３次元情報演算部１１０とＣＤ−ＲＯＭドライブ１０６との部分が相当するだけであり、例えば前記表示装置部１７０と入力手段１５０とが別体となっているデスクトップ型のパーソナルコンピュータの本体部で実現すればよい。デスクトップ型のパーソナルコンピュータの本体部とデジタルカメラ２００との接続は、通常、デジタルカメラ２００にメモリカード２１０を装着した状態で、別体の接続ケーブルを使用して行われる。
【００６８】
【発明の効果】
以上説明したように、本発明に係る擬似３次元情報作成方法やこの方法を利用した本発明に係る擬似３次元情報作成装置および擬似３次元情報表示装置等においては、デジタルカメラ等の手軽な画像撮影手段による画像のデータが用いられる。擬似３次元情報作成時の演算データは大幅に減らしており、データ入力・指定にかかる手間も少なくしているため、拡大・縮小表示変更できるようにするまでの準備が比較的短時間で可能となっている。また、この本発明に係る擬似３次元情報作成方法は、低コストな通常のノートブックタイプのパーソナルコンピュータでも十分実行可能であり、低コストな擬似３次元情報作成装置および擬似３次元情報表示装置を提供できる。
【００６９】
よって、画像撮影手段たるデジタルカメラ等を含めたシステムとしても低コストであり、且つ短時間で擬似３次元情報を作成したり、表示できる。
また、本発明に係る擬似３次元情報表示装置は、持ち運びが容易なノートブックタイプのパーソナルコンピュータで実現可能なため、プレゼンテーション用に適している。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る擬似３次元情報表示装置を示すブロック図である。
【図２】本発明の実施の形態に係る擬似３次元情報表示装置の処理手順を示すフロー図である。
【図３】本発明の実施の形態に係る擬似３次元情報表示装置に用いられる相対距離演算手段を説明するための概略的説明図である。
【図４】図３に関連した図であって、同図（Ａ）は左の位置から撮影した画像の輪郭抽出後の状態を示す概略的説明図、同図（Ｂ）は右の位置から撮影した画像の輪郭抽出後の状態を示す概略的説明図である。
【符号の説明】
１００    擬似３次元情報表示装置
１１０    擬似３次元情報演算部
１５０    入力手段
１７０    表示装置部
【図１】
0004103122.tif 000002
【図２】
0004103122.tif 000003
【図３】
0004103122.tif 000004
【図４】
0004103122.tif 000005