(57)【特許請求の範囲】
【請求項１】
撮像対象を撮像した画像に基づいて撮像対象の３次元情報を取得し、前記撮像対象の３次元画像情報を生成する３次元画像情報生成装置であって、
少なくとも１枚のカラー画像を含み、複数視点から撮像対象を撮像した画像を入力する入力手段と、
前記カラー画像の輝度情報を抽出する抽出手段と、
前記抽出手段により抽出された輝度情報に前処理を行う前処理手段と、
前記前処理手段により処理された画像から３次元情報を取得する３次元情報取得手段と、
前記３次元情報に、前記前処理の効果を補償する処理を行う補償処理手段と、
前記補償処理された３次元情報に前記カラー画像をテクスチャとして貼付して３次元画像を生成する３次元画像生成手段と、
を具備することを特徴とする３次元画像情報生成装置。
【請求項２】
前記補償処理手段は、前記前処理の逆変換処理を行うことを特徴とする請求項１に記載の３次元画像情報生成装置。
【請求項３】
前記補償処理手段は、前記前処理結果を打ち消すように拡縮処理および平行移動処理、あるいはその一方を行うことを特徴とする請求項１に記載の３次元画像情報生成装置。
【請求項４】
少なくともステレオ撮像系と計算装置を有する3次元画像情報生成装置において、撮像対象を撮像した画像に基づいて撮像対象の３次元情報を取得し、前記撮像対象の３次元画像情報を生成する３次元画像情報生成方法であって、
前記ステレオ撮像系で、少なくとも１枚のカラー画像を含み、複数視点から撮像対象を撮像した画像を入力する入力ステップと、
前記計算装置で、前記カラー画像の輝度情報を抽出する抽出ステップと、
前記計算装置で、前記抽出した輝度情報に前処理を行なう前処理ステップと、
前記計算装置で、前記前処理により処理された画像から３次元情報を取得する３次元情報取得ステップと、
前記計算装置で、前記取得した３次元情報に、前記前処理の効果を補償する処理を行なう補償処理ステップと、
前記計算装置で、前記補償処理された３次元情報に前記カラー画像をテクスチャとして貼付して３次元画像を生成する３次元画像生成ステップと、
を具備することを特徴とする３次元画像情報生成方法。
【請求項５】
前記補償処理は、前記前処理の逆変換処理であることを特徴とする請求項４に記載の３次元画像情報生成方法。
【請求項６】
前記補償処理は、前記前処理結果を打ち消す拡縮処理および平行移動処理、あるいはその一方であることを特徴とする請求項４に記載の３次元画像情報生成方法。
【請求項７】
撮像対象を撮像した画像に基づいて撮像対象の３次元情報を取得し、前記撮像対象の３次元画像情報を生成するために、コンピュータを、
少なくとも１枚のカラー画像を含み、複数視点から撮像対象を撮像した画像を入力する入力手段、
前記カラー画像の輝度情報を抽出する抽出手段、
前記抽出した輝度情報に前処理を行う前処理手段、
前記前処理手段により処理された画像から３次元情報を取得する３次元情報取得手段、
前記取得した３次元情報に、前記前処理の効果を補償する処理を行う補償処理手段、及び、
前記補償処理された３次元情報に前記カラー画像をテクスチャとして貼付して３次元画像を生成する３次元画像生成手段、
として機能させるための３次元画像情報生成プログラム。
【請求項８】
前記補償処理手段は、前記前処理の逆変換処理を実行することを特徴とする請求項７に記載の３次元画像情報生成プログラム。
【請求項９】
前記補償処理手段は、前記前処理結果を打ち消す拡縮処理および平行移動処理、あるいはその一方を実行することを特徴とする請求項７に記載の３次元画像情報生成プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、３次元画像情報生成装置、３次元画像情報生成方法並びに３次元画像情報生成プログラムに関する。
【０００２】
【従来の技術】
従来、ステレオ撮像系により取得したステレオ画像に基いて３次元情報を獲得する場合、１つの基準となる画像上の点がその他の画像上のどの点に対応しているかを対応点探索によって認識し、そのずれ（以下、視差）量と複数の撮像系の視点位置、視線方向から三角測量の原理によって対応した点までの距離情報を得ている。これは複数の視点からの画像を獲得し、各視点の位置関係と各画像の見え方の違いから３次元情報を得るというものである。
【０００３】
ここで、「ステレオ撮像系」とは、複数の視点からの撮像系を意味している。さらに１台の撮影装置からステレオコンバータ等を用いて複数視点の画像を得る物や、複数の撮像装置を使用したものも含む。また、「ステレオ撮像系によって得られたステレオ画像」とは複数視点からの画像を意味する。複数の撮像装置からの複数の画像だけでなく、１枚の画像の中に複数の視点の画像が埋め込まれているものも含む。
【０００４】
例えば図８で示すように、複数（この場合カメラ１００，１０１）の視点からステレオ画像２−１，２−２を獲得し、その中の１枚を基準画像３とする（ここではステレオ画像２−１）。次に被撮影物４上の点Ａの、基準画像３座標上での位置と、ステレオ画像２−２座標上での位置の差（以下、視差）の量と視点位置と視線方向から三角測量の原理に基づいて被撮影物４上の点Ａまでの距離が算出できる。
【０００５】
従来、ステレオ画像により３次元情報の取得を行う場合、１つの基準となる画像上の点がその他の画像上のどの点に対応しているかを対応点探索によって認識する。例えば特開平６−２１５１１１号公報にこのような手法の一例が開示されている。
【０００６】
図９は、ステレオ撮像系で得た画像から３次元画像を生成する手順を説明するための図である。
【０００７】
複数台（ここでは２台）のカメラで構成されるステレオ撮像系１（テクスチャ貼り付けの為少なくとも１台のカメラはカラーカメラ）によって撮像されたステレオ画像２−１，２−２を取得して格納する。ここではステレオ画像２−１を基準画像３とする（ステップＳ１）。次に、前処理として、ステレオマッチングを簡易に行うためにレンズ歪み（レンズディストーション）の除去と平行投影（レクティフィケーション）を行い歪みを除去した画像５−１，５−２を生成する（ステップＳ２）。このうち基準画像３の歪みが除去された画像を歪み除去基準画像６とする。
【０００８】
次にカラー画像５−１，５−２をそれぞれモノクロ画像７−１，７−２に変換する（ステップＳ３）。次にモノクロ画像７−１，７−２に対してステレオマッチングを行い距離画像７を取得して収納する（ステップＳ４）。次に距離画像７の３次元情報にステップＳ２−１で取得した歪み除去基準画像６をテクスチャとして貼り付ける（ステップＳ５）。
【０００９】
この際、各処理に必要な処理時間は装置構成や、レンズディストーション除去及びレクティフィケーション処理（ステップＳ２）、ステレオマッチング（ステップＳ４）の各アルゴリズムによって異なる。出願人の実験によればステップＳ２やステップＳ４の処理に少なからぬ時間を要することがわかっており、特にカラー画像に対してステップＳ２の処理を行なう場合はモノクロ画像と比較して３倍の時間を要する。したがってシステムの高速化を図るためにはステップＳ２の計算量削減が非常に重要な課題となる。
【００１０】
図１０はレクティフィケーション処理について説明するための図である。ここで言うレクティフィケーションとは、カメラ１００，１０１からなる撮像系１により被撮影物４を撮像して得られたステレオ画像２−１，２−２を同一平面に平行投影することによりレクティフィケーション処理した画像５を得ることである。
【００１１】
図１１（Ａ）〜（Ｄ）はレンズディストーション除去について説明するための図である。レンズディストーション除去とは、ピンホールレンズを仮定した場合には存在しない画像の歪みを除去することである。まずステレオ撮像系により本来の画像（図１１（Ａ））を撮像すると、ステレオ撮像系のレンズによる歪みを含んだ画像（図１１（Ｂ）、（Ｃ））が得られる。この画像に対してレンズディストーション除去による画像変形を行なってもとの画像を得る（図１１（Ｄ））。
【００１２】
これらの処理を行う事によってステレオマッチングを行う際に対応点の存在し得る領域はステレオ画像上の直線上（エピポーラライン）に限定される。このことによって対応点探索が容易になる。
【００１３】
形状の絶対値が決まっている画像を撮影し、画像変形（レンズディストーション除去やレクティフィケーション）のパラメータを決定し、そのパラメータに従って画像を変形させる等の手法がある。
【００１４】
【発明が解決しようとする課題】
しかしながら、レクティフィケーションやレンズディストーション等の画像変形処理は非常に計算量の多い作業であり、高速な処理を行なう場合の妨げになっていた。
【００１５】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、画像変換処理の回数を減らしてステレオマッチングを行う際の計算量を減らすことができる３次元画像情報生成装置、３次元画像情報生成方法並びに３次元画像情報生成プログラムを提供することにある。
【００１６】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明は、撮像対象を撮像した画像に基づいて撮像対象の３次元情報を取得し、前記撮像対象の３次元画像情報を生成する３次元画像情報生成装置であって、少なくとも１枚のカラー画像を含み、複数視点から撮像対象を撮像した画像を入力する入力手段（ステレオ撮像系）と、前記カラー画像の輝度情報を抽出する抽出手段（モノクロ化、グレースケール画像化手段）と、前記抽出手段により抽出された輝度情報に前処理（レンズディストーション処理、レクティフィケーション処理）行う前処理手段と、前記前処理手段により処理された画像から３次元情報を取得する３次元情報取得手段（ステレオマッチング手段）と、前記３次元情報に、前記前処理の効果を補償する処理を行う補償処理手段（逆レンズディストーション処理、逆レクティフィケーション処理、または拡大縮小、平行移動処理）と、前記補償処理された３次元情報に前記カラー画像をテクスチャとして貼付して３次元画像を生成する３次元画像生成手段とを具備する。
【００１７】
また、第２の発明は、第１の発明に係る３次元画像情報生成装置において、前記補償処理手段は、前記前処理の逆変換処理を行う。
【００１８】
また、第３の発明は、第１の発明に係る３次元画像情報生成装置において、前記補償処理手段は、前記前処理結果を打ち消すように拡縮処理および平行移動処理、あるいはその一方を行う。
【００１９】
また、第４の発明は、少なくともステレオ撮像系と計算装置を有する3次元画像情報生成装置において、撮像対象を撮像した画像に基づいて撮像対象の３次元情報を取得し、前記撮像対象の３次元画像情報を生成する３次元画像情報生成方法であって、前記ステレオ撮像系で、少なくとも１枚のカラー画像を含み、複数視点から撮像対象を撮像した画像を入力する入力ステップと、前記計算装置で、前記カラー画像の輝度情報を抽出する抽出ステップと、前記計算装置で、前記抽出した輝度情報に前処理を行なう前処理ステップと、前記計算装置で、前記前処理により処理された画像から３次元情報を取得する３次元情報取得ステップと、前記計算装置で、前記取得した３次元情報に、前記前処理の効果を補償する処理を行なう補償処理ステップと、前記計算装置で、前記補償処理された３次元情報に前記カラー画像をテクスチャとして貼付して３次元画像を生成する３次元画像生成ステップと、を具備する。
【００２０】
また、第５の発明は、第４の発明に係る３次元画像情報生成方法において、前記補償処理は、前記前処理の逆変換処理である。
【００２１】
また、第６の発明は、第４の発明に係る３次元画像情報生成方法において、前記補償処理は、前記前処理結果を打ち消す拡縮処理および平行移動処理、あるいはその一方である。
【００２２】
また、第７の発明は、３次元画像情報生成プログラムであって、撮像対象を撮像した画像に基づいて撮像対象の３次元情報を取得し、前記撮像対象の３次元画像情報を生成するために、コンピュータを、少なくとも１枚のカラー画像を含み、複数視点から撮像対象を撮像した画像を入力する入力手段、前記カラー画像の輝度情報を抽出する抽出手段、前記抽出した輝度情報に前処理を行う前処理手段、前記前処理手段により処理された画像から３次元情報を取得する３次元情報取得手段、前記取得した３次元情報に、前記前処理の効果を補償する処理を行う補償処理手段、及び、前記補償処理された３次元情報に前記カラー画像をテクスチャとして貼付して３次元画像を生成する３次元画像生成手段、として機能させる。
【００２３】
また、第８の発明は、第７の発明に係る３次元画像情報生成プログラムにおいて、前記補償処理手段は、前記前処理の逆変換処理を実行する。
【００２４】
また、第９の発明は、第７の発明に係る３次元画像情報生成プログラムにおいて、前記補償処理手段は、前記前処理結果を打ち消す拡縮処理および平行移動処理、あるいはその一方を実行する。
【００２５】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００２６】
（第１実施形態）
図１は、本発明の３次元画像情報生成装置の概略構成を示すブロック図であり、記憶装置１０を備えた計算装置１２と、これに接続された入力手段としてのステレオ撮像系１と、表示装置１１とから構成される。ステレオ撮像系１の構成は図８と同様であり、レクティフィケーション処理では図１０の構成を用い、レンズディストーション除去では図１１の構成を用いる。また、図２、図３は３次元画像情報生成の手順を説明するためのフローチャートである。
【００２７】
図８に示すカラーカメラ１００とモノクロカメラ１０１によって構成されるステレオ撮像系１によって被撮影物４を撮影してステレオ画像２−１，２−２（図３の（Ａ））を取得して記憶装置１０に格納する（ステップＳ１）。ここではカラーカメラ１００によって撮影されたステレオ画像２−１を基準画像３とする。次に計算装置１２はこの基準画像３をモノクロ化してモノクロ画像７（図３の（Ｂ））を取得する（ステップＳ３）。
【００２８】
次にモノクロ画像７及びステレオ画像２−２に対する前処理としてレクティフィケーション処理及び／又はレンズディストーション処理を行い（ステップＳ２’、図３の（Ｃ））、歪みを除去したステレオ画像５−１，５−２を生成して記憶装置１０に格納する。
【００２９】
次に計算装置１２は歪みが除去されたステレオ画像５−１，５−２にステレオマッチング処理を行い被撮影物４に関する３次元情報としての距離画像８（図３の（Ｄ））を取得して、これを記憶装置１０に格納する（ステップＳ４）。次に計算装置１２は、距離画像８に対してステップ２’で行ったレクティフィケーション及び／又はレンズディストーション処理の逆変換処理（補償処理）を行い距離画像９（図３の（Ｅ））を生成して記憶装置１０に格納する（ステップＳ２”）。計算装置１２は距離画像９から得られる３次元情報にステップＳ１で取得した基準画像３をテクスチャとして貼り付けて（ステップＳ５）表示装置１１に表示する（図３の（Ｆ））。
【００３０】
図６（Ａ）、（Ｂ）は、上記した第１実施形態の効果を従来例と比較して示す図である。この例ではカラーカメラ４台、モノクロカメラ４台からなるステレオ撮像系を想定している。
【００３１】
図６（Ａ）、（Ｂ）において、Ｓ２、Ｓ２’、Ｓ２”、Ｓ３、Ｓ４は図２及び図８に示す各ステップを意味する。３Ａはカラー画像を前処理するのに要する時間、Ａはモノクロ画像を前処理するのに要する時間、Ｂはカラー画像をモノクロ画像に変換するのに要する時間、Ｃはステレオマッチング処理に要する時間である。
【００３２】
ステップＳ３、Ｓ４を実行するのに要する時間は本発明と従来例とで同じである。また、図示していないが、ステップＳ１、Ｓ５を実行するのに要する時間も本発明と従来例とで同じである。
【００３３】
一方、カラーカメラ４台、モノクロカメラ４台の場合、従来方式によりステップＳ２を実行するのに要する時間は、３Ａ×４＋Ａ×４＝１６Ａであるが、本発明の方式によりステップＳ２’、Ｓ２”を実行するのに要する時間はＡ×４＋Ａ×４＋Ａ＝９Ａである。
【００３４】
このことをカラーカメラをｘ台、モノクロカメラをｙ台に一般化して両者を比較してみる。
【００３５】
カラーカメラの台数：ｘ
モノクロカメラの台数：ｙ
モノクロ画像１枚当たりの歪み除去処理時間：Ａ
カラー画像１枚当たりのモノクロ変換処理時間：Ｂ
ステレオマッチング処理時間：Ｃ
とすると、
従来例では、
３Ａｘ＋Ａｙ＋Ｂｘ＋Ｃ＝Ａ（３ｘ＋ｙ）＋Ｂｘ＋Ｃ
本発明の場合
Ｂｘ＋Ａ（ｘ＋ｙ）＋Ｃ＋Ａ＝Ａ（ｘ＋ｙ＋１）＋Ｂｘ＋Ｃ
となり、その差はＡ（２ｘ−１）である。
【００３６】
この結果から明らかなように、カラーカメラの台数が多いほど、かつ歪み除去処理時間が大きいほど本発明と従来との差が大きくなることがわかる。
【００３７】
Ａ，Ｂ，Ｃの値は使用する計算装置とアルゴリズムによって大きく変化するが、例えば出願人による実験システム（ＣＰＵ：Pentium III-733 RAM:256M）では、
カラーカメラ４台（ｘ＝４）、
モノクロカメラ４台（ｙ＝４）
モノクロ画像サイズ（６４０×８００×８）
カラー画像サイズ（６４０×８００×２４）
モノクロ画像１枚当たりの歪み除去処理時間Ａ＝２．５秒
カラー画像１枚当たりのモノクロ変換処理時間Ｂ＝０．００５秒
ステレオマッチング処理時間  Ｃ＝２０秒
であり、
従来例で
Ａ（３ｘ＋ｙ）＋Ｂｘ＋Ｃ＝2.5×(12＋4）＋(0.005×4)＋20＝60.02秒
本発明で
Ａ（ｘ＋ｙ＋1）＋Ｂｘ＋Ｃ＝2.5×(4＋4＋1)＋(0.005×4)＋20＝42.52秒
となり３０％の高速化になる。
【００３８】
なお、この発明の実施の形態の各構成は当然各種の変形、変更が可能である。例えばカメラの台数は上記したように任意で良く、テクスチャは基準画像３からだけでなく、その他の複数のステレオ画像２から合成しても良い。また、ステレオ撮像系１と計算装置１２はオンラインで接続されている必要はなく、オフラインで画像を送っても良い。また、処理の途中で生成される距離画像等はデータとして存在すれば良く必ずしも画像として存在する必要はない。
【００３９】
（第２実施形態）
以下に図４及び図５を参照して本発明の第２実施形態を説明する。第２実施形態に係る３次元画像情報生成装置の構成は、前記した第１実施形態と同様に、図１及び前記した図８，図１０，図１１である。
【００４０】
図８に示すカラーカメラ１００とモノクロカメラ１０１によって構成されるステレオ撮像系１によって撮影された被撮影物４を撮影してステレオ画像２−１，２−２（図５の（Ａ））を取得して記憶装置１０に格納する（ステップＳ１）。ここではカラーカメラ１００によって撮影されたステレオ画像２−１を基準画像３とする。次に計算装置９はこの基準画像３をモノクロ化してモノクロ画像７（図５の（Ｂ））を取得する（ステップＳ３）。
【００４１】
次にモノクロ画像７及びステレオ画像２−２に対する前処理としてレクティフィケーション処理及び／又はレンズディストーション処理を行い（ステップＳ２’、図５の（Ｃ））、歪みを除去したステレオ画像５−１、５−２を生成して記憶装置１０に格納する。
【００４２】
次に計算装置１２はステレオ画像５−１，５−２にステレオマッチング処理を行い被撮影物４に関する３次元情報としての距離画像８（図５の（Ｄ））を生成して記憶装置１０に格納する（ステップＳ４）。次に計算装置１２は距離画像８に対して前もって格納されている値で拡大縮小及び平行移動処理（補償処理）を行い距離画像９（図５の（Ｅ））を生成して記憶装置１０に格納する（ステップＳ６）。次に計算装置９は距離画像９から得られる３次元形状情報にステップＳ１で取得した基準画像３をテクスチャとして貼り付けて（ステップＳ５）画像（図５の（Ｆ））を表示装置１１に表示する。
【００４３】
以下にステップＳ６で説明した拡大縮小及び平行移動処理で用いられる拡大率と平行移動量の決定方法について説明する。通常、レンズディストーション（歪み）は光軸から離れるほど大きくなる。歪みの少ないレンズで撮像された画像であってもステレオマッチングをするには歪み除去処理が必須であるが、人間が画像として鑑賞するためであれば歪み除去処理を行わなくとも実用に耐えることができる（ホームビデオの撮影や鑑賞など）。
【００４４】
このような考えのもとに本実施形態では、既に取得した３次元情報に貼り付けるテクスチャ画像に対する歪み除去を省略することで計算量を削減する方法を図７を参照して説明する。
【００４５】
１．前もって形状の既知な物（あるパターンを記載したボード等が好ましい）を撮像し、その画像（歪み有り）１３と既知な形状の関係から画面上の歪み量を獲得する。
【００４６】
２．ある許容量ｅ１を設定し歪み量が許容量ｅ１以下の領域１５を処理対象とする。この場合は矩形領域を抽出する。
【００４７】
３．画像１３に対して歪み除去を行った画像１４を用意する。
【００４８】
４．歪み有り画像１３の領域１５と歪み除去画像１４の領域１５の差が最小になる画像１３の拡大率と平行移動量を探索する。
【００４９】
探索された拡大率と平行移動量を使用して領域１５に対して図４及び図５の処理を行う。
【００５０】
このような方法によれば、複雑な歪み除去を行う必要がなくなる。レンズディストーションの大きさと許容量ｅ１の値によっては処理を行わずに（拡大率１、平行移動０）貼り付けることが可能である。しかしこの方法により正確な画像が提供されるわけではなく、かつ画像中央（殆どの場合光軸）から離れたところに撮像されているものに対しては適用できない。
【００５１】
なお、この発明の実施の形態の各構成は当然各種の変形、変更が可能である。
【００５２】
例えばカメラの台数は任意で良く、テクスチャは基準画像３からだけでなく、その他の複数のステレオ画像２から合成しても良い。また、ステレオ撮像系１と計算装置１２はオンラインで接続されている必要はなく、オフラインで画像を送っても良い。また、処理の途中で生成される距離画像等はデータとして存在すれば良く必ずしも画像として存在する必要はない。
【００５３】
上記した第２実施形態における処理時間を計算すると以下のようになる。
【００５４】
カラーカメラの台数：ｘ
モノクロカメラの台数：ｙ
モノクロ画像１枚当たりの歪み除去処理時間：Ａ
カラー画像１枚当たりのモノクロ変換処理時間：Ｂ
ステレオマッチング処理時間：Ｃ
画像１枚当たりの縮小及び平行移動処理時間：Ｄ
とすると、
Ｂｘ＋Ａ（ｘ＋ｙ）＋Ｃ＋Ｄ
で求めることができる。ここでＡとＤの処理時間は同じオーダである。
【００５５】
（付記）
１．  ステレオ撮像系によって得られた複数視点からの画像に対して
ステレオマッチングを行う事によって被撮影物の立体情報を取得する方法において、
各画像の持っている情報量を減らした後、各画像に対する変換処理を行い、
その後、変換後の複数の画像に対してステレオマッチング処理を行う事で距離情報を獲得し、
その獲得した距離情報に対して前記変換処理に対する逆変換処理を行い
元の画像に適用する事を特徴とするステレオ画像からの３次元画像情報生成方法。
【００５６】
（対応する発明の実施の形態）
この発明に関する実施の形態は上記した第１及び第２実施形態が対応する。
【００５７】
（作用）
ステレオ撮像系１によって得られた被撮影物４の複数の画像２−１，２−２に対して、その中の１枚の画像を基準画像３とする。（例えば左右ステレオ画像ならば左画像等）（図８）
複数の画像２−１，２−２に対して情報量の削減（カラー画像のモノクロ化、フィルタ処理等）を行う。その後、情報量を減らした画像２−１，２−２をステレオマッチングを行うのに適した形に変形させた複数の画像５−１，５−２を生成する。画像５−１、５−２に対してステレオマッチング処理を行い被撮影物４に対する距離情報を獲得し、距離画像８を生成する。
【００５８】
距離画像８に対して前記変換処理に対する逆変換処理を行い距離画像９を生成する。
【００５９】
距離画像９を３次元情報とし、画像２−１（基準画像３）をテクスチャとして貼り付ける（図３、図５）。
【００６０】
（効果）
情報量の削減を行う前の画像２に対してステレオマッチングを行うのに適した形に画像変形させる必要がなく、情報量の削減を行った後に画像変形を行う為、必要とされる計算量が削減される。
【００６１】
２．  少なくとも１つはカラー撮像系を含むステレオ撮像系によって得られた複数視点からの画像に対してステレオマッチングを行う事によって被撮影物の立体情報を取得する方法において、
カラー撮像系によって撮影された画像はグレー画像に変換した後、各画像に対して画像歪みを修正する変換処理を行い、
その後、変換後の複数の画像に対してステレオマッチング処理を行う事で距離情報を獲得し、
その獲得した距離情報に対して前記変換処理に対する逆変換処理を行い
元のカラー画像に対する距離情報として使用する事を特徴とするステレオ画像からの３次元画像情報生成方法。
【００６２】
（対応する発明の実施の形態）
この発明に関する実施の形態は第１の実施の形態が対応する。
【００６３】
（作用）
ステレオ撮像系１によって得られた被撮影物４の複数の画像２−１，２−２（少なくとも１つはカラー画像）に対して、その中の１枚のカラー画像（ここでは２−１）を基準画像３とする。（例えば左右ステレオ画像ならば左画像等）（図８）
複数の画像２−１，２−２の中でカラー画像２−１に関してモノクロ化してモノクロ画像７に変換する。
【００６４】
モノクロ画像７，２−２に対してレクティフィケーション及び／又はレンズディストーション処理を行い複数の画像５−１，５−２を生成する。複数の画像５−１，５−２に対してステレオマッチング処理を行い被撮影物４に対する距離情報を獲得し、距離画像８を生成する。
【００６５】
距離画像８に対して前記変換処理（レクティフィケーション及びレンズディストーション）に対する逆変換処理を行い距離画像９を生成する。
【００６６】
距離画像９を３次元情報とし、カラー情報を持った画像２−１（基準画像３）をテクスチャとして貼り付ける。（図２）
（効果）
カラー画像に対してレクティフィケーション及び／又はレンズディストーション処理を行う必要が無い為、必要とされる計算量が削減される。
【００６７】
３．  少なくとも１つはカラー撮像系を含むステレオ撮像系によって得られた複数視点からの画像に対してステレオマッチングを行う事によって被撮影物の立体情報を取得する方法において、
カラー撮像系によって撮影された画像をグレー画像に変換した後、各画像に対して画像歪みを修正する変換処理を行い、
その後、変換後の複数の画像に対してステレオマッチング処理を行う事で距離情報を獲得し、
その獲得した距離情報に対してスケール変換及び又は平行移動を行い
元のカラー画像に対する距離情報として使用する事を特徴とする３次元画像情報生成方法。
【００６８】
（対応する発明の実施の形態）
この発明に関する実施の形態は第２実施形態が対応する。
【００６９】
（作用）
ステレオ撮像系１によって得られた被撮影物４の複数の画像２−１，２−２（少なくとも１つはカラー画像）に対して、その中の１枚（ここでは２−１）のカラー画像を基準画像３とする。（例えば左右ステレオ画像ならば左画像等）（図８）
複数の画像２−１，２−２の中でカラー画像２−１に関してモノクロ化してモノクロ画像７に変換する。
【００７０】
モノクロ画像７，２−２に対してレクティフィケーション及び／又はレンズディストーション処理を行い複数の画像５−１，５−２を生成する。
【００７１】
複数の画像５−１，５−２に対してステレオマッチング処理を行い被撮影物４に対する距離情報を獲得し、距離画像８を生成する。
【００７２】
距離画像８に対してスケール変換及び又は平行移動処理を行い距離画像９を生成する。
【００７３】
距離画像９を３次元情報とし、カラー情報を持った画像２−１（基準画像３）をテクスチャとして貼り付ける。
【００７４】
（効果）
カラー画像に対してレクティフィケーション及び／又はレンズディストーション処理を行う必要が無い為、必要とされる計算量が削減される。
【００７５】
４．  ステレオ撮像系によって得られた複数視点からの画像に対して
ステレオマッチングを行う事によって被撮影物の立体情報を取得する装置において、
各画像の持っている情報量を減らした後、各画像に対する変換処理を行い、
その後、変換後の複数の画像に対してステレオマッチング処理を行う事で距離情報を獲得し、
その獲得した距離情報に対し変換処理を行い元の画像に適用する事を特徴とする３次元画像情報生成装置。
【００７６】
５．
少なくとも１つはカラー撮像系を含むステレオ撮像系によって得られた複数視点からの画像に対してステレオマッチングを行う事によって被撮影物の立体情報を取得する装置において、
カラー撮像系によって撮影された画像はグレー画像に変換した後、各画像に対して画像歪みを修正する変換処理を行い、
その後、変換後の複数の画像に対してステレオマッチング処理を行う事で距離情報を獲得し、
その獲得した距離情報に対して前記変換処理に対する逆変換処理を行い
元のカラー画像に対する距離情報として使用する事を特徴とする３次元画像情報生成装置。
【００７７】
６．  少なくとも１つはカラー撮像系を含むステレオ撮像系によって得られた複数視点からの画像に対して
ステレオマッチングを行う事によって被撮影物の立体情報を取得する装置において、
カラー撮像系によって撮影された画像をグレー画像に変換した後、
各画像に対して画像歪みを修正する変換処理を行い、
その後、変換後の複数の画像に対してステレオマッチング処理を行う事で距離情報を獲得し、
その獲得した距離情報に対してスケール変換及び又は平行移動を行い
元のカラー画像に対する距離情報として使用する事を特徴とする３次元画像情報生成装置。
【００７８】
７．  ステレオ撮像系によって得られた複数視点からの画像に対してステレオマッチングを行う事によって被撮影物の立体情報を取得するプログラムにおいて、
各画像の持っている情報量を減らした後、各画像に対する変換処理を行い、
その後、変換後の複数の画像に対してステレオマッチング処理を行う事で距離情報を獲得し、
その獲得した距離情報に対して変換処理を行い元の画像に適用する事を特徴とする３次元画像情報生成プログラム。
【００７９】
８．  少なくとも１つはカラー撮像系を含むステレオ撮像系によって得られた複数視点からの画像に対してステレオマッチングを行う事によって被撮影物の立体情報を取得するプログラムにおいて、
カラー撮像系によって撮影された画像をグレー画像に変換した後、各画像に対して画像歪みを修正する変換処理を行い、
その後、変換後の複数の画像に対してステレオマッチング処理を行う事で距離情報を獲得し、
その獲得した距離情報に対して前記変換処理に対する逆変換処理を行い
元のカラー画像に対する距離情報として使用する事を特徴とする３次元画像情報生成プログラム。
【００８０】
９．  少なくとも１つはカラー撮像系を含むステレオ撮像系によって得られた複数視点からの画像に対してステレオマッチングを行う事によって被撮影物の立体情報を取得するプログラムにおいて、
カラー撮像系によって撮影された画像をグレー画像に変換した後、各画像に対して画像歪みを修正する変換処理を行い、
その後、変換後の複数の画像に対してステレオマッチング処理を行う事で距離情報を獲得し、
その獲得した距離情報に対してスケール変換及び又は平行移動を行い
元のカラー画像に対する距離情報として使用する事を特徴とする３次元画像情報生成プログラム。
【００８１】
【発明の効果】
本発明によれば、画像変換処理の回数を減らしてステレオマッチングを行う際の計算量を減らすことができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の３次元画像情報生成装置の概略構成を示すブロック図である。
【図２】本発明の第１実施形態における３次元画像情報生成の手順を説明するためのフローチャートである。
【図３】本発明の第１実施形態における３次元画像情報生成の手順を説明するための図である。
【図４】本発明の第２実施形態における３次元画像情報生成の手順を説明するためのフローチャートである。
【図５】本発明の第２実施形態における３次元画像情報生成の手順を説明するための図である。
【図６】本発明の第１実施形態の効果を従来例と比較して示す図である。
【図７】計算量を削減する方法を説明するための図である。
【図８】ステレオ撮像系の一構成例を示す図である。
【図９】ステレオ撮像系で得た画像から３次元画像を生成する手順を説明するための図である。
【図１０】レクティフィケーション処理について説明するための図である。
【図１１】レンズディストーション除去について説明するための図である。
【符号の説明】
１  ステレオ撮像系
２−１，２−２  ステレオ画像
３  基準画像
４  被撮影物
１０  記憶装置
１１  表示装置
１２  計算装置
１３  歪み有り画像
１４  歪み除去画像
１５  領域
【図１】
0004740481.tif 000002
【図２】
0004740481.tif 000003
【図３】
0004740481.tif 000004
【図４】
0004740481.tif 000005
【図５】
0004740481.tif 000006
【図６】
0004740481.tif 000007
【図７】
0004740481.tif 000008
【図８】
0004740481.tif 000009
【図９】
0004740481.tif 000010
【図１０】
0004740481.tif 000011
【図１１】
0004740481.tif 000012