(57)【特許請求の範囲】
【請求項１】
複数の画像データについて勾配法によって互いの対応点を探索する第一の探索手段と、
複数の画像データについて相関法によって互いの対応点を探索する第二の探索手段と、
前記いずれか一方の探索手段を選択する選択手段と、
前記いずれか一方の探索手段によって得られた探索結果に基づいて３次元データを生成する３次元データ生成手段と、
被写体の種類を判別する被写体判別手段と、を有し、
前記選択手段は、当該被写体判別手段による判別結果に基づいて前記いずれか一方の探索手段を選択する、
ことを特徴とする３次元データ生成装置。
【請求項２】
複数の撮像手段を有してなる、
請求項１記載の３次元データ生成装置。
【請求項３】
前記被写体判別手段は、被写体が人間であるか否かを判別し、
前記選択手段は、被写体が人間である場合は前記第一の探索手段を選択し、被写体が人間でない場合は前記第二の探索手段を選択する、
請求項１記載の３次元データ生成装置。
【請求項４】
前記被写体判別手段は、被写体の色を検出し、被写体に所定量の肌色が含まれている場合は被写体が人間であると判別する、
請求項３記載の３次元データ生成装置。
【請求項５】
複数の画像データについて勾配法によって互いの対応点を探索する第一の探索手段と、
複数の画像データについて相関法によって互いの対応点を探索する第二の探索手段と、
前記いずれか一方の探索手段を選択する選択手段と、
前記いずれか一方の探索手段によって得られた探索結果に基づいて３次元データを生成する３次元データ生成手段と、
被写体の輝度勾配を算出する輝度勾配算出手段と、を有し、
前記選択手段は、算出された輝度勾配が所定値よりも小さい場合は前記第一の探索手段を選択し、算出された輝度勾配が所定値よりも大きい場合は前記第二の探索手段を選択する、
ことを特徴とする３次元データ生成装置。
【請求項６】
複数の撮像手段と、
複数の画像データについて勾配法によって互いの対応点を探索する第一の探索手段と、
複数の画像データについて相関法によって互いの対応点を探索する第二の探索手段と、
前記第一の探索手段および前記第二の探索手段のそれぞれの探索結果の信頼性を求める信頼性演算手段と、
前記信頼性演算手段による演算結果に基づいて前記第一の探索手段の探索結果または前記第二の探索手段の探索結果のいずれか一方を選択する信頼性判定手段と、
前記探索結果選択手段によって選択された探索結果に基づいて、３次元データを生成する３次元データ生成手段と、
を有してなることを特徴とする３次元データ生成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、対象物である被写体についてステレオ撮影された２つの画像などのように、内容の類似する２つの画像について、勾配法または相関法などによって互いの対応点を探索し、３次元データを生成する装置に関する。
【０００２】
【従来の技術】
従来より、複数台のカメラを用いるなどして被写体についての複数の画像を取得し、これらの画像から３次元データを生成する技術が知られている。３次元データを生成するにあたって、１つの画像の任意の点が他の画像のどの点に対応するかを探索すること、つまり、互いの対応点を探索することが重要となる。対応点の探索方法として、相関法が最もよく知られている。
【０００３】
相関法は、１つの画像を基準画像とし、他の画像から基準画像とよく似たパターンの領域を見つけることによって対応点を探索する。例えば、基準画像の中から小さな一つの領域を基準ウインドウとして抽出し、基準ウインドウを構成する各点とよく似た輝度を持つウインドウを他の画像から探索する。その他、エピポーラ線上の輝度の相関より対応点を探索する方法、ウインドウのサイズを変更する方法、または画像を２値化して相関を求める方法などの応用がある。
【０００４】
対応点を探索する他の方法として勾配法がある。類似した複数の画像中の同一の座標の点に注目し、その点に隣接した領域の輝度勾配から対応点を探索する方法である。
【０００５】
【発明が解決しようとする課題】
相関法は、輝度または色の濃淡の変化の大きい被写体の対応点を探索するのに優れる。しかし、上に述べたいずれの方法を応用しても、輝度の変化の乏しい被写体またはコントラストの低い被写体の対応点を探索することは難しい。したがって、人の顔などを３次元データ化するには相関法は適さない。
【０００６】
これに対し、勾配法は、相関法と比べて計算時間が短く、低輝度および低コントラストに強く、被写体が理想的な状態であった場合にサブピクセルでも正確な対応をとることができる。しかし、輝度または色の濃淡の段差やＣＣＤノイズに弱く、オクルージョンのある場合に対応点の誤対応を起こしてしまうという短所がある。したがって、球体または円筒形などの工業製品、表面が金属またはガラスなどでできた工業製品などについて、３次元データ化するには勾配法は適さない。
【０００７】
本発明は、上述の問題に鑑みてなされたもので、被写体がどのようなものであっても、つまり例えば人間の顔であったり工業製品であったりしても、信頼性の高い３次元データを生成することを目的とする。
【０００８】
本発明に係る３次元データ生成装置は、複数の画像データについて勾配法によって互いの対応点を探索する第一の探索手段と、複数の画像データについて相関法によって互いの対応点を探索する第二の探索手段と、前記いずれか一方の探索手段を選択する選択手段と、前記いずれか一方の探索手段によって得られた探索結果に基づいて３次元データを生成する３次元データ生成手段と、被写体の種類を判別する被写体判別手段と、を有し、前記選択手段は、当該被写体判別手段による判別結果に基づいて前記いずれか一方の探索手段を選択する。
【０００９】
好ましい実施形態では、複数の撮像手段が備えられる。
【００１０】
被写体が人間であるか否かを判別し、前記選択手段は、被写体が人間である場合は前記第一の探索手段を選択し、被写体が人間でない場合は前記第二の探索手段を選択するようにしてもよい。
【００１１】
１つの実施形態によれば、前記被写体判別手段は、被写体の色を検出し、被写体に所定量の肌色が含まれている場合は被写体が人間であると判別する。
他の実施形態によれば、被写体の輝度勾配を算出する輝度勾配算出手段を有し、前記選択手段は、算出された輝度勾配が所定値よりも小さい場合は前記第一の探索手段を選択し、算出された輝度勾配が所定値よりも大きい場合は前記第二の探索手段を選択する。
【００１２】
さらに他の実施形態によれば、本発明に係る３次元データ生成装置は、複数の撮像手段と、複数の画像データについて勾配法によって互いの対応点を探索する第一の探索手段と、複数の画像データについて相関法によって互いの対応点を探索する第二の探索手段と、前記第一の探索手段および前記第二の探索手段のそれぞれの探索結果の信頼性を求める信頼性演算手段と、前記信頼性演算手段による演算結果に基づいて、前記第一の探索手段の探索結果または前記第二の探索手段の探索結果のいずれか一方を選択する信頼性判定手段と、前記探索結果選択手段によって選択された探索結果に基づいて３次元データを生成する３次元データ生成手段と、を有してなる。
【００１３】
【発明の実施の形態】
〔第一の実施形態〕
第一の実施形態では、３次元データＤＴ３を生成するための探索手段の選択を、被写体の色を検出して行う。
【００１４】
図１は本発明の第一の実施形態の３次元データ生成装置１の外観を示す図、図２は第一の実施形態における３次元データ生成装置１の構成を示すブロック図である。
【００１５】
図１および図２に示すように、３次元データ生成装置１は、２つの画像入力部２１および処理部３Ａによって構成される。
図２に示すように、画像入力部２１は、光学系１２ｐ、撮像素子１２ｑ、および図示しない制御回路などからなるカメラ１２などによって構成され、２次元の画像データＤＴ２を生成する。光学系１２ｐは、種々のレンズおよび絞りなどからなり、被写体Ｑからの光を受光して撮像素子１２ｑに結像させる。撮像素子１２ｑは、被写体Ｑの像を電気信号に変換する。撮像素子１２ｑとして、ＣＣＤ型固体撮像素子などが用いられる。画像信号は、図示しないＡ／Ｄコンバータによってデジタルデータに変換され、画像データとなる。
【００１６】
処理部３Ａは、表示装置１１、入力装置、ＣＰＵ、ＲＡＭ、ＲＯＭ、制御回路などの装置、および制御プログラムなどのソフトウェアなどによって構成される。これらの装置などによって、２つの画像データメモリ３１、被写体判別部３２Ｓ、探索手段選択部３３Ｓ、第一対応点探索部３４、第二対応点探索部３５、３次元データ生成部３６、３次元データメモリ３７、および画像表示部３８などの機能が実現される。
【００１７】
画像データメモリ３１は、画像入力部によって生成された画像データＤＴ２を記憶する。
被写体判別部３２Ｓは、被写体Ｑの色を検出し、被写体Ｑに所定の色が所定量含まれているか否かを調べることによって、被写体Ｑの種類を判別する。
【００１８】
被写体Ｑに含まれる色の量は、例えば、画像入力部２１によって取得された画像データＤＴ２を構成する画素が持つ色情報の平均値求めることによって得られる。被写体Ｑの特徴は画像の中心付近に表れるので、被写体Ｑの中心付近の画素のみについて色の量を算出してもよい。画像データは、色の検出および色の量の算出にのみ用いられるので、解像度の低いものであってもよい。色情報は、一般に次の（１）式に示す色方程式ｃ（Ｃ）によって表される。
【００１９】
ｃ（Ｃ）≡ｒ（Ｒ）＋ｇ（Ｇ）＋ｂ（Ｂ）  ……  （１）
ここで、ｒ（Ｒ）、ｇ（Ｇ）、ｂ（Ｂ）は、それぞれ光の三原色である赤色、緑色、青色の量を表す関数である。ｒ（Ｒ）、ｇ（Ｇ）、ｂ（Ｂ）が８ビットである場合は、関数のパラメータであるＲ、Ｇ、Ｂは、０から２５５の範囲の整数値で指定される。ｒ（Ｒ）、ｇ（Ｇ）、ｂ（Ｂ）は、Ｒ、Ｇ、Ｂに比例して、それぞれ、赤色、緑色、青色の量を増す。Ｒ＝０、Ｇ＝０、Ｂ＝０のとき、ｃ（Ｃ）は黒色となり、Ｒ＝２５５、Ｇ＝２５５、Ｂ＝２５５のとき、ｃ（Ｃ）は白色となる。
【００２０】
被写体Ｑが人間であるか否かを判別する場合は、画像データＤＴ２の中のある領域、例えば画像の中心付近の領域の画素についてのｃ（Ｃ）が特定の色に相当するか否かを調べればよい。本実施形態では、ｃ（Ｃ）が肌色である場合に人間であると判別する。ｃ（Ｃ）が肌色に相当する値であるための条件は、Ｒ≒２５０、Ｇ≒２４０、Ｂ≒１５０である。これらの値または値の取り得る範囲は、撮影条件などに応じて適宜変更可能である。
【００２１】
探索手段選択部３３Ｓは、被写体判別部３２Ｓによる判別の結果に基づいて、対応点の探索に勾配法を用いる第一対応点探索部３４または相関法を用いる第二対応点探索部３５のうち、いずれか一方の探索手段を選択する。例えば、被写体Ｑが人間であるという結果が得られた場合は第一対応点探索部３４を選択し、被写体Ｑが人間でないという結果が得られた場合は第二対応点探索部３５を選択する。
【００２２】
第一対応点探索部３４は、複数の画像データＤＴ２について勾配法によって互いの対応点を探索する。第二対応点探索部３５は、複数の画像データＤＴ２について相関法によって互いの対応点を探索する。これらの探索手段については、後に説明する。
【００２３】
３次元データ生成部３６は、第一対応点探索部３４または第二対応点探索部３５によって得られた探索結果に基づいて、３次元データＤＴ３を生成する。すなわち、複数の画像データＤＴ２についての互いの対応点に基づいて３次元再構成を行うことにより、３次元データＤＴ３を生成する。３次元データメモリ３７は、３次元データＤＴ３を記憶する。
【００２４】
画像表示部３８は、３次元データＤＴ３を基に３次元画像を表示装置１１に表示する。表示装置１１として、液晶ディスプレイなどが用いられる。
ここで、第一対応点探索部３４における勾配法による対応点探索について説明する。
【００２５】
図３は２つの画像データＤＴ２の例を示す図、図４は輝度勾配の式をグラフで示した図、図５はウインドウＷＡ、ＷＢを拡大して示す図、図６は注目画素ＧＡ、ＧＢとその周辺の画素を示す図、図７は多重解像度画像を用いる方法の例を説明する図である。
【００２６】
図３に示す画像データＤＴ２ａ、ＤＴ２ｂは、別々の画像入力部２１によって生成された画像データＤＴ２である。画像データＤＴ２ｂを基準画像とし、他方の画像データＤＴ２ａを参照画像とする。画像データＤＴ２ａ、ＤＴ２ｂは、それぞれ被写体Ｑの画像ＱＡ、ＱＢを含んでいる。画像データＤＴ２ａ、ＤＴ２ｂには、それぞれ、ウインドウＷＡ、ＷＢが設定されている。ウインドウＷＢは、基準画像内に設定した基準ウインドウであり、ウインドウＷＡは参照画像内に設定した参照ウインドウである。ここでは、ウインドウＷＡ、ＷＢは、被写体Ｑの右眼を含んだ位置にある。
【００２７】
図５に示すように、ウインドウＷＡ、ＷＢは、９×９画素で構成されている。なお、ウインドウＷＡ、ＷＢを３×３画素、５×５画素、７×７画素、その他の画素構成としてもよい。注目画素ＧＡ、ＧＢは、それぞれウインドウＷＡ、ＷＢ内の同一の座標上に位置する画素である。図６に示すように、画素ＧＡの垂直方向およびその反対方向、水平方向およびその反対方向に隣り合う画素をそれぞれ、画素ＧＡ１、ＧＡ２、ＧＡ３、ＧＡ４とする。画素ＧＢも同様に、画素ＧＢ１、ＧＢ２、ＧＢ３、ＧＢ４と隣り合う。
【００２８】
対応点を探索する目的は、基準画像内の被写体Ｑの画像ＱＢ上の全ての点に対応する点を参照画像において見つけることである。
参照画像と基準画像とを重ね合わせた際に、互いの対応点を結んだベクトルを対応ベクトルと呼ぶ。対応ベクトルは、基準画像上の点を基点とし、参照画像上の点を終点とする。つまり、対応ベクトルはウインドウＷＢ、ＷＡの画像のずれをあらわしており、次の（２）式の関係を有する。
【００２９】
ｄＥ／ｄｔ＝Ｅｘｕ＋Ｅｙｖ＋Ｅｔ＝０  ……  （２）
ここで、Ｅｘｕ＝∂Ｅ／∂ｘ、Ｅｙｖ＝∂Ｅ／∂ｙ、ｕ＝∂ｘ／∂ｔ、ｖ＝∂ｙ／∂ｔである。Ｅは輝度、ｘは画像の水平方向の座標、ｙは垂直方向の座標、ｔは時間をそれぞれ表す。ただし、本実施形態においては、取り扱う画像はステレオ画像であるので、ｔは２つのカメラ１２の間の距離に相当する。
【００３０】
図３に示す左右の画像ＱＡ、ＱＢは、被写体Ｑのほぼ同じ部分を撮像したものであるから、着目している左右の画像ＱＡ、ＱＢ上の同一の座標の点の輝度勾配は等しいと仮定することができる。
【００３１】
（２）式は、未知数が２つであるのに対して方程式が１つしかないので、図４に示すように対応ベクトルが直線上に乗ることのみを示している。そのため、対応ベクトルを求めるには、もう１つの拘束が必要となる。そこで、ある範囲、隣接する範囲内において、ｕ、ｖが共通であると仮定して解く。しかし、量子化誤差または撮像素子のノイズなどにより解が安定しない。したがって、通常は、ある大きさのウインドウ内において対応ベクトルは同じであると仮定し、最小二乗法により求める。
【００３２】
全ての画素についての対応ベクトルｕ、ｖが互いに同じであるとすると、図５に示すように、（２）式の方程式が８１通りできる。これらの方程式を最小二乗法を使って解くことによって、対応ベクトルｕ、ｖを求めることができる。
【００３３】
例えば、画素ＧＡ、ＧＢについて（２）式のＥｘ、Ｅｙ、Ｅｔは、次の（４）〜（６）式のように表される。
0004193342.tif 000002
ただし、［ＧＡ１］の表記は、図６に示す画素ＧＡ１の輝度値を表す。その他の表記も同様である。
【００３４】
他の画素についても、同様に、Ｅｘ、Ｅｙ、Ｅｔを求める。
しかし、上に述べた方法で対応ベクトルを求めた場合は、せいぜい２〜３画素以内の画像のずれ量しか精度よく計測できない。つまり、例えば視差が大きいために同一点が数画素以上もずれている場合は、正確な対応点を求めることができない。これは、勾配法における前提条件からの制約であり、対応点を求めるためには、参照画像と基準画像とが類似するものでなければならない。
【００３５】
そこで、対応点がより離れている場合に、その対応点を正確に探索するための方法として、多重解像度画像を用いる。多重解像度画像を用いる方法それ自体は従来より公知である。
【００３６】
図７に示すように、多重解像度画像ＦＭは、元の画像Ｆと、それを（１／２）2 ，（１／４）2 ，（１／８）2 などのようにそれぞれ圧縮して得られた、解像度（分解能）の低い複数種類の画像Ｆ１，Ｆ２，Ｆ３からなる。解像度の低い画像は、解像度の高い画像よりも画素数が小さくなる。解像度の高い画像を下方に配置してその上に解像度の低い画像を順に配置すると、ピラミッド形になる。つまり、多重解像度画像ＦＭは画像ピラミッドを形成する。
【００３７】
多重解像度画像ＦＭによると、解像度が高いときつまり画素数が大きいとき２つの画像ＤＴ２ａ、ＤＴ２ｂ間で遠く離れた２点であっても、解像度が低いときつまり画素数が小さいときには近くなる。したがって、ずれ量を低解像度から高解像度へと伝搬することにより、勾配法で対応点を正確に求めることのできる範囲が広がることとなる。
【００３８】
このような多重解像度画像を用いる場合は、まず、解像度の最も低い画像で対応ベクトルを求める。次に、求めた対応ベクトルを初期値として、次に解像度の低い画像で対応ベクトルを求める。このプロセスを繰り返していくことにより、被写体Ｑ上の同一点が２つの画像ＤＴ２ａ、ＤＴ２ｂで大きくずれている場合であっても、最終的には高い解像度で対応ベクトルを求めることができる。
【００３９】
次に、第二対応点探索部３５における相関法による対応点探索について説明する。
図８はエピポールラインＥＬを用いた探索の概念を示す図、図９は相関値とずれ量との開係を示す図である。
【００４０】
相関法は、２つの画像データのウインドウ間の相関関係を計算し、相関の高いウインドウを探索する手法である。
相関の計算において、相関値が最小値をとるウインドウを探する。相関値は、各ウインドウの対応する点どうしの差を足し合わせることにより求める。ステレオ視の場合は、対応するウインドウはエピポールライン上にあることが幾何学的に分かるので、探索はエピポールライン上でのみ行われる。
【００４１】
図８において、左側の画像データＤＴ２ａにおいて、ウインドウＷａを画像データＤＴ２ａ内を左上端から右下端へ向かって移動させ、それぞれの位置におけるウインドウＷａに対応するウインドウＷｂを右側の画像データＤＴ２ｂの中から探す。右側の画像データＤＴ２ｂ内のウインドウＷｂは、左側の画像ＤＴ２ａと同じ座標位置から順に１画素ずつずらしていく。このとき、左右のウインドウＷａ、Ｗｂの相関値を計算し、最も相関値の小さい点を探す。このずれ量を、左側の画像データＤＴ２ａで移動させたすべての点について求めることにより、ずれ量のＭＡＰを作成する。このずれ量は、ステレオ視の場合の視差に相当するので、視差ＭＡＰと呼称される。
【００４２】
図９において、横軸がずれ量であり、縦軸が相関値である。実線で示すグラフでは、ずれ量が７画素のときに相関値が最も小さいので、７画素離れたウインドウが最も相関があることが分かる。つまり、この計算で求まる視差は７画素である。
【００４３】
このように、相関法では画素レベルで求まる。しかし、視差が画素値と一致するとは限らない。そこで、相関法でサブピクセルレベルの視差を求めるために、実線のグラフを補間する。補間の１つの方法は、最小値に近い４点に注目し、２点ずつを結んでできる直線の交点の位置を最小値とする方法である。
【００４４】
このような方法により補間を行うと、図９に破線で示すように、視差は７．３画素となる。
次に、フローチャートを参照して、第一の実施形態における３次元データＤＴ３の生成の処理を説明する。
【００４５】
図１０は第一の実施形態における３次元データＤＴ３の生成の処理の流れを示すフローチャートである。
図１０に示すように、２つの画像入力部２１によって２つの画像データＤＴ２を取得する（＃１１）。被写体Ｑの撮像に用いられるカメラ１２は、予めキャリブレーションが行われており、投影行列、レンズの収差などのカメラパラメータが予め分かっている。運動している被写体Ｑを撮像する場合は、１台のカメラで単眼視して連続して撮像を行ってもよい。
【００４６】
取得した画像データＤＴ２を基に被写体Ｑの肌色の量を検出し（＃１２）、被写体Ｑが人間であるか否かを判別する（＃１３）。
被写体Ｑが人間であると判別された場合は、第一対応点探索部３４によって、つまり勾配法を用いて画像データＤＴ２ａ、ＤＴ２ｂの対応点を探索する（＃１４）。被写体Ｑが人間であると判別されなかった場合は、第二対応点探索部３５によって、つまり相関法を用いて画像データＤＴ２ａ、ＤＴ２ｂの対応点を探索する（＃１５）。
【００４７】
そして、ステップ＃１５、１６のいずれか一方の探索結果に基づいて３次元データＤＴ３が生成される（＃１６）。
以上のように、被写体Ｑの色を検出して被写体Ｑの種類を判別し、判別結果に基づいて対応点の探索手段を選択することによって、信頼性の高い３次元データＤＴ３を生成することができる。
【００４８】
なお、被写体Ｑが人間であるか否かを判別する際に、本実施形態では被写体Ｑが肌色か否かを判断したが、他の色であるか否かを判断してもよい。また、被写体Ｑについての各画素からｒ（Ｒ）のみを抽出すると、目、鼻、額または頬などの特徴が赤色の濃淡として表れる。この濃淡から、被写体Ｑが人間であるか否かを判別してもよい。その他、被写体Ｑから放射される赤外線など種々の情報を基に種々の方法によって判断してもよい。
〔第二の実施形態〕
第一の実施形態では、３次元データＤＴ３を生成するための探索手段の選択を、被写体の色を検出することによって行ったが、第二の実施形態では、被写体の輝度勾配を算出することによって行う。
【００４９】
図１１は第二の実施形態における本発明に係る３次元データ生成装置１Ｂの構成を示すブロック図である。
図１１に示すように、３次元データ生成装置１Ｂは、２つの画像入力部２１および処理部３Ｂによって構成される。画像入力部２１については、第一の実施形態で説明した通りである。
【００５０】
処理部３Ｂは、第一の実施形態の処理部３Ａと同様に構成されるが、しかし、これによって、輝度勾配算出部３２Ｔおよび探索手段選択部３３Ｔが設けられる。また、第一の実施形態と同様に、２つの画像データメモリ３１、第一対応点探索部３４、第二対応点探索部３５、３次元データ生成部３６、３次元データメモリ３７、および画像表示部３８などの機能が実現される。
【００５１】
輝度勾配算出部３２Ｔは、画像データＤＴ２を基に被写体Ｑの輝度勾配を算出する。水平方向の輝度勾配Ｅｘは（４）式、垂直方向の輝度勾配Ｅｙは（５）式によって算出される。画像データＤＴ２の幾つかの点について輝度勾配Ｅｘ、Ｅｙを算出し、その平均値を採るなどして、被写体Ｑの輝度勾配を算出すればよい。なお、（４）式および（５）式では、２つの画像データＤＴ２を用いているが、２つの画像データＤＴ２は被写体Ｑのほぼ同じ部分を撮像して得られたものであるから、いずれか一方のみを用いて算出してもよい。
【００５２】
探索手段選択部３３Ｔは、輝度勾配算出部３２Ｔによる判別の結果に基づいて、第一対応点探索部３４または第二対応点探索部３５のうちいずれか一方の探索手段を選択する。輝度勾配が所定の値よりも低い場合は第一対応点探索部３４を選択し、輝度勾配が所定の値よりも高い場合は第二対応点探索部３５を選択する。
【００５３】
次に、フローチャートを参照して、第二の実施形態における３次元データＤＴ３の生成の処理を説明する。
図１２は第二の実施形態における３次元データＤＴ３の生成の処理を示すフローチャートである。
【００５４】
図１２に示すように、第一の実施形態と同様に、２つの画像入力部２１によって２つの画像データＤＴ２を取得する（＃２１）。
取得した画像データＤＴ２を基に被写体Ｑの輝度勾配を算出し（＃２２）、算出結果が所定の値よりも高いか否かを判別する（＃２３）。
【００５５】
所定の値よりも高い場合は、第二の探索手段２５によって、つまり相関法を用いて、画像データＤＴ２ａ、ＤＴ２ｂの対応点を探索する（＃２４）。所定の値よりも低い場合は、第一の探索手段２６によって、つまり勾配法を用いて、画像データＤＴ２ａ、ＤＴ２ｂの対応点を探索する（＃２５）。
【００５６】
そして、第一の実施形態と同様に、探索結果に基づいて３次元データＤＴ３が生成される（＃２６）。
以上のように、被写体Ｑの輝度勾配を算出し、算出結果に基づいて対応点の探索手段を選択することによって、信頼性の高い３次元データＤＴ３を生成することができる。
〔第三の実施形態〕
第一の実施形態および第二の実施形態では、２つの探索手段のうちいずれか一方のみを用いて３次元データＤＴ３の生成を行ったが、第三の実施形態では、両方の探索手段によって対応点探索を行い、信頼性の高いほうの探索結果を用いて３次元データＤＴ３の生成を行う。
【００５７】
図１３は本発明に係る３次元データ生成装置１Ｃの外観を示す図、図１４は第三の実施形態における３次元データ生成装置１Ｃの構成を示すブロック図である。
【００５８】
図１３および図１４に示すように、３次元データ生成装置１Ｃは、２つの画像入力部２１および処理部３Ｃによって構成される。それぞれの画像入力部２１については、第一の実施形態で説明した通りである。
【００５９】
処理部３Ｃは、第一の実施形態の処理部３Ａと同様に構成されるが、しかし、これによって、３つの画像データメモリ３１、信頼性演算部２３Ｕ、信頼性判定部２４Ｕ、および３次元データ生成部３６Ｕが設けられる。また、第一の実施形態と同様に、第一対応点探索部３４、第二対応点探索部３５、３次元データメモリ３７、および画像表示部３８などの機能が実現される。
【００６０】
信頼性演算部２３Ｕは、第一対応点探索部３４および第二対応点探索部３５による各探索結果の信頼性を求める。探索結果の信頼性を求める方法については、後で説明する。
【００６１】
信頼性判定部２４Ｕは、第一対応点探索部３４および第二対応点探索部３５によるそれぞれの探索結果の信頼性を比較し、いずれの信頼性が高いかを判別する。
【００６２】
３次元データ生成部３６Ｕは、信頼性判定部２４Ｕによる判定の結果、信頼性の高い方の探索結果に基づいて３次元再構成を行い、３次元データＤＴ３を生成する。
【００６３】
ここで、探索結果の信頼性を求める方法についてフローチャートおよび図面を参照して説明する。
図１５は探索結果の信頼性を求める方法の例を説明する図である。
【００６４】
図１５に示す画像データＤＴ２ｅ、ＤＴ２ｆ、ＤＴ２ｇは、別々の画像入力部２１によって生成された画像データＤＴ２である。点Ｐｔ１は画像データＤＴ２ｅに含まれる任意の点、点Ｐｔ２、Ｐｔ３はそれぞれ点Ｐｔ１に対応する画像データＤＴ２ｆ、ＤＴ２ｇ上の点である。点Ｐｔ１２は点Ｐｔ１、点Ｐｔ２を基に求められる３次元座標の点である。点Ｐｔ３' は、点Ｐｔ１２を画像データＤＴ２ｇに投影した点である。
【００６５】
図１６は、探索結果の信頼性を求める処理の流れを示すフローチャートである。
図１６において、画像データＤＴ２ｅ上の点Ｐｔ１に対応する画像データＤＴ２ｆ、ＤＴ２ｇ上の点を探索し、点Ｐｔ２、Ｐｔ３を取得する（＃９１）。
【００６６】
点Ｐｔ１、Ｐｔ２を基に３次元座標の点Ｐｔ１２を算出する（＃９２）。そして、点Ｐｔ１２を画像データＤＴ２ｇに投影し、点Ｐｔ３' を取得する（＃９３）。このとき、理想的には点Ｐｔ３と点Ｐｔ３' とは一致するはずである。しかし、キャリブレーション誤差またはカメラ１２の特性などの影響を受けて、現実には点Ｐｔ３と点Ｐｔ３' とは一致しない。
【００６７】
点Ｐｔ３と点Ｐｔ３' とを比較して両者のずれを求め、探索結果の信頼性を取得する（＃９４）。ずれが小さいほど信頼性が高い。
次に、フローチャートを参照して、第三の実施形態における３次元データＤＴ３の生成の処理を説明する。
【００６８】
図１７は、第三の実施形態における３次元データＤＴ３の生成の処理の流れを示すフローチャートである。
図１７に示すように、３つの画像入力部２１によって３つの画像データＤＴ２を取得する（＃３１）。
【００６９】
第一対応点探索部３４、第二対応点探索部３５によってそれぞれ対応点の探索を行い（＃３２）、それぞれの探索結果の信頼性を算出する（＃３３）。
２つの算出結果を基に第一対応点探索部３４の探索結果、第二対応点探索部３５の探索結果のいずれのほうが信頼性が高いかを判断する（＃３４）。信頼性の高い方を選択する（＃３５，３６）。
【００７０】
そして、選択された探索結果を基に３次元データＤＴ３を生成する（＃３７）。
以上のように、第一対応点探索部３４の探索結果の信頼性と第二対応点探索部３５の探索結果の信頼性とを比較し、信頼性の高いほうの探索結果を基に３次元データＤＴ３を生成することにより、より信頼性の高い３次元データＤＴ３を生成することができる。
【００７１】
なお、本実施形態では、探索結果の信頼性の比較を探索結果の全体を対象として行っているが、部分領域ごとに分けて行ってもよい。
つまり、複数の部分領域について、それぞれ第一対応点探索部３４の探索結果の信頼性と第二対応点探索部３５の探索結果の信頼性とを取得し、両者を比較し、信頼性の高いほうを選択する。そして、それぞれの信頼性の高いほうの探索結果を合成し、３次元再構成を行い、３次元データＤＴ３を生成する。
【００７２】
これにより、第一対応点探索部３４の探索結果または第二対応点探索部３５から信頼性の高い部分を選択することができ、より精度の高い３次元データＤＴ３を生成することができる。
【００７３】
上に述べた３つの実施形態において、画像データＤＴ２から背景に該当する部分を予め除去してもよい。背景を除去する処理は、公知の方法を含む種々の方法によって行えばよい。背景を除去することにより、冗長なデータをなくし、対応点探索において誤対応を低減することができる。
【００７４】
上に述べた３つの実施形態では、画像入力部２１と処理部３とを一体にして３次元データ生成装置１、１Ｂ、１Ｃを構成したが、画像入力部２１と処理部３とを分離して構成してもよい。例えば、３次元データ生成装置１、１Ｂ、１Ｃを互いに接続可能な多眼入力カメラとパソコンなどのコンピュータとによって構成し、多眼入力カメラによって複数の画像入力部２１を実現し、コンピュータによって処理部３を実現してもよい。このように、３次元データの生成など負担の大きい処理をコンピュータによって行うことにより、多眼入力カメラに必要な機能および装置を減らすことができ、多眼入力カメラの携帯性を向上させることができる。
【００７５】
その他、３次元データ生成装置１、１Ｂ、１Ｃの全体または各部の構成、個数、処理内容または処理順序などは、本発明の趣旨に沿って適宜変更することができる。
【００７６】
【発明の効果】
本発明によると、被写体がどのようなものであっても、つまり例えば人間の顔であったり工業製品であったりしても、信頼性の高い３次元データを生成することができる。
【００７７】
また、複数の画像データについての対応点探索に好適な探索手段を容易に選択することができる。請求項６の発明によると、信頼性の高い対応点の探索結果を選択し、精度の高い３次元データを生成することができる。
【図面の簡単な説明】
【図１】本発明の第一の実施形態の３次元データ生成装置の外観を示す図である。
【図２】第一の実施形態における３次元データ生成装置の構成を示すブロック図である。
【図３】２つの画像データの例を示す図である。
【図４】輝度勾配の式をグラフで示した図である。
【図５】ウインドウを拡大して示す図である。
【図６】注目画素とその周辺の画素を示す図である。
【図７】多重解像度画像を用いる方法の例を説明する図である。
【図８】エピポールラインを用いた探索の概念を示す図である。
【図９】相関値とずれ量との開係を示す図である。
【図１０】第一の実施形態における３次元データの生成の処理の流れを示すフローチャートである。
【図１１】第二の実施形態における３次元データ生成装置の構成を示すブロック図である。
【図１２】第二の実施形態における３次元データの生成の処理の流れを示すフローチャートである。
【図１３】本発明の第三の実施形態の３次元データ生成装置の外観を示す図である。
【図１４】第三の実施形態における３次元データ生成装置の構成を示すブロック図である。
【図１５】探索結果の信頼性を求める方法の例を説明する図である。
【図１６】探索結果の信頼性を求める処理の流れを示すフローチャートである。
【図１７】第三の実施形態における３次元データの生成の処理の流れを示すフローチャートである。
【符号の説明】
１、１Ｂ、１Ｃ  ３次元データ生成装置
２１  画像入力部（撮像手段）
２３Ｓ  被写体判別部（被写体判別手段）
２４Ｓ、３３Ｔ  探索手段選択部（選択手段）
２５  第一対応点探索部（第一の探索手段）
２６  第二対応点探索部（第二の探索手段）
２７  ３次元データ生成部（３次元データ生成手段）
３２Ｔ  輝度勾配算出部（輝度勾配算出手段）
２３Ｕ  信頼性演算部（信頼性演算手段）
２４Ｕ  信頼性判定部（信頼性判定手段）
【図１】
0004193342.tif 000003
【図２】
0004193342.tif 000004
【図３】
0004193342.tif 000005
【図４】
0004193342.tif 000006
【図５】
0004193342.tif 000007
【図６】
0004193342.tif 000008
【図７】
0004193342.tif 000009
【図８】
0004193342.tif 000010
【図９】
0004193342.tif 000011
【図１０】
0004193342.tif 000012
【図１１】
0004193342.tif 000013
【図１２】
0004193342.tif 000014
【図１３】
0004193342.tif 000015
【図１４】
0004193342.tif 000016
【図１５】
0004193342.tif 000017
【図１６】
0004193342.tif 000018
【図１７】
0004193342.tif 000019