(57)【特許請求の範囲】
【請求項１】
奥行きを推定したい対象物の画像複数枚を取得する画像取得手段と、
対象物の特徴点間の空間位置関係を仮定した奥行き候補対を生成する奥行き候補対生成手段と、
生成した奥行き候補対に応じて対象物の向き、空間位置を異ならせた場合のそれぞれに対応する特徴点周辺のモデル画像列を生成して、各特徴点の空間位置と対応づけて保持する特徴点画像保持手段と、
取得した画像のそれぞれと特徴点画像保持手段内に保持されているモデル画像列とを比較してモデル画像との照合、類似判定による評価を行う照合手段と、
複数の画像に対する前記照合手段におけるモデル画像との類似度評価結果に基づいて前記奥行き候補対の精度を評価する評価手段と、を備えていることを特徴とする画像処理装置。
【請求項２】
前記奥行き候補対生成手段は、特徴点間の空間位置関係の異なる複数組の奥行き候補対を生成し、前記特徴点画像保持手段、前記照合手段、前記評価手段は、それぞれの奥行き候補対に対してモデル画像生成、照合、評価を行うとともに、評価結果に基づいて適切な奥行き候補対を奥行き位置として選定する奥行き候補対選定手段をさらに備えていることを特徴とする請求項１記載の画像処理装置。
【請求項３】
仮定した奥行き候補対の各要素の値を変化させて新たな奥行き候補対を生成し、生成した奥行き候補対に対するモデル画像生成、照合、評価を行うことで、奥行き候補対を修正して、奥行き位置として出力することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記奥行き候補対生成手段は、各特徴点の空間位置関係を設定した範囲から所定の条件で抽出することで複数の奥行き候補対を生成することを特徴とする請求項２記載の画像処理装置。
【請求項５】
一度目に抽出した複数の奥行き候補対に対してモデル画像生成、照合、評価を行い、評価結果に基づいて適切な奥行き候補対を選定し、当該奥行き候補対を含み、一度目の抽出条件より各特徴点の空間位置関係の範囲を狭くして二度目の複数の奥行き候補対を生成し、モデル画像生成、照合、評価、奥行き候補対選定を再実行することを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記特徴点の存在位置の推定情報を取得する手段をさらに備えており、
前記奥行き候補対生成手段は、取得した特徴点の位置推定情報に基づいて奥行き候補対を生成することを特徴とする請求項１記載の画像処理装置。
【請求項７】
取得した画像を順に、それぞれの奥行き候補対に対する照合、評価を行い、精度が不十分と判定した奥行き候補対については、その後の画像についての照合、評価を行わず、奥行き候補対から除外することを特徴とする請求項２記載の画像処理装置。
【請求項８】
特徴点の中から奥行き推定を行う特徴点を選択する特徴点選択手段をさらに備え、前記奥行き候補対選定手段は、選択した特徴点について奥行き候補対を生成してモデル画像生成、照合、評価を行うことで、適切な奥行き候補対を選定した後、奥行き推定が未了の他の特徴点を追加してモデル画像生成、照合、評価を行い、追加した特徴点を含む適切な奥行き候補対を選定することを特徴とする請求項２に記載の画像処理装置。
【請求項９】
奥行きを推定したい対象物の画像複数枚を取得し、
対象物の特徴点間の空間位置関係を仮定した奥行き候補対を生成し、
生成した奥行き候補対に応じて対象物の向き、空間位置を異ならせた場合のそれぞれに対応する特徴点周辺のモデル画像列を生成して、各特徴点の空間位置と対応づけて保持し、
取得した画像のそれぞれと特徴点画像保持手段内に保持されているモデル画像列とを比較してモデル画像との照合、類似判定による評価を行い、
複数の画像に対する前記モデル画像との類似度評価結果に基づいて前記奥行き候補対の精度を評価する工程を備えていることを特徴とする画像処理方法。
【請求項１０】
奥行き候補対の生成に際しては、特徴点間の空間位置関係の異なる複数組の奥行き候補対を生成し、それぞれの奥行き候補対に対してモデル画像生成、照合、評価を行い、評価結果に基づいて適切な奥行き候補対を奥行き位置として選定する工程を備えていることを特徴とする請求項９記載の画像処理方法。
【請求項１１】
仮定した奥行き候補対の各要素の値を変化させて新たな奥行き候補対を生成し、生成した奥行き候補対に対するモデル画像生成、照合、評価を行うことで、奥行き候補対を修正して、奥行き位置として出力することを特徴とする請求項９記載の画像処理方法。
【請求項１２】
各特徴点の空間位置関係を設定した範囲から所定の条件で抽出することで複数の奥行き候補対を生成することを特徴とする請求項９記載の画像処理方法。
【請求項１３】
一度目に抽出した複数の奥行き候補対に対してモデル画像生成、照合、評価を行い、評価結果に基づいて適切な奥行き候補対を選定し、当該奥行き候補対を含み、一度目の抽出条件より各特徴点の空間位置関係の範囲を狭くして二度目の複数の奥行き候補対を生成し、モデル画像生成、照合、評価、奥行き候補対選定を再実行することを特徴とする請求項１２記載の画像処理方法。
【請求項１４】
特徴点の存在位置の推定情報を取得し、取得した特徴点の位置推定情報に基づいて奥行き候補対を生成することを特徴とする請求項９記載の画像処理方法。
【請求項１５】
取得した画像を順に、それぞれの奥行き候補対に対する照合、評価を行い、精度が不十分と判定した奥行き候補対については、その後の画像についての照合、評価を行わず、奥行き候補対から除外することを特徴とする請求項１０記載の画像処理方法。
【請求項１６】
特徴点の中から奥行き推定を行う特徴点を選択し、選択した特徴点について奥行き候補対を生成してモデル画像生成、照合、評価を行うことで、適切な奥行き候補対を選定した後、奥行き推定が未了の他の特徴点を追加してモデル画像生成、照合、評価を行い、追加した特徴点を含む適切な奥行き候補対を選定することを特徴とする請求項１０または１１に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単眼カメラ等で取得した対象物の画像列を基にして対象上の点の３次元的な奥行きを推定する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
対象物の３次元的位置を取得する手法としてステレオカメラによる両眼視を用いた技術のほかに単眼カメラで取得した画像から対象物の３次元座標を求める技術が提案されている（非特許文献１参照）。この文献に記載されている技術は、単眼カメラで取得した画像列内に写っている対象上の複数の特徴点の２次元座標を推定し、その変化に基づいて特徴点の３次元座標を推定しようとするものである。
【非特許文献１】J. Costeira and T. Kanade著「A Multi-bodyFactorization Method for Motion Analysis」technical report CMU-CS-TR-94-220、米国カーネギーメロン大学コンピュータ科学部、１９９４年９月
【発明の開示】
【発明が解決しようとする課題】
【０００３】
この技術において特徴点の３次元座標を精度よく推定するためには、画像列における対象上の特徴点を精度よく追跡する必要がある。しかしながら、実際の環境においては、特徴点を高精度に追跡することは困難であるため、追跡精度の低下が３次元座標の推定精度の低下をもたらしてしまう。
【０００４】
そこで本発明は、特徴点の追跡精度の向上と３次元位置の推定精度を高めることを可能とした画像処理装置および画像処理方法を提供することを課題とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明にかかる画像処理装置は、（１）奥行きを推定したい対象物の画像複数枚を取得する画像取得手段と、（２）対象物の特徴点間の空間位置関係を仮定した奥行き候補対を生成する奥行き候補対生成手段と、（３）生成した奥行き候補対に応じて対象物の向き、空間位置を異ならせた場合のそれぞれに対応する特徴点周辺のモデル画像列を生成して、各特徴点の空間位置と対応づけて保持する特徴点画像保持手段と、（４）取得した画像のそれぞれと特徴点画像保持手段内に保持されているモデル画像列とを比較してモデル画像との照合、類似判定による評価を行う照合手段と、（５）複数の画像に対する照合手段におけるモデル画像との類似度評価結果に基づいて奥行き候補対の精度を評価する評価手段と、を備えていることを特徴とする。
【０００６】
一方、本発明にかかる画像処理方法は、（１）奥行きを推定したい対象物の画像複数枚を取得し、（２）対象物の特徴点間の空間位置関係を仮定した奥行き候補対を生成し、（３）生成した奥行き候補対に応じて対象物の向き、空間位置を異ならせた場合のそれぞれに対応する特徴点周辺のモデル画像列を生成して、各特徴点の空間位置と対応づけて保持し、（４）取得した画像のそれぞれと特徴点画像保持手段内に保持されているモデル画像列とを比較してモデル画像との照合、類似判定による評価を行い、（５）複数の画像に対する前記モデル画像との類似度評価結果に基づいて前記奥行き候補対の精度を評価する工程を備えていることを特徴とする。
【０００７】
本発明によれば、奥行きを推定したい対象物の２枚以上の画像からなる画像列から特徴点の位置関係を表す奥行きを推定する。この際、対象物の特徴点間の空間位置関係を仮定した奥行き候補対を生成し、この奥行き候補対に応じて対象物の向き、空間位置を異ならせた場合の特徴点周辺のモデル画像を生成して保存しておく。このモデル画像と実際の画像とを比較することで、奥行き候補の評価を行う。
【００１０】
奥行き候補対生成手段は、特徴点間の空間位置関係の異なる複数組の奥行き候補対を生成し、前記特徴点画像保持手段、前記照合手段、前記評価手段は、それぞれの奥行き候補対に対してモデル画像生成、照合、評価を行うとともに、評価結果に基づいて適切な奥行き候補対を奥行き位置として選定する奥行き候補対選定手段をさらに備えているとよい。奥行き候補対を複数組生成して評価を行うとともに、評価結果に基づいて適切な奥行き候補対を選定する工程を備えているとよい。すなわち、奥行き候補対を複数生成し、それぞれの奥行き候補対に対する評価結果に基づいて複数の奥行き候補対中から適切な奥行き候補対を選定するのである。
【００１１】
奥行き候補対生成手段または奥行き候補対の生成工程は、仮定した奥行き候補対の各要素の値を変化させて新たな奥行き候補対を生成し、生成した奥行き候補対に対するモデル画像生成、照合、評価を行うことで、奥行き候補対を修正して、奥行き位置として出力するとよい。
【００１２】
奥行き候補対の評価結果を基にして、元の奥行き候補対を修正して新たな奥行き候補対を生成し、再評価を行う。これにより、奥行き候補対の最適化を行う。
【００１３】
奥行き候補対生成手段、または、奥行き候補対の生成工程は、各特徴点の空間位置関係を設定した範囲から所定の条件で抽出することで複数の奥行き候補対を生成するとよい。
【００１４】
奥行き候補対を複数設定する場合に、各特徴点の空間位置関係を所定の範囲内に設定し、その際に、等間隔や予め設定した分布（例えば、正規分布）に基づいて各候補対の奥行き位置を設定する。
【００１５】
一度目に抽出した複数の奥行き候補対中で選定された適切な奥行き候補対を含み、一度目の抽出条件より各特徴点の空間位置関係の範囲を狭くして複数の奥行き候補対を生成し、モデル画像生成、照合、評価、奥行き候補対選定を再実行してもよい。
【００１６】
初期設定の奥行き候補対の中から選定した奥行き候補対を基にしてさらに設定範囲を絞り込んで奥行き候補対を生成し、選定を行うことで、奥行き候補対生成時の奥行き間隔を細分化する。このとき、順次絞り込みを行うことで、評価を行う奥行き候補対の数の適正化を図る。
【００１７】
本発明にかかる画像処理装置は、特徴点の存在位置の推定情報を取得する手段をさらに備えており、奥行き候補対生成手段は、取得した特徴点の位置推定情報に基づいて奥行き候補対を生成してもよい。一方、本発明にかかる画像処理方法は、特徴点の存在位置の推定情報を取得し、取得した特徴点の位置推定情報に基づいて奥行き候補対を生成してもよい。
【００１８】
特徴点の存在位置の推定情報としては、例えば、対象物の種別に応じた標準的な特徴点の位置関係情報や画像取得手段から得られた情報（ピント位置）から得られる特徴点の位置情報、さらには、画像中の対象物の大きさや画像内の特徴点間の距離を基に画像取得手段と対象物との距離を推定するとよい。これらの情報を基にして特徴点の位置関係を推定し、初期奥行き候補対を生成する。
【００１９】
取得した画像を順に、それぞれの奥行き候補対に対する照合、評価を行い、精度が不十分と判定した奥行き候補対については、その後の画像についての照合、評価を行わず、奥行き候補対から除外するとよい。評価結果が所定値以下、つまり、好ましい評価が得られていない場合には、当該奥行き候補対の精度が低いと想定されることから、画像列全てに対する評価を行うことなく、処理を中止することで、処理の高速化を図る。
【００２４】
特徴点の中から奥行き推定を行う特徴点を選択し、選択した特徴点について奥行き候補対を生成してモデル画像生成、照合、評価を行うことで、適切な奥行き候補対を選定した後、行き推定が未了の他の特徴点を追加してモデル画像生成、照合、評価を行い、追加した特徴点を含む適切な奥行き候補対を選定するとよい。
【００２５】
特徴点が多数存在する場合に、全特徴点について同時に奥行き候補対を生成すると、必要な候補対の数が膨大になり、適切な奥行き候補対を選定するのが困難になる。特徴点の中から選択した少数の特徴点について奥行き候補対を生成し、当該特徴点についての奥行き候補対を選定した後に、順次、特徴点を追加することで、選定までに生成が必要な奥行き候補対の数が削減できる。
【発明の効果】
【００２６】
本発明にかかる画像処理装置および画像処理方法によれば、特徴点の位置関係を表す奥行きを推定し、この奥行き候補値の組み合わせである奥行き候補対と特定の視点から見たモデル画像と、実際の画像とを比較することで、奥行き候補対の精度を検証することにより、特徴点の空間位置を正確に把握し、追跡することができる。
【００２８】
この奥行き候補対を予め複数組生成しておき、最も確からしい候補対を選定することで、適切な候補対を選択することができる。あるいは、評価状況に応じて候補対を変更し、修正することで奥行き候補対を最適化できる。さらに、奥行き候補対の設定に際しては、設定した範囲から抽出を行い、さらには、この抽出条件を修正することで、最適解を求めるまでの計算量を減らし、演算時間の短縮化を図れる。特に、存在位置の推定情報を用いることで、初期推定値の精度を高めることができる。このとき、評価結果の低い候補対に対しては、追跡処理を中止することにより、無駄な追跡を行わずに処理時間を短縮する。追跡状況の評価において、画像の類似度等から判定を行うことで追跡と評価を一元的に行うことができる。
【００２９】
奥行き候補対を特徴点の一部に対して設定し、順次追加していくことで絞り込みを実行することで、特徴点が多数ある場合でも迅速に奥行きの推定が可能となる。
【発明を実施するための最良の形態】
【００３０】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【００３１】
図１は、本発明にかかる画像処理装置の第１の実施形態を示すブロック構成図である。この画像処理装置は、認識対象物を撮影した画像列（動画等）を取得する画像取得手段１と、特徴点とその周辺画像を保持する特徴点画像保持手段２と、奥行き候補対を生成する奥行き候補対生成手段３と、画像列中の各画像中の特徴点を追跡する追跡手段４と、追跡手段による追跡状況の評価を行う追跡状況評価手段５をを備えている。
【００３２】
画像取得手段１は、例えば、テレビカメラ等の動画を撮像して画像列として取り込む装置である。そのほかに、ビデオレコーダ等に保持されている動画データ中から画像列を取り込むビデオキャプチャー装置等であってもよい。
【００３３】
特徴点画像保持手段２は、メモリや磁気ディスク等の記憶手段を備えている。ここでは、さらに、参照画像から特徴点を検出する検出手段と、その周辺画像を抽出する抽出手段とを備えている場合を例に説明する。これらの検出手段、抽出手段は、ＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成されており、ハードウェア的に記憶手段とは別に個別に構成されていてもよいし、ハードウェアの一部または全部を共有し、ソフトウェア的に実現されていてもよい。
【００３４】
奥行き候補対生成手段３、追跡手段４、追跡状況評価手段５は、いずれもＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成される。これらの各手段と特徴点画像保持手段２内の各手段とは、独立した別々のハードウェアとして構成されていてもよいが、一部または全部のハードウェアを共有し、ソフトウェアにより個々の手段が実現されていてもよい。なお、この場合に、各手段を構成するソフトウェアは別個独立していてもよいが、ソフトウェアの一部を共有してもよく、１つのソフトウェアの内部に複数の手段が組み込まれる構成であってもよい。
【００３５】
続いて、本実施形態の動作である本発明にかかる画像処理方法の第１の実施形態について図２のフローチャートを参照しつつ、具体的に説明する。ここでは、車両の車室内、例えば、ステアリングコラム上に配置されたカメラにより運転者の顔画像を取得して、運転者の顔向き、顔の位置を検出するための前処理として顔の特徴部分の３次元的な位置関係、つまり、奥行きを取得する場合を例に説明する。
【００３６】
まず、画像取得手段１に画像列（動画像）が入力される（ステップＳ１）。取り込んだ画像列（図３参照）は、例えば、図示していない一時記憶手段に格納されるとよい。次に、特徴点画像保持手段２により、初期画像Ｉ０中の顔特徴点を検出する（ステップＳ３）。ここで、初期画像としては、運転者が真正面を向いている時の顔画像を用いればよい。特徴点検出は、取得した画像を図示していない表示装置に表示して、表示画像内の特徴点位置を運転者が指定することで、その位置を検出するようにすればよい。あるいは、事前に抽出したい特徴点の典型的な輝度パターンからなる参照画像を格納しておき、これと入力画像の部分とを比較して類似度の高い箇所を抽出することで特徴点を検出してもよい。類似度の指標としては、例えば、以下の式を用いるとよい。
【００３７】
【数１】
0004830585.tif 000002
【００３８】
ここで、ｆ（ｘ，ｙ）は、入力画像上の（ｘ，ｙ）における輝度値を、ｇ（ｕ，ｖ）は、参照輝度パターンの画素位置（ｕ，ｖ）における輝度値を、上に横線を引いたｆは、入力画像上の（ｘ，ｙ）を中心とする参照輝度パターンと同じ大きさの領域の平均輝度を、上に横線を引いたｇは、参照輝度パターンの平均輝度を、Ｕ、Ｖは、それぞれ参照輝度パターンの水平、垂直方向のとりうる座標を要素とする集合をそれぞれ表している。
【００３９】
こうして特徴点位置を検出したら、その周辺の所定の大きさの画像とともに、特徴点画像保持手段２内の記憶手段に格納する。図４（ａ）に入力画像Ｉ０中での特徴点位置を十字で示す。これらの特徴点周辺を切り出した画像群Ｉｓ０〜Ｉｓ５を図４（ｂ）に示す。ここでは、両眼のそれぞれの端と口の端を切り出した例を示している。
【００４０】
次に奥行き候補対を生成する（ステップＳ５）。ここでは、各特徴点の奥行きの候補値を生成することで、その組み合わせである奥行き候補対を生成する。ここでは、奥行き候補対を１つ作成する場合を例に述べる。対象が顔の場合には、カメラに映し出された顔の大きさや顔内の部位（例えば、目の大きさ）とカメラの諸元データからカメラと顔の位置関係が把握でき、特徴点の概略的な位置が把握できる。
【００４１】
生成した奥行き候補対と特徴点の周辺画像から顔モデルを構築する（ステップＳ７）。図５は、この顔モデルを説明する図である。初期画像におけるｉ番目の特徴点の画像上での座標を（ｕｉ，ｖｉ）とする。この点の３次元空間内でのカメラ座標系による表現をＭｉ０＝（Ｘｉ，Ｙｉ，Ｚｉ）とすると、以下の関係式が成り立つ。
【００４２】
【数２】
0004830585.tif 000003
【００４３】
ここで、ｓｉは設定した奥行き、Ｐ、Ａ、Ｒ、ｔは、それぞれ射影行列、カメラ内部行列、カメラ外部回転行列、カメラ外部並進行列を示している。カメラ内部行列は既知であり、カメラ座標系を世界座標系とすると、（２）式は以下のように書き換えられる。
【００４４】
【数３】
0004830585.tif 000004
【００４５】
したがって、
【００４６】
【数４】
0004830585.tif 000005
【００４７】
が成立し、奥行き候補対と初期画像から各特徴点の空間位置を算出することができる。この空間位置の対応と特徴点周辺画像の組み合わせが顔モデルＭｆであり、図５（ａ）に示されるように特徴点周辺画像を各特徴点の空間位置に配置したモデルである。図５（ｂ）に示されるような実際の顔の立体形状を模したモデルＭｆ’に比較してモデルを単純化することができる。
【００４８】
続くステップＳ９では、この顔モデルに基づいて、顔が様々な位置・姿勢にあるときのカメラで取得できる特徴点周辺画像を生成しておき、これを位置・姿勢と関連づけたデータベースとして記憶する。ここで、顔が位置ｔにおいてＸＹＺ各軸に対してｗｘ、ｗｙ、ｗｚ回転した場合の変化量を表すｉ番目の特徴点の見え方の変化を表す変化行列Ｈｉは以下の式により求めることができる。
【００４９】
【数５】
0004830585.tif 000006
【００５０】
ここで、Ａ１は、カメラ内部パラメータ、Ｒは顔運動の回転行列、ｔは顔運動の並進ベクトル、Ｍｉは参照画像撮影時の基準座標系におけるｉ番目の特徴点の３次元座標である。そして、ｎｉは、行列（０  ０  １）Ｔである。ｉ番目の特徴点の参照画像上での位置を上述したように（ｕｉ，ｖｉ）、上記運動後の画素位置を（ｕ'ｉ，ｖ'ｉ）とすると、以下の関係が成立する。
【００５１】
【数６】
0004830585.tif 000007
【００５２】
ここで、αはスカラー値である。
【００５３】
ここで、運動後の特徴点周辺画像を矩形領域で表すものとする。図６は、初期画像（同図（ａ）参照）とこれに対応する運動後の画像（同図（ｂ）参照）との関係を示している。図６（ｂ）に示されるように、運動後の特徴点の周辺画像のサイズを幅２ｗ＋１、高さ２ｈ＋１とする。矩形領域の端点ａ’、ｂ’、ｃ’、ｄ’の位置は、以下の式で表される。
【００５４】
【数７】
0004830585.tif 000008
【００５５】
これら４点で囲まれる矩形領域内の画素（ｕ'，ｖ'）に対応する初期画像中の画素位置（ｕ，ｖ）は、式（６）の関係を満たすからこれを変形した次式により求めることができる。
【００５６】
【数８】
0004830585.tif 000009
【００５７】
（８）式で求めた画素位置（ｕ，ｖ）の輝度値を運動後の（ｕ'，ｖ'）位置の輝度値とする。ここで、（８）式で求めた画素位置（ｕ，ｖ）は整数値ではない、つまり、画素の中間位置を表すことがあるが、この場合は、周囲の画素の輝度値を基にして補間により当該中間位置の輝度値を求めればよい。こうして生成された特徴点周辺画像は、顔の位置・向きと関連づけられたデータベース（図７参照）として特徴点画像保持手段２内の記憶手段に格納される。
【００５８】
続いて照合フェーズに入る。ここでは、検証用画像列（図８参照）Ｉｉ〜Ｉｎからｉ番目の画像を取り出し、照合を行う。まず、追跡手段４は、１番目の画像を取り出し（ステップＳ１１）、この画像と顔画像データベースとを比較することで、類似度が最大となる顔画像データおよびその画像との類似度を算出する（ステップＳ１３）。
【００５９】
入力画像をＩ、データベース内の画像をＴとすると、類似度は、次の式（９）で求めることができる。
【００６０】
【数９】
0004830585.tif 000010
【００６１】
なお、顔画像データベースは、特徴点付近のみについて輝度値を有しているので、この領域以外については（９）式は演算対象としないよう設定される。ここでは、各特徴点周辺を同じ重みづけにより計算したが、特徴点によって重みづけを変えてもよい。この重みづけ情報は、顔画像データベース内に個々の位置・姿勢情報と関連づけて格納するとよい。例えば、右向きの顔においては、右側の特徴点は隠れやすいので、右側の特徴点周辺の画像については重みづけを低くし、左側の特徴点周辺の画像についての重みづけを大きく設定するとよい。
【００６２】
追跡状況評価手段５は、こうして計算した類似度を加算し（ステップＳ１５）、検証用画像列が終了したかを判定する（ステップＳ１７）。検証用画像列全部との照合が未了の場合には、ステップＳ２１へと移行し、次の検証用画像を選択して、ステップＳ１３へと戻ることで、全ての画像列に対する照合を行う。ステップＳ１７で照合が終了したと判定した場合には、ステップＳ１９へと移行し、追跡状況評価手段５は、評価結果である累積値を出力して処理を終了する。
【００６３】
生成された奥行き候補対の確度が高いほど、これを利用して生成される顔モデルの確度も向上し、検証用画像列中の特徴点周辺画像と顔画像データベース内の画像とが一致する確率も高くなる。この結果、評価結果である累積値自体も奥行き候補対の確度が高いほど高い数値をとる。言い換えれば、奥行き候補対の精度を累積値により評価できる。
【００６４】
ここでは、奥行き候補対を１つ生成し、それに対する評価値を出力するだけの構成としたが、評価値を基にして奥行き候補対の修正・選択を行うようにするとさらに好ましい。この修正・選択は、操作者（本実施形態では運転者）が評価結果を基にして手動で別の値を設定することで行ってもよいが、自動的に修正・選択を行うような形態も可能である。図９にブロック構成を示す第２の実施形態においては、奥行き候補対を複数生成し、生成した奥行き候補対群の中から適切な奥行き候補対を選定するものである。
【００６５】
この第２の実施形態は、図１に示される第１の実施形態に奥行き候補対選定手段６を追加したものである。この奥行き候補対選定手段６は、ＣＰＵ、ＲＯＭ、ＲＡＭ等で構成される独立のハードウェアであってもよいが、他の手段１〜６とハードウェアの一部または全部を共有し、ソフトウェアにより実現されていてもよい。
【００６６】
この実施形態の動作、すなわち、本発明にかかる画像処理方法の第２の実施形態を図１０のフローチャートを参照して説明する。画像列入力（ステップＳ１）、顔特徴点の検出（ステップＳ３）は、図２に示される第１の実施形態とほぼ同様である。続いて、第１の実施形態におけるステップＳ５の奥行き候補対の生成に変えて、複数の奥行き候補対である奥行き候補群を生成する（ステップＳ５ａ）。この奥行き候補群の生成に際しては、例えば、ｉ番目の特徴点の奥行きの上限値と下限値をそれぞれｈｉｇｈｉ、ｌｏｗｉとし、奥行きの種類数をｎとすると、ｋ番目の奥行きｓｔｅｐｉ，ｋは、以下の式で表せる。
【００６７】
【数１０】
0004830585.tif 000011
【００６８】
ここでは、等間隔としたが、各特徴点の奥行き範囲を正規分布や他の分布を基にして不等間隔で設定してもよい。また、特定の特徴点を基準位置に設定し、これに対する関係で他の特徴点の奥行きを設定してもよい。特に顔のように凹凸の関係が明らかな場合に、現実とかけ離れた不合理な奥行き設定を排除する効果がある。このとき奥行き範囲の設定に際して、撮像手段におけるピント位置情報や運転席シートの位置情報等を基にして可能な奥行き範囲を推定すると初期奥行き推定精度の向上が図れる。
【００６９】
複数個の奥行き候補対（奥行き候補群）を設定したら、その中から１番目の候補対を選択し（ステップＳ６）、第１の実施形態と同様に顔モデルの構築（ステップＳ７）、顔画像データベースの構築（ステップＳ９）を行い、照合プロセスの類似度評価結果の蓄積まで（ステップＳ１１〜Ｓ１５）の処理を実行する。
【００７０】
続くステップＳ１６の処理は、実際には、２番目以降の候補対について実行される。前述したように類似度評価結果の累積値は奥行き候補対の確からしさに応じた値をとる。そこで、現在累積中の評価結果をそれ以前に算出した最も評価結果の累積値が良好な結果における当該画像までの累積値（図１１におけるｄ番目の奥行き候補対）との比較を行う。これが遜色ない値であれば、さらに確度の高い奥行き候補対である可能性があるが、良好でなく、かつ、その差が大きい場合（例えば、図１１に示されるｍ＋１個目の奥行き候補対）には、その奥行き候補対は確度が低いことが明らかであるといえる。このような場合に、全ての画像列について追跡・検証を行う必要はない。そこで、このように確度が低いと判定した場合には、後述するステップＳ１８へと移行することで後続画像列における当該奥行き候補対を用いた追跡を中止する。
【００７１】
確度が十分な場合には、ステップＳ１７へと移行し、検証用画像列全ての追跡が終了したか否かの判定を行い（ステップＳ１７）、終了していない場合には、次画像列を選択して（ステップＳ２１）、ステップＳ１３へと戻ることで、追跡を続行する。
【００７２】
一方、検証用画像列全ての追跡が終了したか、確度が低いとして中止された場合には、ステップＳ１８へと移行し、候補対群が全て終了したか否かの判定が行われる（ステップＳ１８）。そして、候補対群が終了していない場合には、ステップＳ２２へと移行して次の奥行き候補対を選択し、ステップＳ７へと戻ることで、設定した奥行き候補対群全てについて追跡・評価を行う。
【００７３】
ステップＳ１８で全候補対群の評価が終了したと判定した場合には、ステップＳ２０へと移行し、類似度が最も高い候補対を選択することにより、適切な奥行き候補対を選択することができる。
【００７４】
ここでは、複数の奥行き候補群設定→選択の処理を一度行う場合を説明したが、この場合、候補群の精度を挙げるには、細かい間隔で奥行き候補を設定する必要が生じる。このため、奥行き候補の範囲が広いと膨大な計算を行う必要が生ずる。これを避けるため、例えば、最初は、広い奥行き範囲中で粗い間隔で設定した奥行き候補群に対して評価を行い、その中で評価結果が優秀な候補対を含む狭い範囲を奥行き範囲として間隔を細分化して再度評価を行うようにするとよい。必要ならば、これを複数回繰り返すことで、少ない演算量で高精度に奥行き候補対を求めることができる。また、２回目以降の評価処理にあたっては、構築する顔画像データベースの範囲も限定可能であり、これによりさらに演算量を減らすこともできる。
【００７５】
このように奥行き候補対の候補を複数設定する手法に限らず、奥行き候補対の評価結果に応じて適宜修正を行う手法を用いてもよい。図１２はこのような修正を行う第３の実施形態の画像処理装置の構成を示すブロック図である。この実施形態は、図１に示される第１の実施形態と基本的に同一の構成要素から構成されるが、奥行き候補対生成手段３に追跡状況評価手段５の評価結果が入力される点が異なっている。
【００７６】
この実施形態の動作、すなわち、本発明にかかる画像処理方法の第３の実施形態を図１３に示されるフローチャートを参照して説明する。この処理は、予め複数の候補を生成しない点を除けば、図９に示される第２の実施形態の処理と略共通の処理を実行する。
【００７７】
候補対を予め複数生成する代わりに、初期奥行き候補対を生成し（ステップＳ５ｂ）、それについてモデル・データベースを構築し（ステップＳ７、Ｓ９）照合プロセス（ステップＳ１１〜Ｓ１７）を実行する。照合後、候補対群の結果が収束しているか否かを評価し、未収束の場合には、ステップＳ２８へと戻り次の奥行き候補対を設定して、ステップＳ７〜Ｓ１７の処理を繰り返す。ステップＳ２８における奥行き候補対の設定手法としては、各種の変数探索アルゴリズムを用いることができる。
【００７８】
なお、以上の計算においては画像列内の全ての評価結果を統合して評価を行ったが、顔の位置・向きに応じて代表的な画像を抽出し、それらに対する評価結果を累積するようにしてもよい。また、個々の特徴点についての類似度を全て合算して評価するのではなく、各特徴点について個別に評価してもよい。このように各特徴点を個別に取り扱うと、一部の特徴点についての奥行き評価のみが誤っている場合に、他の特徴点の評価に影響を及ぼすことがない。なお、同等の奥行きと推定される特徴点をグループ化して当該グループごとに評価を行うようにしてもよい。
【００７９】
対象物上に特徴点が多数存在する場合、第２、第３の実施形態による処理を全ての特徴点について同時に行おうとすると奥行き候補対の数が膨大になり、演算処理に時間を要することになる。１０個の特徴点について、各特徴点の奥行き候補が３つにすぎない場合でも、ありうる奥行き候補対の数は３１０通り＝５９０４９通りに達する。そこで、最初に追跡を行う特徴点の数を絞り込んでおき、それらの特徴点について奥行き候補対を求めた後、残りの特徴点について順次奥行き候補対を求めるという動作を繰り返すことで、処理時間の短縮を図ることが好ましい。
【００８０】
図１４はこの処理（第４の実施形態）を示すフローチャートである。画像列入力（ステップＳ１）と、顔特徴点の検出（ステップＳ３）は、第１〜第３の実施形態と同様である。次に、特徴点のうち、最初に奥行き候補対を設定し、奥行きを求める特徴点を決定する（ステップＳ４）。そして、当該特徴点についてモデル・データベースの構築と照合プロセスからなる奥行き候補対算定処理（ステップＳ３０）を実行する。これは、第２の実施形態におけるステップＳ５〜Ｓ１９の処理、第３の実施形態におけるステップＳ５ｂ〜Ｓ２６の処理に対応する。
【００８１】
当該特徴点について奥行きを算定したら、ステップＳ３２へと移行して、奥行きを求めていない特徴点が残存しているかを判定し、残存している場合には、ステップＳ３６へと移行し、残りの特徴点のうち、所定個数の特徴点を追加して（ステップＳ３６）、再びステップＳ３０へと戻ることで順次、特徴点の奥行きを算出する。ステップＳ３２で全特徴点の奥行きが求まったと判定した場合には、ステップＳ３４へと移行し、最終候補対を出力して処理を終了する。これにより、上述した例においても最小の場合で、３通り×１０回＝３０回の計算を行うことで、特徴点の奥行きを求めることが可能となり、演算時間を大幅に短縮することが可能となる。
【００８２】
以上の説明では、車載の顔認識カメラに適用した場合を例に説明したが、本発明はこれに限られるものではなく、例えば、ロボットや監視装置等における物体認識等においても適用することが可能である。
【図面の簡単な説明】
【００８３】
【図１】本発明にかかる画像処理装置の第１の実施形態の構成を示すブロック図である。
【図２】本発明にかかる画像処理方法の第１の実施形態の処理を示すフローチャートである。
【図３】入力される画像列を説明する図である。
【図４】入力画像中での特徴点位置を示す図（図４（ａ））と、抽出した特徴点周辺画像例（図４（ｂ））である。
【図５】本発明で用いられる顔モデルを説明する図である。
【図６】初期画像とこれに対応する運動後の画像との関係を示す図である。
【図７】顔画像データベースの一例を示す図である。
【図８】検証用画像列の一例を占め鈴である。
【図９】本発明にかかる画像処理装置の第２の実施形態の構成を示すブロック図である。
【図１０】本発明にかかる画像処理方法の第２の実施形態の処理を示すフローチャートである。
【図１１】評価結果の累積値の変化を示すグラフである。
【図１２】本発明にかかる画像処理装置の第３の実施形態の構成を示すブロック図である。
【図１３】本発明にかかる画像処理方法の第３の実施形態の処理を示すフローチャートである。
【図１４】本発明にかかる画像処理方法の第４の実施形態の処理を示すフローチャートである。
【符号の説明】
【００８４】
１…画像取得手段、２…特徴点画像保持手段、３…奥行き候補対生成手段、４…追跡手段、５…追跡状況評価手段、６…奥行き候補対選定手段。
【図１】
0004830585.tif 000012
【図２】
0004830585.tif 000013
【図３】
0004830585.tif 000014
【図４】
0004830585.tif 000015
【図５】
0004830585.tif 000016
【図６】
0004830585.tif 000017
【図７】
0004830585.tif 000018
【図８】
0004830585.tif 000019
【図９】
0004830585.tif 000020
【図１０】
0004830585.tif 000021
【図１１】
0004830585.tif 000022
【図１２】
0004830585.tif 000023
【図１３】
0004830585.tif 000024
【図１４】
0004830585.tif 000025