(57)【要約】【課題】例えば人物の顔等のオブジェクトを、的確且つ迅速に認識することのできるオブジェクト認識装置およびオブジェクト認識方法ならびにオブジェクト認識用プログラムを提供する。【解決手段】複数の識別器１１０（１１０−１，…，…，１１０−ｎ）によって、オブジェクトの識別を、例えば検出対象画像のリサイズ（１２０）の倍率を異にしたり検出窓のシフト位置を異にしたりして各個の識別条件で実行し、システムコントローラ１３０によって、複数の識別器に順次所定のオブジェクトを含んでいる否かの識別を行わせると共に何れかの識別器において否定的な識別結果を得たときには被検出画像は所定のオブジェクトを含んでいない旨の結果を出力する。【選択図】図１
2008027130.tif 000002
【特許請求の範囲】
【請求項１】
検出窓内の画像が所定のオブジェクトを含んでいるか否かの識別を各個に差異を有する識別条件で実行する複数の識別器と、前記複数の識別器に順次所定のオブジェクトを含んでいる否かの識別を行わせると共に前記複数の識別器のうちの何れかにおいて否定的な識別結果を得たときには当該検出窓内の画像は所定のオブジェクトを含んでいない旨の結果を出力するシステムコントローラと、を含んで構成されていることを特徴とするオブジェクト認識装置。
【請求項２】
検出窓内の画像が所定のオブジェクトを含んでいるか否かの識別を各個に差異を有する識別条件で実行する複数の識別器と、前記複数の識別器に順次所定のオブジェクトを含んでいる否かの識別を行わせると共に前記複数の識別器のうちの過半数の識別器において肯定的な識別結果を得たときには当該検出窓内の画像は所定のオブジェクトを含んでいる旨の結果を出力するシステムコントローラと、を含んで構成されていることを特徴とするオブジェクト認識装置。
【請求項３】
前記システムコントローラは、当該一の検出窓内の画像が所定のオブジェクトとしての顔画像を含んでいるか否かの一の識別処理の結果に基づいて、該一の識別処理の実行よりも以降の時点で識別処理の対象の候補とする後続処理対象候補領域が、前記顔画像を含んでいるか否かの識別結果が肯定的であることの確信度を推定し、該確信度が低いと推定されたときには当該後続処理対象候補領域に関する識別処理を行わないように制御することを特徴とする請求項１又は２の何れか一項に記載のオブジェクト認識装置。
【請求項４】
前記システムコントローラは、順次切替えて適用した前記複数の識別器のうち肯定的な結果を得ている識別器に関する、当初に適用した識別器を初段として切替え段数を計数したときの該当段数に応じて、前記確信度を推定するように構成されていることを特徴とする請求項３に記載のオブジェクト認識装置。
【請求項５】
前記システムコントローラは、当該一の検出窓内の画像が所定のオブジェクトとしての顔画像を含んでいるか否かの識別結果を得るに到るまでに順次切替えて適用した前記複数の識別器のうち否定的な結果を得た識別器の数に応じて、前記確信度を推定するように構成されていることを特徴とする請求項３に記載のオブジェクト認識装置。
【請求項６】
前記システムコントローラは、当該一の検出窓内の画像が所定のオブジェクトとしての顔画像を含んでいるか否かの識別結果を得るに到るまでに順次切替えて適用した前記複数の識別器のうち否定的な結果を得た識別器であってサポートベクタマシンを適用してオブジェクトの識別処理を行う識別器においてその識別処理の過程で算出された識別平面からの距離に応じて、前記確信度を推定するように構成されていることを特徴とする請求項３に記載のオブジェクト認識装置。
【請求項７】
前記複数の識別器の何れかは、AdaBoostおよびサポートベクタマシンの何れかまたは双方を適用して構成されていることを特徴とする請求項１又は２の何れか一項に記載のオブジェクト認識装置。
【請求項８】
前記複数の識別器は、それぞれ一部を異にするサンプル画像を用いて学習を行なった識別機能部を備えていることを特徴とする請求項１又は２の何れか一項に記載のオブジェクト認識装置。
【請求項９】
前記複数の識別器は、AdaBoostを適用し且つそれぞれ異なった弱識別器として構成されていることを特徴とする請求項１又は２の何れか一項に記載のオブジェクト認識装置。
【請求項１０】
前記複数の識別器は、サポートベクタマシンを適用し且つそれぞれカーネル関数を異にするように構成されていることを特徴とする請求項１又は２の何れか一項に記載のオブジェクト認識装置。
【請求項１１】
前記複数の識別器は、当該所定のオブジェクト画像としての顔画像を識別するように構成されていることを特徴とする請求項１〜１０の何れか一項に記載のオブジェクト認識装置。
【請求項１２】
検出窓内の画像が所定のオブジェクトを含んでいるか否かの識別処理を各個に差異を有する識別条件で順次複数通り実行し、前記複数通り実行した識別処理の結果を総合して前記画像が所定のオブジェクトを含んでいるか否かの最終結果を出力するオブジェクト認識方法であって、当該一の検出窓内の画像が所定のオブジェクトとしての顔画像を含んでいるか否かの一の識別処理の結果に基づいて、該一の識別処理の実行よりも以降の時点で識別処理の対象の候補とする後続処理対象候補領域が、前記顔画像を含んでいるか否かの識別結果が肯定的であることの確信度を推定し、該確信度が低いと推定されたときには当該後続処理対象候補領域に関する識別処理を行わないことを特徴とするオブジェクト認識方法。
【請求項１３】
検出窓内の画像が所定のオブジェクトを含んでいるか否かの識別処理を各個に差異を有する識別条件で順次複数通り実行する処理と、前記複数通り実行した識別処理の結果を総合して前記画像が所定のオブジェクトを含んでいるか否かの最終結果を出力する処理と、を含む処理をコンピュータに実行させるためのオブジェクト認識用プログラムであって、当該一の検出窓内の画像が所定のオブジェクトとしての顔画像を含んでいるか否かの識別結果に基づいて、当該一の検出窓に隣接する領域ないし当該一の検出窓に対応して次段のリサイズを行なって設定される領域である後続処理対象候補領域が、前記顔画像を含んでいるか否かの識別結果が肯定的であることの確信度を推定し、該確信度が低いと推定されたときには当該後続処理対象候補領域に関する識別処理を行わない形態の処理とをコンピュータに実行させるためのオブジェクト認識用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば人物の顔などのオブジェクトを認識するための、オブジェクト認識装置およびオブジェクト認識方法ならびにオブジェクト認識用プログラムに関する。
【背景技術】
【０００２】
画像に含まれる認識対象とするオブジェクトとしての例えば顔画像を検出する技術は、種々知られている。これら既知の技術では、一般的に顔画像のサイズを一定の大きさに正規化して認識のための処理に附する。この場合、画像に含まれる顔画像の大きさと位置については事前に知ることはできないため、画像の大きさを様々なサイズにリサイズした上で、所定の大きさの検出窓を設定し、顔画像か否かを判定する必要がある。
【０００３】
例えば、正規化した検出窓のサイズを２０×２０画素とし、VGAサイズの画像から上記のような手法で顔画像を検出するとすれば、約３０万個の検出窓が設定され、それぞれの検出窓について顔画像か否かの判定を行うことになる。しかしながら、一般の写真では顔画像は数個〜数十個しか含まれないにも関わらず、一律にこのような検出処理を実行するというのでは無駄な判定処理が多く、処理時間が長くなり、リアルタイムに検出することが難しい。
一方、サンプル画像を用いて学習した複数の識別器が出力した基準値を用いて、識別対象画像に所定対象物が含まれるか否かを識別するに際し、識別器の設定を複雑にしたり、サンプル画像の種類を増やすことなく誤検出を少なくすること目指した技術が既に提案されている。
【０００４】
この提案では、識別対象画像上の所定サイズの範囲内の画素のそれぞれについて、所定対象物の識別に用いる少なくとも１つの特徴量を算出し、複数種類の画素群のそれぞれにおいて算出した前記特徴量から、前記所定対象物が含まれる画像か否かの識別基準値を得て、前記複数種類の画素群に各対応する複数の識別器の各個に各該当する複数のカテゴリに関する識別手段に対する特徴量より各識別器が出力したカテゴリ別重み付け総和を算出し、このカテゴリ別重み付け総和が所定の閾値以上となったカテゴリの数が所定数以上であるか否かに基づいて識別対象画像に所定対象物が含まれているか否かを識別するようにしている（特許文献１参照）。
【０００５】
また一方、従来用いられている顔画像切り出し方法では、平均的な顔を用いて一般画像中の顔の位置や大きさの正規化を行うが、実際には、平均的な顔とは目鼻の位置がずれていることが多く、且つ、一定の方向を向いていないため正確な検出が困難であり、更に、テンプレートを利用する方法では、眼、鼻などのテンプレートは小さな画像となるため背景の雑多な対象と混乱しやすいという問題が払拭できなかったことに対処して、従来よりも高精度な認識を行えるようにしようとする提案もある。
【０００６】
この提案では、最初に、顔を撮影したグレースケール顔画像を入力し、一方、予想される全ての変形を考慮したアフィン変換に基づく多数の変形パラメータを予め用意しておき、それらの変形パラメータをそれぞれ用いて入力画像から顔パターンを切り出し、切り出した顔パターンを逆変換し、正方形の正規化パターンにする。次に、この各逆変換で得た正規化された顔パターンから特徴ベクトルを抽出し、予め用意した種々の個人の参照特徴ベクトルと比較して類似度を計算し、識別結果を出力する。
【０００７】
更に、各識別器から出力される類似度に、対応する各逆変換で除去した変形の発生頻度に基づく重み係数を乗算して、最終的な認識精度を高める。
各変形毎の逆変換と識別と乗算とは、同時並行的に実行し、最後に、これらの識別結果を集めて、総合的な結果として特定の個人か否かを決定する（特許文献２参照）。
【特許文献１】特開２００５−２５０７７１号公報（段落００２１〜段落００２３、図１）
【特許文献２】特開２０００−９０１９１号公報（段落０００４〜段落０００６、段落００１９、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した特許文献１に開示された技術では、認識処理の高速化といった視点からの提案はなされていない。また、特許文献２に提案の技術では、予想される全ての変形を考慮したアフィン変換に基づく多数の変形パラメータを予め用意することは、既にそれ自体で負担が大きく迅速に認識結果を得ることは難しい。
本発明はこのような状況に鑑み、例えば人物の顔等のオブジェクトを、的確且つ迅速に認識することのできるオブジェクト認識装置およびオブジェクト認識方法ならびにオブジェクト認識用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するべく、本願では次に列記するような技術を提案する。
（１）検出窓内の画像が所定のオブジェクトを含んでいるか否かの識別を各個に差異を有する識別条件で実行する複数の識別器と、前記複数の識別器に順次所定のオブジェクトを含んでいる否かの識別を行わせると共に前記複数の識別器のうちの何れかにおいて否定的な識別結果を得たときには当該検出窓内の画像は所定のオブジェクトを含んでいない旨の結果を出力するシステムコントローラと、を含んで構成されていることを特徴とするオブジェクト認識装置。
【００１０】
上記（１）のオブジェクト認識装置では、複数の識別器によって、検出窓内の画像が所定のオブジェクトを含んでいるか否かの識別を、例えば検出対象画像のリサイズを異にしたり検出窓のシフト位置を異にしたりといったように各個に差異を有する識別条件で実行するが、この場合、システムコントローラによって、複数の識別器に順次所定のオブジェクトを含んでいる否かの識別を行わせると共にこれら複数の識別器のうちの何れかにおいて否定的な識別結果を得たときには当該検出窓内の画像は所定のオブジェクトを含んでいない旨の結果を出力する。
例えば人物の顔等の所定のオブジェクトを、的確且つ迅速に認識することができる。
【００１１】
（２）検出窓内の画像が所定のオブジェクトを含んでいるか否かの識別を各個に差異を有する識別条件で実行する複数の識別器と、前記複数の識別器に順次所定のオブジェクトを含んでいる否かの識別を行わせると共に前記複数の識別器のうちの過半数の識別器において肯定的な識別結果を得たときには当該検出窓内の画像は所定のオブジェクトを含んでいる旨の結果を出力するシステムコントローラと、を含んで構成されていることを特徴とするオブジェクト認識装置。
【００１２】
上記（２）のオブジェクト認識装置では、複数の識別器によって、検出窓内の画像が所定のオブジェクトを含んでいるか否かの識別を、例えば検出対象画像のリサイズを異にしたり検出窓のシフト位置を異にしたりといったように各個に差異を有する識別条件で実行するが、この場合、システムコントローラによって、複数の識別器に順次所定のオブジェクトを含んでいる否かの識別を行わせると共にこれら複数の識別器のうちの過半数の識別器において肯定的な識別結果を得たときには当該検出窓内の画像は所定のオブジェクトを含んでいる旨の結果を出力する。
例えば人物の顔等の所定のオブジェクトを、的確且つ迅速に認識することができる。
【００１３】
（３）前記システムコントローラは、当該一の検出窓内の画像が所定のオブジェクトとしての顔画像を含んでいるか否かの一の識別処理の結果に基づいて、該一の識別処理の実行よりも以降の時点で識別処理の対象の候補とする後続処理対象候補領域が、前記顔画像を含んでいるか否かの識別結果が肯定的であることの確信度を推定し、該確信度が低いと推定されたときには当該後続処理対象候補領域に関する識別処理を行わないように制御することを特徴とする（１）又は（２）の何れか一のオブジェクト認識装置。
【００１４】
上記（３）のオブジェクト認識装置では、（１）又は（２）の何れか一のオブジェクト認識装置に関して特に、当該一の検出窓内の画像が所定のオブジェクトとしての顔画像を含んでいるか否かの一の識別処理の結果に基づいて、該一の識別処理の実行よりも以降の時点で識別処理の対象の候補とする後続処理対象候補領域について、該後続処理対象候補領域が前記顔画像を含んでいるか否かの識別結果が肯定的であることの確信度を推定し、該確信度が低いと推定されたときには当該後続処理対象候補領域に関する識別処理を行わないように制御する。
有効性の低い処理ステップが省略され、的確且つ迅速な認識が行なわれ得る。
【００１５】
（４）前記システムコントローラは、順次切替えて適用した前記複数の識別器のうち肯定的な結果を得ている識別器に関する、当初に適用した識別器を初段として切替え段数を計数したときの該当段数に応じて、前記確信度を推定するように構成されていることを特徴とする（３）のオブジェクト認識装置。
【００１６】
上記（４）のオブジェクト認識装置では、（３）のオブジェクト認識装置に関して特に、当該確信度を推定するについて、システムコントローラは、順次切替えて適用した（認識のための条件が漸次異なっている）複数の識別器のうち肯定的な結果を得た識別器が、当初に適用した識別器を初段として数えたときに何段目までが該当するかといった切替え段数を計数して、その計数結果である該当段数に応じて確信度を推定する。
簡易な手法によって、的確且つ迅速な認識が行なわれ得る。
【００１７】
（５）前記システムコントローラは、当該一の検出窓内の画像が所定のオブジェクトとしての顔画像を含んでいるか否かの識別結果を得るに到るまでに順次切替えて適用した前記複数の識別器のうち否定的な結果を得た識別器の数に応じて、前記確信度を推定するように構成されていることを特徴とする（３）のオブジェクト認識装置。
【００１８】
上記（５）のオブジェクト認識装置では、（３）のオブジェクト認識装置に関して特に、当該確信度を推定するについて、システムコントローラは、当該一の検出窓内の画像が所定のオブジェクトとしての顔画像を含んでいるか否かの識別結果を得るに到るまでに順次切替えて適用した（認識のための条件が漸次異なっている）複数の識別器のうち否定的な結果を得た識別器の数に応じて、確信度を推定する。
簡易な手法によって、的確且つ迅速な認識が行なわれ得る。
【００１９】
（６）前記システムコントローラは、当該一の検出窓内の画像が所定のオブジェクトとしての顔画像を含んでいるか否かの識別結果を得るに到るまでに順次切替えて適用した前記複数の識別器のうち否定的な結果を得た識別器であってサポートベクタマシンを適用してオブジェクトの識別処理を行う識別器においてその識別処理の過程で算出された識別平面からの距離に応じて、前記確信度を推定するように構成されていることを特徴とする（３）のオブジェクト認識装置。
【００２０】
上記（６）のオブジェクト認識装置では、（３）のオブジェクト認識装置に関して特に、当該確信度を推定するについて、システムコントローラは、当該一の検出窓内の画像が所定のオブジェクトとしての顔画像を含んでいるか否かの識別結果を得るに到るまでに順次切替えて適用した前記複数の識別器のうち否定的な結果を得た識別器であってサポートベクタマシンを適用してオブジェクトの識別処理を行う識別器においてその識別処理の過程で算出された識別平面からの距離に応じて、前記確信度を推定する。
識別力の高いサポートベクタマシンの特徴を利用し、的確且つ迅速な認識が行なわれ得る。
【００２１】
（７）前記複数の識別器の何れかは、AdaBoostおよびサポートベクタマシンの何れかまたは双方を適用して構成されていることを特徴とする（１）又は（２）のオブジェクト認識装置。
上記（７）のオブジェクト認識装置では、（１）又は（２）の何れか一のオブジェクト認識装置に関して特に、複数の識別器の何れかは、AdaBoostおよびサポートベクタマシンの何れかまたは双方を適用して構成されているため、該当する識別器において処理の早い識別機能部を前段に置くことにより的確且つ迅速な認識が行なわれ得る。
【００２２】
（８）前記複数の識別器は、それぞれ一部を異にするサンプル画像を用いて学習を行なった識別機能部を備えていることを特徴とする（１）又は（２）の何れかのオブジェクト認識装置。
上記（８）のオブジェクト認識装置では、（１）又は（２）の何れか一のオブジェクト認識装置に関して特に、複数の識別器は、それぞれ一部を異にするサンプル画像を用いて学習を行なった識別機能部を備えているため、各個の識別器が全く異なった識別結果を出して最終的な識別に誤りを生じてしまうような危惧が低減される。
【００２３】
（９）前記複数の識別器は、AdaBoostを適用し且つそれぞれ異なった弱識別器として構成されていることを特徴とする（１）又は（２）の何れかのオブジェクト認識装置。
上記（９）のオブジェクト認識装置では、（１）又は（２）の何れか一のオブジェクト認識装置に関して特に、複数の識別器は、AdaBoostを適用し且つそれぞれ異なった弱識別器として構成されているため、学習の態様を異にする識別機能によって総合的に的確且つ迅速な認識が行なわれ得る。
【００２４】
（１０）前記複数の識別器は、サポートベクタマシンを適用し且つそれぞれカーネル関数を異にするように構成されていることを特徴とする（１）又は（２）の何れかのオブジェクト認識装置。
上記（１０）のオブジェクト認識装置では、（１）又は（２）の何れか一のオブジェクト認識装置に関して特に、複数の識別器は、サポートベクタマシンを適用し且つそれぞれカーネル関数を異にするように構成されているため、高い識別力によって、特に高精度で的確且つ迅速な認識が行なわれ得る。
【００２５】
（１１）前記複数の識別器は、当該所定のオブジェクト画像としての顔画像を識別するように構成されていることを特徴とする（１）〜（１０）の何れか一のオブジェクト認識装置。
上記（１１）のオブジェクト認識装置では、（１）〜（１０）の何れか一のオブジェクト認識装置に関して特に、複数の識別器は、当該所定のオブジェクト画像としての顔画像を識別するように構成されているため、的確且つ迅速な認識を行なう顔認識のための装置が実現される。
【００２６】
（１２）検出窓内の画像が所定のオブジェクトを含んでいるか否かの識別処理を各個に差異を有する識別条件で順次複数通り実行し、前記複数通り実行した識別処理の結果を総合して前記画像が所定のオブジェクトを含んでいるか否かの最終結果を出力するオブジェクト認識方法であって、当該一の検出窓内の画像が所定のオブジェクトとしての顔画像を含んでいるか否かの一の識別処理の結果に基づいて、該一の識別処理の実行よりも以降の時点で識別処理の対象の候補とする後続処理対象候補領域が、前記顔画像を含んでいるか否かの識別結果が肯定的であることの確信度を推定し、該確信度が低いと推定されたときには当該後続処理対象候補領域に関する識別処理を行わないことを特徴とするオブジェクト認識方法。
【００２７】
上記（１２）のオブジェクト認識方法では、検出窓内の画像が所定のオブジェクトを含んでいるか否かの識別処理を各個に差異を有する識別条件で順次複数通り実行し、前記複数通り実行した識別処理の結果を総合して前記画像が所定のオブジェクトを含んでいるか否かの最終結果を出力するに際し、当該一の検出窓内の画像が所定のオブジェクトとしての顔画像を含んでいるか否かの一の識別処理の結果に基づいて、該一の識別処理の実行よりも以降の時点で識別処理の対象の候補とする後続処理対象候補領域が、前記顔画像を含んでいるか否かの識別結果が肯定的であることの確信度を推定し、該確信度が低いと推定されたときには当該後続処理対象候補領域に関する識別処理を行わない。
有効性の低い処理ステップが省略され、的確且つ迅速な認識が行なわれ得る。
【００２８】
（１３）検出窓内の画像が所定のオブジェクトを含んでいるか否かの識別処理を各個に差異を有する識別条件で順次複数通り実行する処理と、前記複数通り実行した識別処理の結果を総合して前記画像が所定のオブジェクトを含んでいるか否かの最終結果を出力する処理と、を含む処理をコンピュータに実行させるためのオブジェクト認識用プログラムであって、当該一の検出窓内の画像が所定のオブジェクトとしての顔画像を含んでいるか否かの一の識別処理の結果に基づいて、該一の識別処理の実行よりも以降の時点で識別処理の対象の候補とする後続処理対象候補領域が、前記顔画像を含んでいるか否かの識別結果が肯定的であることの確信度を推定し、該確信度が低いと推定されたときには当該後続処理対象候補領域に関する識別処理を行わない形態の処理とをコンピュータに実行させるためのオブジェクト認識用プログラム。
【００２９】
上記（１３）のオブジェクト認識用プログラムによれば、該プログラムが適用されたコンピュータでは、検出窓内の画像が所定のオブジェクトを含んでいるか否かの識別処理を各個に差異を有する識別条件で順次複数通り実行し、前記複数通り実行した識別処理の結果を総合して前記画像が所定のオブジェクトを含んでいるか否かの最終結果を出力するに際し、当該一の検出窓内の画像が所定のオブジェクトとしての顔画像を含んでいるか否かの一の識別処理の結果に基づいて、該一の識別処理の実行よりも以降の時点で識別処理の対象の候補とする後続処理対象候補領域が、前記顔画像を含んでいるか否かの識別結果が肯定的であることの確信度を推定し、該確信度が低いと推定されたときには当該後続処理対象候補領域に関する識別処理を行わない処理が実行される。
有効性の低い処理ステップが省略され、的確且つ迅速な認識が行なわれ得る。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施の形態を図面を参照して説明する。尚、以下に参照する図においては、便宜上、説明の主題となる要部は適宜誇張し、要部以外については適宜簡略化し乃至省略されている。
図１は、本発明の実施の形態としてのオブジェクト認識装置の構成を表す概念図である。このオブジェクト認識装置１００では、一例としては顔識別器１１０−１であり得る複数（図示の場合はｎ）の識別器１１０（１１０−１，…，…，１１０−ｎ）によって、検出窓内の画像が所定のオブジェクト（例えば人物の顔）を含んでいるか否かの識別を、例えばリサイズ手段１２０による検出対象画像のリサイズ（倍率等の形態）を異にしたり検出窓のシフト位置を異にしたりといったように各個に差異を有する識別条件で実行する。
【００３１】
この場合、システムコントローラ１３０は、複数の識別器１１０−１，…，…，１１０−ｎに順次所定のオブジェクトを含んでいる否かの識別を行わせるように制御するが、本例では、複数の識別器１１０−１，…，…，１１０−ｎによる順次の識別結果は、識別結果記憶手段１４０に記憶されるように構成され、システムコントローラ１３０は、識別結果記憶手段１４０に記憶された識別結果を総合的に勘案し、ないしは、漸次の識別結果獲得の過程次第で、検出対象画像が所定のオブジェクトを含んでいるか否かの識別を実行する。
【００３２】
上述のリサイズ手段１２０は、画像をリサイズし、含まれるオブジェクト画像の大きさが一定でない場合も、識別できるようにするためのリサイズ処理を行うためのものである。即ち、識別器１１０は一定の大きさのオブジェクト画像（例えば２０×２０画素）のみ識別できるので、検出対象とする画像をリサイズし、オブジェクト画像の大きさを変化させることにより、識別可能にする。
【００３３】
図２は、本発明の一つの実施の形態において検出対象画像が所定のオブジェクトを含んでいるか否かの識別を行うに際しての処理形態を表す図である。
図２にその処理形態が表わされた実施の形態では、システムコントローラ１３０は、これら複数の識別器１１０−１，…，…，１１０−ｎのうちの何れかにおいて上記所定のオブジェクトが含まれていないといった否定的な識別結果を得たときには、当該検出窓内の画像（即ち、その検出窓で区画される検出対象画像の部分）は所定のオブジェクトを含んでいない旨の結果（即ち否定的な識別結果）を出力する。
【００３４】
図３は、本発明の他の実施の形態において検出対象画像が所定のオブジェクトを含んでいるか否かの識別を行うに際しての処理形態を表す図である。
図３にその処理形態が表わされた実施の形態では、システムコントローラ１３０は、これら複数の識別器１１０−１，…，…，１１０−ｎのうちの過半数の識別器において上記所定のオブジェクトが含まれているといった肯定的な識別結果を得たときには当該検出窓内の画像は所定のオブジェクトを含んでいる旨の結果（即ち肯定的な識別結果）を出力する。
【００３５】
図４は、図１の装置において複数の識別器１１０−１，…，…，１１０−ｎにより各個に差異を有する識別条件で識別処理を行う場合の、識別条件の変更の様子を表す概念図である。
図４（ａ）は、検出対象画像をリサイズ手段１２０によって拡縮するという形で複数の識別器１１０−１，…，…，１１０−ｎにおける識別条件を異ならせながら行う識別処理態様を表している。即ち、図示の場合、左端に図示の最大倍率の状態から矢線の方向に沿って右端に図示の最小倍率へと漸次縮小するようにリサイズしている。この漸次のリサイズ過程の途中でリサイズによる顔画像のサイズと検出窓のサイズとが一致している。
【００３６】
図４（ｂ）は、リサイズ手段１２０によってリサイズした検出対象画像に対して検出窓の位置を相対的にシフトさせながら行う識別処理態様を表している。一般に、検出対象画像のどの位置にオブジェクト画像が含まれているかは不明なため、検出窓を水平方向および垂直方向にずらしながら設定する。
図示の場合では、検出対象画像Ｐに対し検出窓Ｗの位置を左上位置→中央上位置（破線図示）→右上位置と水平に走査した後、象徴的に破線で図示したように、次第に下に向かってジグザグ状に走査して、左下位置→中央下位置（破線図示）→右下位置といったように走査する。尚、以上は、検出窓Ｗの位置のシフトの態様を概念的に図示したものであるが、現実には、これよりも細かいピッチで漸次シフトする。
【００３７】
以上  図４（ａ）および図４（ｂ）を参照して説明したように、本発明の実施の形態では、図４（ａ）の如く検出対象画像をリサイズし、更に図４（ｂ）の如く検出窓をずらしながら設定するようにして、複数の識別器１１０−１，…，…，１１０−ｎにより各個に差異を有する識別条件で識別処理を行う。
図５は、複数の識別器１１０−１，…，…，１１０−ｎにより各個に差異を有する識別条件で漸次識別処理を実行するに際して、一の識別処理の対象とする一の領域と、該一の識別処理の実行よりも以降の時点で識別処理の対象の候補とする後続処理対象候補領域との関係を表す概念図である。
【００３８】
図５（ａ）は、実線図示の一の識別処理対象領域ＰＳ−１に対し、該一の領域ＰＳ−１に関する処理を行うよりも以降の時点（この例では、次の識別処理）で識別処理対象の候補とする後続処理対象候補領域ＰＳ−２は破線図示のようにリサイズによって縮小された領域である場合を示している。
システムコントローラ１３０は、検出窓に対応する被識別領域を漸次リサイズしながら識別を行なうときには当該一の検出窓に対応して次段以降のリサイズを行なって設定される領域たる後続処理対象候補領域について、該後続処理対象候補領域が顔画像を含んでいるか否かの識別結果が肯定的であることの確信度を推定し、該確信度が低いと推定されたときには当該後続処理対象候補領域に関する識別処理を行わないように制御する。
【００３９】
また、図５（ｂ）は、実線図示の一の識別処理対象領域ＰＳ−１に対し、該一の領域ＰＳ−１に関する処理を行うよりも以降の時点（この例では、次の識別処理）で識別処理の対象とする後続処理対象候補領域ＰＳ−２ｈ，ＰＳ−２ｖは破線図示のように水平または垂直方向にシフトした領域である場合を示している。
システムコントローラ１３０は、検出窓Ｗの位置をシフトしながら識別を行なうとき（図５（ｂ）の場合が該当）には当該一の検出窓Ｗに隣接する領域以降の領域たる後続処理対象候補領域について、該後続処理対象候補領域が前記顔画像を含んでいるか否かの識別結果が肯定的であることの確信度を推定し、該確信度が低いと推定されたときには当該後続処理対象候補領域に関する識別処理を行わないように制御する。
【００４０】
以上、図５（ａ）および図５（ｂ）を参照して便宜的な説明を行ったが、本発明思想において、「後続処理対象候補領域」とは、より一般的に、リサイズした同一画像内においては、検出窓から水平または垂直方向に一定の距離以内の領域がこれに該当し、リサイズするスケールが異なる画像については、リサイズするファクタが一定値以内であり且つ元画像と対比させて設定した検出窓から一定の距離以内にある領域がこれに該当する。
上述における確信度の推定手法については、以下の通り、数例を提案する。
【００４１】
一例としては、システムコントローラ１３０によって、順次切替えて適用した（認識のための条件が漸次異なっている）複数の識別器１１０（１１０−１，…，…，１１０−ｎ）のうち肯定的な結果を得た識別器が、当初に適用した識別器（例えば、１１０−１）を初段として数えたときに何段目までが該当するかといった切替え段数を計数して、その計数結果である該当段数に応じて確信度を推定するといった手法である。
【００４２】
図６は、異なる倍率でリサイズした画像に対して、（略々）同一のｙ座標に対して、ｘ座標を次第にずらしながら複数識別器で識別した結果を示す特性図である。
図中、実線および破線は、それぞれ異なる倍率でリサイズした画像に対する結果（破線の方がより縮小された倍率にリサイズした場合）である。
横軸は、検出窓の位置を（リサイズする前の）元画像に対比させて示している。また、縦軸は、順次に複数の識別器を使い、非オブジェクト画像であるとの判断を得るに到るまでの識別器の段数である。
【００４３】
この段数は、換言すれば、順次切替えて適用した（認識のための条件が漸次異なっている）複数の識別器のうち肯定的な結果を得た識別器が、当初に適用した識別器を初段として数えたときに何段目までが該当するかといった切替え段数を計数したときの計数結果（該当段数）である。
識別器の数が多いほど、オブジェクト画像に近い、即ち、オブジェクト画像である確信度が高いと考えることができる。
【００４４】
図示のとおり、オブジェクト画像（例えば顔画像）と判断したのは、中央付近であるが、異なる倍率でリサイズした画像でもほぼ中央付近で段数が多く（確信度が高く）なっている。
確信度推定の他の例としては、システムコントローラ１３０によって、当該一の検出窓内の画像が所定のオブジェクトとしての顔画像を含んでいるか否かの識別結果を得るに到るまでに順次切替えて適用した（認識のための条件が漸次異なっている）複数の識別器１１０（１１０−１，…，…，１１０−ｎ）のうち否定的な結果を得た識別器の数に応じて、確信度を推定するといった手法が考えられる。
【００４５】
更に他の例としては、システムコントローラ１３０によって、当該一の検出窓内の画像が所定のオブジェクトとしての顔画像を含んでいるか否かの識別結果を得るに到るまでに順次切替えて適用した複数の識別器１１０（１１０−１，…，…，１１０−ｎ）のうち否定的な結果を得た識別器であってサポートベクタマシンを適用してオブジェクトの識別処理を行う識別器においてその識別処理の過程で算出された識別平面からの距離に応じて、確信度を推定するといった手法が考えられる。識別力の高いサポートベクタマシンの特徴を利用し、的確且つ迅速な認識が行なわれ得る。
【００４６】
上述のような確信度に依拠して後続処理対象候補領域に対する処理の実行または回避の選択を行う実施の形態によれば、いずれの場合も、オブジェクト画像の識別について有効性の低い処理を省略し、的確且つ迅速な認識が行なわれ得る。
尚、既述の何れの実施の形態においても、識別器１１０（１１０−１，…，…，１１０−ｎ）の何れかは、AdaBoostおよびサポートベクタマシンの何れかまたは双方を適用して構成され得る。このような構成を採る場合には、該当する識別器において処理の早い識別機能部を前段に置くことにより的確且つ迅速な認識が行なわれ得る。
【００４７】
即ち、複数の識別器１１０−１，…，…，１１０−ｎによって順次に識別処理を実行する場合、高速な処理が可能な識別機能部を前段に設定することが望ましい。例えば、サポートベクタマシンの場合、線形カーネルを用いた識別機能部を前段に、後段には、ＲＢＦカーネルを適用した識別機能部を置けばよい。
ここに、サポートベクタマシンとは１９９５年にＡＴ＆ＴのV.Vapnikによって統計的学習理論の枠組みで提案され、マージンという指標を用いて全ての２クラスの入力データを線形分離するのに最適な超平面を求めることができる学習機械のことであり、パターン認識の能力において最も優秀な学習モデルの一つであることが知られている。また、線形分離不可能な場合でもカーネルトリックというテクニックを用いることにより、高い識別能力を発揮する。学習時に識別超平面を表すサポートベクタを求め、この識別超平面との位置関係に依拠して識別を行う。
【００４８】
また、AdaBoostとは、FreundとSchapireによって１９９７年に提案された学習アルゴリズムであり、多数の弱学習器を学習時に獲得することを特徴とする手法である。性能の低い学習器を組合わせて性能の高い学習器を構築するブースティングの具体的手法の一つとして一般的である。
サポートベクタマシン、AdaBoostともに多数のサンプル画像（本例の場合はオブジェクト画像と非オブジェクト画像）から構成されるが、このサンプル画像を学習することによって識別器を生成する。サンプル画像のサイズは、検出窓のサイズ（例えば２０×２０画素）である。
【００４９】
サポートベクタマシンを識別器として用いる場合には、画像特徴量は例えば、検出窓を構成する画素の輝度を用いる。
AdaBoostを用いる場合には、特開２００５−１５７６７９号公報に開示されているように、矩形特徴を用いればよい。
本発明は、一つの実施の形態として、複数の識別器１１０−１，…，…，１１０−ｎは、AdaBoostを適用し且つそれぞれ異なった弱識別器として構成され得る。このような構成によれば、学習の態様を異にする識別機能（弱識別器）によって総合的に的確且つ迅速な認識が行なわれ得る。
【００５０】
更に、本発明は、その一実施の形態として、複数の識別器１１０−１，…，…，１１０−ｎは、サポートベクタマシンを適用し且つそれぞれカーネル関数を異にするように構成され得る。このような構成によれば、高い識別力によって、特に高精度で的確且つ迅速な認識が行なわれ得る。
以上の本発明の種々の実施の形態において、複数の識別器１１０−１，…，…，１１０−ｎは、当該所定のオブジェクト画像としての顔画像を識別するように構成され得る。このような構成によれば、的確且つ迅速な認識を行なう顔認識のための装置が実現される。
【００５１】
図７は、本発明の実施の形態の装置における顔画像認識処理の手順を表すフローチャートである。
先ず、検出対象画像を一定の割合でリサイズ（縮小）する（ステップＳ７０１）。次いで、検出窓をリサイズした画像内にｘ軸、ｙ軸方向に漸次ずらして設定する（ステップＳ７０２）。
【００５２】
更に、ステップＳ７０２で設定された検出窓が、既に識別を実行した検出窓の隣接領域（即ち、図５を参照して既述の「後続処理対象候補領域」）に該当しているか否かを判定する（ステップＳ７０３）。
ステップＳ７０３で、ステップＳ７０２で設定された検出窓が、既に識別を実行した検出窓の隣接領域に該当していると判定されたときには（ステップＳ７０３：Ｙｅｓ）、次いで、オブジェクト画像の確信度が所定の閾値よりも高いか否かを判定する（ステップＳ７０４）。
【００５３】
ステップＳ７０４で、オブジェクト画像の確信度が所定の閾値よりも高いと判定されたときには（ステップＳ７０４：Ｙｅｓ）、複数の識別器によって顔画像であるか否かを識別器する（ステップＳ７０５）。
一方、ステップＳ７０３で、ステップＳ７０２で設定された検出窓が、既に識別を実行した検出窓の隣接領域に該当していないと判定されたときには（ステップＳ７０３：Ｎｏ）、或いはオブジェクト画像の確率が高い場合は、そのままステップＳ７０５に移行する。
【００５４】
ステップＳ７０５で得た識別結果は、識別結果記憶手段に記憶する（ステップＳ７０６）。
次いで、リサイズした画像について、検出窓の設定が全て終わったか判定する（ステップＳ７０７）。
尚、ステップＳ７０４で、オブジェクト画像の確信度が所定の閾値以下であると判定されたときには（ステップＳ７０４：Ｎｏ）、直ちにステップＳステップＳ７０７に移行する。
【００５５】
ステップＳ７０７で、リサイズした画像について、検出窓の設定が全て終わったと判定されたときには、更に倍率を変えてリサイズを行なうか或いはリサイズを終了するかを判断する（ステップＳ７０８）。この判断はリサイズによる画像サイズが識別器で使用する画像サイズよりも小さくなる場合にリサイズを終了するものとして行なう。
ステップＳ７０８で、リサイズを終了すると判断したときには（ステップＳ７０８：Ｙｅｓ）、これで処理を終了し、他方、更にリサイズを行うと判断したときには（ステップＳ７０８：Ｎｏ）、ステップＳ７０１に戻る。
尚、ステップＳ７０７で、リサイズした画像について、検出窓の設定が未だ全てについては終わっていないと判定されたときには、ステップＳ７０２に戻る。
【００５６】
以上説明したところより、本発明は、方法のカテゴリに属する一つの限定的な技術思想として、次のように定義され得ることが明らかである。即ち、検出窓内の画像が所定のオブジェクトを含んでいるか否かの識別処理を各個に差異を有する識別条件で順次複数通り実行し、前記複数通り実行した識別処理の結果を総合して前記画像が所定のオブジェクトを含んでいるか否かの最終結果を出力するオブジェクト認識方法であって、当該一の検出窓内の画像が所定のオブジェクトとしての顔画像を含んでいるか否かの一の識別処理の結果に基づいて、該一の識別処理の実行よりも以降の時点で識別処理の対象の候補とする後続処理対象候補領域が、前記顔画像を含んでいるか否かの識別結果が肯定的であることの確信度を推定し、該確信度が低いと推定されたときには当該後続処理対象候補領域に関する識別処理を行わないことを特徴とするオブジェクト認識方法である。
【００５７】
このオブジェクト認識方法では、検出窓内の画像が所定のオブジェクトを含んでいるか否かの識別処理を各個に差異を有する識別条件で順次複数通り実行し、前記複数通り実行した識別処理の結果を総合して前記画像が所定のオブジェクトを含んでいるか否かの最終結果を出力するに際し、当該一の検出窓内の画像が所定のオブジェクトとしての顔画像を含んでいるか否かの一の識別処理の結果に基づいて、該一の識別処理の実行よりも以降の時点で識別処理の対象の候補とする後続処理対象候補領域が、前記顔画像を含んでいるか否かの識別結果が肯定的であることの確信度を推定し、該確信度が低いと推定されたときには当該後続処理対象候補領域に関する識別処理を行わない。
【００５８】
有効性の低い処理ステップが省略され、的確且つ迅速な認識が行なわれ得る。
また、本発明は、図７のフローチャートを参照して説明した事項、並びに、これまでに説明した種々の実施の形態に係る説明から、コンピュータに次のような特定の処理を実行させるためのプログラムとして構成され得ることも明らかである。
【００５９】
即ち、検出窓内の画像が所定のオブジェクトを含んでいるか否かの識別処理を各個に差異を有する識別条件で順次複数通り実行する処理と、前記複数通り実行した識別処理の結果を総合して前記画像が所定のオブジェクトを含んでいるか否かの最終結果を出力する処理と、を含む処理をコンピュータに実行させるためのオブジェクト認識用プログラムであって、当該一の検出窓内の画像が所定のオブジェクトとしての顔画像を含んでいるか否かの一の識別処理の結果に基づいて、該一の識別処理の実行よりも以降の時点で識別処理の対象の候補とする後続処理対象候補領域が、前記顔画像を含んでいるか否かの識別結果が肯定的であることの確信度を推定し、該確信度が低いと推定されたときには当該後続処理対象候補領域に関する識別処理を行わない形態の処理とをコンピュータに実行させるためのオブジェクト認識用プログラムである。
【００６０】
このオブジェクト認識用プログラムによれば、該プログラムが適用されたコンピュータでは、検出窓内の画像が所定のオブジェクトを含んでいるか否かの識別処理を各個に差異を有する識別条件で順次複数通り実行し、前記複数通り実行した識別処理の結果を総合して前記画像が所定のオブジェクトを含んでいるか否かの最終結果を出力するに際し、当該一の検出窓内の画像が所定のオブジェクトとしての顔画像を含んでいるか否かの一の識別処理の結果に基づいて、該一の識別処理の実行よりも以降の時点で識別処理の対象の候補とする後続処理対象候補領域が、前記顔画像を含んでいるか否かの識別結果が肯定的であることの確信度を推定し、該確信度が低いと推定されたときには当該後続処理対象候補領域に関する識別処理を行わない処理が実行される。
有効性の低い処理ステップが省略され、的確且つ迅速な認識が行なわれ得る。
【図面の簡単な説明】
【００６１】
【図１】本発明の実施の形態としてのオブジェクト認識装置の構成を表す概念図である。
【図２】本発明の一つの実施の形態において検出対象画像が所定のオブジェクトを含んでいるか否かの識別を行うに際しての処理形態を表す図である。
【図３】本発明の他の実施の形態において検出対象画像が所定のオブジェクトを含んでいるか否かの識別を行うに際しての処理形態を表す図である。
【図４】図１の装置において複数の識別器により各個に差異を有する識別条件で識別処理を行う場合の、識別条件の変更の様子を表す概念図である。
【図５】複数の識別器により各個に差異を有する識別条件で漸次識別処理を実行するに際して、一の識別処理の対象領域とその識別処理の実行よりも以降の時点で識別処理の対象の候補とする後続処理対象候補領域との関係を表す概念図である。
【図６】異なる倍率でリサイズした画像に対して、（略々）同一のｙ座標に対して、ｘ座標を次第にずらしながら複数識別器で識別した結果を示す特性図である。
【図７】本発明の実施の形態の装置における顔画像認識処理の手順を表すフローチャートである。
【符号の説明】
【００６２】
１００…オブジェクト識別装置  １１０…識別器  １２０…リサイズ手段  １３０…システムコントローラ  １４０…識別結果記憶手段
【図１】
2008027130.tif 000003
【図２】
2008027130.tif 000004
【図３】
2008027130.tif 000005
【図４】
2008027130.tif 000006
【図５】
2008027130.tif 000007
【図６】
2008027130.tif 000008
【図７】
2008027130.tif 000009