(57)【要約】  【課題】アンサンブル学習（AdaBoost等）で学習した分類器を用いて入力データが所定の分類に属するか否かを判定する際に、positive判定（識別する分類に属するとの判定）を早期に行うと共に、後処理に適した評価値を提供することにより、処理速度を向上させると共に誤判定を抑制することができる分類器を用いた分類方法及びその装置を提供する。  【解決手段】顔判別器３４に入力された入力データ（画像データ）は、弱分類器Ｃ１〜ＣＮに入力され、各弱分類器によって順に入力データの画像が顔であることの度合いを示す評価値が算出される。それらの評価値は評価値結合部４０によって得られた順に重み付けされて加算され、重み付け評価値が算出される。評価値中断判定部Ｊ２は、評価値結合部で順次算出される重み付け評価値が、閾値βを超えたか否かを判定し、閾値βを超えた時点で顔であると判定してそれ以後の弱分類器での演算を停止する。【選択図】  図５
2007066114.tif 000002
【特許請求の範囲】
【請求項１】
入力データに対して複数の弱分類器の各々により所定の分類に属する度合いを示す評価値を順次算出する評価値算出手段と、
前記評価値算出手段の各弱分類器により算出された評価値に各弱分類器に応じた重みを乗算した値の総和を重み付け評価値として算出する重み付け評価値算出手段であって、各弱分類器により評価値が順次算出されるごとに、既に算出された評価値に基づく前記重み付け評価値を順次算出する重み付け評価値算出手段と、
前記重み付け評価値算出手段により順次算出される重み付け評価値と所定の閾値とを比較することにより、前記入力データが前記分類に属するか否かを判定する判定手段と、
前記判定手段により前記入力データが前記分類に属すると判定された場合に、該判定後における前記評価値算出手段による評価値の算出を中断する中断手段と、
を備えたことを特徴とする分類器を用いた分類装置。
【請求項２】
入力データに対して順列番号が定められた複数の弱分類器の各々により所定の分類に属する度合いを示す評価値を順列番号の小さいものから順に算出する評価値算出手段と、
前記評価値算出手段の各弱分類器により算出された評価値に各弱分類器に応じた重みを乗算した値の総和を重み付け評価値として算出する重み付け評価値算出手段であって、所定の順列番号までの弱分類器の評価値に基づいて前記重み付け評価値を算出する重み付け評価値算出手段と、
前記重み付け評価値算出手段により算出された重み付け評価値と所定の閾値とを比較することにより、前記入力データが前記分類に属するか否かを判定する判定手段と、
前記重み付け評価値算出手段により算出される重み付け評価値であって、前記判定手段により前記入力データが前記分類に属すると判定される重み付け評価値のうち、最も小さい順列番号までの弱分類器の評価値に基づいて算出される重み付け評価値を検出する検出手段と、
前記検出手段により検出された重み付け評価値の算出に寄与した弱分類器の数が反映されるように前記入力データが前記分類に属する度合いを示す最終的な評価値を算出する最終評価値算出手段と、
を備えたことを特徴とする分類器を用いた分類装置。
【請求項３】
前記最終評価値算出手段は、前記検出手段により検出された重み付け評価値と、少なくとも該重み付け評価値の算出に寄与した弱分類器の数によって変化する予測評価値との和を前記最終的な評価値として算出することを特徴とする請求項２の分類器を用いた分類装置。
【請求項４】
前記入力データは、画像データであり、前記所定の分類は、顔と非顔を分けるための分類であることを特徴とする請求項２、又は、３の分類器を用いた分類装置
【請求項５】
前記画像データは、元画像の所定の検出対象領域から切り出された画像データであると共に、検出対象領域の位置及びサイズを変更しながら得られる画像データであり、前記判定手段により顔に属すると判定された画像データの検出対象領域を統合し、又は、除去する処理を前記最終評価値算出手段の最終的な評価値を用いて行う後処理手段を備えたことを特徴とする請求項４の分類器を用いた分類装置。
【請求項６】
入力データに対して複数の弱分類器の各々により所定の分類に属する度合いを示す評価値を順次算出する評価値算出工程と、
前記評価値算出工程において各弱分類器により算出された評価値に各弱分類器に応じた重みを乗算した値の総和を重み付け評価値として算出する重み付け評価値算出工程であって、各弱分類器により評価値が順次算出されるごとに、既に算出された評価値に基づく前記重み付け評価値を順次算出する重み付け評価値算出工程と、
前記重み付け評価値算出工程により順次算出される重み付け評価値と所定の閾値とを比較することにより、前記入力データが前記分類に属するか否かを判定する判定工程と、
前記判定工程により前記入力データが前記分類に属すると判定された場合に、該判定後における前記評価値算出工程による評価値の算出を中断する中断工程と、
を備えたことを特徴とする分類器を用いた分類方法。
【請求項７】
入力データに対して順列番号が定められた複数の弱分類器の各々により所定の分類に属する度合いを示す評価値を順列番号の小さいものから順に算出する評価値算出工程と、
前記評価値算出工程において各弱分類器により算出された評価値に各弱分類器に応じた重みを乗算した値の総和を重み付け評価値として算出する重み付け評価値算出工程であって、所定の順列番号までの弱分類器の評価値に基づいて前記重み付け評価値を算出する重み付け評価値算出工程と、
前記重み付け評価値算出工程により算出された重み付け評価値と所定の閾値とを比較することにより、前記入力データが前記分類に属するか否かを判定する判定工程と、
前記重み付け評価値算出工程により算出される重み付け評価値であって、前記判定手段により前記入力データが前記分類に属すると判定される重み付け評価値のうち、最も小さい順列番号までの弱分類器の評価値に基づいて算出される重み付け評価値を検出する検出工程と、
前記検出工程により検出された重み付け評価値の算出に寄与した弱分類器の数が反映されるように前記入力データが前記分類に属する度合いを示す最終的な評価値を算出する最終評価値算出工程と、
を備えたことを特徴とする分類器を用いた分類方法。
【請求項８】
前記最終評価値算出工程は、前記検出手段により検出された重み付け評価値と、少なくとも該重み付け評価値の算出に寄与した弱分類器の数によって変化する予測評価値との和を前記最終的な評価値として算出することを特徴とする請求項７の分類器を用いた分類方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は分類器を用いた分類方法及びその装置に係り、特に、顔検出等に適用されるアンサンブル学習による分類器を用いた分類方法及びその装置に関する。
【背景技術】
【０００２】
BoostingやBaggingに代表されるアンサンブル学習による分類器は、弱分類器ｈj(ｘ)を複数学習し、次式（１）で表される重み付き線形和により最終的な分類器（強分類器）Ｈ(ｘ)を構成する。
【０００３】
【数１】
2007066114.tif 000003
【０００４】
こうして構成された分類器Ｈ(ｘ)を用いてクラスが未知のデータＸに対して分類を行う。分類の方法は、Ｈ(ｘ)の値を閾値処理することによって行われる。
【０００５】
【数２】
2007066114.tif 000004
【０００６】
分類器がpositiveと判定するものが複数現れた場合、より信頼できるpositiveサンプルを得るために、分類器による処理のあとに、positive候補の統合、棄却等の後処理が一般的に行われる。後処理の例として非特許文献１に述べられている顔検出への応用について説明する。図１１は顔検出器が出力した顔候補領域を示している。枠で囲われた領域が顔の候補領域である。検出された顔候補領域のうち、重心、大きさが近いものを統合し、統合された領域の数がある数に満たない領域は棄却する（図１２参照）。統合した領域が図１２のように重なっている場合は、統合した領域数が多いものを残し、それ以外は棄却する。統合した領域数が等しい場合は、Ｈ(ｘ)の値が大きいものを残す（図１３参照）。
【０００７】
また、特許文献１では、顔検出処理を高速化するために、早期棄却が実施され、中間閾値と比較される中間の仮説の評価値を計算し、それによってシステムが速やかに顔領域に相当しない領域（negative領域）を除去できるようにする方法が提案されている。
【特許文献１】特開2004-348733
【非特許文献１】”Newral Network-Based Face Detection”, Henry A Rowley,Shumeet Baluja,Takeo Kanade,IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 20, no.1,Jan 1998
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、式（１）の評価値Ｈ(ｘ)に従って後処理（重なりの除去）を行った場合には以下のような問題がある。
【０００９】
図１４はアンサンブル学習のひとつであるAdaBoostで学習した顔／非顔分類器が出力した顔サンプルと非顔サンプルの評価値Ｈ(ｘ)の分布を示したヒストグラムである。評価値Ｈ(ｘ)が閾値θに近い部分においては、顔サンプルと非顔サンプルが重なり、顔サンプルよりも非顔サンプルの評価値Ｈ(ｘ)の値が高くなる場合がある。このようにpositive(顔)である度合いを反映していない評価値Ｈ(ｘ)を用いて、上記の後処理（重なりの除去）を行った場合、正しい領域を検出しているにもかかわらず、周囲の誤った領域の検出の影響により、正しい領域の検出が棄却されてしまうという場合がある。例えば、検出された顔候補領域を統合した結果、図１７に示すように正しい領域（大きい方の枠）と誤った領域（小さい方の枠）が重なった場合に、誤った領域の方が統合された領域の数が多いために図１８のように正しい領域が棄却されてしまうおそれがある。
【００１０】
また、特許文献１では、negative領域の早期判定は行われているが、positive領域の早期判定に関しては言及されていない。しかし、弱仮説（弱分類器）の評価値算出に時間を要する場合、弱仮説数（弱分類器数）が膨大になった場合、positive，negativeの分布に偏りがない場合等には処理速度が低下してしまう危険性がある。
【００１１】
本発明はこのような事情に鑑みてなされたもので、positive判定（識別する分類に属するとの判定）を早期に行うと共に、後処理に適した評価値を提供することにより、処理速度を向上させると共に誤判定を抑制することができる分類器を用いた分類方法及びその装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
前記目的を達成するために、請求項１に記載の分類器を用いた分類装置は、入力データに対して複数の弱分類器の各々により所定の分類に属する度合いを示す評価値を順次算出する評価値算出手段と、前記評価値算出手段の各弱分類器により算出された評価値に各弱分類器に応じた重みを乗算した値の総和を重み付け評価値として算出する重み付け評価値算出手段であって、各弱分類器により評価値が順次算出されるごとに、既に算出された評価値に基づく前記重み付け評価値を順次算出する重み付け評価値算出手段と、前記重み付け評価値算出手段により順次算出される重み付け評価値と所定の閾値とを比較することにより、前記入力データが前記分類に属するか否かを判定する判定手段と、前記判定手段により前記入力データが前記分類に属すると判定された場合に、該判定後における前記評価値算出手段による評価値の算出を中断する中断手段と、を備えたことを特徴としている。
【００１３】
本発明によれば、全ての弱分類器による評価値の算出を行う前に、入力データが識別する分類に属するか否かを判定し、分類に属すると判定した場合には評価値の算出を中断するようにしたため、positive判定を早期に行うことができ、処理速度の向上を図ることができる。
【００１４】
請求項２に記載の分類器を用いた分類装置は、入力データに対して順列番号が定められた複数の弱分類器の各々により所定の分類に属する度合いを示す評価値を順列番号の小さいものから順に算出する評価値算出手段と、前記評価値算出手段の各弱分類器により算出された評価値に各弱分類器に応じた重みを乗算した値の総和を重み付け評価値として算出する重み付け評価値算出手段であって、所定の順列番号までの弱分類器の評価値に基づいて前記重み付け評価値を算出する重み付け評価値算出手段と、前記重み付け評価値算出手段により算出された重み付け評価値と所定の閾値とを比較することにより、前記入力データが前記分類に属するか否かを判定する判定手段と、前記重み付け評価値算出手段により算出される重み付け評価値であって、前記判定手段により前記入力データが前記分類に属すると判定される重み付け評価値のうち、最も小さい順列番号までの弱分類器の評価値に基づいて算出される重み付け評価値を検出する検出手段と、前記検出手段により検出された重み付け評価値の算出に寄与した弱分類器の数が反映されるように前記入力データが前記分類に属する度合いを示す最終的な評価値を算出する最終評価値算出手段と、を備えたことを特徴としている。
【００１５】
本発明は、入力データが識別する分類に属すると判定したときの重み付け評価値の算出に寄与した弱分類器の数（評価分類器数）が反映されるように最終的な評価値を算出するようにしているため、入力データが分類に属する度合いをその評価値に適切に反映させることができる。
【００１６】
ここで、図１５は、サンプルデータに対して、評価途中の評価値が閾値を超えた時の評価弱分類器数を示したヒストグラムであり、図１６は評価途中の評価値が閾値を超えた時の評価弱分類器数と全ての分類器を評価したときの評価値Ｈ(ｘ)をプロットしたグラフである。この分類器はAdaBoostによって学習した顔／非顔分類器であり、分類器を構成する弱分類器数は２４である。図１５から弱分類器を２１個評価した時点で約８５％の顔サンプルが閾値を超えており、顔であると判定可能であることが確認できる。このことから、どの程度少ない弱分類器の評価でpositive判定を行うことができたかという情報が分類に有効な情報であることがわかる。しかし、図１６で評価弱分類器数が２１と２２の評価値の分布を比較してみると、図１５では顔、非顔サンプルの分布には差があるにもかかわらず、評価値には大きな差が現れていない。
【００１７】
そこで、どの程度少ない弱分類器の評価でpositive判定を行うことができたかという情報を新たな評価値として用いることにより、positiveサンプル、negativeサンプルの評価値の分布の分離性を向上させ、これを後処理に利用することで、適切な後処理が可能となる。
【００１８】
請求項３に記載の分類器を用いた分類装置は、請求項２に記載の発明において、前記最終評価値算出手段は、前記検出手段により検出された重み付け評価値と、少なくとも該重み付け評価値の算出に寄与した弱分類器の数によって変化する予測評価値との和を前記最終的な評価値として算出することを特徴としている。本発明は、上記評価分類器数を最終的な評価値に反映させるための一実施の形態を示したものである。
【００１９】
請求項４に記載の分類器を用いた分類装置は、請求項２、又は、３に記載の発明において、入力データは、画像データであり、前記所定の分類は、顔と非顔を分けるための分類であることを特徴としている。本発明は、入力データの画像が顔か否かに分類する装置に請求項２、３の発明を適用した場合を示している。
【００２０】
請求項５に記載の分類器を用いた分類装置は、請求項４に記載の発明において、前記画像データは、元画像の所定の検出対象領域から切り出された画像データであると共に、検出対象領域の位置及びサイズを変更しながら得られる画像データであり、前記判定手段により顔に属すると判定された画像データの検出対象領域を統合し、又は、除去する処理を前記最終評価値算出手段の最終的な評価値を用いて行う後処理手段を備えたことを特徴としている。本発明は、元画像の中から顔の画像領域を検出する場合に、元画像データから切り出した検出対象領域の画像データに対する最終的な評価値を後処理で使用する態様を示している。
【００２１】
請求項６に記載の分類器を用いた分類方法は、入力データに対して複数の弱分類器の各々により所定の分類に属する度合いを示す評価値を順次算出する評価値算出工程と、前記評価値算出工程において各弱分類器により算出された評価値に各弱分類器に応じた重みを乗算した値の総和を重み付け評価値として算出する重み付け評価値算出工程であって、各弱分類器により評価値が順次算出されるごとに、既に算出された評価値に基づく前記重み付け評価値を順次算出する重み付け評価値算出工程と、前記重み付け評価値算出工程により順次算出される重み付け評価値と所定の閾値とを比較することにより、前記入力データが前記分類に属するか否かを判定する判定工程と、前記判定工程により前記入力データが前記分類に属すると判定された場合に、該判定後における前記評価値算出工程による評価値の算出を中断する中断工程と、を備えたことを特徴としている。本発明は、請求項１に記載の装置で実施される方法の発明であり、請求項１と同様の効果を奏する。
【００２２】
請求項７に記載の分類器を用いた分類方法は、入力データに対して順列番号が定められた複数の弱分類器の各々により所定の分類に属する度合いを示す評価値を順列番号の小さいものから順に算出する評価値算出工程と、前記評価値算出工程において各弱分類器により算出された評価値に各弱分類器に応じた重みを乗算した値の総和を重み付け評価値として算出する重み付け評価値算出工程であって、所定の順列番号までの弱分類器の評価値に基づいて前記重み付け評価値を算出する重み付け評価値算出工程と、前記重み付け評価値算出工程により算出された重み付け評価値と所定の閾値とを比較することにより、前記入力データが前記分類に属するか否かを判定する判定工程と、前記重み付け評価値算出工程により算出される重み付け評価値であって、前記判定手段により前記入力データが前記分類に属すると判定される重み付け評価値のうち、最も小さい順列番号までの弱分類器の評価値に基づいて算出される重み付け評価値を検出する検出工程と、前記検出工程により検出された重み付け評価値の算出に寄与した弱分類器の数が反映されるように前記入力データが前記分類に属する度合いを示す最終的な評価値を算出する最終評価値算出工程と、を備えたことを特徴としている。本発明は、請求項２に記載の装置で実施される方法の発明であり、請求項２と同様の効果を奏する。
【００２３】
請求項８に記載の分類器を用いた分類方法は、請求項７に記載の発明において、前記最終評価値算出工程は、前記検出手段により検出された重み付け評価値と、少なくとも該重み付け評価値の算出に寄与した弱分類器の数によって変化する予測評価値との和を前記最終的な評価値として算出することを特徴としている。本発明は、請求項３に記載の装置において実施される方法の発明である。
【発明の効果】
【００２４】
本発明によれば、positive判定（識別する分類に属するとの判定）を早期に行うことができると共に、後処理に適した評価値を提供することができ、その結果、処理速度を向上させることができると共に誤判定を抑制することができる。
【発明を実施するための最良の形態】
【００２５】
以下、添付図面に従って本発明に係る分類器を用いた分類方法及びその装置を実施するための最良の形態について詳説する。
【００２６】
本実施の形態では、入力画像から顔の画像領域を検出する顔検出に適用した場合について説明するものとし、図１は、その顔検出の処理を実行する装置の全体構成を示したブロック図である。同図の構成は、コンピュータの構成を示しており、入力装置１０、処理装置１２、記憶装置１４、出力装置１６等から構成される。入力装置１０は、例えばキーボード、マウス、スキャナ等を示し、処理装置１２は、プログラムに従って他の装置の制御や各種データ処理を行うＣＰＵに相当する。記憶装置１４は、プログラムやデータを一時的に記憶するメインメモリや、補助記憶装置であるハードディスクドライブや光ディスクドライブ等を示し、出力装置１６は、ディスプレイやプリンタ等を示す。本発明が適用される顔検出の処理は、図１のようなコンピュータにインストールされた所定のソフトウェアの実行時において、例えばその一処理としてメインメモリに読み込まれたプログラムに従って処理装置１２により実行される。その顔検出の処理を実行するプログラムが組み込まれたソフトウェアは、例えば、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の通信機能により配布されて事前にコンピュータにインストールされる。また、顔検出の処理対象となる元画像のデータは、例えば記憶装置１４等から処理装置１２に読み込まれる。
【００２７】
図２は、上記処理装置１２において顔検出の際に実行される一連の処理を処理内容で分別した場合に、各処理内容の処理を個別の処理部で行うものとして表したブロック図である。尚、顔検出を実行する際の上記処理装置１２を以下、顔検出器１２というものとする。同図に示すように顔検出器１２は、輝度変換処理部２０、顔検出処理部２２、後処理部２４から構成される。
【００２８】
輝度変換処理部２０では処理対象の元画像として入力されたＲＧＢ画像を輝度（Ｙ）信号のみの輝度画像に変換し、その輝度信号を出力する。
【００２９】
顔検出処理部２２では輝度変換処理部２０から入力された輝度信号の画像領域を探索し、顔の候補領域を検出して、その顔候補領域を示す顔領域情報（及び各候補領域の評価値（後述））を出力する。
【００３０】
後処理部２４では、顔検出処理部２２から入力された顔領域情報等に基づいて顔候補領域の統合等を行い、最終的な顔領域情報を出力する。
【００３１】
尚、本実施の形態では入力画像（処理対象の元画像）がＲＧＢ画像の場合について説明しているが、入力画像が輝度画像であってもよい。入力画像が輝度画像である場合には、輝度変換処理部２０での処理は省略される。
【００３２】
輝度変換処理部２０においてＲＧＢから輝度Ｙへの変換は式（３）のように行う。
【００３３】
【数３】
2007066114.tif 000005
【００３４】
図３は、上記顔検出処理部２２の構成を示すブロック図である。顔検出処理部２２は領域切出部３０、照明補正処理部３２、顔判別器３４から構成される。各部で行われる顔検出処理部２２の処理内容について図４のフローチャートを用いて説明すると、まず、ステップＳ１０１において領域切出部３０は顔検出の検出対象領域のサイズを予め定めておいた最小サイズにセットする。そして、ステップＳ１０２において、入力画像（処理対象の元画像）から画像を切り出す検出対象領域の位置を初期化する。例えば、入力画像の左上隅に設定する。
【００３５】
次のステップＳ１０３では、照明補正処理部３２の処理として照明によって検出対象領域が受ける影響を補正する。この処理は、式（４）で表されるような検出対象領域の輝度の平均、分散を正規化する処理である。
【００３６】
【数４】
2007066114.tif 000006
【００３７】
次にステップＳ１０４では顔判別器３４の処理として検出対象領域の画像が顔であるか否かの判定を行う。そしてステップＳ１０５では画像の全領域の探索が終了したか否かを判断し、終了していない場合は、ステップＳ１０６に進み、領域切出部３０により切り出す検出対象領域を次の位置に移動させる。入力画像に対して全領域の探索が終了した場合には、ステップＳ１０７に進み、領域切出部３０により切り出す検出対象領域のサイズを所定の拡大率によって拡大する。
【００３８】
次にステップＳ１０８では検出対象領域のサイズが入力画像のサイズに収まっているか否かを判定し、入力画像のサイズに収まっている場合にはステップＳ１０２に戻る。検出対象領域のサイズが入力画像サイズを超えていた場合には、処理を終了する。
【００３９】
図５は、上記顔判別器３４の構成を示すブロック図である。顔判別器３４は複数の弱分類器Ｃ１〜ＣＮ、評価値結合部４０、評価中断判定部Ｊ１、Ｊ２、予測評価値算出部４２、判定部４４等から構成される。
【００４０】
各弱分類器Ｃ１〜ＣＮには図３において領域切出部３０により切り出されて照明補正部３２により照明補正された検出対象領域の画像が入力される。各弱分類器Ｃ１〜ＣＮでは、入力された検出対象領域の画像に対してそれぞれの弱分類器に応じた特徴量を抽出し、それに基づいて、検出対象領域の画像が、顔か非顔かを示す評価値（顔である度合いを示す評価値）を出力する。この評価値は、入力データである検出対象領域の画像（画像データ）ｘに対して式（５）のような離散値であっても良いし、式（６）のような連続値であっても良い。
【００４１】
【数５】
2007066114.tif 000007
【００４２】
【数６】
2007066114.tif 000008
【００４３】
式（６）のように各弱分類器Ｃ１〜ＣＮの出力値が連続値で表される場合には、出力値が大きいほどほど検出対象領域の画像ｘが顔である度合いが高いことを表す。
【００４４】
尚、本実施の形態では、１つ前の順列番号の弱分類器での演算が終了すると、次の順列番号の弱分類器での演算が行われるというように、弱分類器Ｃ１から弱分類器ＣＮまで１つずつ順に評価値の算出が行われるものとする。
【００４５】
評価値結合部４０では、弱分類器Ｃ１〜ＣＮから評価値が順次得られるごとに評価値に重み付けして累算した総和を算出する。即ち、今、弱分類器Ｃｊ’から評価値が得られたとすると、１番目からｊ’ 番目（j’≦Ｎ）までの弱分類器Ｃ１〜Ｃｊ’により得られた評価値ｈj(ｘ)に個々の弱分類器に応じた重みαjを乗算した値の総和（重み付け評価値）Ｈj’(ｘ)を式（７）により求める。
【００４６】
【数７】
2007066114.tif 000009
【００４７】
各弱分類器Ｃ１〜ＣＮの評価値を求める関数ｈj(ｘ)、重みパラメータαjはアンサンブル学習によって学習されるパラメータで、AdaBoostによって学習する。
【００４８】
評価値結合部４０はこのようにして求めた評価値Ｈj’(ｘ)を後述の評価中断判定部Ｊ１及び評価中断判定部Ｊ２に出力し、評価中断判定部Ｊ１及び評価中断判定部Ｊ２からの評価中断信号の有無を判断する。評価中断信号を受け取らない場合には、次に得られる（ｊ’ ＋１）番目の弱分類器Ｃ(ｊ’＋１)の評価値に重みαj+1を乗算した値をｊ’番目までの重み付け評価値Ｈj’(ｘ)に加算し、（ｊ’ ＋１）番目までの重み付け評価値Ｈj’+1(ｘ)を算出する。そして、再度その重み付け評価値Ｈj’+1(ｘ)を評価中断判定部Ｊ１及び評価中断判定部Ｊ２に出力して評価中断信号の有無を判断する。評価中断信号を受け取らない間は、ＣＮ番目の弱分類器ＣＮから評価値を受け取るまでこの処理を繰り返す。ＣＮ番目の弱分類器ＣＮから評価値を受け取るまで評価中断信号を受け取らなかった場合には、１番目からＣＮ番目までの全ての弱分類器Ｃ１〜ＣＮの評価値から求めた重み付け評価値ＨCN(ｘ)を加算器４６を介して判定部４４に出力する。
【００４９】
一方、評価中断判定部Ｊ１又は評価中断判定部Ｊ２から評価中断信号を受け取った場合には、(ｊ’＋１)〜Ｎ番目までの残りの弱分類器Ｃ(ｊ’＋１)〜ＣＮでの評価が中断され（評価値の演算が実行されない）、評価値結合部４０は、（ｊ’＋１）番目の弱分類器Ｃ(ｊ’＋１)での評価値を考慮することなく、弱分類器Ｃ１〜Ｃｊ’までの評価値ｈj(x)に重みαjを乗算した値の総和である重み付け評価値Ｈj’(ｘ)を加算器４６を介して判定部４４に出力する。
【００５０】
判定部４４では、評価値結合部４０から加算器４６を介して与えられた評価値（ここではＨj’(x)とする）に対して、式（８）のようにその評価値Ｈj’(x)と閾値βを比較し、Ｈj’(x)が閾値βを上回る場合、入力データ（検出対象領域の画像）ｘが顔であると判定し、そうでない場合には非顔と判定する。入力データｘを顔と判定した場合にはその検出対象領域の位置を示す座標、即ち、その検出対象領域の画像が処理対象の元画像から切り出された位置を示す座標（領域の中心座標）を領域切出部３０から取得して顔領域情報として出力すると共に、その検出対象領域が顔である度合いを示す評価値を出力する。
【００５１】
【数８】
2007066114.tif 000010
【００５２】
…（８）
評価中断判定部Ｊ１では、ｊ’ 個の弱分類器Ｃ１〜Ｃｊ’の評価を終了した状態の値Ｈj’(x)から、残りの弱分類器の評価行わずとも、入力データ（検出対象領域の画像）ｘが非顔と判定可能であるか否かを式（９）のように判定する。
【００５３】
【数９】
2007066114.tif 000011
【００５４】
非顔判定可能であった場合は、評価中断信号を各弱分類器Ｃ(ｊ’＋１)〜ＣＮと評価値結合部４０に出力し、(ｊ’＋１)〜Ｎ番目までの残りの弱分類器Ｃ(ｊ’＋１)〜ＣＮでの評価を中断する（評価値の演算を実行しない）。このとき評価値結合部４０から判定部４４には、加算器４６での加算値を０として評価値Ｈj’(ｘ)が与えられる。非顔と判定できなかった場合は、（ｊ’＋１）番目の弱分類器Ｃ(ｊ’＋１)の評価を継続して行う。
【００５５】
これにより、全ての弱仮説を評価せずに非顔判定を下すことができるため、処理速度を向上させることが可能となる。
【００５６】
評価中断判定部Ｊ２では、ｊ’ 個の弱分類器Ｃ１〜Ｃｊ’の評価を終了した状態の評価値Ｈj’(ｘ)から、残りの弱分類器の評価を行わずとも入力データ（検出対象領域の画像）ｘが顔と判定可能であるか否かを式（１０）のように判定する。Ｈj’(ｘ)が閾値βを上回った場合は、残りの弱分類器Ｃ(ｊ’＋１)〜ＣＮの評価を行わずとも入力データｘが顔と判定可能であるため、評価中断信号を各弱分類器Ｃ(ｊ’＋１)〜ＣＮと評価値結合部４０と予測評価値算出部４２に出力し、残りの弱分類器Ｃ(ｊ’＋１)〜ＣＮの評価を中断する（評価値の演算を実行しない）。入力データｘが顔と判定できなかった場合は、（ｊ’＋１）番目の弱分類器Ｃ(ｊ’＋１)の評価を継続して行う。
【００５７】
これにより、全ての弱仮説を評価せずに顔判定を下すことができるため、処理速度を向上させることが可能となる。
【００５８】
【数１０】
2007066114.tif 000012
【００５９】
予測評価値算出部４２では、評価中断判定部Ｊ２から評価中断信号が与えられた場合に、弱分類器Ｃ(ｊ’＋１)〜ＣＮでの評価が中断されとすると、その中断した弱分類器Ｃ(ｊ’＋１)〜ＣＮでの評価値を予測し、予測評価値ｐ(ｊ’)を算出する。このとき評価値結合部４０から加算器４２にはｊ’番目までの評価値Ｈj’(ｘ)が出力されると共に、予測評価値算出部４２から加算器４２には算出した予測評価値ｐ(ｊ’)が出力される。これにより、加算器４２において式（１１）のように評価値Ｈj’(ｘ)に予測評価値ｐ(ｊ’)を加算した値が算出され、その値が顔判定等に使用される最終的な評価値Ｈ(ｘ)として判定部４４に与えられる。
【００６０】
【数１１】
2007066114.tif 000013
【００６１】
予測評価値算出部４２で与える予測評価値は多数の顔、非顔サンプルを評価し、閾値を上回った時点の評価弱仮説数（弱分類器数）の分布により算出する。顔サンプルの割合が高いほど、より高い予測評価値を与える。
【００６２】
ここで、評価値中断判定部Ｊ２により顔と判定されるまでに評価した弱分類器の数（評価弱分類器数）、即ち、評価値中断判定部Ｊ２において顔と判定されたときの重み付け評価値Ｈj’(ｘ)に加味されている弱分類器（Ｃ１〜Ｃｊ’）の数（ｊ’）が少ないほど、顔である可能性が高い。このことは「課題を解決するための手段」の欄において、図１５に示したヒストグラムを用いて説明している。一方、全ての弱分類器Ｃ１〜ＣＮで算出される評価値から重み付け評価値ＨCN(Ｘ)を求めたと仮定した場合に、その重み付け評価値ＨCN(Ｘ)は、必ずしも顔である程大きな値となるとは限らない。これについても「課題を解決するための手段」の欄において図１６に示したグラフを用いて説明している。
【００６３】
従って、予測評価値は、評価弱分類器数を反映させて、評価弱分類器数が少ない程、上式（１１）で求められる最終的な評価値Ｈ(ｘ)の値が大きくなるような値であることが望ましい。
【００６４】
例えば、評価値中断判定部Ｊ２において顔と判定されたときの重み付け評価値Ｈj’(ｘ)に加味されていない未評価の弱分類器を、Ｃ(ｊ’＋１)番目からＣＮ番目までの弱分類器Ｃ(ｊ’＋１)〜ＣＮとする。このとき予測評価値ｐ(ｊ’)は未評価の弱分類器数（ｋ＝Ｎ−ｊ’）と、個々の弱分類器Ｃ(ｊ’＋１)〜ＣＮの予測値Ｓ(ｉ)によって決まり、式（１２）により算出される。
【００６５】
【数１２】
2007066114.tif 000014
【００６６】
Ｓ(ｉ,ｊ’)は未評価弱分類器の評価値を予測したもので、０≦Ｓ(ｉ,ｊ’)≦１.０の範囲の値である。Ｓ(ｉ,ｊ’)は、Ｓ(ｉ,ｊ’)＝ＳCONSTのように固定値でもよいし、ｉやｊ’により変動する値であってもよい。
【００６７】
ｊ’によりＳ(ｉ,ｊ’)が変動する場合は、例えば、多数の顔と非顔の学習データを評価し、閾値を上回った時点での弱分類器数の分布のヒストグラムを求め，そこから式（１３）のようにＳ(ｉ,ｊ’)を算出する。
【００６８】
【数１３】
2007066114.tif 000015
【００６９】
Ｍp(ｊ’)の割合が大きいほど、Ｓ(ｉ,ｊ’)は大きくなる。ｊ’が少ないほど、Ｍp(ｊ’)の割合が大きくなる傾向にあるため、Ｓ(ｉ,ｊ’)も大きくなる。このときＳ(ｉ,ｊ’)はｊ’のみに依存する。
【００７０】
ｉによりＳ(ｉ,ｊ’)を変動させる場合は、例えば式（１４）のようにＳ(ｉ,ｊ’)を求めればよい。
【００７１】
【数１４】
2007066114.tif 000016
【００７２】
このようにして予測評価値を算出することによって、評価弱分類器数を反映させた最終的な評価値Ｈ（ｘ）を求めることができ、複数の検出対象領域の画像が顔と判定された場合に、それらの検出対象領域（顔候補領域）から後述のように統合や重なり除去等の処理によって非顔の領域を除去していく際の判断において、誤りなく顔の画像領域のみを残すことができる。
【００７３】
以上の図５に示した顔判別器３４は図６のような構成にすることもできる。図６の顔判別器３４’は、図５のように構成された顔検出器を図６の各分類器Ｐ１〜ＰＭの構成としてそれらの分類器を従属接続して構成される。尚、各分類器Ｐ１〜ＰＭにおける弱分類器の数は各々の分類器Ｐ１〜ＰＭで評価する弱仮説数によって異なる。
【００７４】
各分類器Ｐ１〜ＰＭは入力データ（検出対象領域の画像）を顔、非顔、高信頼度顔、のいずれかに分類する。顔と判定された場合、次の分類器の評価を行う。非顔と判定された場合には、以降の分類器の評価を行わない。また高信頼度顔と判定された場合にも以降の分類器の評価を行わない。全ての分類器で顔と判定されるか、ある段階の分類器で高信頼度顔が出力された場合、判定部６０は検出対象領域の位置を示す座標を領域切出部３０から取得して顔領域情報として出力すると共に、その検出対象領域が顔である度合いを表す評価値を出力する。
【００７５】
従属接続する各分類器Ｐ１〜ＰＭでの評価値の算出は式（１５）のように前段の分類器の評価値を引き継ぐように行う。γは評価値に前段の分類器の評価値を反映させるパラメータである。
【００７６】
【数１５】
2007066114.tif 000017
【００７７】
各分類器Ｐ１〜ＰＭにおいて、予測評価値算出部（図５の予測評価値算出部４２に相当）は、評価中断判定部（図５の評価中断判定部Ｊ２に相当）で評価中断信号が出力された場合、評価を中断した弱分類器の評価値を予測し、予測評価値を算出する。予測評価値はｊ’ 番目までの評価値に加算される。また、評価した弱分類器の数ｊ’ を閾値Ｊiと比較し、式（１６）のようにｊ’がＪi未満である場合には  高信頼度顔と判定する。高信頼度顔と判定された場合、評価中断信号を後段の分類器に出力し、残りの分類器の評価処理を行わない。
【００７８】
【数１６】
2007066114.tif 000018
【００７９】
図７は、図２に示した後処理部２４の構成を表すブロック図である。後処理部２４は、統合処理部７０、オーバーラップ除去処理部７２から構成される。統合処理部７０では、顔検出処理部２２から顔領域情報として与えられた検出対象領域（顔候補領域）のうち、重心座標、大きさが近いものを統合する。そして、統合された領域数がある数に満たない顔候補領域を棄却する。オーバーラップ除去処理部７２では、各々の統合された領域が、ある割合以上重なっているか否かを判定し、重なっている場合には、統合した領域の平均評価値が大きいものを残し、それ以外は棄却する。統合した領域の平均評価値が等しい場合は、統合した領域数が多い領域を残す。
【００８０】
図８は、統合処理部７０の処理の流れを示すフローチャートである。まずステップＳ２０１において顔検出処理部２２で検出された顔候補領域からひとつを選択し、その顔候補領域に関する情報を変数Fmにセットする。
【００８１】
次にステップＳ２０２で変数Fmの顔候補領域が統合済みの領域であるか否かを判定する。他の顔候補領域に統合済みである場合にはステップＳ２１１に進み、統合済みでない領域の場合にはステップＳ２０３に進む。
【００８２】
ステップＳ２０３では、変数Fnに、変数Fmの顔候補領域以外で他の顔候補領域に統合されていないものをセットする。そしてステップＳ２０４で変数Fmの顔候補領域と変数Fnの顔候補領域の重心座標、サイズが近いか否かを判定し、近いと判定された場合はステップＳ２０５に進み、変数Fmの顔候補領域に変数Fnの顔候補領域を統合する。近いと判定されなかった場合はステップＳ２０６に進む。
【００８３】
ステップＳ２０６では、変数Fmの顔候補領域と他の未統合の顔候補領域との重心座標、サイズの比較が終了したか判断し、終了していない場合はステップＳ２０７に進む。比較が終了した場合はステップＳ２０８に進む。
【００８４】
ステップＳ２０７では、まだ変数Fmの顔候補領域との比較が済んでおらず、かつ他の顔候補領域に統合されていない顔候補領域を選択し変数Fnにセットする。
【００８５】
ステップＳ２０８では変数Fmの顔候補領域に統合した顔候補領域数を所定の閾値と比較し、統合した数が閾値未満であった場合にはステップＳ２０９で変数Fmの顔候補領域を棄却してステップＳ２１１に進む。そうでない場合は変数Fmの顔候補領域を残しステップＳ２１０で顔候補領域の座標、領域サイズ等の情報を再計算した後、ステップＳ２１１に進む。ステップＳ２１０で再計算する顔候補領域情報は、式（１７）のように統合した領域の評価値による重みつき平均とする。
【００８６】
【数１７】
2007066114.tif 000019
【００８７】
ステップＳ２１１では、全ての顔候補領域についてチェックが完了したか否かを判断し、全顔候補領域のチェックが完了していない場合はステップＳ２１２に進み、変数Fmに未チェックの顔候補領域の情報をセットしてステップＳ２０２に戻る。全顔候補領域のチェックが完了した場合は統合処理を終了する。
【００８８】
図９は、オーバーラップ除去処理部７２の処理の流れを示すフローチャートである。まずステップＳ３０１では、統合処理部７０で統合された顔候補領域からひとつを選択し、変数Fmにセットする。
【００８９】
次にステップＳ３０２で変数Fnに変数Fmにセットされた顔候補領域以外でまだ棄却されていない顔候補領域をセットする。
【００９０】
次いでステップＳ３０３では、変数Fmの顔候補領域と変数Fnの顔候補領域が重なっているかを判定し、重なっていると判定された場合は、ステップＳ３０４に進み、変数Fmか変数Fnのどちらかの顔候補領域を棄却して（図１０で後述する重なり除去処理）、ステップＳ３０５に進む。
【００９１】
ステップＳ３０５では、変数Fmの顔候補領域と、それ以外の全ての顔候補領域と重なりチェックを行ったかを判断し、全ての顔候補領域についてチェックを行っていない場合は、ステップＳ３０６に進み変数Fnに次の顔候補領域をセットして、ステップＳ３０３に進み変数Fmの顔候補領域との重なり判定を行う。変数Fmの顔候補領域以外の全ての顔候補領域との重なりチェックが完了した場合はステップＳ３０７に進む。
【００９２】
ステップＳ３０７では、全ての顔候補領域についてオーバーラップのチェックが完了したかを判断し、完了していない場合はステップＳ３０８に進み、オーバーラップのチェックを行っていない顔候補領域を選択し、変数Fmにセットして、ステップＳ３０２に戻る。
【００９３】
図１０は、図９のステップＳ３０４の重なり除去処理の流れを示すフローチャートである。ステップＳ４０１では、重なっていると判定された変数Fmと変数Fnの顔候補領域での評価値ＨmとＨnを比較し、Ｈm＞Ｈnあった場合は、ステップＳ４０２に進み、変数Fnの顔候補領域を棄却して図９のオーバーラップ除去処理に戻る。
【００９４】
Ｈm＞Ｈnでない場合はステップＳ４０３に進み、Ｈm＜Ｈnであるか否かの判定を行う。Ｈm＜Ｈnであった場合は、ステップＳ４０４に進み、変数Fmにセットされていた顔候補領域を棄却し、変数Fmには変数Fnにセットされていた顔候補領域の情報をセットして、図９のオーバーラップ除去処理に戻る。
【００９５】
Ｈm＜Ｈnでなかった場合、すなわちＨm＝Ｈnであった場合には、ステップＳ４０５に進み、変数Fmの顔候補領域として統合された顔候補領域の数Ｃmと、変数Fnの顔候補領域として統合された顔候補領域の数Ｃnとを比較する。Ｃm＞Ｃnであった場合は、ステップＳ４０６に進み、変数Fnの顔候補領域を棄却して図９のオーバーラップ除去処理に戻る。Ｃm＞Ｃnでない場合は、ステップＳ４０７に進み、変数Fmにセットされていた顔候補領域を棄却し、変数Fmには変数Fnにセットされていた顔候補領域の情報をセットして、図９のオーバーラップ除去処理に戻る。
【００９６】
以上、上記実施の形態において、図５に示した顔判別器３４の複数の弱分類器Ｃ１〜ＣＮは、Ｃ１からＣＮまで順に演算処理（直列処理）を行うものとしたが、並列して演算処理（並列処理）を行う場合であってもよい。即ち、並列処理する場合であっても直列処理の処理順序に相当する順列番号を各弱分類器に設定しておき、上記閾値βを超える（顔と判定される）重み付け評価値であって、かつ、最も小さい順列番号までの弱分類器の評価値により算出される重み付け評価値を検出する。尚、直列処理の場合、この検出は、順列番号の小さい弱分類器の評価値から順に重みを掛けて加算した重み付け評価値を、順次閾値βと比較して閾値βを超えたときを判断する処理に相当し、これと同様の処理を並列処理の場合でも適用できる。これによって検出された重み付け評価値に寄与した弱分類器以外の順列番号の弱分類器による重み付け評価値を、上記実施の形態のように評価分類器数を考慮した予測評価値として求めて最終的な評価値を算出することによって、並列処理の場合でも直列処理の場合と同様の評価値を得ることができる。
【００９７】
また、上記実施の形態では、入力データが顔か否かを判定する分類装置又は分類方法について説明したが、本発明は、顔に限らず、入力データが所望のパターン（自動車など）の分類に属するか否かを判定する分類装置又は分類方法に適用でき、また、検出するパターンとそれ以外のものを含む画像の中からそのパターンの位置を検出する場合等に応用できる。更に静止画だけでなく動画を対象として所望のパターンの位置を検出することもできる。
【図面の簡単な説明】
【００９８】
【図１】本発明が適用される顔検出の処理を実行する装置の全体構成を示したブロック図。
【図２】顔検出の処理を行う処理装置の構成を示したブロック図。
【図３】顔検出処理部の構成を示したブロック図。
【図４】顔検出処理部で実行される処理手順を示したフローチャート。
【図５】顔判別器の構成を示したブロック図。
【図６】顔判別器の他の実施の形態の構成を示したブロック図。
【図７】後処理部の構成を示したブロック図。
【図８】統合処理部の処理手順を示したフローチャート。
【図９】オーバーラップ除去処理部の処理手順を示したフローチャート。
【図１０】図９の重なり除去処理の処理手順を示したフローチャート。
【図１１】顔検出器により出力された顔候補領域の例示した図。
【図１２】図１１の顔候補領域を統合した結果を例示した図。
【図１３】図１２の重なった顔候補領域から一方を棄却した結果を例示した図。
【図１４】顔／非顔分類器が出力した顔サンプルと非顔サンプルの評価値分布を示したヒストグラム。
【図１５】サンプルデータに対して、評価途中の評価値が閾値を超えた時の評価弱分類器数を示したヒストグラム。
【図１６】サンプルデータに対して、評価途中の評価値が閾値を超えた時の評価弱分類器数と全ての分類器を評価したときの評価値をプロットしたグラフ。
【図１７】正しい顔候補領域が棄却される従来の問題点の説明に使用した図。
【図１８】正しい顔候補領域が棄却される従来の問題点の説明に使用した図。
【符号の説明】
【００９９】
１０…入力装置、１２…処理装置（顔検出器）、１４…記憶装置、１６…出力装置、２０…輝度変換処理部、２２…顔検出処理部、２４…後処理部、３０…領域切出部、３２…照明補正処理部、３４…顔判別器、４０…評価値結合部、４２…予測評価値算出部、４４…判定部、４６…加算器、７０…統合処理部、７２…オーバーラップ除去処理部、Ｃ１〜ＣＮ…弱分類器、Ｊ１、Ｊ２…評価中断判定部
【図１】
2007066114.tif 000020
【図２】
2007066114.tif 000021
【図３】
2007066114.tif 000022
【図４】
2007066114.tif 000023
【図５】
2007066114.tif 000024
【図６】
2007066114.tif 000025
【図７】
2007066114.tif 000026
【図８】
2007066114.tif 000027
【図９】
2007066114.tif 000028
【図１０】
2007066114.tif 000029
【図１１】
2007066114.tif 000030
【図１２】
2007066114.tif 000031
【図１３】
2007066114.tif 000032
【図１４】
2007066114.tif 000033
【図１５】
2007066114.tif 000034
【図１６】
2007066114.tif 000035
【図１７】
2007066114.tif 000036
【図１８】
2007066114.tif 000037