(57)【要約】      （修正有）【課題】画像内のオブジェクトを効率的に検出する検出装置、検出装置、オブジェクト検出方法及びプログラムを提供する。【解決手段】対象画像からオブジェクトの有無を識別する複数のシングルクラス分類部３と、シングルクラス分類部３によりオブジェクトが識別された場合に、対象画像を、他のシングルクラス分類部３へ分類するマルチクラス分類部５と、を備える。シングルクラス分類部３によるオブジェクトの有無の識別と、マルチクラス分類部５による他のシングルクラス分類部３への分類と、を繰り返し実行することで対象画像からオブジェクトを検出する。【選択図】図２
2016151805.tif 000002
【特許請求の範囲】
【請求項１】
対象画像からオブジェクトの有無を識別する複数のシングルクラス分類部と、
前記シングルクラス分類部によりオブジェクトが識別された場合に、前記対象画像を、他の前記シングルクラス分類部へ分類するマルチクラス分類部と、を備え、
前記シングルクラス分類部によるオブジェクトの有無の識別と、前記マルチクラス分類部による他の前記シングルクラス分類部への分類と、を繰り返し実行することで対象画像からオブジェクトを検出することを特徴とするオブジェクト検出装置。
【請求項２】
前記シングルクラス分類部は、前記対象画像からオブジェクトの有無を識別する強識別器を複数連結して構成されることを特徴とする請求項１に記載のオブジェクト検出装置。
【請求項３】
前記シングルクラス分類部は、識別対象とするオブジェクトの向きに応じて形成されることを特徴とする請求項１又は請求項２に記載のオブジェクト検出装置。
【請求項４】
前記シングルクラス分類部の分類先の複数のシングルクラス分類部は、互いに、異なる向きのオブジェクトを識別対象とし、且つ、分類元の前記シングルクラス分類部が識別対象とするオブジェクトの向きの一部を識別対象とするように形成されることを特徴とする請求項３に記載のオブジェクト検出装置。
【請求項５】
前記マルチクラス分類部は、前記シングルクラス識別部へ分類する際に算出する前記対象画像の特徴量を、分類間で共有することを特徴とする請求項１乃至請求項４のいずれかに記載のオブジェクト検出装置。
【請求項６】
前記シングルクラス分類部、及び前記マルチクラス分類部は、対象画像からＥＭＢＬＢＰ値に基づく特徴量を算出し、識別、及び分類を行うことを特徴とする請求項１乃至請求項５のいずれかに記載のオブジェクト検出装置。
【請求項７】
複数のシングルクラス分類部を備えた、オブジェクト検出装置によるオブジェクト検出方法であって、
対象画像中のオブジェクトの有無を、前記シングルクラス分類部によって識別するシングルクラス分類ステップと、
前記シングルクラス分類ステップによりオブジェクトが識別された前記対象画像を、他の前記シングルクラス分類部へ分類するマルチクラス分類ステップと、を含み、
前記シングルクラス分類ステップによるオブジェクトの有無の識別と、前記マルチクラス分類ステップによる他の前記シングルクラス分類部への分類と、を繰り返し実行することで対象画像からオブジェクトを検出することを特徴とするオブジェクト検出方法。
【請求項８】
コンピュータを、
対象画像からオブジェクトの有無を識別する複数のシングルクラス分類部、
前記シングルクラス分類部によりオブジェクトが識別された場合に、前記対象画像を、他の前記シングルクラス分類部へ分類するマルチクラス分類部、として機能させ、
前記シングルクラス分類部によるオブジェクトの有無の識別と、前記マルチクラス分類部による他の前記シングルクラス分類部への分類と、を繰り返し実行することで対象画像からオブジェクトを検出することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内に含まれるオブジェクトを検出する技術に関する。特に、マルチクラス分類に対応したオブジェクトの検出技術に関する。
【背景技術】
【０００２】
画像内のオブジェクト検出として、顔検出が一例に挙げられる。例えば、正面の顔の検出においては、ＶｉｏｌａとＪｏｎｅｓによるアルゴリズムが知られており、Ｈａａｒ−Ｌｉｋｅ特徴量の使用、アダブースティングによる識別器の学習、分類のカスケード構造という３つのアイデアで構成されている。
【０００３】
一方、複数の方向を向いた顔などのオブジェクト検出は、一般的にはマルチクラスの分類問題であり、カスケード構造に代わる分類構造が必要である。マルチクラスに対応した検出器は、精度・速度の両面で高性能を達成するのは非常に困難な課題である。従来、以下のような分類構造が提案されている。
【０００４】
（パラレルカスケード構造）
非特許文献１に記載のパラレルカスケード構造では、図１５に示すようにオブジェクトの各方向（ビュー）に対し、個々のカスケード構造を構成することでマルチビュー検出に対応している。この分類構造によれば、検出精度は良好であるが、１つの方向の検出器をビュー分用意するため、分類処理の計算時間はビュー数倍となる。
【０００５】
（スカラー木構造）
非特許文献２に記載のスカラー木構造では、図１６に示すように各強識別器をノードとして分類の際に分岐していく木構造を採用している。各ノードでオブジェクトとして検出された場合は、全ての分岐ルートにつながるノードを通る。ノードのレベルが下がるごとに、強識別器はより細分化されたビューに対応する。このように、最初は大まかにオブジェクトと非オブジェクトに分類した後に、ビューを細分化しながら分類していくＣｏｒｓｅ  ｔｏ  Ｆｉｎｅ戦略によってオブジェクトの分類のロバスト性が高くなる。この構造では、パラレルカスケードと比べると少ない強識別器の構成で速度改善が見込まれるが、ノードにつながる全ての子ノードを通るため、分類処理が低速になる問題が依然としてある。
【０００６】
（ＢＦＳ木構造）
特許文献１では上記した問題に対し、マルチクラスに対応した強識別器を用いたＢＦＳ（Ｂｒｅａｄｔｈ  Ｆｉｒｓｔ  Ｓｅａｒｃｈ）木構造を提案している（図１７）。マルチクラスブースティングを用いた分類木構造をとることで、オブジェクトの分類のロバスト性と分類速度を向上させている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１０９２２９号公報
【非特許文献】
【０００８】
【非特許文献１】Bo Wu, Haizhou Ai, Chang Huang, and ShihongLao. Fast rotation invariant multi-view face detection based on real adaboost.In Automatic Face and Gesture Recognition, 2004. Proceedings. Sixth IEEEInternational Conference on, pages 79-84. IEEE, 2004.
【非特許文献２】Francois Fleuret and Donald Geman.Coarse-to-fine face detection. International Journal of computer vision,41(1-2):85-107, 2001.
【非特許文献３】Michael Jones and Paul Viola. Fastmulti-view face detection. Mitsubishi Electric Research Lab TR-20003-96, 3:14,2003.
【非特許文献４】ntonio Torralba, Kevin P Murphy, and WilliamT Freeman. Sharing visual features for multiclass and multiview objectdetection. Pattern Analysis and Machine Intelligence, IEEE Transactionson,29(5):854-869, 2007.
【非特許文献５】Jiri Trefny and Jiri Matas. Extended set oflocal binary patterns for rapid object detection. In Proceedings of theComputer Vision Winter Workshop, volume 2010, 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１のＢＦＳ木構造は、処理の最終段階に至るまでは非オブジェクトの排除が効果的に行われず、効率的なオブジェクト検出を実現する理想的な分類構造とは言えない。
【００１０】
本発明は上記した課題に鑑みてなされたものであり、その目的は、画像内のオブジェクトを効率的に検出する検出装置等を提供することにある。
【課題を解決するための手段】
【００１１】
前述した課題を解決する第１の発明は、対象画像からオブジェクトの有無を識別する複数のシングルクラス分類部と、前記シングルクラス分類部によりオブジェクトが識別された前記対象画像を、他の前記シングルクラス分類部へ分類するマルチクラス分類部と、を備え、前記シングルクラス分類部によるオブジェクトの有無の識別と、前記マルチクラス分類部による他の前記シングルクラス分類部への分類と、を繰り返し実行することで対象画像からオブジェクトを検出することを特徴とするオブジェクト検出装置である。
第１の発明によれば、シングルクラス分類部によって非オブジェクトを予め排除した上で、オブジェクトの分類処理が行われていくため、非オブジェクトを早期段階で排除可能な効率的なオブジェクト検出処理が実現される。
【００１２】
前記シングルクラス分類部は、前記対象画像からオブジェクトの有無を識別する強識別器を複数連結して構成されることが望ましい。これによって、複数の強識別器を連結したカスケード型の識別構造によりオブジェクト識別を行うため、効果的に非オブジェクトを排除することが可能である。従来のＢＦＳ木（図１７）では、オブジェクト検出処理の最終段階である葉ノードにカスケードを設けることで、非オブジェクトを効果的に排除するように構成している。しかしながら、葉ノードに辿り着くまでは非オブジェクトを多く含んでおり、非オブジェクトを早期段階で効果的に排除することができなかった。この点、各シングルクラス分類部がカスケード型の識別構造をとることで、非オブジェクトを効果的に排除しながら、オブジェクトの分類処理を行っていくことで、従来に比べオブジェクト検出処理を一層効率的なものとしている。
【００１３】
前記シングルクラス分類部は、識別対象とするオブジェクトの向きに応じて形成されることが望ましい。これによって、シングルクラス分類部は、識別対象とするオブジェクトの向きに応じて形成される。
【００１４】
前記シングルクラス分類部の分類先の複数のシングルクラス分類部は、互いに、異なる向きのオブジェクトを識別対象とし、且つ、分類元の前記シングルクラス分類部が識別対象とするオブジェクトの向きの一部を識別対象とするように形成されることが望ましい。これによって、上層のシングルクラス分類部では、オブジェクトと非オブジェクトの大まかな識別（分類）を行い、下層のシングルクラス分類部に進むにつれ、オブジェクトの特定の向きに応じた詳細な識別（分類）を行うことができる。
【００１５】
前記マルチクラス分類部は、前記シングルクラス識別部へ分類する際に算出する前記対象画像の特徴量を、分類間で共有することが望ましい。これによって、分類間で特徴量（弱識別器）を共有できるため、対象画像の分類処理において、弱識別器（特徴量）の計算コストを大幅に軽減でき、オブジェクト検出処理の計算効率性を向上させることができる。
【００１６】
前記シングルクラス分類部、及び前記マルチクラス分類部は、対象画像からＥＭＢＬＢＰ値に基づく特徴量を算出し、識別、及び分類を行うことが望ましい。これによって、ＥＭＢＬＢＰ値を特徴量として、オブジェクトの識別及び分類が実行される。ＥＭＢＬＢＰ値は照明不変の特徴を有するため、異なる照明下の検出に強い。また、ＥＭＢＬＢＰ値はあらゆる方向のパターンを複合して抽出するため、オブジェクトの複雑な特徴について精度の高い情報が得られる。さらに、ＥＭＢＬＢＰ値は強い特徴を持つため、弱識別器の数が少なくて済み、オブジェクト検出処理時の計算効率性を一層向上させる。
【００１７】
前述した課題を解決する第２の発明は、複数のシングルクラス分類部を備えた、オブジェクト検出装置によるオブジェクト検出方法であって、対象画像中のオブジェクトの有無を、前記シングルクラス分類部によって識別するシングルクラス分類ステップと、前記シングルクラス分類ステップによりオブジェクトが識別された前記対象画像を、他の前記シングルクラス分類部へ分類するマルチクラス分類ステップと、を含み、前記シングルクラス分類ステップによるオブジェクトの有無の識別と、前記マルチクラス分類ステップによる他の前記シングルクラス分類部への分類と、を繰り返し実行することで対象画像からオブジェクトを検出することを特徴とするオブジェクト検出方法である。
【００１８】
前述した課題を解決する第３の発明は、コンピュータを、対象画像からオブジェクトの有無を識別する複数のシングルクラス分類部、前記シングルクラス分類部によりオブジェクトが識別された場合に、前記対象画像を、他の前記シングルクラス分類部へ分類するマルチクラス分類部、として機能させ、前記シングルクラス分類部によるオブジェクトの有無の識別と、前記マルチクラス分類部による他の前記シングルクラス分類部への分類と、を繰り返し実行することで対象画像からオブジェクトを検出することを特徴とするプログラムである。
【発明の効果】
【００１９】
本発明によれば、画像内のオブジェクトを効率的に検出することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】検出装置１０のハードウェア構成の例を示す図
【図２】顔検出器１の分類構造を示す概念図
【図３】シングルクラス分類部を示す概念図
【図４】マルチクラス分類部を示す概念図
【図５】顔検出器１の学習の様子を示す概念図
【図６】顔検出器１の学習の様子を示す概念図
【図７】顔検出器１の学習の様子を示す概念図
【図８】ＬＢＰを示す図
【図９】（ａ）ｔＭＢＬＢＰを示す図（ｂ）ｄＭＢＬＢＰを示す図
【図１０】検出装置１０の動作を示すフローチャート
【図１１】顔検出処理を示すフローチャート
【図１２】対象画像７の例を示す図
【図１３】顔検出窓を走査しながら顔検出処理を実行する様子を示す図
【図１４】顔検出結果の例を示す図
【図１５】パラレルカスケード構造を示す概念図
【図１６】スカラー木構造を示す概念図
【図１７】ＢＦＳ木構造を示す概念図
【発明を実施するための形態】
【００２１】
以下、図面を参照しながら本発明の実施形態を詳細に説明する。本実施形態では、オブジェクト検出として顔検出を一例として説明を行うが、本発明は、顔以外のオブジェクトを検出する目的に適用することもできる。
【００２２】
＜検出装置１０のハードウェア構成＞
図１は、第１の実施形態に係る検出装置１０のハードウェア構成の一例を示す図である。検出装置１０は、主に、制御部１０１、記憶部１０２、入力部１０３、表示部１０４、バス１０５から構成される。
【００２３】
制御部１０１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等で構成される。ＣＰＵは、記憶部１０２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に
呼び出して実行することで、検出装置１０が行う全ての処理を行う。ＲＯＭは、不揮発性メモリであり、プログラムやデータ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１０２、ＲＯＭ等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１０１が各種処理を行う為に使用するワークエリアを備える。
【００２４】
記憶部１０２は、フラッシュメモリ、ＲＯＭ、ＲＡＭ等で構成される。フラッシュメモリやＲＯＭには、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、アプリケーション、データ等を保持している。ＲＡＭは、ＲＯＭ等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１０１が各種処理を行う為に使用するワークエリアを備える。
本実施形態においては、図１に示すように、顔を検出する対象画像である「対象画像７」、対象画像７から顔を検出する「顔検出器１」などが記憶部１０２に記憶されている。顔検出器１は、後述するように、予め機械学習により生成されるものである。
【００２５】
入力部１０３は、データの入力を行い、例えば、テンキー、小型キーボード等の入力装置を有する。入力部１０３を介して、検出装置１０に対して、操作指示、動作指示、データ入力等を行うことができる。
また、入力部１０３は、ＣＣＤやＣＭＯＳセンサ等のカメラを備えてもよい。これにより、カメラにより撮像した画像を、顔の検出対象である対象画像７とすることもできる。
【００２６】
表示部１０４は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。なお、入力部１０３及び表示部１０４は、タッチパネルディスプレイのように、一体となって構成されても良い。
【００２７】
＜顔検出器１の分類構造＞
図２は、記憶部１０２に記憶されている顔検出器１の分類構造を示す概念図である。本実施形態に係る顔検出器１は、シングルクラス分類部３と、マルチクラス分類部５と、から構成されており、複数の向きの顔を検出可能なＭＶＦＤ（Ｍｕｌｔｉ−Ｖｉｅｗ  Ｆａｃｅ  Ｄｅｔｅｃｔｏｒ）に適した分類構造を実現している。
【００２８】
図３（ａ）は、顔検出器１の一部を構成するシングルクラス分類部３を示す概念図である。シングルクラス分類部３は、図３（ｂ）に示すように対象画像７を入力して顔・非顔を識別（分類）する強識別器として機能するシングルクラス分類ノード３１、を複数連結したカスケード型の識別構造をとる。
【００２９】
ここで、カスケード型の識別構造により非顔が効果的に排除されることを概念的に説明しておく。各シングルクラス分類ノード３１（強識別器）において、顔画像を通過させる割合をＴ（０＜Ｔ＜１）、非顔画像を通過させる割合をＦ（０＜Ｆ＜１）とすると、ｎ番目のシングルクラス分類ノード（強識別器）を通過後は、顔画像はＴｎだけ通過していることになる。例えば、Ｔ＝０．９９９、Ｆ＝０．５とした場合、ｎ（＝２０）番目のシングルクラス分類ノード３１における顔画像の通過率は０．９９９２０≒０．９８、非顔画像の通過率は０．５２０≒９．５×１０−７となり、非顔画像をほとんど通過させないことが分かる。
【００３０】
尚、上記のように、非顔の効果的な排除の観点から、シングルクラス分類ノード３１を複数連結することが望ましいが、１つのシングルクラス分類ノード３１によってシングルクラス分類部３を構成してもよい。
【００３１】
また、上記したシングルクラス分類部３は、識別対象とする顔の向きに応じて階層的に形成されている。特に、上層のシングルクラス分類部３ほど、広い範囲の顔の向きを識別対象とし、下層のシングルクラス分類部３ほど、より特定の範囲の顔の向きを識別対象として形成されている。これによって、顔検出器１の上層では、大まかな顔と非顔の識別（分類）を行い、下層に進むにつれ、顔の特定の向きに応じた詳細な識別（分類）を行う。
【００３２】
より厳密には、顔検出器１のある上層のシングルクラス分類部３から、マルチクラス分類部５を介して分岐する下層の複数のシングルクラス分類部３は、分岐元の上層のシングルクラス分類部３が識別対象とする顔の向きの一部を識別対象とするように形成される。また、当該複数のシングルクラス分類部３は、互いに、異なる向きの顔を識別対象とするように形成される。
【００３３】
例えば、図２の場合、顔検出器１の最上層のシングルクラス分類部３は、任意の向き（全方向）の顔を識別可能なように形成され、当該シングルクラス分類部３から、マルチクラス分類部５を介して分岐する３つのシングルクラス分類部３は、分岐元の最上層のシングルクラス分類部３が識別対象とする顔の向きの一部であって、互いに異なる向き、例えば、正面方向・右方向・左方向の顔を識別可能なように形成される。
【００３４】
図４は、顔検出器１の一部を構成するマルチクラス分類部５を示す概念図である。マルチクラス分類部５は、対象画像７の顔の向きを分類する分類器として機能し、図４に示すように、複数のシングルクラス分類部３へ分岐するマルチクラス分類ノード５１によって構成される。マルチクラス分類ノード５１は、上層のシングルクラス分類部３（シングルクラス分類ノード３１）によって顔識別された対象画像７を、下層のいずれかのシングルクラス分類部３（シングルクラス分類ノード３１）へ入力（分類）する。
【００３５】
尚、図２に示す顔検出器１の分類構造は、あくまで本発明を説明するための概念図であり、シングルクラス分類部３とマルチクラス分類部５が交互に繰り返す構造であれば、図の例に依らず種々の変形が可能である。
【００３６】
＜顔検出器１の学習＞
上記した顔検出器１を学習形成する手順について図５〜図７を参照しながら説明する。顔検出器１の学習は、検出装置１０で実行されてもよいし、その他のコンピュータ等で実行されてもよい。いずれにしても、学習生成された顔検出器１は、予め検査装置１０の記憶部１０２に記憶されているものとする。
【００３７】
図５に示すように、最初に、シングルクラス分類部３（３―１）を顔検出器１の最上層に学習形成する。具体的には、検出対象とする任意の向き（全方向）の顔向きの「ポジティブ画像」と顔以外の背景画像等の「ネガティブ画像」を学習データとして用いて、シングルクラス分類ノード３１（強識別器）を生成・連結させていく。そして、偽陽性率（非顔を誤って顔と検出した割合）が所定の値より低くなると、シングルクラス分類ノード３１（強識別器）の生成・連結を終了し、シングルクラス分類部３（３―１）が形成される。
【００３８】
シングルクラス分類部３（シングルクラス分類ノード３１）の学習手法は、特に限定しないが、代表的にはアダブースティング等を利用できる。また、学習に用いる特徴量も特に限定しないが、本実施形態では、後述する「ＥＭＢＬＢＰ値」を採用する。ＥＭＢＬＢＰ値は照明不変の特徴を有するため、異なる照明下の検出に強い。また、ＥＭＢＬＢＰ値はあらゆる方向のパターンを複合して抽出するため、顔の複雑な特徴について精度の高い情報が得られる。さらに、ＥＭＢＬＢＰ値は強い特徴を持つため、弱識別器の数が少なくて済み、顔検出処理時の計算効率性を向上させる。
【００３９】
続いて、図６に示すように、学習形成されたシングルクラス分類部３（３―１）の最下段のシングルクラス分類ノード３１で正識別された学習データを用いて、顔の向きを更に分類（例えば、正面方向・左方向・右方向）するマルチクラス分類部５（５−１）（マルチクラス分類ノード５１）を学習形成する。マルチクラス分類部５の学習方法についても特に限定はしないが、本実施形態では、後述する「ジョイントブースティング」を導入する。これによって、対象画像７の分類処理において、弱識別器（特徴量）の計算コストを大幅に軽減でき、顔検出処理の計算効率性を向上させることができる。また、画像特徴量についても特に限定はしないが、シングルクラス分類部３の学習と同様にＥＭＢＬＢＰ値を採用する。
【００４０】
そして、図７に示すように、マルチクラス分類部５（５−１）により分類分けされた学習データを用いて、分類毎に、シングルクラス分類部３（３−２、３−２、３−４）を更に学習形成する。具体的には、図５に示したシングルクラス分類部３−１の学習形成と同様に、偽陽性率（非顔を誤って顔と検出した割合）が所定の値より低くなるまで、シングルクラス分類ノード３１（強識別器）を生成・連結させていく。そして、偽陽性率が所定の値より低くなると、シングルクラス分類ノード３１（強識別器）の生成・連結を終了し、各シングルクラス分類部３（３−２、３−３、３−４）が形成される。
【００４１】
以降、同様に、シングルクラス分類部３で正識別された学習データを用いたマルチクラス分類部５の学習形成、及びマルチクラス分類部５により分類分けされた学習データを用いたシングルクラス分類部３の学習形成、を目的の偽陽性率を満たすまで繰り返す。これにより、最終的に顔検出器１が形成される。
【００４２】
（ジョイントブースティング）
前述したように、顔検出器１のマルチクラス分類部５は、ジョイントブースティングにより学習形成される。ジョイントブースティングは、高精度な２クラス識別器の学習方法であるジェントルブースティングをマルチクラス分類に拡張したものである。この手法は、弱識別器（特徴量）をクラス間で共有することができるため、計算効率性の高い識別器を構築するとこができる。以降、ジョイントブースティングによる機械学習について理論的側面から説明する。
【００４３】
ジョイントブースティングでは、各クラスが特徴を共有する様々なサブセット（クラスの組合わせ）の強識別器を生成する。３クラスを例に示すと、サブセットＳ（ｎ）は（１，２，３）、（１，２）、（２，３）、（１，３）、（１）、（２）、（３）となる（ｎはサブセットのインデックスを示す）。サブセットに対応した強識別器をＧＳ（ｎ）(ｖ)（ｖ：特徴量）とすると、各クラスの強識別器は以下のように表される。
【００４４】
【数１】
2016151805.tif 000003
【００４５】
上式に示すように、例えば、クラス１とクラス２ではＧ１,２,３（ｖ）、Ｇ１,２（ｖ）を共有していることが分かる。このようにクラス間で特徴を共有できるため、計算効率性が向上する。各サブセットの強識別器は、対応したサブセットの弱識別器ｈｍｎ（ｖ）の加算モデルで次のように表される。ｍは学習のラウンド数を示す。
【００４６】
【数２】
2016151805.tif 000004
【００４７】
ジョイントブースティングは、ジェントルブースティングの拡張バージョンとして提案されている。ジェントルブースティングは、２値クラスのブースティング手法であり、検出対象である確からしさを確率密度などで確率的に出力するような弱識別器を使用することで、従来のアダブースティングよりも識別精度の向上を実現している。
【００４８】
ジョイントブースティングでは、クラスごとに学習データの重みwｉｃ（ｃ：クラス、ｉ：学習データのインデックス）を持たせており、各クラスのラベルは、該当クラスが「１」、それ以外が「−１」となるｚｉｃが用いられる。選択したサブセットではジェントルブースティングを行い、サブセットのクラスにおける重み・ラベルで確率的に判別値を出力する弱識別器を生成する。サブセット外のクラスに対しては、弱識別器は超平面を設けず、該当クラスのラベルを確率的に出力する。
【００４９】
また、本実施形態では、ジョイントブースティングの学習に用いる特徴量として、ＥＭＢＬＢＰ（Ｅｘｔｅｎｄｅｄ  Ｍｕｌｔｉ  Ｂｌｏｃｋ  Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ）値を採用する。ＥＭＢＬＢＰ値は、画像固有のバイナリパターンを数値化したものである。ＥＭＢＬＢＰ値の２５６階調分の判別値を用意する弱識別器は以下のように表される。
【００５０】
【数３】
2016151805.tif 000005
2016151805.tif 000006
【００５１】
ここで、ｖｉｆは学習データｉのｆ番目の特徴量（ＥＭＢＬＢＰ値）である。このようにサブセットに含まれるクラスにおいて、特定特徴量に対応した判別値を確率的に算出している。また、弱識別器はサブセットに対しｆ番目の特徴量に応じた２５６階調のＬＵＴ（Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ）で表される。ブースティングにおけるラウンドの評価として、以下のように最小自乗問題で表されるエラーを最小にするものが最適な弱識別器として選択される。
【００５２】
【数４】
2016151805.tif 000007
【００５３】
このエラー値を全てのサブセットと特徴量で評価し、最小となった時に対象となるサブセット、その弱識別器（ＬＵＴ）、使用する特徴量の番号ｆが決定される。
【００５４】
尚、１回の学習ラウンドが終了すると、次のラウンドでは、重みが以下の式で更新される。
【００５５】
【数５】
2016151805.tif 000008
【００５６】
以上説明したジョイントブースティングによる機械学習の疑似コードを以下に示す。
【００５７】
【数６】
2016151805.tif 000009
【００５８】
（特徴量）
前述したように、本実施形態では、画像データの特徴量としてＥＭＢＬＢＰ値を採用する。ＥＭＢＬＢＰはＬＢＰ（Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ）を改良した特徴量であり、ＭＢＬＢＰ(Ｍｕｌｔｉ−Ｂｌｏｃｋ  Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ)、ｍＭＢＬＢＰ(ｍｅａｎ  Ｍｕｌｔｉ−Ｂｌｏｃｋ  Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ)、ｄＭＢＬＢＰ(ｄｉｒｅｃｔｉｏｎ  Ｍｕｌｔｉ−Ｂｌｏｃｋ  Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ)、ｔＭＢＬＢＰ（ｔｒａｎｓｉｔｉｏｎ  Ｍｕｌｔｉ−Ｂｌｏｃｋ  Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ）を併用したものである。ＥＭＢＬＢＰは画像上のあらゆる方向のパターンを複合して抽出するため、顔の複雑な特徴について精度の高い情報が得られるメリットがある。
【００５９】
以下、ＥＭＢＬＢＰ値を構成する各特徴量（ＬＢＰ、ＭＢＬＢＰ、ｍＭＢＬＢＰ、ｄＭＢＬＢＰ、ｔＭＢＬＢＰ）について説明する。
【００６０】
図８は、ＬＢＰを示す図である。ＬＢＰは３×３の画素ブロックにおいて、中央画素と周辺画素の値を比較し、値の大小に応じてバイナリ値｛０，１｝に変換する。ＬＢＰは、周辺画素のバイナリ値を並べ、８ビットの整数値に変換したものを特徴値とする。ＬＢＰは以下の式で求められる。
【００６１】
【数７】
2016151805.tif 000010
【００６２】
ここで、ｇｃを中心画素値、ｇｐを周辺画素値とする。このようなバイナリパターンは明るさに依らない画像内の特徴を表すことができる。
【００６３】
ＭＢＬＢＰはＬＢＰをマルチブロック型に拡張したものであり、ある画像範囲を３×３のブロックで表す。各ブロックの平均値を用いて、３×３の画素ブロックのように扱い、ＬＢＰと同様の特徴値を算出する。
【００６４】
ｍＭＢＬＢＰは、ＭＢＬＢＰ同様にマルチブロック構造を採用するが、ＭＢＬＢＰのように中央ブロックと周辺ブロックの比較ではなく、全体の平均値と周辺ブロックの比較により、ＬＢＰと同様の特徴値を算出する。
【００６５】
ｔＭＢＬＢＰはＭＢＬＢＰのマルチブロック構造を用いて、周囲ブロックのみでバイナリパターンを抽出した特徴量である。
図９（ａ）は、ｔＭＢＬＢＰを示す図である。
周囲ブロックを回転するように、隣り合うブロックの平均値同士で値を比較し、バイナリパターンを生成する。ｔＭＢＬＢＰは以下の式で求められる。
【００６６】
【数８】
2016151805.tif 000011
【００６７】
ここで、ｇｐは周囲ブロックの平均値であり、ｇ０をブロック周回の開始地点を示す。
【００６８】
ｄＭＢＬＢＰは、ｔＭＢＬＢＰと同様にマルチブロック構造を採用しており、特定の直線方向に並んだ３ブロックからバイナリパターンを抽出する。
図９（ｂ）は、ｄＭＢＬＢＰを示す図である。図９（ｂ）に示すように、１方向につき２ビットのパターンで表す直線を４方向与え、最終的に８ビットのバイナリパターンを得る。ある１方向のバイナリパターンは１ビット目を中心ブロックの値が最大若しくは最小であるか否かで判定している。また２ビット目では、中心ブロックと隣り合う２ブロックの差分値を比較し、いずれの差分値が高いか否かでバイナリ値を決定する。ｄＭＢＬＢＰは以下の式で求められる。
【００６９】
【数９】
2016151805.tif 000012
【００７０】
ここで、Ｐ’は周囲ブロックの半周分であり、Ｐ＝２Ｐ’となる。ｇｐ’は半周中にあるブロックの平均値であり、ｇｃは中心ブロックの平均値である。
【００７１】
ＥＭＢＬＢＰは、上記したマルチブロック型のＬＢＰ特徴量を用い、３×３の画素ブロックからスタートし、徐々にマルチブロック型に拡大しながら３つの特徴量を計算していく。例えば、３×３画素ブロックの次は２×２画素ブロックが３×３で並んだ６×６の画素範囲で各ＭＢＬＢＰが計算される。また、ＭＢＬＢＰでは各ブロックサイズで画像内を１画素ずつ走査して特徴量を抽出していく。
このようにＥＭＢＬＢＰはあらゆる方向のパターンを複合して抽出するため、顔の複雑な特徴について精度の高い情報が得られる。
【００７２】
＜検出装置１０の動作＞
図１０〜図１４を参照して、検出装置１０の動作を説明する。図１０は、検出装置１０の全体動作を示すフローチャートである。
まず、検出装置１０の制御部１０１は、対象画像７を記憶部１０２から読込む（ステップＳ１）。図１２は対象画像７の例を示す図である。
【００７３】
そして、検出装置１０の制御部１０１は、所定のサイズの顔検出窓５１を対象画像７内で走査させながら、顔検出窓５１で切り出した画像に対して、逐次、顔検出処理を実行する（ステップＳ２、図１３参照）。以下、顔検出窓５１で切り出した１つの画像（以降、当該画像を「対象画像７」と呼ぶ）に対して、顔検出処理を行う手順を説明する。
【００７４】
図１１は、顔検出処理の流れを示すフローチャートである。
まず、検出装置１０の制御部１０１は、対象画像７（顔検出窓５１で切り出した画像）を、顔検出器１の最上層のシングルクラス分類部３の初段のシングルクラス分類ノード３１に入力する（ステップＳ２１）。
【００７５】
そして、検出装置１０の制御部１０１は、当該シングルクラス分類ノード３１（強識別器）により、顔識別を実行する（ステップＳ２２）。この際、制御部１０１は、対象画像７からＥＭＢＬＢＰ値に基づく特徴量を算出し、当該特徴量に基づいて顔識別を実行する。
【００７６】
当該シングルクラス分類ノード３１（強識別器）で、顔が識別されなかった場合（ステップＳ２３の「Ｎｏ」）、ステップＳ２４へ移行し、対象画像７から顔が識別されなかったもの（非顔）と判断し、顔検出処理を終了する。一方、顔が識別された場合（ステップＳ２３の「Ｙｅｓ」）、ステップＳ２５へ移行する。ここで、当該シングルクラス分類ノード３１（強識別器）がシングルクラス分類部３の最下段のノードである場合（ステップＳ２５の「Ｙｅｓ」）、ステップＳ２７へ移行する。
【００７７】
一方、当該シングルクラス分類ノード３１（強識別器）がシングルクラス分類部３の最下段のノードでない場合（ステップＳ２５の「Ｎｏ」）、ステップＳ２６へ移行する。
ステップＳ２６において、対象画像７を、当該シングルクラス分類ノード３１から更に次段のシングルクラス分類ノード３１に入力する。そして、ステップＳ２２に戻り、ステップＳ２２〜ステップＳ２６の処理を、いずれかのシングルクラス分類ノード３１（強識別器）で顔でない（非顔）と識別されるか（ステップＳ２３において「Ｎｏ」）、或いは、シングルクラス分類部３の最下段のシングルクラス分類ノード３１において顔であると識別される（ステップＳ２５において「Ｙｅｓ」）まで、繰り返す。
【００７８】
上記したステップＳ２２〜Ｓ２６の処理によって、複数のシングルクラス分類ノード３１から成るシングルクラス分類部３によるカスケード識別が実行され、非顔が効果的に排除される。
【００７９】
シングルクラス分類部３の最下段のシングルクラス分類ノード３１において顔識別された場合（ステップＳ２５の「Ｙｅｓ」）、更に当該シングルクラス分類ノード３１が顔検出器１の葉ノードか否かを判断する（ステップＳ２７）。当該シングルクラス分類ノード３１が葉ノードの場合（ステップＳ２７の「Ｙｅｓ」）、ステップＳ２９へ移行し、当該葉ノードに該当する向きの顔を検出したものと判断し、顔検出処理を終了する。一方、当該シングルクラス分類ノード３１が葉ノードでない場合（ステップＳ２７の「Ｎｏ」）、ステップＳ２８に移行する。
【００８０】
ステップＳ２８において、マルチクラス分類部５（マルチクラス分類ノード５１）によって、対象画像７を、更に下層のいずれかのシングルクラス分類部３の初段のシングルクラス分類ノード３１に入力する（分類する）。この際、制御部１０１は、対象画像７からＥＭＢＬＢＰ値に基づく特徴量を算出し、当該特徴量に基づいて、分類を行う。本実施形態では、マルチクラス分類部５（マルチクラス分類ノード５１）は、ジョイントブースティングによって学習形成されているため、分類間で特徴量を共有できる。このため、ステップＳ２８の対象画像７の分類処理において、特徴量の計算コストを大幅に軽減できる。
【００８１】
そして、ステップＳ２２〜Ｓ２８の処理は、いずれかのシングルクラス分類ノード３１（強識別器）で顔でない（非顔）と識別されるか（ステップＳ２３において「Ｎｏ」）、或いは、顔検出器１の葉ノードのシングルクラス分類ノード３１において顔が正識別されるまで（ステップＳ２７の「Ｙｅｓ」）、繰り返し実行される。
【００８２】
図１０のフローチャートに戻る。顔検出処理が終了すると、検出装置１０の制御部１０１は、顔検出結果を出力する（ステップＳ３）。
図１４は対象画像７の顔検出結果の例を示す図である。図１４に示すように、制御部１０１は、顔が検出された顔検出エリア５２を対象画像７上に表示するなどして顔検出結果をユーザに提示する。
【００８３】
以上、本実施形態によれば、顔検出器１のシングルクラス分類部３（シングルクラス分類ノード３１）による顔識別と、マルチクラス分類部５（マルチクラス分類ノード５１）による顔分類と、を繰り返し実行することで、顔検出処理を行う。各段階で予め非顔を排除した上で、顔分類を行っていくため、効率的な顔検出処理が実現される。特に、本実施形態では、シングルクラス分類ノード３１（強識別器）を複数連結したシングルクラス分類部３（カスケード型の識別器）によって、非顔を効果的に排除することが可能である。従来のＢＦＳ木（図１７参照）では、顔検出処理の最終段階である葉ノードにカスケード構造を設けることで、非顔を効果的に排除するように構成している。しかしながら、葉ノードに辿り着くまでは非顔を多く含んでおり、非顔を早期段階で効果的に排除することができなかった。この点、本実施形態では、シングルクラス分類部３により非顔を効果的に排除しながら、マルチクラス分類部５により顔分類を行っていくように構成することで、従来に比べ顔検出処理を一層効率的なものとしている。
【００８４】
また、マルチクラス分類部５の機械学習法としてジョイントブースティングを導入する。これにより、弱識別器（特徴量）の全体個数を削減できる。このため、ステップＳ２８（図１１参照）の分類処理において、弱識別器（特徴量）の計算コストを大幅に軽減でき、顔検出処理の計算効率性を向上させることができる。また、画像特徴量として、ＥＭＢＬＢＰ値を採用した。ＥＭＢＬＢＰ値は照明不変の特徴を有するため、異なる照明下の検出に強い。また、ＥＭＢＬＢＰ値はあらゆる方向のパターンを複合して抽出するため、顔の複雑な特徴について精度の高い情報が得られる。さらに、ＥＭＢＬＢＰ値は強い特徴を持つため、弱識別器の数が少なくて済み、顔検出処理時の計算効率性を一層向上させる。
【００８５】
以上、添付図面を参照しながら、本発明に係る検出装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。例えば、前述したように、本発明は、顔以外のオブジェクトを検出する目的に適用することができる。また、当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８６】
１；顔検出器
３；シングルクラス分類部
５；マルチクラス分類部
７；対象画像
１０；検出装置
３１；シングルクラス分類ノード
５１；マルチクラス分類ノード
【図１】
2016151805.tif 000013
【図２】
2016151805.tif 000014
【図３】
2016151805.tif 000015
【図４】
2016151805.tif 000016
【図５】
2016151805.tif 000017
【図６】
2016151805.tif 000018
【図７】
2016151805.tif 000019
【図８】
2016151805.tif 000020
【図９】
2016151805.tif 000021
【図１０】
2016151805.tif 000022
【図１１】
2016151805.tif 000023
【図１２】
2016151805.tif 000024
【図１３】
2016151805.tif 000025
【図１４】
2016151805.tif 000026
【図１５】
2016151805.tif 000027
【図１６】
2016151805.tif 000028
【図１７】
2016151805.tif 000029