(57)【要約】【課題】対象画像の中から一番大きく映っている顔を簡易な構成によって短時間で検出することが可能な、画像処理装置を提供する。【解決手段】対象画像を所定の縮小率で縮小する画像縮小部と、画像縮小部が縮小した対象画像に対して所定の矩形枠を走査させて顔を検出する顔検出部と、を備え、画像縮小部は、顔検出部において画像縮小部が縮小した対象画像に対して顔が検出された矩形枠の総数が所定の閾値に到達するまで、対象画像の縮小率を大きくするとともに、矩形枠の走査間隔がどの縮小率においても一定となる縮小率で前記対象画像を縮小し、顔検出部は、画像縮小部が縮小した対象画像で検出された顔の矩形枠の総数が所定の閾値に到達するまで画像縮小部の縮小率の変更を指示し、所定の閾値に到達すると画像縮小部による縮小率の変更を中止することを特徴とする、画像処理装置が提供される。【選択図】図１
2016192194.tif 000002
【特許請求の範囲】
【請求項１】
対象画像を所定の縮小率で縮小する画像縮小部と、
前記画像縮小部が縮小した対象画像に対して所定の矩形枠を走査させて顔を検出する顔検出部と、
を備え、
前記画像縮小部は、前記顔検出部において前記画像縮小部が縮小した対象画像に対して顔が検出された矩形枠の総数が所定の閾値に到達するまで、前記対象画像の縮小率を大きくするとともに、前記矩形枠の走査間隔がどの縮小率においても一定となる縮小率で前記対象画像を縮小し、
前記顔検出部は、前記画像縮小部が縮小した対象画像で検出された顔の矩形枠の総数が前記所定の閾値に到達するまで前記画像縮小部の縮小率の変更を指示し、前記所定の閾値に到達すると前記画像縮小部による縮小率の変更の中止を指示することを特徴とする、画像処理装置。
【請求項２】
前記顔検出部での顔の検出の結果を、前記矩形枠の走査順に並び替える並び替え部をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記顔検出部は、Ｈａａｒ−ｌｉｋｅ特徴量を用いて顔を検出することを特徴とする、請求項１に記載の画像処理装置。
【請求項４】
画像を撮像する撮像部と、
前記撮像部が撮像した画像を顔検出の対象となる対象画像に変換する画像変換部と、
前記対象画像を所定の縮小率で縮小する画像縮小部と、
前記画像縮小部が縮小した対象画像に対して所定の矩形枠を走査させて顔を検出する顔検出部と、
前記顔検出部の検出の結果に応じて表示画像に対する処理を行なう表示処理部と、
を備え、
前記画像縮小部は、前記顔検出部において前記画像縮小部が縮小した対象画像に対して顔が検出された矩形枠の総数が所定の閾値に到達するまで、前記対象画像の縮小率を大きくするとともに、前記矩形枠の走査間隔がどの縮小率においても一定となる縮小率で前記対象画像を縮小し、
前記顔検出部は、前記画像縮小部が縮小した対象画像で検出された顔の矩形枠の総数が前記所定の閾値に到達するまで前記画像縮小部の縮小率の変更を指示し、前記所定の閾値に到達すると前記画像縮小部による縮小率の変更の中止を指示することを特徴とする、表示装置。
【請求項５】
対象画像を所定の縮小率で縮小する画像縮小ステップと、
前記画像縮小ステップで縮小された対象画像に対して所定の矩形枠を走査させて顔を検出する顔検出ステップと、
を含み、
前記画像縮小ステップは、前記顔検出ステップにおいて前記画像縮小ステップで縮小された対象画像に対して矩形枠の総数が所定の閾値に到達するまで、前記対象画像の縮小率を大きくするとともに、前記矩形枠の走査間隔がどの縮小率においても一定となる縮小率で前記対象画像を縮小し、
前記顔検出ステップは、前記画像縮小ステップで縮小された対象画像で検出された顔の矩形枠の総数が前記所定の閾値に到達するまで前記画像縮小ステップでの縮小率の変更を指示し、前記所定の閾値に到達すると前記画像縮小ステップによる縮小率の変更の中止を指示することを特徴とする、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、表示装置及び画像処理方法に関する。
【背景技術】
【０００２】
画像中から顔や物体を検出する物体検出技術の開発が進み、物体を検出するアルゴリズム（ａｌｇｏｒｉｔｈｍ）に関しても様々な手法が提案されている。さらに物体を検出する際の計算量の改善と共に認識精度も向上し、単に人の顔を認識するだけでなく、年齢や性別、さらには個人を特定するものまで商品化されている。
【０００３】
顔検出の手法として、一般に統計的学習に基づくパターン（ｐａｔｔｅｒｎ）認識手法が広く知られている。例えば特許文献１には、このパターン認識手法の例として、例えば、顔に近いパターンを持っているかどうか判定する弱い識別器（弱識別器）を複数段カスケード（ｃａｓｃａｄｅ）接続して１つの強い識別器（強識別器）を形成するアダブースト（ＡｄａＢｏｏｓｔ、Ａｄａｐｔｉｖｅ  Ｂｏｏｓｔｉｎｇ）に関する技術が開示されている。また特許文献２には、特許文献１で開示された技術に基づき、様々な用途に対応するための複数の検出モードを持ち、また、正面顔候補と横顔候補のそれぞれに対応する特徴量と弱識別器によって検出された複数の顔検出結果を出力する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第２００２１０２０２４号明細書
【特許文献２】特開２００７−９４６３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし用途によっては、年齢や性別、さらには個人を特定することまでは必要ではなく、単純にカメラ（ｃａｍｅｒａ）から一番近くに居る人の顔（例えば一番大きく映っている顔）を、複数フレーム（ｆｒａｍｅ）期間内で検出するだけで十分な場合もある。さらに、高速なＣＰＵ（中央演算処理装置；Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などを使用出来ない場合には、簡易な構成のハードウェアＩＰ（Ｈａｒｄｗａｒｅ  Ｉｎｔｅｌｌｅｃｔｕａｌ  Ｐｒｏｐｅｒｔｙ）が必要な場合が想定される。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、対象画像の中から一番大きく映っている顔を簡易な構成によって短時間で検出することが可能な、新規かつ改良された画像処理装置、表示装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、対象画像を所定の縮小率で縮小する画像縮小部と、前記画像縮小部が縮小した対象画像に対して所定の矩形枠を走査させて顔を検出する顔検出部と、を備え、前記画像縮小部は、前記顔検出部において前記画像縮小部が縮小した対象画像に対して顔が検出された矩形枠の総数が所定の閾値に到達するまで、前記対象画像の縮小率を大きくするとともに、前記矩形枠の走査間隔がどの縮小率においても一定となる縮小率で前記対象画像を縮小し、前記顔検出部は、前記画像縮小部が縮小した対象画像で検出された顔の矩形枠の総数が前記所定の閾値に到達するまで前記画像縮小部の縮小率の変更を指示し、前記所定の閾値に到達すると前記画像縮小部による縮小率の変更の中止を指示することを特徴とする、画像処理装置が提供される。
【０００８】
かかる構成によれば、画像縮小部は対象画像を所定の縮小率で縮小し、顔検出部は画像縮小部が縮小した対象画像に対して所定の矩形枠を走査させて顔を検出する。その際、画像縮小部は、顔検出部において画像縮小部が縮小した対象画像に対して顔が検出された矩形枠の総数が所定の閾値に到達するまで、前記対象画像の縮小率を大きくするとともに、矩形枠の走査間隔がどの縮小率においても一定となる縮小率で対象画像を縮小し、顔検出部は、画像縮小部が縮小した対象画像で検出された顔の矩形枠の総数が前記所定の閾値に到達するまで前記画像縮小部の縮小率の変更を指示し、前記所定の閾値に到達すると前記画像縮小部による縮小率の変更の中止を指示する。その結果、本発明のある観点による画像処理装置は、対象画像の中から一番大きく映っている顔を簡易な構成によって短時間で検出することを可能にする。
【０００９】
上記画像処理装置は、前記顔検出部での顔の検出の結果を、前記矩形枠の走査順に並び替える並び替え部をさらに備えてもよい。並び替え部が、顔検出部での顔の検出の結果を、矩形枠の走査順に並び替えることで、上記画像処理装置は、顔検出処理を並列処理で行った場合と逐次処理（シリアル処理）で行った場合とで同様の結果を得ることが出来る。
【００１０】
前記顔検出部は、Ｈａａｒ−ｌｉｋｅ特徴量を用いて顔を検出してもよい。
【００１１】
また、上記課題を解決するために、本発明の別の観点によれば、画像を撮像する撮像部と、前記撮像部が撮像した画像を顔検出の対象となる対象画像に変換する画像変換部と、前記対象画像を所定の縮小率で縮小する画像縮小部と、前記画像縮小部が縮小した対象画像に対して所定の矩形枠を走査させて顔を検出する顔検出部と、前記顔検出部の検出の結果に応じて表示画像に対する処理を行なう表示処理部と、を備え、前記画像縮小部は、前記顔検出部において前記画像縮小部が縮小した対象画像に対して顔が検出された矩形枠の総数が所定の閾値に到達するまで、前記対象画像の縮小率を大きくするとともに、前記矩形枠の走査間隔がどの縮小率においても一定となる縮小率で前記対象画像を縮小し、前記顔検出部は、前記画像縮小部が縮小した対象画像で検出された顔の矩形枠の総数が前記所定の閾値に到達するまで前記画像縮小部の縮小率の変更を指示し、前記所定の閾値に到達すると前記画像縮小部による縮小率の変更の中止を指示することを特徴とする、表示装置が提供される。
【００１２】
かかる構成によれば、撮像部は画像を撮像し、画像変換部は撮像部が撮像した画像を顔検出の対象となる対象画像に変換し、画像縮小部は、対象画像を所定の縮小率で縮小し、顔検出部は画像縮小部が縮小した対象画像に対して所定の矩形枠を走査させて顔を検出する。その際、画像縮小部は、顔検出部において画像縮小部が縮小した対象画像に対して顔が検出された矩形枠の総数が所定の閾値に到達するまで、前記対象画像の縮小率を大きくするとともに、矩形枠の走査間隔がどの縮小率においても一定となる縮小率で対象画像を縮小し、顔検出部は、画像縮小部が縮小した対象画像で検出された顔の矩形枠の総数が前記所定の閾値に到達するまで前記画像縮小部の縮小率の変更を指示し、前記所定の閾値に到達すると前記画像縮小部による縮小率の変更の中止を指示する。その結果、本発明のある観点による表示装置は、撮像部が撮像した画像の中から一番大きく映っている顔を簡易な構成によって短時間で検出することを可能にする。
【００１３】
また、上記課題を解決するために、本発明の別の観点によれば、対象画像を所定の縮小率で縮小する画像縮小ステップと、前記画像縮小ステップで縮小された対象画像に対して所定の矩形枠を走査させて顔を検出する顔検出ステップと、を含み、前記画像縮小ステップは、前記顔検出ステップにおいて前記画像縮小ステップで縮小された対象画像に対して矩形枠の総数が所定の閾値に到達するまで、前記対象画像の縮小率を大きくするとともに、前記矩形枠の走査間隔がどの縮小率においても一定となる縮小率で前記対象画像を縮小し、前記顔検出ステップは、前記画像縮小ステップで縮小された対象画像で検出された顔の矩形枠の総数が前記所定の閾値に到達するまで前記画像縮小ステップでの縮小率の変更を指示し、前記所定の閾値に到達すると前記画像縮小ステップによる縮小率の変更の中止を指示することを特徴とする、画像処理方法が提供される。
【発明の効果】
【００１４】
以上説明したように本発明によれば、対象画像の中から一番大きく映っている顔を簡易な構成によって短時間で検出することが可能な、新規かつ改良された画像処理装置、表示装置及び画像処理方法を提供することが出来る。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る表示装置の機能構成例を示す説明図である。
【図２】本発明の一実施形態に係る画像処理部２０の機能構成例を示す説明図である。
【図３】本発明の一実施形態に係る画像処理部２０の動作例を示す流れ図である。
【図４】中断されるステージと、そのステージにおけるスキャンされたウィンドウの総数をグラフで示す説明図である。
【図５】大きなＺｏｏｍ−Ｌｅｖｅｌから顔判定を実行する処理を実行する様子を示す説明図である。
【図６】Ｚｏｏｍ−Ｌｅｖｅｌ毎に異なるサイズのＳｃａｎ  Ｗｉｎｄｏｗを生成する場合の例を示す説明図である。
【図７】Ｓｃａｎ  Ｗｉｎｄｏｗの領域とインターバルとの関係の例を示す説明図である。
【図８】本実施形態に係る画像処理部２０の顔検出処理を説明するための説明図である。
【図９】並列処理によって顔検出処理を実行する様子の例を示す説明図である。
【図１０】並列処理によって顔検出処理を実行する様子の例を示す説明図である。
【図１１】並列処理によって顔検出処理を実行する様子の例を示す説明図である。
【図１２】並列処理の結果を並び替える（リオーダーする）処理を示す説明図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１７】
＜１．本発明の一実施形態＞
［１．１．背景］
まず、本発明の実施の形態について詳細に説明する前に、本発明の実施の形態の背景について説明する。
【００１８】
上述したように、画像中から顔や物体を検出する物体検出技術の開発が進み、物体を検出するアルゴリズムに関しても様々な手法が提案されている。さらに物体を検出する際の計算量の改善と共に認識精度も向上し、単に人の顔を検出するだけでなく、年齢や性別、さらには個人を認識して特定するものまで商品化されている。
【００１９】
顔検出の手法として、一般に統計的学習に基づくパターン認識手法が広く知られており、このパターン認識手法の例として、例えば、顔に近いパターンを持っているかどうか判定する弱い識別器（弱識別器）を複数カスケード接続して１つの強い識別器（強識別器）を形成するアダブーストに関する技術がある。また、アダブーストに関する技術に基づき、様々な用途に対応するための複数の検出モードを持ち、また、正面顔候補と横顔候補のそれぞれに対応する特徴量と弱識別器によって検出された複数の顔検出結果を出力する技術も開示されている。
【００２０】
このように、物体の認識精度の向上によって、画像中の顔の有無や、顔の位置、顔の大きさだけでなく、その顔の人の年齢や性別、個人を特定することが可能になってきている。しかし、例えば限られたハードウェア資源しか使えない環境では、そのように顔の人の年齢や性別、個人まで特定する必要が無い場合も多く、逆に、例えば限られたハードウェア資源しか使えない環境で、そのように顔の人の年齢や性別、個人まで特定しようとすると、顔検出処理の完了に多大な時間が掛かり、リアルタイム処理ができなくなる。
【００２１】
例えば、テレビのパネルの近傍にカメラを備えて、テレビのパネルの前方にいる人物のパネルとの距離に応じて、パネルへの表示制御を行う場合、顔の人の年齢や性別、さらには個人まで識別する必要はなく、カメラが撮像した画像における顔の有無、位置、大きさが識別できればよい。テレビには、コストを抑えるという要求がある関係上、高速で動作するＣＰＵを内蔵することが困難であり、コストを抑えつつも顔検出処理を実行するという要求を満たすためには、顔検出処理を簡素化しつつも、顔の有無、位置、大きさを高速に、かつ効果的に識別することが求められる。
【００２２】
そこで本件発明者は、上述した背景に鑑み、例えば限られたハードウェア資源しか使えない環境で、顔の有無、位置、大きさを高速に、かつ効果的に識別することが出来る技術について鋭意検討を行った。その結果、本件発明者は、以下で説明するように、顔検出処理を効率化することで、テレビのような限られたハードウェア資源しか使えない環境であっても、顔の有無、位置、大きさを高速に、かつ効果的に識別することが出来る技術を考案するに至った。
【００２３】
以上、本発明の実施の形態の背景について説明した。
【００２４】
［１．２．機能構成例］
続いて、本発明の一実施形態に係る装置の構成例について説明する。図１は、本発明の一実施形態に係る表示装置の機能構成例を示す説明図である。以下、図１を用いて本発明の一実施形態に係る表示装置の機能構成例について説明する。
【００２５】
図１に示したように、本発明の一実施形態に係る表示装置１は、撮像装置１０と、画像処理部２０と、表示処理部３０と、表示パネル４０と、を含んで構成される。
【００２６】
撮像装置１０は、表示パネル４０の表示面の前方を撮像するように表示装置１に備えられる。撮像装置１０は、レンズ、撮像素子、画像データを生成する画像処理部等を含んで構成される。撮像装置１０の撮像素子には、ＣＣＤイメージセンサが用いられてもよく、ＣＭＯＳイメージセンサが用いられてもよい。撮像装置１０は、撮像した画像（以下、撮像装置１０が撮像した画像を撮像画像とも称する）を画像処理部２０に送る。
【００２７】
画像処理部２０は、対象画像に対する画像処理を実行する。本実施形態では、画像処理部２０は、対象画像として撮像装置１０から送られる撮像画像に対する画像処理を実行する。また本実施形態では、画像処理部２０は、画像処理として、撮像装置１０から送られる撮像画像に対する顔検出処理を実行する。画像処理部２０の具体的な構成例については後に詳述するが、以下において簡単に画像処理部２０の処理について説明する。
【００２８】
画像処理部２０は、撮像装置１０から送られる撮像画像をグレーイメージ（Ｇｒａｙ  Ｉｍａｇｅ）に変換した上で所定のサイズに縮小し、その縮小した画像に対して積分画像（Ｉｎｔｅｇｒａｌ  Ｉｍａｇｅ）を生成し、その積分画像に対する顔検出処理を実行して、顔検出結果を表示処理部３０へ出力する。グレーイメージとは、元の画像から輝度成分だけを抽出した画像のことをいう。また積分画像とは、画像領域内での画素の総和をあらかじめ計算した画像のことをいう。
【００２９】
本実施形態では、画像処理部２０は、顔検出処理を実行する際に、積分画像上で所定の矩形枠を走査させて顔を検出するが、その顔検出処理において上記所定の矩形枠のサイズを固定にして、対象となる積分画像の縮小率を変化させる。また対象となる積分画像の縮小率を変化させる際に、画像処理部２０は、どの縮小率においても、上記所定の矩形枠の走査間隔（矩形枠のシフト量）が一定となるような縮小率で積分画像を縮小する。
【００３０】
表示処理部３０は、画像処理部２０による撮像画像に対する画像処理の結果に基づいて、表示パネル４０に対する処理や、表示パネル４０に表示する画像に対する処理を実行する。例えば表示処理部３０は、表示パネル４０に表示する画像に対する処理として、例えば表示パネル４０に表示する画像の明るさの変更、表示パネル４０が液晶ディスプレイパネルであればバックライトの明るさの変更、表示パネル４０が立体視可能な画像を表示出来るパネルであれば、その立体視の際の視差の変更などが行われ得る。
【００３１】
本発明の一実施形態に係る表示装置１は、図１に示したような構成を有することで、撮像装置１０で撮像した撮像画像における顔の有無や、その顔の大きさなどに応じて、表示パネル４０に表示する画像に対する処理を実行することが出来る。また、本発明の一実施形態に係る表示装置１に含まれる画像処理部２０は、撮像画像に対する顔検出処理を効率的に実行し、撮像画像の中から一番大きく映っている顔を簡易な構成によって短時間で検出することができる。
【００３２】
以上、図１を用いて本発明の一実施形態に係る表示装置１の機能構成例について説明した。続いて、本発明の一実施形態に係る画像処理部２０の機能構成例について説明する。
【００３３】
図２は、本発明の一実施形態に係る画像処理部２０の機能構成例を示す説明図である。以下、図２を用いて本発明の一実施形態に係る画像処理部２０の機能構成例について説明する。
【００３４】
図２に示したように、本発明の一実施形態に係る画像処理部２０は、輝度成分縮小部２１と、フレームメモリ２２と、リサンプリング部２３と、バッファ部２４と、識別処理部２５と、学習データ記憶部２６と、リオーダー部２７と、クラスタリング部２８と、を含んで構成される。
【００３５】
輝度成分縮小部２１は、画像処理部２０に入力される入力画像に対して、輝度成分だけを取り出して、その輝度成分に対して縮小処理を実行する。画像処理部２０に入力される入力画像とは、ここでは撮像装置１０で撮像された撮像画像である。輝度成分縮小部２１は、縮小後の画像をフレームメモリ２２に送る。画像処理部２０は、輝度成分縮小部２１において入力画像の輝度成分だけを取り出して、その輝度成分に対して縮小処理を実行することで、顔検出処理の効率化を可能にする。
【００３６】
フレームメモリ２２は、輝度成分縮小部２１が縮小した画像を、画像処理部２０によって顔検出処理が行われる際に一時的に格納するメモリである。フレームメモリ２２に格納された画像は、リサンプリング部２３によって読み出される。
【００３７】
リサンプリング部２３は、フレームメモリ２２に格納された画像に対するリサンプリング（ｒｅｓａｍｐｌｉｎｇ、再標本化）処理を実行して、積分画像を生成する。リサンプリング部２３は、積分画像を生成すると、その生成した積分画像をバッファ部２４に送る。
【００３８】
本実施形態では、画像処理部２０によって顔検出処理が行われる際に、リサンプリング部２３は、最初は、画像処理部２０での顔検出処理における最も小さいサイズとなる縮小率で元の画像（すなわち、フレームメモリ２２に格納された画像）を縮小した積分画像を生成する。そして、リサンプリング部２３は、画像処理部２０によって顔検出処理が行われる際に、顔が検出された矩形枠の総数が所定の閾値に達するまで縮小率を大きくしながら積分画像を生成する。
【００３９】
このように、リサンプリング部２３は、最初は画像処理部２０での顔検出処理における最も小さいサイズとなる縮小率で元の画像を縮小し、その後は、顔が検出された矩形枠の総数が所定の閾値に達するまで縮小率を大きくしながら積分画像を生成することで、画像処理部２０は、顔検出処理時の処理を効率化することが出来る。
【００４０】
後述の識別処理部２５は、積分画像に対する顔検出処理を実行する際に、所定のサイズの矩形枠をシフトさせつつ積分画像上で走査させて、顔の有無を識別する。リサンプリング部２３は、積分画像を生成する際に、どの縮小率で縮小された画像においても、上記所定のサイズの矩形枠のシフト量（インターバル）が同じになるような縮小率で縮小する。
【００４１】
バッファ部２４は、リサンプリング部２３で生成された積分画像を一時的に格納するメモリである。バッファ部２４に格納された積分画像は、後段の識別処理部２５によって読み出される。
【００４２】
識別処理部２５は、バッファ部２４に格納された積分画像に対する顔検出処理を実行する。本実施形態では、識別処理部２５は、Ｈａａｒ−Ｌｉｋｅ特徴量を用いたアダブースティングによる顔検出処理を実行する。識別処理部２５は、バッファ部２４に格納された積分画像に対する顔検出処理を実行する際に、所定のサイズの矩形枠を積分画像上で走査させて、顔の有無を識別する。識別処理部２５は、バッファ部２４に格納された積分画像に対する顔検出処理を実行する際に、学習データ記憶部２６に記憶されている学習データを用いて、顔の有無を識別する。識別処理部２５は、顔検出処理を実行すると、その顔検出処理の結果をリオーダー部２７に出力する。
【００４３】
本実施形態では、識別処理部２５は、並列処理によってバッファ部２４に格納された積分画像に対する顔検出処理を実行する。並列処理の数は所定の数に限定されるものではないが、本実施形態のように、表示装置１において顔検出処理を実行する場合は、識別処理部２５は、例えば４並列で顔検出処理を実行する。
【００４４】
また本実施形態では、識別処理部２５は、処理対象の積分画像において固定サイズの矩形枠の走査が終了し、また顔が存在すると判定した矩形枠総数が指定した閾値に達していないと、リサンプリング部２３に対して、縮小率を大きくするような変更を指示する。また本実施形態では、識別処理部２５は、処理対象の積分画像において顔が存在すると判定した矩形枠総数が指定した閾値以上になると、リサンプリング部２３に対する縮小率の変更の指示を止めると共に、顔検出処理の結果を逐次リオーダー部２７に出力する。
【００４５】
リオーダー部２７は、本発明の並び替え部の一例であり、識別処理部２５から出力された顔検出処理の結果を並び替える（リオーダーする）処理を実行する。リオーダー部２７は、識別処理部２５から出力された顔検出処理の結果を並び替えると、並び替えた後の顔検出処理の結果をクラスタリング部２８に出力する。
【００４６】
上述したように、識別処理部２５は、並列処理によってバッファ部２４に格納された積分画像に対する顔検出処理を実行する。
【００４７】
識別処理部２５が並列処理によって顔検出処理を実行することで、場合によっては、識別処理部２５から出力される顔検出処理の結果が、上記所定のサイズの矩形枠の走査順と一致しない場合があり得る。リオーダー部２７は、識別処理部２５から出力される顔検出処理の結果が、上記所定のサイズの矩形枠の走査順と一致しない場合を考慮し、識別処理部２５から出力された顔検出処理の結果を並び替える処理を実行する。
【００４８】
リオーダー部２７が、識別処理部２５から出力された顔検出処理の結果を並び替える処理を実行することで、顔検出処理が並列処理ではなく逐次処理（シリアル処理）で行われた場合と同様の結果を得ることが出来る。
【００４９】
クラスタリング部２８は、リオーダー部２７から出力される顔検出処理の結果をまとめる（クラスタリングする）処理を実行する。クラスタリング部２８は、顔検出処理の結果をまとめる処理を実行することで、処理対象の画像における顔の位置や大きさを決定することが出来る。本実施形態では、クラスタリング部２８は、識別処理部２５が認識した顔を、顔ごとにまとめる処理を実行してもよく、識別処理部２５が認識した顔の中から最も大きい顔だけを対象にしてまとめる処理を実行してもよい。
【００５０】
本発明の一実施形態に係る画像処理部２０は、図２に示した構成を有することで、撮像画像に対する顔検出処理を効率的に実行し、撮像画像の中から一番大きく映っている顔を簡易な構成によって短時間で検出することができる。
【００５１】
以上、図２を用いて本発明の一実施形態に係る画像処理部２０の機能構成例について説明した。続いて、本発明の一実施形態に係る画像処理部２０の動作例について説明する。
【００５２】
［１．３．動作例］
図３は、本発明の一実施形態に係る画像処理部２０の動作例を示す流れ図である。図３に示したのは、撮像画像に対する顔検出処理を実行する際の、画像処理部２０の動作例である。以下、図３を用いて本発明の一実施形態に係る画像処理部２０の動作例について説明する。
【００５３】
画像処理部２０は、入力画像として撮像装置１０で撮像された撮像画像が入力されると、入力画像に対して、輝度成分だけを取り出して、その輝度成分に対して縮小処理を実行する（ステップＳ１０１）。このステップＳ１０１の処理は、例えば輝度成分縮小部２１が実行する。
【００５４】
上記ステップＳ１０１で、入力画像に対して、輝度成分だけを取り出してグレーイメージを作成し、そのグレーイメージに対して縮小処理を実行すると、続いて画像処理部２０は、その縮小画像に対して積分画像を生成する（ステップＳ１０２）。このステップＳ１０２の処理は、例えばリサンプリング部２３が実行する。
【００５５】
ここで、上記ステップＳ１０２における、画像処理部２０による積分画像の生成処理について、その背景とともに説明する。
【００５６】
表１は、顔検出処理を行う際に、弱識別器がＳｔａｇｅ１からＳｔａｇｅ２２までカスケード接続され、弱識別器において顔判定に用いられるＨａａｒ−Ｌｉｋｅ特徴量が２  Ｒｅｃｔａｎｇｌｅ、３  Ｒｅｃｔａｎｇｌｅ、４  Ｒｅｃｔａｎｇｌｅの３通り用意されている場合のパターン（ｐａｔｔｅｒｎ）数を示す表である。
【００５７】
【表１】
2016192194.tif 000003
【００５８】
弱識別器がＳｔａｇｅ１からＳｔａｇｅ２２までカスケード接続されている場合では、あるＳｔａｇｅで顔であると判定されると、次のＳｔａｇｅも顔判定処理が実行される。一方、あるＳｔａｇｅで顔でないと判定されると、その時点で顔検出処理は中断（Ａｂｏｒｔ）され、後続のＳｔａｇｅの顔判定処理は実行されない。つまり、この表１に示した例の場合、１つのＺｏｏｍ−Ｌｅｖｅｌで実行される最小値はＳｔａｇｅ１だけの７パターンであるが、最終のＳｔａｇｅ２２まで実行されると１２９０パターンの比較が行われ、顔判定が確定することを示している。なおＺｏｏｍ−Ｌｅｖｅｌとは、処理対象の画像から見て、顔判定を行う矩形枠が小さければ小さく、大きければ大きくなる関係のパラメータである。
【００５９】
表２は、各Ｚｏｏｍ−ＬｅｖｅｌでのＳｃａｎ  Ｗｉｎｄｏｗの数の例（オリジナル画像を２５６ｘ１９２にＤｏｗｎ  Ｓｃａｌｅした画像を用いる例）を示す表である。なおＳｃａｎ  Ｗｉｎｄｏｗとは、上述してきた顔判定を行なう所定のサイズの矩形枠のことをいう。
【００６０】
【表２】
2016192194.tif 000004
【００６１】
Ｓｃａｎ  Ｗｉｎｄｏｗ内の画像とＨａａｒ−Ｌｉｋｅ特徴量との比較は、各Ｚｏｏｍ−Ｌｅｖｅｌでそれぞれ行われる。例えば、上記１３種類のＺｏｏｍ−Ｌｅｖｅｌを設定した場合、最小のＺｏｏｍ−Ｌｅｖｅｌ＝１では９７４４個のＳｃａｎ  Ｗｉｎｄｏｗが設定され、最大のＺｏｏｍ−Ｌｅｖｅｌ＝１２では３６個のＳｃａｎ  Ｗｉｎｄｏｗが設定される。
【００６２】
上述の例の場合、全Ｚｏｏｍ−Ｌｅｖｅｌでスキャンを行うと、Ｓｃａｎ  Ｗｉｎｄｏｗの総数は５３５６１個となり、またパターンの総数の最大値は上述したように１２９０個であることから、論理的な最大の処理数（すなわち、全てのＳｃａｎ  Ｗｉｎｄｏｗで顔判定された場合）は、Ｈａａｒ−Ｌｉｋｅ特徴量との比較処理だけで、
最大Ｐａｔｔｅｒｎ総数×最大Ｓｃａｎ  Ｗｉｎｄｏｗ総数＝１２９０×５３５６１＝６９，０９３，６９０（サイクル）
のサイクル期間を要する。
【００６３】
例えば、フレームレート（Ｆｒａｍｅ  Ｒａｔｅ）＝６０Ｈｚで、システムクロック（Ｓｙｓｔｅｍ  Ｃｌｏｃｋ）＝１００ＭＨｚで顔検出処理をシリアル処理で行う場合、
６９０９３６９０／（１００００００００／６０）＝４１．５（ｆｒａｍｅ）
を要する事になり、現実的なリアルタイム（Ｒｅａｌ  Ｔｉｍｅ）処理とはならない。また、処理を短縮するために４２並列化することは回路容量の大きな増加を伴い、現実的ではない。
【００６４】
そこで、本件発明者は、まず主に使用される条件となる３７個の動画像を抽出し、ＡｂｏｒｔされるＳｔａｇｅの解析を行った。図４は、ＡｂｏｒｔされるＳｔａｇｅと、そのＳｔａｇｅにおけるスキャンされたＷｉｎｄｏｗの総数をグラフで示す説明図である。また表３は、各Ｓｔａｇｅでスキャンが実行されたＷｉｎｄｏｗの総数と、パターンの総数とを示した表である。
【００６５】
【表３】
2016192194.tif 000005
【００６６】
図４や表３で分かる事は、全体の５割程度（（ｓｔａｇｅ１：２４８８２２＋ｓｔａｇｅ２：４３９９２１＋ｓｔａｇｅ３：５９３９０６）／総演算ｐａｔｔｅｒｎ数：２５５５５６０＝０．５０２）は、最初の３ＳｔａｇｅでＡｂｏｒｔされており、また論理的最大処理数の３．７％（＝２５５５５６０／６９０９３６９０）が、本件発明者が用意した３７個の動画像で必要な処理数である事である。
【００６７】
従って、本実施形態に係る画像処理部２０は、大きなＺｏｏｍ−Ｌｅｖｅｌから顔判定を実行することで処理の簡素化を実現する。図５は、大きなＺｏｏｍ−Ｌｅｖｅｌから顔判定を実行する処理を実行する様子を示す説明図である。本実施形態に係る画像処理部２０は、顔判定を大きなＺｏｏｍ−Ｌｅｖｅｌから実行することにより、総計算量の約５０％を占めるＺｏｏｍ−Ｌｅｖｅｌ＝１〜３の実行を回避し、平均的な顔判定時間を改善する。
【００６８】
ここで、画像処理部２０に入力される入力画像からグレーイメージへの変換を１回のみ行い、Ｚｏｏｍ−Ｌｅｖｅｌ毎に異なるサイズのＳｃａｎ  Ｗｉｎｄｏｗを生成する場合を考える。図６は、Ｚｏｏｍ−Ｌｅｖｅｌ毎に異なるサイズのＳｃａｎ  Ｗｉｎｄｏｗを生成する場合の例を示す説明図である。具体的には、図６は、画像解像度がＶＧＡ（Ｖｉｄｅｏ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ、横６４０ピクセル×縦４８０ピクセル）を１／２．５倍にリサイズし、横２５６ピクセル、縦１９２ピクセルの積分画像に対して、Ｚｏｏｍ−Ｌｅｖｅｌ毎に異なるサイズのＳｃａｎ  Ｗｉｎｄｏｗを生成する場合の例を示す説明図である。また図７は、Ｓｃａｎ  Ｗｉｎｄｏｗの領域とインターバル（ｉｎｔｅｒｖａｌ、走査時のＳｃａｎ  Ｗｉｎｄｏｗのシフト量をいう）との関係の例を示す説明図である。
【００６９】
図６では、例えば１．２（Ｚｏｏｍ−Ｌｅｖｅｌ−１）のＺｏｏｍ  Ｒａｔｉｏで各Ｓｃａｎ  Ｗｉｎｄｏｗのサイズを定義した場合の例が示されている。つまり、Ｚｏｏｍ−Ｌｅｖｅｌ＝１の場合のＳｃａｎ  Ｗｉｎｄｏｗのサイズを縦２０ピクセル×横２０ピクセルとすると、Ｚｏｏｍ−Ｌｅｖｅｌ＝２のＳｃａｎ  Ｗｉｎｄｏｗのサイズは、１．２（２−１）×２０＝２４となるから、縦２４ピクセル×横２４ピクセルとなる。
【００７０】
また、Ｓｃａｎ  Ｗｉｎｄｏｗのサイズを算出した結果、小数点以下の値が発生する場合は、小数点以下を切り捨てる。Ｚｏｏｍ−Ｌｅｖｅｌ＝１１の場合は、１．２（１１−１）×２０＝１２３．８３５であるので、小数点以下を切り捨てて、縦１２３ピクセル×横１２３ピクセルとして定義する。
【００７１】
また、顔検出の精度を上げるために、各Ｚｏｏｍ−ＬｅｖｅｌのＳｃａｎ  Ｗｉｎｄｏｗのｉｎｔｅｒｖａｌ値は、Ｚｏｏｍ−Ｌｅｖｅｌ毎に設定する。例えば、Ｓｃａｎ  Ｗｉｎｄｏｗのサイズが縦２０ピクセル×横２０ピクセルであるＺｏｏｍ−Ｌｅｖｅｌ＝１の場合は、ｉｎｔｅｒｖａｌ＝１．２０とし、Ｚｏｏｍ−Ｌｅｖｅｌ＝１２の場合は、ｉｎｔｅｒｖａｌ＝１．２１１＝７．４３と設定する。
【００７２】
この様にｉｎｔｅｒｖａｌ値は小数点以下の数字を持つ場合がある。従って、Ｓｃａｎ  Ｗｉｎｄｏｗのスキャン位置によっては、ｉｎｔｅｒｖａｌ値は７と８の場合が共存し不均等な間隔となる。表４は、Ｚｏｏｍ−Ｌｅｖｅｌ＝１２の場合で、Ｓｃａｎ  Ｗｉｎｄｏｗのスキャン位置によって、ｉｎｔｅｒｖａｌ値が不均等な間隔となる例を示している。
【００７３】
【表４】
2016192194.tif 000006
【００７４】
このようにｉｎｔｅｒｖａｌ値が不均等な間隔となる場合のスキャンでは、直前のＳｃａｎ  Ｗｉｎｄｏｗの位置のデータを、次のＳｃａｎ  Ｗｉｎｄｏｗ領域で使用することが出来ない。ｉｎｔｅｒｖａｌ値が不均等な間隔となる場合のスキャンの場合、識別処理部２５は、バッファ部２４からデータを読み出し直す必要が生じる。データの読み出し直しは、データ転送量の増大や、処理速度の低下に繋がる。
【００７５】
また、Ｚｏｏｍ−Ｌｅｖｅｌ毎にＳｃａｎ  Ｗｉｎｄｏｗのサイズを異ならせると、正規化処理が必要になる。この正規化処理は、Ｓｃａｎ  Ｗｉｎｄｏｗの面積の計算と、高いハードウェアコスト資源である除算を要する。従ってＺｏｏｍ−Ｌｅｖｅｌ毎にＳｃａｎ  Ｗｉｎｄｏｗのサイズを異ならせるのは、低コストでの顔検出処理には不向きである。
【００７６】
そこで本実施形態に係る画像処理部２０は、全てのＺｏｏｍ−ＬｅｖｅｌでＳｃａｎ  Ｗｉｎｄｏｗのサイズを固定にする。本実施形態に係る画像処理部２０は、全てのＺｏｏｍ−ＬｅｖｅｌでＳｃａｎ  Ｗｉｎｄｏｗのサイズを固定にするために、各Ｚｏｏｍ−Ｌｅｖｅｌの顔検出処理において、バッファ部２４に格納されている積分画像の拡大率を変更する。そして本実施形態に係る画像処理部２０は、積分画像の拡大率を変更することでＳｃａｎ  ＷｉｎｄｏｗのサイズをＺｏｏｍ−Ｌｅｖｅｌによらず固定にする。本実施形態に係る画像処理部２０は、Ｓｃａｎ  ＷｉｎｄｏｗのサイズをＺｏｏｍ−Ｌｅｖｅｌによらず固定にすることで、インターバル値が一定（例えば１ｐｉｘｅｌ分）の値として定義することを可能にする。
【００７７】
すなわち、本実施形態では、Ｓｃａｎ  Ｗｉｎｄｏｗのサイズを、Ｚｏｏｍ−Ｌｅｖｅｌが最も小さい場合から大きくしていく（例えば１．２（Ｚｏｏｍ−Ｌｅｖｅｌ−１）倍にしていく）のではなく、最初にダウンスケーリングされた積分画像を、Ｚｏｏｍ−Ｌｅｖｅｌが最も大きい場合から順次拡大していき、Ｓｃａｎ  Ｗｉｎｄｏｗのサイズを、例えば縦２０ピクセル×横２０ピクセルの固定サイズで実現する。
【００７８】
具体的には、本実施形態では、積分画像のサイズを横２５６ピクセル×縦１９２ピクセルとすると、Ｚｏｏｍ−Ｌｅｖｅｌ＝２での積分画像のサイズは、
｛２５６／１．２（Ｚｏｏｍ−Ｌｅｖｅｌ−１）｝×｛１９２／１．２（Ｚｏｏｍ−Ｌｅｖｅｌ−１）｝
＝｛２５６／１．２｝×｛１９２／１．２｝
＝２１３×１６０
となる。
【００７９】
同様に、Ｚｏｏｍ−Ｌｅｖｅｌ＝３では、積分画像のサイズは、
｛２５６／１．２（Ｚｏｏｍ−Ｌｅｖｅｌ−１）｝×｛１９２／１．２（Ｚｏｏｍ−Ｌｅｖｅｌ−１）｝
＝｛２５６／１．２２｝×｛１９２／１．２２｝
＝１７７×１３３
となる。
【００８０】
同様に、Ｚｏｏｍ−Ｌｅｖｅｌ＝１０では、積分画像のサイズは、
｛２５６／１．２（Ｚｏｏｍ−Ｌｅｖｅｌ−１）｝×｛１９２／１．２（Ｚｏｏｍ−Ｌｅｖｅｌ−１）｝
＝｛２５６／１．２９｝×｛１９２／１．２９｝
＝４９×３７
となる。
【００８１】
同様に、Ｚｏｏｍ−Ｌｅｖｅｌ＝１２では、積分画像のサイズは、
｛２５６／１．２（Ｚｏｏｍ−Ｌｅｖｅｌ−１）｝×｛１９２／１．２（Ｚｏｏｍ−Ｌｅｖｅｌ−１）｝
＝｛２５６／１．２１１｝×｛１９２／１．２１１｝
＝３４×２５
となる。
【００８２】
このように、顔判定を行なう際に、Ｚｏｏｍ−Ｌｅｖｅｌ毎に判定対象の積分画像のサイズを変化させて、Ｓｃａｎ  ＷｉｎｄｏｗのサイズをＺｏｏｍ−Ｌｅｖｅｌによらず固定にすることで、本実施形態に係る画像処理部２０は、固定のＳｃａｎ  Ｗｉｎｄｏｗのサイズによるブースティングを可能にする。
【００８３】
またＺｏｏｍ−Ｌｅｖｅｌ毎に判定対象の積分画像のサイズを変化させて、Ｓｃａｎ  Ｗｉｎｄｏｗのインターバルを一定（例えば１ｐｉｘｅｌ分）の値として定義したことで、本実施形態に係る画像処理部２０は、メモリアクセスの簡易化を実現できる。
【００８４】
すなわち、Ｚｏｏｍ−Ｌｅｖｅｌ毎に判定対象の積分画像のサイズを変化させて、Ｓｃａｎ  Ｗｉｎｄｏｗのインターバルを一定とすることで、Ｓｃａｎ  Ｗｉｎｄｏｗのシフト時に新たに必要となるのはインターバル分の新規列のデータのみであり、シフト前に使用したデータを再利用することが出来る。
【００８５】
上記ステップＳ１０２において、縮小画像に対して積分画像を生成すると、続いて画像処理部２０は、積分画像に対する顔検出処理を実行する（ステップＳ１０３）。このステップＳ１０３の顔検出処理は、識別処理部２５が実行する。
【００８６】
本実施形態に係る画像処理部２０は、まずＺｏｏｍ−Ｌｅｖｅｌ＝１２における顔検出処理を実行する。また本実施形態に係る画像処理部２０は、Ｓｃａｎ  Ｗｉｎｄｏｗのサイズを、Ｚｏｏｍ−Ｌｅｖｅｌによらず、縦２０ピクセル×横２０ピクセルで一定とする。すなわち本実施形態に係る画像処理部２０は、まず横３４ピクセル×縦２５ピクセルの積分画像に対して顔検出処理を実行する。
【００８７】
上記ステップＳ１０３で積分画像に対する顔検出処理を実行すると、続いて画像処理部２０は、顔検出処理結果の並び替え、及びクラスタリング処理を逐次実行する（ステップＳ１０４）。顔検出処理結果の並び替えは、例えばリオーダー部２７が実行し、クラスタリング処理は、例えばクラスタリング部２８が実行する。
【００８８】
続いて画像処理部２０は、その認識対象の積分画像で、指定した閾値以上顔が検出されたかどうかを判定する（ステップＳ１０５）。このステップＳ１０５の判定処理は、識別処理部２５が実行してもよいし、クラスタリング部２８が実行してもよい。本実施形態に係る画像処理部２０は、処理の短縮のため、積分画像全体についてＳｃａｎ  Ｗｉｎｄｏｗを操作させるのでは無く、検出した回数が予め定めた閾値に達したら、その時点でその積分画像に対する顔検出処理を終了させる。
【００８９】
ステップＳ１０５の判定処理の結果、検出対象の積分画像で所定の閾値以上顔が検出されていなかったと判定された場合は（ステップＳ１０５、Ｎｏ）、続いて画像処理部２０は、顔判定しているＳｃａｎ  Ｗｉｎｄｏｗ（矩形枠）が、積分画像内の最終の位置であるかを判定する（ステップＳ１０６）。ステップＳ１０６の判定処理は、例えば識別処理部２５が実行してもよいし、クラスタリング部２８が実行してもよい。
【００９０】
一方、ステップＳ１０５の判定処理の結果、顔検出処理において顔が所定の閾値以上検出されていれば（ステップＳ１０５、Ｙｅｓ）、続いて画像処理部２０は、積分画像の変更を中止する（ステップＳ１１０）。このステップＳ１１０の判定処理は、例えば識別処理部２５が実行してもよいし、クラスタリング部２８が実行してもよい。
【００９１】
上記ステップＳ１０６の判定処理の結果、顔判定しているＳｃａｎ  Ｗｉｎｄｏｗが、積分画像内の最終の位置でないと判定された場合は（ステップＳ１０６、Ｎｏ）、続いて画像処理部２０は、Ｓｃａｎ  Ｗｉｎｄｏｗをシフトして新たなＳｃａｎ  Ｗｉｎｄｏｗ内に顔が存在するかの検出処理を行う（ステップＳ１０７）。
【００９２】
一方、上記ステップＳ１０６の判定処理の結果、顔判定しているＳｃａｎ  Ｗｉｎｄｏｗが、積分画像内の最終の位置であると判定された場合は、続いて画像処理部２０は、積分画像を大きく出来るか判定する（ステップＳ１０８）。
【００９３】
ステップＳ１０８の判定処理の結果、積分画像の縮小率をこれ以上大きく出来ないと判定した場合は（ステップＳ１０８、Ｎｏ）、画像処理部２０は、検出対象の積分画像では顔は認識できなかったとして処理を終了する。すなわち、Ｚｏｏｍ−Ｌｅｖｅｌ＝１までＺｏｏｍ−Ｌｅｖｅｌを小さくしても所定の閾値以上顔を検出できなかった場合は、画像処理部２０は、検出対象の積分画像では顔は検出できなかったとして処理を終了する。一方、ステップＳ１０８の判定処理の結果、積分画像の縮小率をこれ以上大きく出来ると判定した場合は（ステップＳ１０８、Ｙｅｓ）、続いて画像処理部２０は、積分画像の縮小率を大きくするように、換言すれば、Ｚｏｏｍ−Ｌｅｖｅｌを１段階小さくするよう変更する（ステップＳ１０９）。すなわち画像処理部２０は、検出対象の積分画像で顔が検出されたＳｃａｎ  Ｗｉｎｄｏｗ（矩形枠）が指定した閾値に達したと判定すると、Ｚｏｏｍ−Ｌｅｖｅｌを１段階小さくするように変更を行なう。このステップＳ１０９の処理は、例えば、識別処理部２５がフレームメモリ２２に対して、グレーイメージの縮小画像をリサンプリング部２３へ出力するよう指示することによって行われても良い。
【００９４】
例えば、Ｚｏｏｍ−Ｌｅｖｅｌ＝１２における顔検出処理を実行して、Ｚｏｏｍ−Ｌｅｖｅｌ＝１２における顔検出処理の実行の結果、顔が検出されたと判定されたＳｃａｎ  Ｗｉｎｄｏｗの総数（矩形枠総数）が指定した閾値に達していない場合、画像処理部２０は、続いてＺｏｏｍ−Ｌｅｖｅｌ＝１１における顔検出処理を実行する。すなわち、画像処理部２０は、Ｚｏｏｍ−Ｌｅｖｅｌ＝１２の場合より一段階拡大された積分画像に対する顔検出処理である、Ｚｏｏｍ−Ｌｅｖｅｌ＝１１における顔検出処理を実行する。
【００９５】
画像処理部２０は、認識対象の積分画像で顔が検出されたＳｃａｎ  Ｗｉｎｄｏｗの総数が指定した閾値に達するまでＺｏｏｍ−Ｌｅｖｅｌを小さく変化させて顔検出処理を実行する。図８は、本実施形態に係る画像処理部２０の顔検出処理を説明するための説明図である。図８は、本実施形態に係る画像処理部２０が、積分画像に対するスキャニング（Ｓｃａｎｎｉｎｇ）によって顔検出処理を行なうことを示している。また図８は、Ｚｏｏｍ−Ｌｅｖｅｌ毎に判定対象の積分画像のサイズを変化させることを示している。
【００９６】
本実施形態に係る画像処理部２０は、Ｚｏｏｍ−Ｌｅｖｅｌ＝１２における顔検出処理を実行して、その後、検出対象の積分画像で顔が検出されたＳｃａｎ  Ｗｉｎｄｏｗの総数が指定した閾値以上になるまでＺｏｏｍ−Ｌｅｖｅｌ＝１１，１０，・・・とＺｏｏｍ−Ｌｅｖｅｌを下げていく。また本実施形態に係る画像処理部２０は、Ｚｏｏｍ−Ｌｅｖｅｌ＝１１，１０，・・・とＺｏｏｍ−Ｌｅｖｅｌを下げていくに伴い、積分画像のサイズを徐々に大きくしていく。そして図８に示したように、本実施形態に係る画像処理部２０は、Ｓｃａｎ  Ｗｉｎｄｏｗのサイズを、Ｚｏｏｍ−Ｌｅｖｅｌによらず、縦２０ピクセル×横２０ピクセルで一定としている。
【００９７】
本実施形態では、画像処理部２０は、並列処理によって顔検出処理を実行する。Ｚｏｏｍ−Ｌｅｖｅｌが大きい方から顔検出処理を実行することで、Ｚｏｏｍ−Ｌｅｖｅｌが小さい場合に要する膨大な計算量を回避することが出来ても、Ｚｏｏｍ−Ｌｅｖｅｌの変更による処理のループは依然として存在する。
【００９８】
図９〜図１１は、並列処理によって顔検出処理を実行する様子の例を示す説明図である。図９は、積分画像の左上からＳｃａｎ  Ｗｉｎｄｏｗを走査させる様子を示す説明図である。図９のように走査させる手法をＳｌｉｄｉｎｇ  Ｗｉｎｄｏｗ手法とも称する。そして図１０、図１１は、並列処理によって顔検出処理を実行する際の処理時間の例を示す説明図である。
【００９９】
図９に示したように積分画像の左上からＳｃａｎ  Ｗｉｎｄｏｗを走査させ、各プロセッサで顔検出処理を順次実行させる場合、図１０や図１１に示したように、顔検出処理に要する時間は積分画像の位置によって異なる。そして、場合によっては、図１０に示したように、８番目のＳｃａｎ  Ｗｉｎｄｏｗの処理が完了した時点で、５番のＳｃａｎ  Ｗｉｎｄｏｗの処理が完了しない場合もあり得る。
【０１００】
すなわち、１つのＳｃａｎ  Ｗｉｎｄｏｗあたりの処理数は、顔でないと判断されたＳｔａｇｅで中断されるので、異なることが十分想定される。従って、図１０に示したように順番の追い越し（Ｏｖｅｒｔａｋｅ）が発生する。追い越しとは、すなわち図１０の例では、８番目のＳｃａｎ  Ｗｉｎｄｏｗの結果が５番目の結果を追い越して結果を出力することをいう。
【０１０１】
また図１１に示した例では、２２番目のＳｃａｎ  Ｗｉｎｄｏｗの結果が１９番目の結果を追い越して結果を出力している。また図１１に示した例のように、場合によっては追い越しそのものが出来なくなる（Ｃａｎｎｏｔ  Ｏｖｅｒｔａｋｅ）場合も発生しうる。
【０１０２】
本実施形態では、最終的に顔検出処理の結果として出力される顔は１つのみであればよい。複数の顔が検出される場合、追い越しが生じていると、シリアル処理した場合と並列処理した場合とで、最終的に選択される顔領域座標が異なる可能性があり、並列処理の場合の顔検出処理の結果の信頼性が損なわれる。従って、シリアル処理した場合と並列処理した場合とで同じように顔検出処理の結果が出力されることが求められる。
【０１０３】
そこで本実施形態では、アダブースティングを４並列で実行している場合、上述したように最大３個の追い越しが発生することがあることを考慮し、アダブースティングでの顔判定された結果を、リオーダー部２７で３つまで保存しておき、スキャン順に並び替える処理を実行する。
【０１０４】
図１２は、並列処理の結果を並び替える（リオーダーする）処理を示す説明図である。図１２に示したように、アダブースティングでの顔判定された結果を、リオーダー部２７で３つまで保存しておき、スキャン順に並び替えることで、本実施形態に係る画像処理部２０は、シリアル処理した場合と並列処理した場合とで同じように顔検出処理の結果を出力することができる。
【０１０５】
上記ステップＳ１１０で、積分画像の変更を中止すると、続いて画像処理部２０は、顔検出処理の結果を出力する（ステップＳ１１１）。顔検出処理の結果は、例えばクラスタリング部２８から出力される。顔検出処理の結果として出力される情報は、例えば最も大きな顔として検出した領域の左上座標、幅、高さが含まれ得る。
【０１０６】
本発明の一実施形態に係る画像処理部２０は、図３に示した一連の動作を実行することで、撮像画像に対する顔検出処理を効率的に実行し、撮像画像の中から一番大きく映っている顔を簡易な構成によって短時間で検出することができる。
【０１０７】
なお本実施形態ではアダブースティングでの顔判定処理を４並列で行ったが、アダブースティングでの顔判定処理の並列数は係る例に限定されるものではない。またアダブースティングでの顔判定処理の結果を並び替える場合、リオーダー部２７でのバッファはアダブースティングでの顔判定処理の並列数に応じて適切に設定され得ることは言うまでもない。
【０１０８】
＜２．まとめ＞
以上説明したように本発明の一実施形態によれば、撮像画像に対する顔検出処理を効率的に実行し、撮像画像の中から一番大きく映っている顔を簡易な構成によって短時間で検出することができる画像処理部２０，及び画像処理部２０を備えた表示装置１が提供される。
【０１０９】
本発明の一実施形態に係る画像処理部２０は、莫大な計算量を要するＨａａｒ−Ｌｉｋｅ特徴量を用いたアダブースティングによる顔検出アルゴリズムをベースとして、顔検出処理を実行する。
【０１１０】
本発明の一実施形態に係る画像処理部２０は、撮像画像に含まれている顔の内、最も大きな顔を検出するという用途を満たすための顔検出処理を実行するが、画像処理部２０は、処理順序を見なおして、莫大な時間を要する処理が後回しになるように処理順序を改善することで、低いハードウェアコストでありながら高い精度で顔検出を実現することが出来る。
【０１１１】
そして本発明の一実施形態に係る画像処理部２０が、低いハードウェアコストでありながら高い精度で顔検出を実現することで、本発明の一実施形態に係る表示装置１は、撮像装置１０で撮像された画像に含まれる顔の状況に応じた処理を、低いハードウェアコストで実現することが可能となる。例えば、本発明の一実施形態に係る表示装置１は、撮像装置１０で撮像された画像における、最も大きく写っている顔を検出し、その顔の大きさに基づいて、表示パネル４０に表示する画像に対する様々な処理を行なうことが出来る。本発明の一実施形態に係る表示装置１は、表示パネル４０に表示する画像に対する処理として、例えば表示パネル４０に表示する画像の明るさの変更、表示パネル４０が液晶ディスプレイパネルであればバックライトの明るさの変更、表示パネル４０が立体視可能な画像を表示出来るパネルであれば、その立体視の際の視差の変更などを行なうことが出来る。
【０１１２】
なお本発明の一実施形態に係る表示装置１は、撮像装置１０で撮像された画像における、最も大きく写っている顔を検出し、その顔の大きさに基づいて、表示パネル４０に表示する画像に対する処理ではなく、例えばスピーカから出力する音の大きさを変更しても良い。例えば、撮像装置１０で撮像された画像から、人が表示装置１に近づいていれば音量を小さくし、人が表示装置１から遠い位置にいれば音量を大きくしてもよい。
【０１１３】
また、本発明の一実施形態に係る画像処理部２０がテレビ会議システムに組み込まれても良い。例えば、画像処理部２０が、撮像画像に含まれている顔の内、最も大きな顔を検出すると、テレビ会議システムは、その顔の方向にマイクロホン（ｍｉｃｒｏｐｈｏｎｅ）の指向性を変えるようにしてもよい。
【０１１４】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１１５】
１    ：表示装置
１０  ：撮像装置
２０  ：画像処理部
２１  ：輝度成分縮小部
２２  ：フレームメモリ
２３  ：リサンプリング部
２４  ：バッファ部
２５  ：識別処理部
２６  ：学習データ記憶部
２７  ：リオーダー部
２８  ：クラスタリング部
３０  ：表示処理部
４０  ：表示パネル
【図１】
2016192194.tif 000007
【図２】
2016192194.tif 000008
【図３】
2016192194.tif 000009
【図５】
2016192194.tif 000010
【図６】
2016192194.tif 000011
【図７】
2016192194.tif 000012
【図８】
2016192194.tif 000013
【図９】
2016192194.tif 000014
【図１０】
2016192194.tif 000015
【図１１】
2016192194.tif 000016
【図１２】
2016192194.tif 000017
【図４】
2016192194.tif 000018