(57)【要約】【課題】顔の未検出を減少させること。【解決手段】画像中の顔領域を探索して、顔領域の位置と大きさを検出する際、まず、処理対象画像中から顔の部品を探索して顔検出を行い（ステップＳＴ１０１）、それによって検出した顔を含む顔候補領域をテンプレートとしてテンプレートマッチングを行うことで（ステップＳＴ１０４）、上記検出した顔以外の領域の顔探索を行う。【選択図】図２
2006227995.tif 000002
【特許請求の範囲】
【請求項１】
画像中の顔領域を探索して、顔領域の位置と大きさを検出する顔検出方法であって、
処理対象画像中から顔の部品を探索して顔検出を行う第１の顔検出工程と、
上記第１の顔検出工程で検出した顔を含む顔候補領域の情報を用いて、上記第１の顔検出工程で検出した顔以外の領域の顔探索を行う第２の顔検出工程と、
からなることを特徴とする顔検出方法。
【請求項２】
上記顔候補領域の情報は、顔候補領域の色もしくはサイズであることを特徴とする請求項１に記載の顔検出方法。
【請求項３】
上記第２の顔検出工程は、上記第１の顔検出工程で対象とした上記処理対象画像以外の画像であって、且つ、上記処理対象画像に類似する特徴量を持つ画像としてグルーピングされた画像に対して行われることを特徴とする請求項１に記載の顔検出方法。
【請求項４】
複数の画像を上記特徴量に基づいて類似した画像どうしにグルーピングする類似画像分類工程を更に含むことを特徴とする請求項３に記載の顔検出方法。
【請求項５】
上記特徴量は、色もしくはテクスチャであることを特徴とする請求項３に記載の顔検出方法。
【請求項６】
画像中の顔領域を探索して、顔領域の位置と大きさを検出する顔検出装置であって、
処理対象画像中から顔の部品を探索して顔検出を行う第１の顔検出手段と、
上記第１の顔検出手段で検出した顔を含む顔候補領域の情報を用いて、上記第１の顔検出手段で検出した顔以外の領域の顔探索を行う第２の顔検出手段と、
を具備することを特徴とする顔検出装置。
【請求項７】
上記第２の顔検出手段は、上記第１の顔検出手段で対象とした上記処理対象画像以外の画像であって、且つ、上記処理対象画像に類似する特徴量を持つ画像としてグルーピングされた画像に対して、上記顔探索を行うことを特徴とする請求項６に記載の顔検出装置。
【請求項８】
コンピュータに、画像中の顔領域を探索して、顔領域の位置と大きさを検出する機能を実現させるプログラムであって、
処理対象画像中から顔の部品を探索して顔検出を行う第１の顔検出機能と、
上記第１の顔検出機能で検出した顔を含む顔候補領域の情報を用いて、上記第１の顔検出機能で検出した顔以外の領域の顔探索を行う第２の顔検出機能と、
を実現させるものであることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の顔領域を探索して、顔領域の位置と大きさを検出する顔検出方法及び顔検出装置、並びに、コンピュータをそのような顔検出装置として機能させるプログラムに関する。
【背景技術】
【０００２】
特許文献１には、顔形状モデルを顔確率と比較し、第１のアルゴリズムで画像データを予めスクリーニングし、パターンマッチングにより第２のアルゴリズムで顔候補領域に演算を行って、検出精度を高める顔検出方法が開示されている。これは、例えば、肌モデルと毛髪モデルを用いて顔候補領域をラフにスクリーニングして、次に、パターンマッチングにより、顔候補領域を抽出するという手順である。
【特許文献１】特開２００１−３０９２２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記特許文献１に開示の方法は、異なる２種類のアルゴリズムを顔検出に適用するのは、良い試みではあるが、顔の候補領域を種々の条件によって、徐々に絞り込んでいくのは、ごくありふれた手法でもある。従って、肌色や毛髪の条件に適合しないような顔については、検出漏れが発生することは避けられない。
【０００４】
また、一方で、目や口等の顔のパーツの特徴をそれぞれ探索し、それらの条件を絞り込むことによって、顔を検出する方法が知られている。この方法だと、例えば、髪の毛等によって、片目が隠れていたりすると、顔を検出できないという課題がある。
【０００５】
本発明は、上記の点に鑑みてなされたもので、顔の未検出を減少させることが可能な顔検出方法、顔検出装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の顔検出方法の一態様は、画像中の顔領域を探索して、顔領域の位置と大きさを検出する顔検出方法であって、
処理対象画像中から顔の部品を探索して顔検出を行う第１の顔検出工程と、
上記第１の顔検出工程で検出した顔を含む顔候補領域の情報を用いて、上記第１の顔検出工程で検出した顔以外の領域の顔探索を行う第２の顔検出工程と、
からなることを特徴とする。
【０００７】
また、本発明の顔検出装置の一態様は、画像中の顔領域を探索して、顔領域の位置と大きさを検出する顔検出装置であって、
処理対象画像中から顔の部品を探索して顔検出を行う第１の顔検出手段と、
上記第１の顔検出手段で検出した顔を含む顔候補領域の情報を用いて、上記第１の顔検出手段で検出した顔以外の領域の顔探索を行う第２の顔検出手段と、
を具備することを特徴とする。
【０００８】
また、本発明のプログラムの一態様は、コンピュータに、画像中の顔領域を探索して、顔領域の位置と大きさを検出する機能を実現させるプログラムであって、
処理対象画像中から顔の部品を探索して顔検出を行う第１の顔検出機能と、
上記第１の顔検出機能で検出した顔を含む顔候補領域の情報を用いて、上記第１の顔検出機能で検出した顔以外の領域の顔探索を行う第２の顔検出機能と、
を実現させるものであることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、顔の未検出を減少させることが可能な顔検出方法、顔検出装置及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００１１】
［第１実施形態］
図１（Ａ）は、本発明の第１実施形態に係る顔検出装置の構成を示す図である。この顔検出装置は、演算装置１０、表示装置２０、キーボード等の入力装置３０、マウス等の指示装置４０、及び複数の画像が登録された画像データベース５０、及び該画像データベース５０に登録された各画像の特徴量が保存される特徴量データベース６０からなる。
【００１２】
ここで、上記演算装置１０は、例えばパーソナルコンピュータで構成され、不図示のハードディスクにインスートルされた顔検出のための処理プログラムを実行することで、画像中の顔領域を探索して、顔領域の位置と大きさを検出する機能を果たす。
【００１３】
図２は、演算装置１０で実行される処理プログラムのフローチャートを示している。即ち、画像データベース５０に登録された複数の画像の中からユーザが入力装置３０や指示装置４０を操作して選択し表示装置２０に表示された選択画像に対して、目や口等の顔の部品を探索して、図３（Ａ）に示すように、顔の構成要素の条件を満足した領域を顔候補領域１００として検出する（ステップＳＴ１０１）。この検出方法については、例えば、特開平７−３１１８３３号公報に詳しく説明されているので、ここでは省略する。この検出された顔候補領域１００の位置と大きさは、演算装置１０内の図示しないメモリに保存される（ステップＳＴ１０２）。
【００１４】
次に、上記検出した顔候補領域１００内の画像をテンプレートとして（ステップＳＴ１０３）、図３（Ｂ）に示すように、同一選択画像内の他領域１０２中の顔を、テンプレートマッチングによって検出する（ステップＳＴ１０４）。そして、新たに検出した顔の位置と大きさを上記メモリに保存する（ステップＳＴ１０５）。
【００１５】
なお、この際、信頼度あるいは確信度のパラメータを利用して、それが高い値となる顔候補領域１００だけをテンプレートとして利用する方が好ましい。また、顔領域のサイズは、それほど違わない場合が多いことを仮定し、例えば、テンプレートの大きさは、半分から２倍までの大きさに範囲を限定して探索しても良い。
【００１６】
上述の手順を踏むことによって、顔部品の探索による顔検出方法では検出できないような、片目だけ写っている顔画像等も検出することが可能となる。
【００１７】
即ち、複数の人物を一堂に会して撮影する場合、顔の大きさが、同程度に写るように構図決めすることが多い。従って、顔検出に成功した１つの顔領域のサイズ情報を利用して、他の顔を大きさが同程度としてサーチすれば、顔検出率を向上することができる。
【００１８】
このような本第１実施形態によれば、例えば両目を探索するタイプの顔検出アルゴリズムを用いることによって検出した顔領域をテンプレートとして、画像を再サーチすることにより、両目を探索するタイプの顔検出アルゴリズムでは検出できないような顔を検出することが可能となり、顔の未検出を減らすことができる。
【００１９】
［第２実施形態］
図１（Ｂ）は、本発明の第２実施形態に係る顔検出装置の構成を示す図である。本実施形態においては、上記第１実施形態の構成に加えて、画像データベース５０に登録された各画像の特徴量が保存される特徴量データベース６０を備えている。
【００２０】
図４は、演算装置１０で実行される処理プログラムのフローチャートを示している。即ち、まず、特徴量データベース６０に保存された色やテクスチャ等の特徴を用いて、画像データベース５０に登録された画像群を類似画像に分類する（ステップＳＴ２０１）。この分類工程については、特開２００３−３３０９４１号公報に詳しく説明されているので、ここでは割愛する。
【００２１】
次に、画像データベース５０に登録された複数の画像の中からユーザが入力装置３０や指示装置４０を操作して選択し表示装置２０に表示された選択画像に対して、目や口の部品を探索して、図５（Ａ）に示すように、それらの条件を満足するような領域を顔候補領域１００として検出する。この検出方法については、例えば特開平７−３１１８３３号公報に詳しく説明されているので、ここでは省略する。この検出された顔候補領域１００の位置と大きさは、演算装置１０内の図示しないメモリに保存される（ステップＳＴ２０３）。
【００２２】
こうして、検出した顔候補領域１００の色もしくはサイズ等の特徴量の情報を用いて、画像データベース５０に登録された画像の内、上記ステップＳＴ２０１で同一グループにグルーピングされた、当該選択画像２００に類似する画像の他の領域をサーチする。例えば、検出した顔候補領域１００をそのままテンプレートとして用いて（ステップＳＴ２０４）、テンプレートマッチングを実行しても良い（ステップＳＴ２０５）。そして、新たに検出した顔の位置と大きさを上記メモリに保存する（ステップＳＴ２０６）。
【００２３】
なおこの場合、色情報を用いているが、サイズに関しては、検出した顔と同程度の大きさをサーチするようにしておいても良いし、大小いろいろなサイズをサーチしても良い。
【００２４】
これによって、例えば、図５（Ｂ）に示すように目に髪がかかっている顔を含む画像２０２や、両目が写っていないような横向きの顔を含む画像なども、検出することが可能となる。
【００２５】
即ち、本実施形態では、画像における顔の肌色情報等の特徴量を抽出し、それを他の顔の探索に利用する。従って、例えば、画像全体が、青っぽく写ってしまった場合の肌色等、その画像に特有な肌色情報を利用して、再サーチすることによって、顔の未検出を減らすことができる。
【００２６】
また、顔検出結果の領域をテンプレートとして、類似画像分類で同一グループに分類された画像の他の顔をサーチする。従って、色やテクスチャ等の特徴が、類似しているとして同一グループに分類された画像に、その中で検出された顔候補領域をテンプレートとして、それ以外の他の領域を探索することにより、１枚の画像だけでは検出できなかった顔を検出できるようになり、顔の未検出を減らすことができる。
【００２７】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００２８】
例えば、第１実施形態においても、第２実施形態と同様、顔候補領域１００の色を用いて他の顔を再サーチするようにしても良い。
【００２９】
また、上記第２実施形態では、顔検出の際に類似画像のグルーピングを実行するようにしているが、予めグルーピングされていても構わない。即ち、グルーピングされていない場合だけ、上記ステップＳＴ２０１を実行すれば良い。
【００３０】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【００３１】
（１）  画像中の顔領域を探索して、顔領域の位置と大きさを検出する顔検出方法であって、
処理対象画像中から顔の部品を探索して顔検出を行う第１の顔検出工程と、
上記第１の顔検出工程で検出した顔を含む顔候補領域の情報を用いて、上記第１の顔検出工程で検出した顔以外の領域の顔探索を行う第２の顔検出工程と、
からなることを特徴とする顔検出方法。
【００３２】
（対応する実施形態）
この（１）に記載の顔検出方法に関する実施形態は、第１及び第２実施形態が対応する。
【００３３】
（作用効果）
この（１）に記載の顔検出方法によれば、第２の顔検出工程において、例えば両目を探索するタイプの顔検出アルゴリズムを用いた第１の顔検出工程によって検出した顔領域をテンプレートとして、画像を再サーチすることにより、第１の顔検出工程では検出できないような顔を検出することが可能となり、顔の未検出を減らすことができる。
【００３４】
（２）  上記顔候補領域の情報は、顔候補領域の色もしくはサイズであることを特徴とする（１）に記載の顔検出方法。
【００３５】
（対応する実施形態）
この（２）に記載の顔検出方法に関する実施形態は、第１及び第２実施形態が対応する。
【００３６】
（作用効果）
この（２）に記載の顔検出方法によれば、複数の人物を一堂に会して撮影する場合、顔の大きさが、同程度に写るように構図決めすることが多いので、顔検出に成功した１つの顔領域のサイズ情報を利用して、他の顔を大きさが同程度としてサーチすれば、顔検出率を向上することができる。
【００３７】
また、画像における顔の肌色情報等の色を他の顔の探索に利用すれば、例えば、画像全体が、青っぽく写ってしまった場合の肌色等、その画像に特有な肌色情報を利用して、再サーチすることによって、顔の未検出を減らすことができる。
【００３８】
（３）  上記第２の顔検出工程は、上記第１の顔検出工程で対象とした上記処理対象画像以外の画像であって、且つ、上記処理対象画像に類似する特徴量を持つ画像としてグルーピングされた画像に対して行われることを特徴とする（１）に記載の顔検出方法。
【００３９】
（対応する実施形態）
この（３）に記載の顔検出方法に関する実施形態は、第２実施形態が対応する。
【００４０】
（作用効果）
この（３）に記載の顔検出方法によれば、第１の顔検出工程での顔検出結果の領域をテンプレートとして、類似画像分類で同一グループに分類された画像の他の顔をサーチすることによって、１枚の画像だけでは検出できなかった顔を検出できるようになり、顔の未検出を減らすことができる。
【００４１】
（４）  複数の画像を上記特徴量に基づいて類似した画像どうしにグルーピングする類似画像分類工程を更に含むことを特徴とする（３）に記載の顔検出方法。
【００４２】
（対応する実施形態）
この（４）に記載の顔検出方法に関する実施形態は、第２実施形態が対応する。
【００４３】
（作用効果）
この（４）に記載の顔検出方法によれば、グルーピングされていない画像に対しても、上記（３）と同様の方法により、同様の効果が得られるようになる。
【００４４】
（５）  上記特徴量は、色もしくはテクスチャであることを特徴とする（３）に記載の顔検出方法。
【００４５】
（対応する実施形態）
この（５）に記載の顔検出方法に関する実施形態は、第２実施形態が対応する。
【００４６】
（作用効果）
この（５）に記載の顔検出方法によれば、顔の特徴を良く表す色もしくはテクスチャを特徴量とするので、顔を検出するのに適している。
【００４７】
（６）  画像中の顔領域を探索して、顔領域の位置と大きさを検出する顔検出装置であって、
処理対象画像中から顔の部品を探索して顔検出を行う第１の顔検出手段と、
上記第１の顔検出手段で検出した顔を含む顔候補領域の情報を用いて、上記第１の顔検出手段で検出した顔以外の領域の顔探索を行う第２の顔検出手段と、
を具備することを特徴とする顔検出装置。
【００４８】
（対応する実施形態）
この（６）に記載の顔検出装置に関する実施形態は、第１及び第２実施形態が対応する。それらの実施形態において、上記第１及び第２の顔検出手段は、演算装置１０に相当する。
【００４９】
（作用効果）
この（６）に記載の顔検出装置によれば、例えば両目を探索するタイプの顔検出アルゴリズムを用いて検出した顔領域をテンプレートとして、画像を再サーチすることにより、上記顔検出アルゴリズムでは検出できないような顔を検出することが可能となり、顔の未検出を減らすことができる。
【００５０】
（７）  上記第２の顔検出手段は、上記第１の顔検出手段で対象とした上記処理対象画像以外の画像であって、且つ、上記処理対象画像に類似する特徴量を持つ画像としてグルーピングされた画像に対して、上記顔探索を行うことを特徴とする（６）に記載の顔検出装置。
【００５１】
（対応する実施形態）
この（７）に記載の顔検出装置に関する実施形態は、第２実施形態が対応する。
【００５２】
（作用効果）
この（７）に記載の顔検出装置によれば、顔検出アルゴリズムを用いた顔検出結果の領域をテンプレートとして、類似画像分類で同一グループに分類された画像の他の顔をサーチすることによって、１枚の画像だけでは検出できなかった顔を検出できるようになり、顔の未検出を減らすことができる。
【００５３】
（８）  コンピュータに、画像中の顔領域を探索して、顔領域の位置と大きさを検出する機能を実現させるプログラムであって、
処理対象画像中から顔の部品を探索して顔検出を行う第１の顔検出機能と、
上記第１の顔検出機能で検出した顔を含む顔候補領域の情報を用いて、上記第１の顔検出機能で検出した顔以外の領域の顔探索を行う第２の顔検出機能と、
を実現させるものであることを特徴とするプログラム。
【００５４】
（対応する実施形態）
この（８）に記載のプログラムに関する実施形態は、第１及び第２実施形態が対応する。
【００５５】
（作用効果）
この（８）に記載のプログラムによれば、例えば両目を探索するタイプの顔検出アルゴリズムを用いて検出した顔領域をテンプレートとして、画像を再サーチすることにより、上記顔検出アルゴリズムでは検出できないような顔を検出することが可能となり、顔の未検出を減らすことができる。
【図面の簡単な説明】
【００５６】
【図１】図１（Ａ）は、本発明の第１実施形態に係る顔検出装置の構成を示す図であり、図１（Ｂ）は、本発明の第２実施形態に係る顔検出装置の構成を示す図である。
【図２】図２は、第１実施形態における演算装置で実行される処理プログラムのフローチャートを示す図である。
【図３】図３は、第１実施形態での顔検出結果を説明するための図である。
【図４】図４は、第２実施形態における演算装置で実行される処理プログラムのフローチャートを示す図である。
【図５】図５は、第２実施形態での顔検出結果を説明するための図である。
【符号の説明】
【００５７】
１０…演算装置、  ２０…表示装置、  ３０…入力装置、  ４０…指示装置、  ５０…画像データベース、  ６０…特徴量データベース、  １００…顔候補領域、  １０２…他領域、  ２００…選択画像、  ２０２…目に髪がかかっている顔を含む画像。
【図１】
2006227995.tif 000003
【図２】
2006227995.tif 000004
【図３】
2006227995.tif 000005
【図４】
2006227995.tif 000006
【図５】
2006227995.tif 000007