(57)【要約】【課題】顔検出の高速性及び正確性を向上する。【解決手段】コンピュータ１２は、ビデオカメラ１１からの画像の取得を行う。コンピュータ１２は、撮像された画像の領域の一部が設定された肌色領域基準を満たしているか否かを判定する。画像の領域の一部が肌色領域基準を満たしているとの判定がなされた場合、コンピュータ１２は、前記領域の一部を含む探索領域を設定する。画像の領域の一部が肌色領域基準を満たしていないとの判定がなされた場合、又は、前記探索領域内に顔領域が存在しないとの判定がなされた場合、コンピュータ１２は、前記画像に動的領域が含まれているか否かを判定する。前記画像に動的領域が含まれているとの判定がなされた場合、コンピュータ１２は、動的領域を含む補助探索領域を設定する。コンピュータ１２は、設定された探索領域内又は補助探索領域内に顔領域が存在するか否かをパターンマッチングを用いて判定する。【選択図】      図１
2004206665.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータが実行する顔検出方法であって、当該コンピュータが
顔を撮像するための撮像ステップと、
撮像された画像の領域の一部が設定された肌色領域基準を満たしているとの充足判定と、前記領域の一部が前記肌色領域基準を満たしていないとの非充足判定とのいずれかの判定を行う第１の判定ステップと、
前記充足判定がなされた場合、前記肌色領域基準を満たす前記画像の領域の一部を含む探索領域を設定する探索領域設定ステップと、
設定された前記探索領域内に顔領域が存在するか否かをパターンマッチングを用いて判定する第２の判定ステップと、
前記非充足判定がなされた場合、又は、前記探索領域内に顔領域が存在しないとの判定がなされた場合、前記画像に動的領域が含まれているか否かを判定する補助判定ステップと、
前記画像に動的領域が含まれているとの判定がなされた場合には、前記動的領域を含む補助探索領域を設定する補助探索領域設定ステップと、
設定された前記補助探索領域内に顔領域が存在するか否かをパターンマッチングを用いて判定する第３の判定ステップとを実行することを特徴とする顔検出方法。
【請求項２】
設定された前記探索領域内、又は設定された前記補助探索領域内に顔領域が存在するとの判定がなされた場合、前記顔領域における色データに基づいて前記肌色領域基準を再設定する再設定ステップを含む請求項１に記載の顔検出方法。
【請求項３】
前記再設定ステップは、所定の条件に応じて前記肌色領域基準の再設定を異なるものとすることを特徴とする請求項２に記載の顔検出方法。
【請求項４】
前記再設定ステップは、顔領域が存在すると判定がなされたのが前記探索領域か前記補助探索領域かを判断する検出領域判断ステップの判断に基づいて、顔領域が前記探索領域で存在すると判定された場合と、顔領域が前記補助探索領域で存在すると判定された場合とで前記肌色領域基準の再設定を異なるものとすることを特徴とする請求項３に記載の顔検出方法。
【請求項５】
前記再設定ステップは、前記補助探索領域において顔領域が存在すると判定された場合に、検出された動的領域の割合が所定の閾値以上か、所定の閾値未満かを判断する動的領域割合判断ステップの判断に基づいて、検出された動的領域の割合が所定の閾値以上の場合と、所定の閾値未満の場合とで、前記肌色領域基準の再設定を異なるものとすることを特徴とする請求項４に記載の顔検出方法。
【請求項６】
前記再設定ステップは、前記補助探索領域において顔領域が存在する判定された場合に、検出された動的領域の割合が所定の閾値未満のときに、過去の顔領域が探索領域で検出された割合を判断する過去履歴判断ステップにより過去の顔領域が探索領域で検出された割合が所定の閾値以上の場合と、所定の閾値未満の場合とで、前記肌色領域基準の再設定を異なるものとすることを特徴とする請求項５に記載の顔検出方法。
【請求項７】
コンピュータを備えた顔検出装置であって、
当該コンピュータを、顔を撮像するための撮像手段と、
前記撮像手段によって撮像された画像の領域の一部が設定された肌色領域基準を満たしているとの充足判定と、前記領域の一部が前記肌色領域基準を満たしていないとの非充足判定とのいずれかの判定を行う第１の判定手段と、
前記第１の判定手段が前記充足判定を行った場合、前記肌色領域基準を満たす前記画像の領域の一部を含む探索領域を設定する探索領域設定手段と、
設定された前記探索領域内に顔領域が存在するか否かをパターンマッチングを用いて判定する第２の判定手段と、
前記第１の判定手段が前記非充足判定を行った場合、又は、設定された前記探索領域内に顔領域が存在しないとの判定が前記第２の判定手段によってなされた場合、前記画像に動的領域が含まれているか否かを判定する補助判定手段と、
前記画像に動的領域が含まれているとの判定を前記補助判定手段が行った場合には、前記動的領域を含む補助探索領域を設定する補助探索領域設定手段と、
設定された前記補助探索領域内に顔領域が存在するか否かをパターンマッチングを用いて判定する第３の判定手段として機能させることを特徴とする顔検出装置。
【請求項８】
前記探索領域設定手段によって設定された前記探索領域内に顔領域が存在するとの判定が前記第２の判定手段によってなされた場合、又は、前記補助探索領域設定手段によって設定された前記補助探索領域内に顔領域が存在するとの判定が前記補助判定手段によってなされた場合、前記顔領域における色データに基づいて前記肌色領域基準を再設定する再設定手段を含む請求項７に記載の顔検出装置。
【請求項９】
前記再設定手段は、所定の条件に応じて前記肌色領域基準の再設定を異なるものとすることを特徴とする請求項８に記載の顔検出装置。
【請求項１０】
前記再設定手段は、顔領域が存在すると判定がなされたのが前記探索領域か前記補助探索領域かを判断する検出領域判断手段を備え、当該判断に基づいて、顔領域が前記探索領域で存在すると判定された場合と、顔領域が前記補助探索領域で存在すると判定された場合とで前記肌色領域基準の再設定を異なるものとすることを特徴とする請求項９に記載の顔検出装置。
【請求項１１】
前記再設定手段は、前記補助探索領域において顔領域が存在すると判定された場合に、検出された動的領域の割合が所定の閾値以上か、所定の閾値未満かを判断する動的領域割合判断手段の判断に基づいて、検出された動的領域の割合が所定の閾値以上の場合と、所定の閾値未満の場合とで、前記肌色領域基準の再設定を異なるものとすることを特徴とする請求項１０に記載の顔検出装置。
【請求項１２】
前記再設定手段は、前記補助探索領域において顔領域が存在する判定された場合に、検出された動的領域の割合が所定の閾値未満のときに、過去の顔領域が探索領域で検出された割合を判断する過去履歴判断手段により過去の顔領域が探索領域で検出された割合が所定の閾値以上の場合と、所定の閾値未満の場合とで、前記肌色領域基準の再設定を異なるものとすることを特徴とする請求項１１に記載の顔検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、顔検出方法及び顔検出装置に関するものである。
【０００２】
【従来の技術】
映像情報を用いた監視作業やマーケッティング調査では、画像内の人物を検出することが重要である。人物検出には非特許文献１に開示されるような色（肌色）を利用した顔検出の方法を用いることが考えられる。肌色を利用した顔検出の方法では、肌色によって検出された領域を顔領域として設定するため、基準となる肌色の範囲が適切に設定できていれば高速の顔検出が可能である。
【０００３】
又、人物検出には特許文献１に開示されるようなパターンマッチングを利用した顔検出の方法を用いることも考えられる。パターンマッチングでは、予め登録された顔パターンと、取得した画像とを照合することによって顔検出が行われる。
【０００４】
【非特許文献１】
本郷仁志、山本和彦，「動領域内の肌色推定による顔領域および顔部品抽出」，映像情報メディア学会誌，社団法人映像情報メディア学会，１９９８年１２月，第５２巻，第１２号，ｐ．  ８６−９３
【特許文献１】
特開平７−１４１５０６号
【０００５】
【発明が解決しようとする課題】
色を利用した顔検出では、肌とそれ以外の部分を判別するため、基準となる肌色の範囲を定めなければならない。ところが、画像内の肌の色は、カメラの露出、絞り等のカメラパラメータや、環境（明暗等）に応じて大きく変化する。そのため、基準となる肌色の範囲を固定的に設定することは難しく、適切な顔検出パラメータを環境の変化に応じて設定する必要がある。また、適切な顔検出パラメータを再設定しようとする場合でも、誤検出された肌色を基準に再設定すればかえって検出精度が低くなってしまうという問題もあった。
【０００６】
また、顔を検出するためには、顔以外の肌色に類似する色の物体を排除したり、手と顔との区別を行うなどの必要があるが、色だけによる検出では肌色に類似する色の物体を排除したり、手と顔との区別を行うことが難しいという問題があった。
【０００７】
一方、パターンマッチングを利用した顔検出では、形状により判断するため、環境の変化やカメラパラメータの変化の影響を受け難く、顔以外の肌色に類似するものを排除したり、手などと区別したりすることも比較的容易である。しかし、画像内の顔画像が多様な大きさや多様な位置に存在する可能性を考慮した場合には、画像を走査するための領域として種々の大きさのものを用意し、用意した種々の大きさの領域の各々を用いて画像を全走査する必要がある。そのため、パターンマッチングを利用した顔検出では、計算に時間が掛かり、顔検出の高速化が難しいという問題があった。
【０００８】
本発明の目的は、上記課題を解決するため、顔検出の高速性及び正確性のいずれをも向上させる顔検出方法及び装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、請求項１の発明は、コンピュータが実行する顔検出方法であって、当該コンピュータが、顔を撮像するための撮像ステップと、撮像された画像の領域の一部が設定された肌色領域基準を満たしているとの充足判定と、前記領域の一部が前記肌色領域基準を満たしていないとの非充足判定とのいずれかの判定を行う第１の判定ステップと、前記充足判定がなされた場合、前記肌色領域基準を満たす前記画像の領域の一部を含む探索領域を設定する探索領域設定ステップと、設定された前記探索領域内に顔領域が存在するか否かをパターンマッチングを用いて判定する第２の判定ステップと、前記非充足判定がなされた場合、又は、前記探索領域内に顔領域が存在しないとの判定がなされた場合、前記画像に動的領域が含まれているか否かを判定する補助判定ステップと、前記画像に動的領域が含まれているとの判定がなされた場合には、前記動的領域を含む補助探索領域を設定する補助探索領域設定ステップと、設定された前記補助探索領域内に顔領域が存在するか否かをパターンマッチングを用いて判定する第３の判定ステップとを実行する顔検出方法であることを特徴する。
【００１０】
請求項２の発明は、請求項１において、設定された前記探索領域内、又は設定された前記補助探索領域内に顔領域が存在するとの判定がなされた場合、前記顔領域における色データに基づいて前記肌色領域基準を再設定する再設定ステップを含むことを特徴とする。
【００１１】
請求項３の発明は、前記再設定ステップは、所定の条件に応じて前記肌色領域基準の再設定を異なるものとすることを特徴とする請求項２に記載の顔検出方法。
【００１２】
請求項４の発明は、請求項３に記載の顔検出方法の構成に加え、前記再設定ステップは、顔領域が存在すると判定がなされたのが前記探索領域か前記補助探索領域かを判断する検出領域判断ステップの判断に基づいて、顔領域が前記探索領域で存在すると判定された場合と、顔領域が前記補助探索領域で存在すると判定された場合とで前記肌色領域基準の再設定を異なるものとすることを特徴とする。
【００１３】
請求項５の発明は、請求項４に記載の顔検出方法の構成に加え、前記再設定ステップは、前記補助探索領域において顔領域が存在すると判定された場合に、検出された動的領域の割合が所定の閾値以上か、所定の閾値未満かを判断する動的領域割合判断ステップの判断に基づいて、検出された動的領域の割合が所定の閾値以上の場合と、所定の閾値未満の場合とで、前記肌色領域基準の再設定を異なるものとすることを特徴とする。
【００１４】
請求項６の発明は、前記再設定ステップは、請求項５に記載の顔検出方法の構成に加え、前記補助探索領域において顔領域が存在する判定された場合に、検出された動的領域の割合が所定の閾値未満のときに、過去の顔領域が探索領域で検出された割合を判断する過去履歴判断ステップにより過去の顔領域が探索領域で検出された割合が所定の閾値以上の場合と、所定の閾値未満の場合とで、前記肌色領域基準の再設定を異なるものとすることを特徴とする。
【００１５】
請求項７の発明は、コンピュータを備えた顔検出装置であって、当該コンピュータを顔を撮像するための撮像手段と、前記撮像手段によって撮像された画像の領域の一部が設定された肌色領域基準を満たしているとの充足判定と、前記領域の一部が前記肌色領域基準を満たしていないとの非充足判定とのいずれかの判定を行う第１の判定手段と、前記第１の判定手段が前記充足判定を行った場合、前記肌色領域基準を満たす前記画像の領域の一部を含む探索領域を設定する探索領域設定手段と、設定された前記探索領域内に顔領域が存在するか否かをパターンマッチングを用いて判定する第２の判定手段と、前記第１の判定手段が前記非充足判定を行った場合、又は、設定された前記探索領域内に顔領域が存在しないとの判定が前記第２の判定手段によってなされた場合、前記画像に動的領域が含まれているか否かを判定する補助判定手段と、前記画像に動的領域が含まれているとの判定を前記補助判定手段が行った場合には、前記動的領域を含む補助探索領域を設定する補助探索領域設定手段と、設定された前記補助探索領域内に顔領域が存在するか否かをパターンマッチングを用いて判定する第３の判定手段として機能させる顔検出装置であることを特徴とする。
【００１６】
請求項８の発明は、請求項３において、前記探索領域設定手段によって設定された前記探索領域内に顔領域が存在するとの判定が前記第２の判定手段によってなされた場合、又は、前記補助探索領域設定手段によって設定された前記補助探索領域内に顔領域が存在するとの判定が前記補助判定手段によってなされた場合、前記顔領域における色データに基づいて前記肌色領域基準を再設定する再設定手段を含むことを特徴とする。
【００１７】
請求項９の発明は、請求項８において、前記再設定手段は、所定の条件に応じて前記肌色領域基準の再設定を異なるものとする顔検出装置であることを特徴とする。
【００１８】
請求項１０の発明は、請求項９において、前記再設定手段は、顔領域が存在すると判定がなされたのが前記探索領域か前記補助探索領域かを判断する検出領域判断手段を備え、当該判断に基づいて、顔領域が前記探索領域で存在すると判定された場合と、顔領域が前記補助探索領域で存在すると判定された場合とで前記肌色領域基準の再設定を異なるものとする顔検出装置であることを特徴とする。
【００１９】
請求項１１の発明は、請求項１０において、前記再設定手段は、前記補助探索領域において顔領域が存在すると判定された場合に、検出された動的領域の割合が所定の閾値以上か、所定の閾値未満かを判断する動的領域割合判断手段の判断に基づいて、検出された動的領域の割合が所定の閾値以上の場合と、所定の閾値未満の場合とで、前記肌色領域基準の再設定を異なるものとする顔検出装置であることを特徴とする。
【００２０】
請求項１２の発明は、請求項１１において、前記再設定手段は、前記補助探索領域において顔領域が存在する判定された場合に、検出された動的領域の割合が所定の閾値未満のときに、過去の顔領域が探索領域で検出された割合を判断する過去履歴判断手段により過去の顔領域が探索領域で検出された割合が所定の閾値以上の場合と、所定の閾値未満の場合とで、前記肌色領域基準の再設定を異なるものとする顔検出装置であることを特徴とする。
【００２１】
（作用）請求項１及び請求項７の発明において、肌色領域基準は、例えば、基準となる肌色として設定された肌色有効範囲と、肌色有効範囲に含まれる肌色が或る大きさの領域内で所定割合以上の領域で存在するという存在割合との組み合わせデータである。あるいは、基準となる肌色として設定された肌色有効範囲のみを肌色領域基準としてもよい。取得した画像の領域の一部が肌色領域基準を満たしているとの判定がなされた場合、肌色領域基準によって特定される肌色領域を含む探索領域が設定される。取得した画像の領域の一部が肌色領域基準を満たしていないとの判定（非充足判定）がなされた場合、又は、前記探索領域内に顔領域が存在しないとの判定がなされた場合、前記画像に動的領域が含まれているか否かの判定が行われる。前記画像に動的領域が含まれているとの判定がなされた場合には、前記動的領域を含む補助探索領域が設定される。設定された探索領域又は設定された補助探索領域がパターンマッチングによる顔領域の探索の対象となる。
【００２２】
肌色領域基準を利用した肌色領域の特定は、設定された探索領域内に顔領域がある可能性を示唆する。画像の領域の一部が肌色領域基準を満たしていない場合にも、動的領域を利用して設定された補助探索領域は、その内部に顔領域がある可能性を示唆する。パターンマッチングによる顔領域の検出は、予め登録された顔パターンと、取得した画像とを照合して行うものである。環境の変化やカメラパラメータの変化の影響を受け難いパターンマッチングを用いた手法は、特定された肌色領域が実際に顔領域を含んでいるか否かを判定する上で好適な手法である。パターンマッチングを用いた手法で画像全体を探索しようとすると時間が掛かり、顔検出の高速化が難しい。色を利用した顔検出手法とパターンマッチングを用いた顔検出手法とを組み合わせた顔検出方法は、顔検出の高速性及び正確性を向上する。これらに動的領域を利用した顔検出手法をさらに組み合わせた顔検出方法は、顔検出の正確性をさらに向上する。
【００２３】
請求項２及び請求項８の発明において、肌色領域基準の再設定は、環境の変化やカメラパラメータの変化に対処する上で望ましい。
請求項３及び請求項９の発明において、肌色領域基準の再設定は、新たに検出された肌色の信頼性により、信頼できるデータの場合には書換えを大きくしたり、或いは誤検出と思われる場合には書換えを小さくするもので、より適切な肌色検出の精度を上げる上で望ましい。
【００２４】
請求項４及び請求項１０の発明において、肌色により検索範囲を設定した前記検索領域で顔検出が成功した場合には、データの信頼性が高いと判断できる。一方、動きで検索範囲を設定した前記補助検索領域で顔検出をした場合にはデータの信頼性が低いと判断できる。従って、肌色領域基準の再設定も顔検出がいずれでされたかにより異なるものとすることが望ましい。
【００２５】
請求項５及び請求項１１の発明において、動きにより検索範囲を設定した前記補助検索領域で顔検出をおこなった場合に、特定の閾値以上の割合で動的領域が存在する場合は、照明が大きく変化した、カメラが移動した、機器が故障したことも予測される。従って、このような場合には、新たな肌色領域基準で新たな環境に適応する必要があるため、肌色領域基準を迅速に入れ替えるような再設定とすることが望ましい。
【００２６】
請求項６及び請求項１２の発明において、顔領域が動きにより検索範囲を設定した補助検索領域で検出された場合であっても、過去の顔領域が肌色により設定した前記検索領域で所定の閾値以上検出された履歴がある場合は、現在の肌色領域基準は信頼でき、今回のデータの方が信頼性が低いとして検出されたデータの影響力を小さくするような再設定を行うことが望ましい。
【００２７】
【発明の実施の形態】
（第１の実施形態）以下、本発明を具体化した第１の実施形態を図１〜図６を参照して説明する。
【００２８】
図１（ａ）に示すように、顔検出装置１０は、撮像手段としてのビデオカメラ１１と、コンピュータ１２とからなる。ビデオカメラ１１は、ＣＣＤカメラである。ビデオカメラ１１で撮影された個々のフレーム（画像データ）は、カラー画像としてコンピュータ１２に入力されるようになっている。Ｍは、ビデオカメラ１１の撮影範囲にいる人である。Ｆは人Ｍの顔である。
【００２９】
図１（ｂ）は、コンピュータ１２の機能ブロック図である。画像取得手段１３は、ビデオカメラ１１からの画像の取得を行う。分割手段１４は、ビデオカメラ１１から得られた画像を複数の小領域に分割する。図２（ａ）は、取得した画像Ｇの例を示す。図２（ａ）におけるＦｏは、顔領域を表す。図２（ｂ）は、取得した画像を同形同大の複数の小領域に分割した分割画像を示す。図２（ｂ）における小領域は、縦横の線によって区画された方形の領域のことである。図示の例では、縦１０ラ横１２＝１２０個の小領域が区画されている。
【００３０】
第１の判定手段１５は、取得された画像の領域の一部が設定された肌色領域基準を満たしているか否かを判定する。つまり、第１の判定手段１５は、撮像手段であるビデオカメラ１１によって撮像された画像の領域の一部が設定された肌色領域基準を満たしているとの充足判定と、前記領域の一部が前記肌色領域基準を満たしていないとの非充足判定とのいずれかの判定を行う。本実施の形態における肌色領域基準は、小領域における画素のうち、図３（ａ），（ｂ）又は図４に示す肌色有効範囲に含まれる色の画素の数が予め設定された数（以下、しきい値Ｎ０と表す）以上の場合としている。つまり、肌色領域基準は、基準となる肌色として設定された肌色有効範囲と、この肌色有効範囲に含まれる肌色が或る大きさの領域内で所定割合以上の領域で存在するという存在割合との組み合わせデータである。肌色領域基準のデータは、記憶手段１６に記憶されている。本実施の形態では、色データは、ＲＧ空間の表色系を用いて表している。
【００３１】
図３（ａ）のグラフにおける曲線Ｅ１は、肌色に関するＲＧ値のうちのＲ値の度数分布を表し、図３（ｂ）のグラフにおける曲線Ｅ２は、肌色に関するＲＧ値のうちのＧ値の度数分布を表す。図３（ａ）の横軸は、Ｒ値を表し、縦軸は、蓄積された画素の数を表す。図３（ｂ）の横軸は、Ｇ値を表し、縦軸は、蓄積された画素の数を表す。例えば、Ｒ値がＲｘである画素の数は、１つの小領域内の全画素数（例えば、４０×４０＝１６００画素数）のうちのＮｘであるというように表される。
【００３２】
初期の度数分布曲線Ｅ１，Ｅ２は、正規分布曲線として設定されている。図３（ａ）に示すｍ１で表されるＲ値は、曲線Ｅ１に関するＲ値の平均値を表し、σ１は、曲線Ｅ１に関するＲ値の分散値を表す。図３（ｂ）に示すｍ２で表されるＧ値は、曲線Ｅ２に関するＧ値の平均値を表し、σ２は、曲線Ｅ２に関するＧ値の分散値を表す。図３（ａ），（ｂ）におけるｋは、予め設定された係数である。ｋは、例えば１である。
【００３３】
図４のグラフは、図３（ａ），（ｂ）の度数分布曲線Ｅ１，Ｅ２における平均値ｍ１，ｍ２及び分散値σ１，σ２を用いて設定した基準となる肌色有効範囲を表す。図４のグラフにおける横軸は、Ｇ値を表し、縦軸は、Ｒ値を表す。方形Ｈの領域は、肌色有効範囲を表す。方形Ｈの領域内における点Ｐは、Ｒ値の平均値ｍ１とＧ値の平均値ｍ２とによって特定されるＲＧ空間における平均値座標である。肌色有効範囲Ｈは、係数ｋを調整することによって変更できる。
【００３４】
探索領域設定手段１７は、取得された画像Ｇの領域の一部が肌色領域基準を満たしているとの判定が第１の判定手段１５によってなされた場合には、肌色領域基準によって特定される画像Ｇ内における肌色領域を含む探索領域を設定する。つまり、或る小領域が肌色小領域である場合、探索領域設定手段１７は、この肌色小領域に隣接する肌色ではない小領域と、肌色小領域とからなる探索領域を設定する。この探索領域は、記憶手段１６に一時的に記憶される。
【００３５】
第２の判定手段１８は、探索領域設定手段１７によって設定された探索領域内に顔領域が存在するか否かをパターンマッチングを用いて判定する。記憶手段１６には顔パターンが記憶されており、第２の判定手段１８は、この登録された顔パターンと、設定された探索領域内の画像とを照合する。
【００３６】
補助判定手段１９は、探索領域内に顔領域が存在しないとの判定を第２の判定手段１８が行った場合には、撮像された画像に動的小領域が含まれているか否かを判定する。本実施の形態では、補助判定手段１９は、取得された画像Ｇと、これより１つ前に取得された画像ｇ〔例えば、図２（ｂ）に示す鎖線図が画像ｇの一部を表す〕との同じ画素における輝度差に基づいて、動的小領域の有無を判定する。本実施の形態では、前記の輝度差が所定値以上となる画素の数が所定の数以上である小領域を動的小領域（動的領域）としている。輝度差が所定値以上となる画素の数が所定の数以上であるという動的小領域の基準データは、記憶手段１６に記憶されている。
【００３７】
補助探索領域設定手段２０は、取得された画像Ｇに動的小領域が含まれているとの判定を補助判定手段１９が行った場合には、動的小領域を含む補助探索領域を設定する。つまり、或る小領域が動的小領域である場合、補助探索領域設定手段２０は、この動的小領域に隣接する動的小領域ではない小領域と、動的小領域とからなる補助探索領域を設定する。この補助探索領域は、記憶手段１６に一時的に記憶される。
【００３８】
第３の判定手段２１は、設定された補助探索領域内に顔領域が存在するか否かをパターンマッチングを用いて判定する。
再設定手段２２は、設定された探索領域内又は補助探索領域内に顔領域が存在するとの判定を第２の判定手段１８が行った場合には、顔領域における色データに基づいて肌色領域基準の一部である肌色有効範囲を再設定する。つまり、再設定手段２２は、肌色領域基準を再設定する。顔領域における色データとは、ＲＧ値及び画素数で表されるデータ〔図３（ａ），（ｂ）の度数分布曲線Ｅ１，Ｅ２に相当〕のことである。肌色有効範囲の再設定（つまり肌色領域基準の再設定）は、記憶手段１６に記憶されている肌色領域基準の一部である肌色有効範囲を変更することである。本発明では、肌色領域基準の再設定とは、肌色有効範囲を再設定することを意味する。
【００３９】
図５及び図６は、顔検出装置１０によって遂行される顔検出プログラムを表すフローチャートである。以下、このフローチャートを参照して顔検出装置１０による顔検出を説明する。
【００４０】
ステップＳ１において、まず、画像取得手段１３は、ビデオカメラ１１からの画像の取得を行うか否かの判定を行う。即ち、本実施形態では、ビデオカメラ１１からの画像の取得は、所定の時間間隔ｔ（例えばｔ＝０．１秒）毎に行われるようになっており、画像取得手段１３は、画像取得の時刻か否かを判定する。そして、画像を取得する時刻であると判断した場合（ステップＳ１がＹＥＳ）、画像取得手段１３は、ビデオカメラ１１からの画像の取得を行う（ステップＳ２）。ステップＳ２は、撮像ステップである。一方、画像取得手段１３が画像を取得する時刻ではないと判断した場合（ステップＳ１がＮＯ）、ステップＳ１が繰り返される。
【００４１】
ビデオカメラ１１からの画像を取得した後、分割手段１４は、取得した画像を複数の小領域に分割する（ステップＳ３）。取得した画像Ｇを複数の小領域に分割した後、第１の判定手段１５は、小領域における色データ（ＲＧ値及び画素数で表されるデータ）と、肌色領域基準とに基づいて肌色小領域の探索を行う（ステップＳ４）。
【００４２】
ステップＳ４では、第１の判定手段１５は、各小領域における色データ（ＲＧ値及び画素数で表されるデータ）におけるＲＧ値と、図４に示す方形Ｈの領域で示す肌色有効範囲との比較を行う。そして、第１の判定手段１５は、方形Ｈの領域で示す肌色有効範囲に含まれる色の画素の数が小領域の中でしきい値Ｎ０以上あるか否かを調べる。
【００４３】
第１の判定手段１５は、各小領域が肌色の領域であるか否かを判定する（ステップＳ５）。ステップＳ５は、第１の判定ステップである。方形Ｈの領域で示す肌色有効範囲に含まれる色の画素の数が小領域の中でしきい値Ｎ０以上ある場合には、第１の判定手段１５は、この小領域が肌色の小領域であるとの判定（充足判定）を行う（ステップＳ５においてＹＥＳ）。方形Ｈの領域で示す肌色有効範囲に含まれる色の画素の数が小領域の中でしきい値Ｎ０に達しない場合には、第１の判定手段１５は、この小領域が肌色の小領域ではないとの判定（非充足判定）を行う（ステップＳ５においてＮＯ）。
【００４４】
少なくとも１つの小領域の画像が肌色領域基準を満たしているとする。即ち、少なくとも１つの小領域が肌色小領域であるとの判定がなされた場合（ステップＳ５においてＹＥＳ）、第１の判定手段１５は、肌色小領域に隣接する肌色ではない小領域と、肌色小領域とからなる探索領域Ｄ１〔図２（ｂ）参照〕を設定して記憶手段１６に記憶させる（ステップＳ６）。ステップＳ６は、探索領域設定ステップである。図２（ｂ）において、小領域Ａ１のみが肌色小領域であるとすると、探索領域Ｄ１は、図２（ｃ）に示すように、肌色領域である小領域Ａ１と、小領域Ａ１に隣接する小領域Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７，Ａ８，Ａ９とを合わせた領域である。なお、小領域（例えばＡ１）の角と小領域の角（例えばＡ２）とが接している状態も、小領域Ａ１と小領域Ａ２とが隣接している状態とする。
【００４５】
探索領域Ｄ１を設定した後、第２の判定手段１８は、顔パターンによる探索領域Ｄ１の走査を行う（ステップＳ７）。記憶手段１６には、設定された形状（例えば矩形）で複数の大きさの領域、及び既知の顔パターンが記憶されている。ステップＳ７では、第２の判定手段１８は、複数の大きさの領域のうちの１つの領域Ｋ〔図２（ｃ）参照〕によって探索領域Ｄ１内から、候補領域を切り出し、登録されている前記顔パターンとの照合を行う。この照合は、登録されている矩形の全ての大きさによって、探索領域Ｄ１内の全ての位置を走査することにより行われる。そして、第２の判定手段１８は、領域Ｋの大きさで切り出した領域が顔領域であるか否かをパターンマッチングの手法を用いて判定する（ステップＳ８）。ステップＳ８は、第２の判定ステップである。
【００４６】
本実施の形態では、パターンマッチングによる顔領域があるか否かの判定には、線形判別分析、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅｓ）、あるいはＳＮｏＷ（Ｓｐａｒｓｅ  Ｎｅｔｗｏｒｋ  ｏｆ  Ｗｉｎｎｏｗｓ）等の統計的手法が用いられる。
【００４７】
顔領域が複数の切り出し領域のうちの１つにでも有るとの判定が行われたとする（ステップＳ８においてＹＥＳ）。この場合、再設定手段２２は、取得した画像Ｇから得られる色データと、記憶している肌色有効範囲とを用いて新たな肌色有効範囲を設定すると共に、この新たな肌色有効範囲を前の肌色有効範囲に代えて記憶手段１６に記憶させる（ステップＳ９）。ステップＳ９は、再設定ステップである。新たな肌色有効範囲の設定では、例えば、図３（ａ）の度数分布曲線Ｅ１に所定の係数（例えば０．５）を掛けて得られる曲線と、検出顔領域から得られる肌色のＲ値に関する度数分布曲線との和の度数分布曲線を求める。同様に、図３（ｂ）の度数分布曲線Ｅ２に所定の係数（例えば０．５）を掛けて得られる曲線と、検出顔領域から得られる肌色のＧ値に関する度数分布曲線との和の度数分布曲線を求める。これらの新たな度数分布曲線から図４のグラフで示す肌色有効範囲に相当する新たな肌色有効範囲を設定する。
【００４８】
新たな肌色有効範囲を設定した後、第２の判定手段１８は、顔領域があると判定した画像データを記憶手段１６に記憶させる（ステップＳ１０）。顔領域があると判定した画像データを記憶した後、コンピュータ１２は、ステップＳ１へ戻る。
【００４９】
ステップＳ８において、顔領域が複数の切り出し領域のうちのどれにも無いとの判定が行われたとする（ステップＳ８においてＮＯ）。この場合、補助判定手段１９は、取得された画像Ｇと、これより１つ前に取得された画像ｇ〔例えば、図２（ｂ）に示す鎖線図が画像ｇの一部を表す〕との同じ画素における輝度差に基づく動的小領域の探索を行う（ステップＳ１１）。そして、補助判定手段１９は、動的小領域の有無を判定する（ステップＳ１２）。ステップＳ１２は、補助判定ステップである。
【００５０】
動的小領域が存在する場合（ステップＳ１２においてＹＥＳ）、補助探索領域設定手段２０は、動的小領域でない小領域であって動的小領域に隣接する小領域と、動的小領域とからなる補助探索領域Ｄ２〔図２（ｄ）参照〕を設定して記憶手段１６に記憶させる（ステップＳ１３）。ステップＳ１３は、補助探索領域設定ステップである。図２（ｄ）に示すように、小領域Ａ１，Ａ２，Ａ３，Ａ５，Ａ１０，Ａ１１，Ａ１２，Ａ１３が動的小領域であるとする。そうすると、補助探索領域Ｄ２は、動的小領域Ａ１，Ａ２，Ａ３，Ａ５，Ａ１０，Ａ１１，Ａ１２，Ａ１３と、動的小領域Ａ１，Ａ２，Ａ３，Ａ５，Ａ１０，Ａ１１，Ａ１２，Ａ１３に隣接する小領域〔図２（ｄ）において斜線のある小領域〕とを合わせた領域である。
【００５１】
補助探索領域Ｄ２を設定した後、第３の判定手段２１は、顔パターンによる補助探索領域Ｄ２の走査を行う（ステップＳ１４）。ステップＳ１４では、第３の判定手段２１は、複数の大きさの領域のうちの１つの領域Ｋ〔図２（ｃ）参照〕によって補助探索領域Ｄ２内から、候補領域を切り出し、登録されている前記顔パターンとの照合を行う。この照合は、登録されている矩形の全ての大きさによって、補助探索領域Ｄ２内の全ての位置を走査することにより行われる。そして、第３の判定手段２１は、領域Ｋの大きさで切り出した領域が顔領域であるか否かをパターンマッチングの手法を用いて判定する（ステップＳ１５）。ステップＳ１５は、第３の判定ステップである。
【００５２】
顔領域が複数の切り出し領域のうちの１つにでも有るとの判定が行われたとする（ステップＳ１５においてＹＥＳ）。この場合、再設定手段２２は、取得した画像Ｇから得られる色データと、記憶している肌色有効範囲とを用いて新たな肌色有効範囲を設定すると共に、この新たな肌色有効範囲を前の肌色有効範囲に代えて記憶手段１６に記憶させる（ステップＳ９）。新たな肌色有効範囲を設定した後、第３の判定手段２１は、顔領域があると判定した画像データを記憶手段１６に記憶させる（ステップＳ１０）。顔領域があると判定した画像データを記憶した後、コンピュータ１２は、ステップＳ１へ戻る。
【００５３】
全ての小領域における画像が肌色領域基準を満たしていない場合には、第１の判定手段１５は、肌色の小領域が無いとの判定を行う（ステップＳ５においてＮＯ）。肌色の小領域が１つも無い場合、補助判定手段１９は、取得された画像Ｇと、これより１つ前に取得された画像ｇとの同じ画素における輝度差に基づく動的小領域の探索を行う（ステップＳ１１）。そして、補助判定手段１９は、動的小領域の有無を判定する（ステップＳ１２）。
【００５４】
動的小領域が存在する場合（ステップＳ１２においてＹＥＳ）、補助探索領域設定手段２０は、動的小領域でない小領域であって動的小領域に隣接する小領域と、動的小領域とからなる補助探索領域Ｄ２を設定して記憶手段１６に記憶させる（ステップＳ１３）。
【００５５】
補助探索領域Ｄ２を設定した後、第３の判定手段２１は、顔パターンによる補助探索領域Ｄ２の走査を行う（ステップＳ１４）。ステップＳ１４では、第３の判定手段２１は、複数の大きさの領域のうちの１つの領域Ｋ〔図２（ｃ）参照〕によって補助探索領域Ｄ２内から、候補領域を切り出し、登録されている前記顔パターンとの照合を行う。この照合は、登録されている矩形の全ての大きさによって、補助探索領域Ｄ２内の全ての位置を走査することにより行われる。そして、第３の判定手段２１は、領域Ｋの大きさで切り出した領域が顔領域であるか否かをパターンマッチングの手法を用いて判定する（ステップＳ１５）。
【００５６】
顔領域が複数の切り出し領域のうちの１つにでも有るとの判定が行われたとする（ステップＳ１５においてＹＥＳ）。この場合、再設定手段２２は、取得した画像Ｇから得られる色データと、記憶している肌色有効範囲とを用いて新たな肌色有効範囲を設定すると共に、この新たな肌色有効範囲を前の肌色有効範囲に代えて記憶手段１６に記憶させる（ステップＳ９）。新たな肌色有効範囲を設定した後、第３の判定手段２１は、顔領域があると判定した画像データを記憶手段１６に記憶させる（ステップＳ１０）。顔領域があると判定した画像データを記憶した後、コンピュータ１２は、ステップＳ１へ戻る。
【００５７】
本実施の形態では以下の効果が得られる。
（１）少なくとも１つの小領域の画像が肌色領域基準を満たしているとの判定がなされた場合（ステップＳ５においてＹＥＳ）、肌色領域基準によって特定される肌色の小領域〔図２（ｂ）の例では小領域Ａ１〕を含む探索領域（小領域Ａ１〜Ａ９からなる領域）が設定される。この設定された探索領域は、取得された画像の全領域よりも狭められており、この狭められた探索領域がパターンマッチングによる顔領域の探索の対象となる。肌色領域基準を利用した肌色の小領域の特定は、設定された探索領域内に顔領域がある可能性を示唆する。環境の変化やカメラパラメータの変化の影響を受け難いパターンマッチングを用いた手法は、特定された肌色の小領域を含む探索領域が実際に顔領域を含んでいるか否かを高い確度で判定する上で好適な手法である。
【００５８】
色を用いた手法で顔領域を探索しようとすると正確性に欠ける。パターンマッチングを用いた手法で画像全体にわたって顔領域を探索しようとすると時間が掛かり、顔検出の高速化が難しい。色を利用した顔検出手法によって探索領域を狭めると共に、この狭められた探索領域内における顔領域の有無をパターンマッチングによって判定する手法は、顔検出の高速性及び正確性を向上する。
【００５９】
（２）環境（明暗等）が変化すると、肌色有効範囲が適切でなくなるおそれがある。本実施の形態では、色を利用して探索領域を特定する（ステップＳ６）と共に、パターンマッチングによって顔領域有りの判定を行う（ステップＳ８，Ｓ１５においてＹＥＳ）毎に肌色有効範囲を再設定している（ステップＳ９）。この再設定（つまり肌色領域基準の再設定）によって得られる肌色有効範囲は、度数分布曲線に掛けられる係数の選択によって調整できる。そのため、前記係数を適正に選択すれば、環境変化に肌色有効範囲を適切に合わせてゆくことができる。
【００６０】
（３）肌色を利用して探索領域を設定できなかった場合、本実施の形態では、取得された画像Ｇと、これよりも前に取得された画像ｇとの同じ画素における輝度の差に基づく動的小領域の探索を行う。動的小領域がある場合には、動的小領域を含む補助探索領域Ｄ２が設定される。この設定された補助探索領域Ｄ２がパターンマッチングによる顔領域の探索の対象となる。取得された動的小領域は、設定された補助探索領域Ｄ２内に顔領域がある可能性を示唆する。このような動的小領域の探索は、肌色有効範囲が適切に設定されていないために顔領域を検出できなかった場合にも、顔領域の検出を可能とする。つまり、色を利用した顔検出手法と、パターンマッチングを用いた顔検出手法と、動的領域を利用した顔検出手法とを組み合わせた顔検出方法は、顔検出の正確性をさらに向上する。
【００６１】
（４）ビデオカメラ１１から見て顔が複数存在し、それらの領域の一部が重なっている場合、正確な顔検出は困難である。例えば図２（ｅ）に示すように、画像内で、顔領域Ｆ１，Ｆ２が重なっている場合、色を用いた顔領域検出手法のみでは顔領域Ｆ１，Ｆ２が繋がった状態で検出される。本実施の形態では、探索領域Ｄ１内を顔パターンによって走査するため、図２（ｅ）に示すように顔領域が画像内で重なっているような場合にも、個々の顔領域Ｆ１，Ｆ２を正確に検出することができる。
【００６２】
本発明では以下のような実施形態も可能である。
・肌色有効範囲を設定する方法として、肌色に関するＲＧ値の平均値に対応する正規化ＲＧ空間における平均値から各ＲＧ値へのユークリッド距離を算出し、その分散を半径とする正規化ＲＧ空間上の円領域を肌色有効範囲としてもよい。
【００６３】
・肌色有効範囲を設定する方法としては、平均値ｍと分散値σと係数ｋにより設定しているが、画素数Ｎに閾値を設定して、閾値を超す部分を肌色有効範囲としてもよい。
【００６４】
・前記した実施の形態において、動的小領域の探索を肌色小領域の探索と同時的に行ってもよい。つまり、図５のステップＳ３とステップＳ４との間、又はステップＳ４とステップＳ５との間で動的小領域の探索を行ってもよい。
【００６５】
・前記した実施の形態において、補助探索領域を設定する場合には、画像の領域の一部が肌色領域基準を満たしているとの判定がなされた場合に設定された探索領域を補助探索領域に含めないようにしてもよい。このようにすれば補助探索領域が削減され、補助探索領域を顔パターンで走査して顔領域を探索するための時間を短くすることができる。
【００６６】
・前記した実施の形態では、色データ及び肌色有効範囲を示すグラフは、正規化ＲＧ空間の表色系を用いて表したが、Ｌｕｖ空間、ＸＹＺ空間等の他の表色系を用いてもよい。
【００６７】
・検出した顔領域から目領域や唇領域を除外した領域における色データを用いて肌色有効範囲の再設定を行うようにしてもよい。このようにすれば、顔領域内で比較的均質な肌色の部分（例えば頬領域）の色を主として肌色有効範囲の再設定に利用することができ、肌色有効範囲の設定の適切性が向上する。
【００６８】
・検出した顔領域を記憶しておき、この記憶した顔領域の大きさや位置を利用して次の取得画像における顔領域の検出に用いるようにしてもよい。記憶した顔領域の大きさによって切り出し領域の大きさを限定することができ、探索領域を走査するための大きさの異なる切り出し領域の種類を減らすことができる。大きさの異なる切り出し領域の種類が少ないほど、走査時間が少なくなり、高速の顔領域の検出が期待できる。又、検出した顔領域の位置を利用すれば、次の取得画像における探索領域を一層的確に設定することができる。
【００６９】
・第１の実施の形態において、第３の判定手段２１の機能を第２の判定手段１８が兼用するようにしてもよい。
・前記した実施の形態では、肌色有効範囲は、画像の全領域に対して同一の設定にしてあるが、小領域毎に肌色有効範囲を設定してもよい。各小領域で異なった肌色有効範囲を用いるようにすれば、撮影範囲内での場所による照明条件の差異に起因する肌色の変化を吸収することができる。
【００７０】
小領域毎の肌色有効範囲の再設定では、顔検出結果の位置情報を利用し、顔領域の一部又は全部を含むものとして検出された小領域のみの肌色有効範囲を再設定してもよい。例えば、図２（ｄ）の場合には、小領域Ａ１，Ａ２，Ａ３，Ａ５に対してのみ肌色有効範囲を再設定し、他の小領域に対しては肌色有効範囲を再設定しないようにする。
【００７１】
あるいは、人物が移動することを考慮して、顔領域の一部又は全部を含むものとして検出された小領域、及びこの検出された小領域に隣接する小領域の肌色有効範囲を再設定してもよい。例えば、図２（ｄ）の場合には、小領域Ａ１，Ａ２，Ａ３，Ａ５、及び小領域Ａ１，Ａ２，Ａ３，Ａ５に隣接する小領域〔図２（ｄ）において小領域Ａ１，Ａ２，Ａ３，Ａ５を包囲している斜線のある小領域〕の肌色有効範囲を再設定してもよい。
【００７２】
・前記した実施の形態では、肌色領域基準は、小領域における画素のうち、肌色有効範囲に含まれる色の画素の数がしきい値Ｎ０以上となる場合としたが、肌色有効範囲のみを肌色領域基準としてもよい。この場合、肌色有効範囲に含まれる色の画素が肌色領域となる。例えば、図２（ｄ）の場合には、Ｆｏで示す顔部分が肌色有効範囲に含まれる色の画素の集まりで形成される肌色領域となる。探索領域は、肌色領域の一部又は全部を含む小領域と、この小領域に隣接する小領域とを合わせた領域とすればよい。図２（ｄ）の場合には、小領域Ａ１，Ａ２，Ａ３，Ａ５が肌色領域の一部又は全部を含む小領域である。小領域Ａ１，Ａ２，Ａ３，Ａ５に関連する探索領域は、小領域Ａ１，Ａ２，Ａ３，Ａ５と、小領域Ａ１，Ａ２，Ａ３，Ａ５に隣接する小領域〔図２（ｄ）において小領域Ａ１，Ａ２，Ａ３，Ａ５を包囲している斜線のある小領域〕とを合わせた領域である。
【００７３】
なお、肌色有効範囲のみを肌色領域基準とする場合には、画像を小領域に分割することなく探索領域を設定するようにしてもよい。この場合、探索領域は、肌色領域よりも大きく、かつ肌色領域を含む形状の領域（例えば矩形形状）とすればよい。
【００７４】
（第２の実施形態）
次に、第２の実施形態の顔検出装置を図５〜図１２を参照して説明する。第２の実施形態は、基本的には図５、図６のフローチャートに示すように第１の実施形態と同様にパターンマッチングによる顔検出の結果に基づいて肌色領域基準を修正することで環境の変化に適応させている。具体的には、再設定手段２２は、肌色領域基準を再設定する。このとき、新たな肌色有効範囲の設定では、例えば、図３（ａ），（ｂ）の度数分布曲線Ｅ１，Ｅ２に所定の係数（例えば０．５）を掛けて得られる曲線と、検出顔領域から得られる肌色のＲ値、Ｇ値に関する度数分布曲線との和の度数分布曲線を求める。これらの新たな度数分布曲線から図４のグラフで示す肌色有効範囲に相当する新たな肌色有効範囲を設定する（ステップ９（以下「ステップ」をＳと略記する。））。
【００７５】
しかしながら、第１の実施形態では肌色領域基準のパラメータの設定手法が、ヒストグラムに一律の割合（第１の実施形態では０．５）で足し込む手法であるため、環境変化に柔軟に対応することが困難である。また、パターンマッチングによる顔検出時に誤検出した場合に、正しく検出した場合と同じ割合で足し込み、肌色パラメータを設定するため、パラメータ設定がかえって不適切となる場合もある。
【００７６】
そこで、第２の実施形態の顔検出方法及び装置は、図５、図６に示す第１の実施形態に示すフローチャートにおいて肌色有効範囲再設定（Ｓ９）のステップにおける処理が異なる。
【００７７】
図７に示すようにカメラから取得された画像）から（Ｓ１〜Ｓ２）、肌色領域を検出する（Ｓ３、Ｓ４、Ｓ５；ＹＥＳ）。図８に示すように肌色領域の近傍を顔探索領域に設定する（Ｓ６）。そして、図９に示すように肌色領域の近傍に対してパターンマッチングを利用して顔領域を検出する（Ｓ７、）。顔領域が検出され（Ｓ８；ＹＥＳ）、その信頼度が高い場合には、肌色有効範囲再設定（Ｓ９）で顔領域中の画素値を利用して肌色の検出パラメータである肌色領域基準の再設定（調整）を行う。
【００７８】
しかし、初期フレームや環境変化の直後など、肌色領域基準が適切に設定されていない場合は、色情報を用いた検出を失敗することがある（Ｓ５；ＮＯ）。そのため、肌色を用いた顔検出で検出できなかった場合には、動的小領域を探索し（Ｓ１１）、動的小領域がある場合は（Ｓ１２；ＹＥＳ）、動的小領域（全フレームの画像を利用）の近傍を探索範囲に設定し、パターンマッチングを用いて顔領域を探索・検出する（図１０）。
【００７９】
このとき、顔領域が検出された場合には、顔領域内の画素値を用いて、次式（１）のようにこれまでに蓄積された肌色画素のヒストグラム（図１１）にその信頼度に応じた係数ａを掛けて、そこに足し込むことによって、肌色の検出パラメータの設定を行う。ここで、係数「ａ」は、第１の実施形態では固定値（例えば０．５）であったが、第２の実施形態では、条件により異なる値をとる係数で０＜ａ＜１の範囲で値をとる。「Ｈｔ」は、更新前のヒストグラムを表し、「Ｈｃ」は、検出された顔領域のヒストグラムを示す。また、「Ｈｔ＋１」は、更新後のヒストグラムを示す。
【００８０】
Ｈｔ＋１＝ａＨｔ＋（１−ａ）Ｈｃ  …（１）
図１１（ａ）に示すように、ヒストグラムＥ３のピークは、Ｒ値がｍ３にあり、高さは１である。この高さは、第１の実施形態の画素数に相当するが、第２の実施形態では、蓄積度という。これに対し、このヒストグラムＥ３に係数ａをかけたヒストグラムＥ４は、ピークのＲ値は、同じｍ３にあり、高さはａ／１となる。
【００８１】
図１２は、第２の実施形態の肌色有効範囲再設定のステップ（Ｓ９）における肌色領域基準の設定処理を詳細に示すフローチャートである。
ここで、コンピュータ１２は、顔領域が存在すると判定がなされたのが前記探索領域か前記補助探索領域かを判断する検出領域判断ステップ（Ｓ２１）を実行する。なお、このステップを実行するコンピュータ１２は、検出領域判断手段として機能する。検出された顔領域が、肌色によって設定された探索領域であった場合（Ｓ２１；ＹＥＳ）、そのフレームにおいて顔を検出するための肌色領域基準の設定が適切であったと推測できる。そのため、肌色画素として蓄積されているヒストグラムにかける係数ａを「ａ＝ａ０（例えば、０．５）」とし（Ｓ２２）、検出画素のヒストグラムに足し込むことによって肌色検出基準（肌色パラメータ）を設定する（Ｓ２３）。
【００８２】
例えば、図１１（ａ）に示す蓄積されているヒストグラムＥ３に対して、この場合の係数ａ０（＝０．５）をかけると、蓄積されている蓄積度Ｎが、全体に２分の１され、ヒストグラムＥ４のような曲線となる。この場合、Ｒ値の平均値ｍ３とｍ４は変わらない。
【００８３】
同様に、検出された肌色のデータから生成された、Ｒ値の平均値がｍ５のヒストグラム（図示を省略）に（１−ａ）＝０．５をかけると、図１１（ｂ）に示すヒストグラムＥ５となる。
【００８４】
次に、ヒストグラムＥ４と、ヒストグラムＥ５を足し込む。つまり、両者の蓄積度Ｎを加算して新たなヒストグラムＥ６を生成する。この場合、ヒストグラムＥ６の平均値ｍ６は、ヒストグラムＥ４の平均値ｍ４とヒストグラムＥ５の平均値ｍ５の中間になる。この新たな平均値の位置は、過去に蓄積された蓄積ヒストグラムのデータと、新たに検出した検出ヒストグラムのデータの重み付け、言い換えれば係数ａの設定の仕方により変化する。
【００８５】
検出顔領域が肌色によって設定された探索領域でなく（Ｓ２１；ＮＯ）、動きによって設定された補助検索領域であった場合、「環境が変化した」ことが考えられる。環境変化が生じた場合は、画面全体の画素値が変化するため、動き検出によって画面の全体で動き領域が検出される。そのため、全画面に対する動き領域の割合が一定の閾値以上（例えば、８０％以上）となった場合には（Ｓ２４；ＹＥＳ）、環境が変化したことが推測できるため、蓄積ヒストグラムにかける係数ａを小さな「ａ＝ａ１（例えば、０．２）」とし（Ｓ２５）、検出画素を足し込む（Ｓ２３）。蓄積ヒストグラムにかける係数を小さくすることによって、検出画素が肌色領域基準の設定に与える影響を大きくし、素早く環境に適応できるようにする。図１１（ｃ）に示すように、この場合の新たなヒストグラムＥ９の平均値ｍ９は、蓄積ヒストグラムから生成したヒストグラムＥ７の平均値ｍ７よりも、検出されたデータから生成されたヒストグラムＥ８の平均値ｍ８に近いものとなる。
【００８６】
ここで、コンピュータ１２は、補助探索領域において顔領域が存在すると判定された場合に、検出された動的領域の割合が所定の閾値以上か、所定の閾値未満かを判断する動的領域割合判断ステップを実行する（Ｓ２４）。なお、このＳ２４を実行するコンピュータ１２が動的領域割合判断手段として機能する。検出顔領域が肌色によって設定された検索領域でなく（Ｓ２１；ＮＯ）、かつ全体の動き領域の割合が一定の閾値未満で小さい場合（Ｓ２４；ＮＯ）、「環境が変化した」ことは考えにくい。一方、肌色領域による候補領域から検出できなかった原因として、「現在の肌色パラメータの設定が不適切」である場合と「パターンによる顔検出時の誤検出」である場合が考えられる。これらのどちらであったかということの推測は、これまでに顔検出に成功した過去のフレーム（例えば、２０フレーム）において、「肌色による検索領域」と「動きによる補助検索領域」のどちらであったかから判断する（Ｓ２６）。
【００８７】
ここでコンピュータ１２は、補助探索領域において顔領域が存在する判定された場合に、検出された動的領域の割合が所定の閾値未満のときに、過去の顔領域が探索領域で検出された割合を判断する過去履歴判断ステップを実行する（Ｓ２６）。このＳ２６を実行するコンピュータ１２が、過去履歴判断手段として機能する。これまでの顔検出結果が「肌色による候補領域」であった場合には（Ｓ２６；ＹＥＳ）、「環境変化がなく、肌色設定も適切であるにもかかわらず、動き領域から検出された」ため、パターンによる顔検出時の誤検出」であることが推測される。そのため、蓄積ヒストグラムにかける係数ａをａ０より大きな「ａ＝ａ２（例えば、０．８）」とし（Ｓ２７）、検出画素を足し込む（Ｓ２３）。この場合の新たな平均値ｍは、検出されたデータから生成されたヒストグラムの平均値よりも、蓄積ヒストグラムの平均値に近いものとなる。蓄積ヒストグラムにかける係数ａを大きくすることによって、検出画素が肌色設定に与える影響を小さくし、誤検出による肌色パラメータの不適切な設定を抑制することができる。
【００８８】
また、過去のフレームにおいて、「動きによる候補領域」から顔画像が検出されていた場合（Ｓ２６；ＮＯ）、「現在の肌色設定が不適切」であることが推測できるため、蓄積ヒストグラムにかける係数ａを小さな「ａ＝ａ３（例えば、０．２など、ａ１と同じにしてもよい。）」とし（Ｓ２８）、検出画素を足し込む（Ｓ２３）。蓄積ヒストグラムにかける係数を小さくすることによって、検出画素が肌色領域基準の設定に与える影響を大きくし、素早く環境に適応できるようにする。
【００８９】
以上のように、肌色領域基準の設定を行う場合に、蓄積されたヒストグラムにかける係数ａを「どの検索領域か補助検索領域のいずれから検出されたか」、「全体の変化はどうだったか」、「これまでの検出結果はどうだったか」などを統合的に推測する。そのことにより、その検出結果が正しいか否かを判断し、肌色領域基準の設定時のパラメータを制御することにより、柔軟に環境に適応する顔検出方法及び装置を実現する。
【００９０】
本実施の形態では以下の効果が得られる。
（１）人物監視を行うシステムにおいて、カメラパラメータや環境光に応じて検出パラメータを人手で設定する必要がなく、高速に顔領域を正確に検出することができる。また、パターンによって検出する場合の誤検出や、環境変化などに柔軟に適応できる。
【００９１】
（２）さらに、カメラの感度特性や環境光の特性を考慮しておこなう係数ｋ、ヒストグラムの分散等の調整と相俟って、加えて係数ａを調整することにより、顔をノイズが少なくかつロバストに検出できるように調整することができる。
【００９２】
前記した実施の形態から把握できる発明について以下に記載する。
〔１〕請求項１及び請求項２のいずれか１項において、撮像された画像を複数の小領域に分割する分割ステップを含み、前記第１の判定ステップは、前記小領域における画像が設定された肌色領域基準を満たしているか否かを判定するステップであり、前記探索領域設定ステップは、前記小領域における画像が前記肌色領域基準を満たすとの判定がなされた場合には、前記肌色領域基準を満たす小領域を含むように探索領域を設定するステップである顔検出方法。
【００９３】
〔２〕前記〔１〕項において、肌色領域基準は、基準となる肌色として設定された肌色有効範囲と、前記肌色有効範囲に含まれる肌色が或る大きさの領域内で所定割合以上の領域で存在するという存在割合との組み合わせデータである顔検出方法。
【００９４】
〔３〕請求項３及び請求項４のいずれか１項において、前記撮像手段によって撮像された画像を複数の小領域に分割する分割手段を備え、前記第１の判定手段は、前記分割手段によって分割された小領域における画像が設定された肌色領域基準を満たしているか否かを判定し、前記探索領域設定手段は、前記小領域における画像が前記肌色領域基準を満たしているとの判定が前記第１の判定手段によってなされた場合には、前記肌色領域基準を満たす小領域を含むように探索領域を設定する顔検出装置。
【００９５】
〔４〕前記〔３〕項において、肌色領域基準は、基準となる肌色として設定された肌色有効範囲と、前記肌色有効範囲に含まれる肌色が或る大きさの領域内で所定割合以上の領域で存在するという存在割合との組み合わせデータである顔検出装置。
【００９６】
〔５〕顔を撮像するための撮像ステップと、撮像された画像の領域の一部が設定された肌色領域基準を満たしているとの充足判定と、前記領域の一部が前記肌色領域基準を満たしていないとの非充足判定とのいずれかの判定を行う第１の判定ステップと、前記充足判定がなされた場合、前記肌色領域基準を満たす前記画像の領域の一部を含む探索領域を設定する探索領域設定ステップと、設定された前記探索領域内に顔領域が存在するか否かをパターンマッチングを用いて判定する第２の判定ステップと、前記非充足判定がなされた場合、又は、前記探索領域内に顔領域が存在しないとの判定がなされた場合、前記画像に動的領域が含まれているか否かを判定する補助判定ステップと、前記画像に動的領域が含まれているとの判定がなされた場合には、前記動的領域を含む補助探索領域を設定する補助探索領域設定ステップと、設定された前記補助探索領域内に顔領域が存在するか否かをパターンマッチングを用いて判定する第３の判定ステップとを、コンピュータに実行させることを特徴とする顔検出プログラム。
【００９７】
【発明の効果】
以上詳述したように本発明では、顔検出の高速性及び正確性のいずれをも向上させることができるという優れた効果を奏する。
【図面の簡単な説明】
【図１】（ａ）は、一実施形態の顔検出装置を示すブロック図。（ｂ）は、コンピュータの機能ブロック図。
【図２】（ａ）は、ビデオカメラが撮像した画像データの説明図。（ｂ）は、分割画像の説明図。（ｃ）は、探索領域を示す説明図。（ｄ）は、補助探索領域を示す説明図。（ｅ）は、画像の説明図。
【図３】（ａ）は、Ｒ値の度数分布曲線を示すグラフ。（ｂ）は、Ｇ値の度数分布曲線を示すグラフ。
【図４】肌色有効範囲を示すグラフ。
【図５】顔検出プログラムを表すフローチャート。
【図６】顔検出プログラムを表すフローチャート。
【図７】小領域分割後（Ｓ３）の入力画像例を示す図である。
【図８】肌色領域基準が適切な場合の肌色による探索領域設定（Ｓ６）がなされた探索領域を示す図である。
【図９】切り出し領域の顔領域らしさを評価する探索手法を示す図である。
【図１０】動きを利用した補助探索領域設定（Ｓ１３）がなされた探索領域を示す図である。
【図１１】（ａ）〜（ｃ）ヒストグラムを示すグラフである。
【図１２】第２の実施形態の肌色有効範囲再設定のステップ（Ｓ９）における肌色領域基準の設定処理を詳細に示すフローチャートである。
【符号の説明】
１０…顔検出装置。１１…ビデオカメラ（撮像手段）。１２…コンピュータ（第１の判定手段、探索領域設定手段、第２の判定手段、再設定手段）。１５…第１の判定手段。１７…探索領域設定手段。１８…第２の判定手段。１９…補助判定手段。２０…補助探索領域設定手段。２１…第３の判定手段。２２…再設定手段。Ｇ…画像。Ｆ…顔。Ｆｏ…顔領域。Ａ１…肌色領域である小領域。Ａ１，Ａ２，Ａ３，Ａ５，Ａ１０，Ａ１１，Ａ１２，Ａ１３…動的領域としての小領域。Ｄ１…探索領域。Ｄ２…補助探索領域。Ｈ…肌色有効範囲。
【図１】
2004206665.tif 000003
【図２】
2004206665.tif 000004
【図３】
2004206665.tif 000005
【図４】
2004206665.tif 000006
【図５】
2004206665.tif 000007
【図６】
2004206665.tif 000008
【図７】
2004206665.tif 000009
【図８】
2004206665.tif 000010
【図９】
2004206665.tif 000011
【図１０】
2004206665.tif 000012
【図１１】
2004206665.tif 000013
【図１２】
2004206665.tif 000014