(57)【要約】  【課題】  類似度を上げるためのテンプレートを用いた顔検出装置を提供すること  【解決手段】  予め、特性によってグループ分けされた人物の平均顔からテンプレートを作成し、複数のテンプレートのデータベースＤＢを作成しておく。ある人物の顔を含む画像をカメラで撮像し（ステップＳ３１）、得られた画像のデジタルデータに対して、データベースＤＢのテンプレートｆＡ，ｆＢ，ｆＣを並列的に適用し、顔検出する（ステップＳ３３〜Ｓ３５）。該顔検出により求められたそれぞれの最大類似度ＳＡ，ＳＢ，ＳＣから最大類似度max（ＳＡ，ＳＢ，ＳＣ）＝Ｓｍａｘを求め（ステップＳ３６）、Ｓｍａｘ＞Ｔ（Ｔは顔非顔判定閾値）であれば顔検出完了、Ｓｍａｘ≦Ｔであれば顔検出失敗と判定する（ステップＳ３７）。前記並列的に顔検出するのに代えて、逐次的に検出するようにしてもよい。  【選択図】  図４
2007052547.tif 000002
【特許請求の範囲】
【請求項１】
共通する特性を有する複数の人物の顔画像の平均顔に基づいて作成された顔のテンプレートを複数有するデータベースと、
少なくとも顔を含む人物の画像を撮影する撮影手段と、
該撮影手段により得られた人物の画像データに、前記データベース中の前記複数のテンプレートを適用して、顔検出する顔検出手段とを具備したことを特徴とする顔検出装置。
【請求項２】
請求項１に記載の顔検出装置において、
前記人物の画像データに前記複数のテンプレートを適用する処理を並列的に行うようにしたことを特徴とする顔検出装置。
【請求項３】
請求項１に記載の顔検出装置において、
前記人物の画像データに前記複数のテンプレートを適用する処理を逐次的に行うようにしたことを特徴とする顔検出装置。
【請求項４】
請求項３に記載の顔検出装置において、
前記テンプレートを切り替え指示する切り替え指示手段を具備し、
該切り替え指示手段からの指示により、前記複数のテンプレートが切り替えられることを特徴とする顔検出装置。
【請求項５】
請求項４に記載の顔検出装置において、
前記テンプレートを切り替える指示がされた場合に、前記撮影手段は、再度前記人物の画像データを撮影することを特徴とする顔検出装置。
【請求項６】
請求項１ないし５のいずれかに記載の顔検出装置において、
顔非顔判定手段をさらに具備し、
該顔非顔判定手段は、前記複数のテンプレートそれぞれから算出された類似度に対し、最も大きい類似度を示したテンプレートによる顔検出結果を採用し、顔検出結果とすることを特徴とする顔検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像内から顔に該当する部分を検出する顔検出装置に関し、特に複数のテンプレートを用いて高精度に検出する顔検出装置に関する。
【背景技術】
【０００２】
近年、セキュリティやエンターテイメント分野で顔認識技術が注目を浴びている。いずれのシステムにおいても画像内から高精度に顔を検出する技術が求められる。画像内から顔を検出する方法の一つとして、テンプレートマッチングを利用した方法が挙げられる。これは予め多数のサンプル顔により作成された平均顔をテンプレートとし、画像内でテンプレートと類似している領域を探索し、類似度合いの高い領域を顔と判定する方法である。
【０００３】
下記の特許文献１には、テンプレートマッチングによる顔検出装置が記載されている。すなわち、予め標準となる顔画像を記憶しておき、該標準顔画像を入力画像の全画像に亘って移動させながら各移動位置での画像領域毎に相関値を演算し、該相関値の高い画像領域を顔画像領域候補とする旨の開示がある。
【０００４】
また、下記の特許文献２には、見本となる人物の顔画像をサンプル画像として用意しておき、該サンプル画像の特徴を用いて検索対象となる画像の顔の近傍領域を検出することにより顔の近傍領域候補を表示し、該近傍領域候補が顔の画像であるか顔以外の画像であるかをユーザによってチェックし、顔検出処理を行うことが開示されている。
【特許文献１】特開２００１−３３１８０４号公報
【特許文献２】特開２００３−３２３６１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
テンプレートマッチングの顔検出精度は、テンプレートを作成する際に使用したサンプル顔に左右される。すなわち、テンプレートを作成する際に使用したサンプル顔の集合に含まれていない顔特徴を持つ人物に対しては、テンプレートとの類似度が低下し、顔が正しく検出できない。
【０００６】
しかしながら、従来は、類似度を上げるためのテンプレートを用いた顔検出装置について、格別の配慮がされていないという課題があった。
【０００７】
本発明の目的は、前記した従来技術の課題を解決し、類似度を上げるためのテンプレートを用いた顔検出装置を提供することにある。
【課題を解決するための手段】
【０００８】
前記した目的を達成するために、本発明は、共通する特性を有する複数の人物の顔画像の平均顔に基づいて作成された顔のテンプレートを複数有するデータベースと、少なくとも顔を含む人物の画像を撮影する撮影手段と、該撮影手段により得られた人物の画像データに、前記データベース中の前記複数のテンプレートを適用して、顔検出する顔検出手段とを具備した点に第１の特徴がある。
【０００９】
また、本発明は、前記人物の画像データに前記複数のテンプレートを適用する処理を並列的または逐次的に行うようにした点に第２の特徴がある。
【発明の効果】
【００１０】
本発明によれば、撮影手段により得られた人物の画像データに、複数のテンプレートを適用して顔検出するようにしたので、テンプレートの鈍化を軽減することができ、画像内から高精度に顔を検出できるようになる。また、非正面向きや表情など変動を含む顔をも検出できるようになる。また、めがねやひげなど付着物を持つ顔（平均顔から掛け離れた特異な顔）をも検出できるようになる。
【発明を実施するための最良の形態】
【００１１】
顔は各人物様々に異なり、その特徴は十人十色である。したがって、どのような顔特徴に対しても汎用的に使えるテンプレートを作成するためには、サンプル顔の数を増やして平均顔を作成する必要がある。しかし、サンプル顔の数が増加するにつれて顔の特徴が平均化されてテンプレートが鈍ってしまい、誰に対してもある一定の類似度しか示さなくなることに本発明者は気がついた。この場合、平均顔から離れた特異的な顔特徴を持った人物に対しては、テンプレートが有効に作用しなくなり、類似度の低下が原因となって、画像内から顔を検出できないこととなる。
【００１２】
ここで、本発明者等の実験によって得た、テンプレートに使用するサンプル顔の数を変化させた場合の平均類似度の変化を図８に示す。ここでは、テンプレート作成用のサンプル顔に３００人（横軸）、さらに類似度測定対象として１００人の顔画像（縦軸）を用いた。図より、サンプル顔の数が約１２５を過ぎると、サンプル顔の数が増えるにつれて平均類似度が低下していることが確認できる（近似曲線参照）。
【００１３】
複数人物間で顔の大きさ・位置ずれによる影響を減らすために、テンプレート作成用のサンプル顔は統一した手法で正規化しておくことが重要である。本発明では、図１の手順で正規化された顔画像をテンプレート作成用のサンプル顔として使用する。図１(a)は顔画面の正規化の処理手順を示すフローチャート、同図(b)はその概略説明図である。
【００１４】
ステップＳ１では、顔画像ｐの目鼻の位置を特定し、ステップＳ２では目鼻を結ぶ三角形ｑを作成する。次に、ステップＳ３では、鼻腔の中点と両目の３点を結ぶ三角形ｑが人物に依存せずある一定の面積になるように画像を縮小する。ステップＳ４では、さらに三角形の重心周辺の領域を正方形領域ｒとして切り出す。この場合、切り出す正方形領域ｒが、縦方向に３：２かつ横方向に等分割（１：１）する点に前記重心がくるように、１辺１５画素の正方形領域ｒとして切り出す。ステップＳ５では、正規化された顔画面の正方形領域ｒをテンプレート作成用のサンプル顔ｕとする。
【００１５】
以上の手順を駆使して、予め多数のＮ人のサンプル顔（u1, u2, u3, u4, …, uN）を作成し、図２のステップＳ１１の処理、すなわちサンプル顔（u1, u2, u3, u4, …, uN）の平均を取ることにより平均顔ｆを作成し、ステップＳ１２の処理でテンプレートｆとする。
【００１６】
本発明では、上記の手順により複数のテンプレートｆ１，ｆ２，・・・を作成する。好ましくは、人物の特性によってグループ分けし、各グループごとに平均顔を求めテンプレートを作成する。例えば、男性の大人であって、眼鏡を掛けていない人、眼鏡を掛けている人それぞれ１００人（Ｎ＝１００）から平均顔ｆ１，ｆ２を作り、テンプレートｆ１，ｆ２とする。また、女性の大人であって、眼鏡を掛けていない人、眼鏡を掛けている人それぞれ１００人（Ｎ＝１００）から平均顔ｆ３，ｆ４を作り、テンプレートｆ３，ｆ４とする。なお、本発明は上記のグループ分けに限定されず、ひげの有無、職業などを前記のグループとしてもよい。なお、職業をグループとする理由は、職業により顔に共通性がある場合があることが知られているからである。
【００１７】
図３は、前記複数のテンプレートを作成する手順を示すフローチャートである。ステップＳ２１では、Ａグループのサンプル顔画像ｕ１Ａ，ｕ２Ａ，・・・，ｕＮＡを平均処理して平均顔ｆＡを求め、ステップＳ２４で該平均顔ｆＡからテンプレートをｆＡ作成する。同様に、ステップＳ２２でＢグループのサンプル顔画像ｕ１Ｂ，ｕ２Ｂ，・・・，ｕＮＢを平均処理して平均顔ｆＢを求め、ステップＳ２５で該平均顔ｆＢからテンプレートをｆＢ作成する。さらに、ステップＳ２３でＣグループのサンプル顔画像ｕ１Ｃ，ｕ２Ｃ，・・・，ｕＮＣを平均処理して平均顔ｆＣを求め、ステップＳ２６で該平均顔ｆＣからテンプレートをｆＣ作成する。次いで、該テンプレートｆＡ，ｆＢ，ｆＣを記憶手段に記憶してデータベースＤＢとする。
【００１８】
次に、図４を参照して、本実施形態の顔検出装置の構成および顔検出手順を説明する。ステップＳ３１では、ある人物の顔を含む画像をカメラで撮像する。ステップＳ３２では、撮像画像をＡ／Ｄ変換する。該Ａ／Ｄ変換により得られたデジタルデータに対して、ステップＳ３３ではデータベースのテンプレートｆＡを適用し、顔検出する。ステップＳ３４ではテンプレートｆＢを適用し、またステップＳ３５ではテンプレートｆＣを適用して、それぞれ顔検出する。
【００１９】
ここで、該ステップＳ３３，Ｓ３４，Ｓ３５の詳細について、図５、図６を参照して説明する。前記ステップＳ３２のＡ／Ｄ変換により得られた画像が図６の画像１０であったとすると、これを予め定められている割合で拡大または縮小し、画像１０中の顔のサイズがテンプレートと同じサイズになるようにする。次いで、テンプレートと同じサイズの対象領域ｘ（ｉ，ｊ）を設定し、画像１０に対して該対象領域ｘ（ｉ，ｊ）を画像内で対象領域を左から右、上から下のラスタースキャン順に移動させ、各移動位置（ｉ，ｊ）における対象領域ｘ（ｉ，ｊ）とテンプレートとの類似度を測定する。そして、一番大きい類似度ＳをＳｍａｘとする。類似度Ｓは、下式により求めることができる。
【００２０】
Ｓ＝cosθ＝x (i, j)・f／（｜x (i, j)｜｜f｜）
ここに、θはx (i, j)とfのなす角、分子はx (i, j)とfの内積、分母の｜x (i, j)｜、｜f｜は、それぞれx (i, j)、fの大きさを示し、−１≦Ｓ≦１である。類似度Ｓの値が１に近い程、テンプレートとの一致度合いが高くなる。
【００２１】
図５は、前記ステップＳ３３，Ｓ３４，Ｓ３５の詳細を示すフローチャートである。このフローチャートは、図６で示されている処理を表したものであるので、説明を省略する。なお、撮像画像を拡大または縮小する処理においては、例えば、予め複数の拡大率１．５，１．４，・・・，１，・・・，０．６，０．５を用意しておき、これらの全ての拡大率で拡大、縮小した撮像画像について類似度Ｓを求め、それらの内の最大の類似度をＳＡとすればよい。
【００２２】
再度、図４に戻ると、ステップＳ３６では、ステップＳ３３，Ｓ３４，Ｓ３５で求められたそれぞれの最大類似度ＳＡ，ＳＢ，ＳＣの内の最大類似度max（ＳＡ，ＳＢ，ＳＣ）＝Ｓｍａｘを求める。そして、ステップＳ３７にて、該Ｓｍａｘを予め定められている顔非顔判定閾値Ｔと比較し、Ｓｍａｘ＞Ｔであれば顔検出完了、Ｓｍａｘ≦Ｔであれば顔検出失敗と判定する。
【００２３】
この実施形態によれば、眼鏡のありなしや、男女別などのグループ別に作成した複数のテンプレートを用いたので、グループ別にしないで作成したテンプレートに比べて、顔の特徴が平均化されずテンプレートが鈍らないので、精度の良い顔検出ができるようになる。
【００２４】
次に、本発明の他の実施形態を、図７を参照して説明する。図７は該実施形態の顔検出装置の構成および顔検出手順を説明する図である。この実施形態は、複数のテンプレートｆＡ，ｆＢ，ｆＣを切り替えて顔検出を行う点に特徴がある。この複数のテンプレートｆＡ，ｆＢ，ｆＣは、前記したのと同様に、グループ別に作成したものである。
【００２５】
図のステップＳ４１，Ｓ４２は、それぞれ図４のステップＳ３１，Ｓ３２と同じであるので、説明を省略する。ステップＳ４３では、データベースＤＢから１番目のテンプレートｆＡを取り出し、図５，図６で説明したのと同じ方法で顔検出を行い、最大の類似度ＳＡを求めそれを最大類似度Ｓ＊とする。ステップＳ４４では、該最大類似度Ｓ＊と前記顔非顔判定閾値Ｔとを比較し、Ｓ＊≦ＴであればステップＳ４５に進んで、テンプレートの切替を行う。例えば、テンプレートをｆＢに切り替えてステップＳ４１に戻り、再度当該人物をカメラで撮影してＡ／Ｄ変換し、ステップＳ４３で顔検出する。ステップＳ４４では、該ステップＳ４３で得られた最大の類似度ＳＢを最大類似度Ｓ＊とし、Ｓ＊と前記顔非顔判定閾値Ｔとを比較する。この場合、撮影画像と顔検出領域を示す枠とを、画面上に映出させるようにしても良い。
【００２６】
次に、前記比較において例えばＳ＊＞Ｔであれば、ステップＳ４６に進み、テンプレートの変更の指示ありか否かの判断がなされる。この指示は、本装置外から入力されたテンプレートの変更指示であっても、ユーザの目視確認によるテンプレート変更指示であっても良い。前者の場合は、例えば、顔検出後の処理の後段で顔解析処理を本装置外で行い、該解析結果が該顔検出は不適切であると判定した場合、本装置外からテンプレートの変更指示を送ることができる。一方、後者の場合は、装置の任意の箇所にユーザが操作できる押し釦やスイッチなどを設けておき、ユーザが検出結果を画面で確認し、検出結果が適当でないと判断した場合に、前記押し釦やスイッチなどからテンプレートの切り替え指示を入力することができる。マウスを用いても良い。
【００２７】
この実施形態は、例えば、カメラの前の人物がどの職業の顔特徴に似ているかを診断するエンターテイメントシステムに適用すると好適である。全ての体験者に等しく均等なサービスを提供するために、顔検出率を可能な限り改善する必要がある。このシステムでは、まず顔画像の撮影と顔検出を行って、検出された顔領域を画面上に表示する。体験者は検出結果が正しいと判断すれば撮影終了し、次へ進む。正しくないと判断すれば再度顔を撮影する。このとき、再撮影のたびに別のテンプレートに切り替えることによって、初回撮影でテンプレートの顔特徴に一致していないことから検出失敗となった人物でも、２回目、３回目の撮影を行うことによって、正しく顔を検出できる可能性が増す。体験者の目視確認プロセスを加えたことにより、原理的にも撮影失敗となるケースの発生を低減できる。
【００２８】
本発明によれば、テンプレートを１種類に限定せず複数のテンプレートに分割したことにより、検索の対象となる顔特徴に近いいずれかのテンプレートに整合する可能性が上がる。極端なケースを仮定すると、テンプレートが１００人の男性、１００人の女性、１００人の外国人から得たサンプル顔から構成されているとする。この場合、検索対象となる画像に男性が写っていた場合、３００人全員をまとめて平均化して作成したテンプレートよりも、１００人の男性画像から作成したテンプレートの方が高い類似度を示すことになる。
【図面の簡単な説明】
【００２９】
【図１】顔画像の正規化手順を示すフローチャートとその説明図である。
【図２】平均顔作成手順を示すフローチャートである。
【図３】複数テンプレートの作成手順を示すフローチャートである。
【図４】本発明の一実施形態の顔検出装置の動作を示すフローチャートである。
【図５】図４中の顔検出処理の詳細を示すフローチャートである。
【図６】図５の処理の概略説明図である。
【図７】本発明の他の実施形態の顔検出装置の動作を示すフローチャートである。
【図８】サンプル顔の数と平均顔との類似度の関係を示す図である。
【符号の説明】
【００３０】
ｐ・・・顔画像、ｑ・・・三角形、ｒ・・・正方形領域
【図１】
2007052547.tif 000003
【図２】
2007052547.tif 000004
【図３】
2007052547.tif 000005
【図４】
2007052547.tif 000006
【図５】
2007052547.tif 000007
【図６】
2007052547.tif 000008
【図７】
2007052547.tif 000009
【図８】
2007052547.tif 000010