(57)【要約】【課題】シワ形状に係る特徴量を人物属性の推定を行うことができ、加えて、撮影環境の変化に対してロバスト性を有する人物属性推定装置を提供する。【解決手段】発明の人物属性推定装置１は、広告媒体２ａを閲覧する人物を撮影するカメラ２の画像から顔領域を検出する顔検出手段１１０と、事前に作成された顔モデルを顔領域にあてはめることで顔領域上における顔器官の位置を特定し、特定した顔器官の位置から、人物属性の推定に利用する特徴量を求める関心領域として、シワが発生し易い領域である第１の関心領域を顔領域に設定する関心領域設定手段１１１と、顔領域の特徴量として、第１の関心領域内のエッジ画像から勾配ヒストグラムを抽出する特徴量抽出手段１１２と、学習器１３０を参照し、特徴量抽出手段１１２が抽出した特徴量が属する人物属性の区分を特定する人物属性推定手段１２０を備えている。【選択図】図３
2013058060.tif 000002
【特許請求の範囲】
【請求項１】
人物を撮影するように設定されたカメラの画像から顔領域を検出する顔検出手段と、事前に作成された顔モデルを前記顔領域にあてはめることで前記顔領域上における顔器官の位置を特定し、特定した顔器官の位置から、人物属性の推定に利用する特徴量を求める関心領域として、シワが発生し易い領域である第１の関心領域を前記顔領域に設定する関心領域設定手段と、前記特徴量として、前記第１の関心領域内のエッジ画像から勾配ヒストグラムを抽出する特徴量抽出手段と、複数の学習用顔画像から抽出した前記特徴量を人物属性の区分に分類した結果である学習器を参照し、前記特徴量抽出手段が抽出した前記特徴量を用いて前記顔領域に対応する人物属性の区分を特定する人物属性推定手段を備えたことを特徴とする人物属性推定装置。
【請求項２】
前記関心領域設定手段は、前記第１の関心領域に加え、肌の基準色とする領域である第２の関心領域と唇に対応する第３の関心領域を前記顔領域に設定し、前記特徴量として、前記勾配ヒストグラムに加え、前記第２の関心領域と前記第３の関心領域間の色距離を抽出することを特徴とする、請求項１に記載した人物属性推定装置。
【請求項３】
所望の人物属性の区分毎に用意された複数の学習用顔画像から前記特徴量を抽出し、機械学習により前記学習器を作成する学習器生成手段を備えたことを特徴とする、請求項１または請求項２に記載した人物属性推定装置。
【請求項４】
人物を撮影するように設定されたカメラの画像から顔領域を検出する顔検出工程と、事前に作成された顔モデルを前記顔領域にあてはめることで前記顔領域上における顔器官の位置を特定し、特定した顔器官の位置から、人物属性の推定に利用する特徴量を求める関心領域として、シワが発生し易い領域である第１の関心領域を前記顔領域に設定する関心領域設定工程と、前記特徴量として、前記第１の関心領域内のエッジ画像から勾配ヒストグラムを抽出する特徴量抽出工程と、複数の学習用顔画像から抽出した前記特徴量を人物属性の区分に分類した結果である学習器を参照し、前記特徴量抽出手段が抽出した前記特徴量を用いて前記顔領域に対応する人物属性の区分を特定する人物属性推定工程を含む処理をコンピュータが実行することを特徴とする人物属性推定方法。
【請求項５】
前記関心領域設定工程において、前記第１の関心領域に加え、肌の基準色とする領域である第２の関心領域と唇に対応する第３の関心領域を前記顔領域に設定し、前記特徴量抽出工程において、前記特徴量として、前記勾配ヒストグラムに加え、前記第２の関心領域と前記第３の関心領域間の色距離を抽出することを特徴とする、請求項５に記載した人物属性推定方法。
【請求項６】
人物を撮影するように設定されたカメラの画像から顔領域を検出する顔検出工程と、事前に作成された顔モデルを前記顔領域にあてはめることで前記顔領域上における顔器官の位置を特定し、特定した顔器官の位置から、人物属性の推定に利用する特徴量を求める関心領域として、シワが発生し易い領域である第１の関心領域を前記顔領域に設定する関心領域設定工程と、前記特徴量として、前記第１の関心領域内のエッジ画像から勾配ヒストグラムを抽出する特徴量抽出工程と、複数の学習用顔画像から抽出した前記特徴量を人物属性の区分に分類した結果である学習器を参照し、前記特徴量抽出手段が抽出した前記特徴量を用いて前記顔領域に対応する人物属性の区分を特定する人物属性推定工程を含む処理をコンピュータに実行させるためのコンピュータプログラム。
【請求項７】
前記関心領域設定工程において、前記第１の関心領域に加え、肌の基準色とする領域である第２の関心領域と唇に対応する第３の関心領域を前記顔領域に設定し、前記特徴量抽出工程において、前記特徴量として、前記勾配ヒストグラムに加え、前記第２の関心領域と前記第３の関心領域間の色距離を抽出することを特徴とすることを特徴とする、請求項６に記載したコンピュータプログラム
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広告媒体の広告効果を測定する際に、該広告媒体を閲覧した人物の人物属性（年齢・性別）を推定するための技術に関する。
【背景技術】
【０００２】
液晶ディスプレイやプロジェクタなどのディスプレイを用いて広告を表示するデジタルサイネージ（Digital Signage）が、様々な場所に設置され始めている。デジタルサイネージを用いることで、動画や音声を用いた豊かなコンテンツの提供が可能になるばかりか、デジタルサイネージの設置場所に応じた効率的な広告配信が可能になるため、今後、デジタルサイネージのマーケット拡大が期待されている。
【０００３】
デジタルサイネージは広告媒体として利用されるため、テレビの視聴率、新聞・雑誌の販売部数といったように、デジタルサイネージにおいても客観的な広告効果を測定することが必要になり、デジタルサイネージの広告効果を測定する際、特許文献１で開示されているように、デジタルサイネージを閲覧している人物を撮影するカメラで撮影した映像を解析し、デジタルサイネージの広告効果の指標として、デジタルサイネージを閲覧した人物の人数を集計する装置が設置される。
【０００４】
人物属性の区分毎にデジタルサイネージを閲覧した人物の人数を集計する際、カメラで撮影した映像に含まれる人物の人物属性（年齢・性別）を推定することが必要になり、映像に撮影されている人物の人物属性を推定する発明としては、例えば、特許文献２において、任意の顔向き方向から撮像した対象人物の顔画像から、その対象人物の性別や年代等の属性を自動で推定する装置が開示されている。
【０００５】
特許文献２で開示されている装置では、撮像した人物画像の顔画像から特徴ベクトルを作成し、特徴ベクトルを用いて性別及び年代が類似した属性類似者を複数人推定した後、属性類似者の性別に基づいて該人物画像に対応する人物の性別を推定し、推定した性別に属性類似者を限定して、該人物の性別を推定する。
【０００６】
また、特許文献３には、口の両端、目尻、目頭、鼻先などのような顔の特徴となる特徴部から、特徴部の全体もしくは一部の色の濃淡、皺の数などの特徴量を抽出し、予め用意された参照特徴量とのスコアを求めることで人物属性（性別・年齢）を推定する旨が記述されている。
【０００７】
更に、非特許文献１では、シワ及びシミに係る肌テクスチャや唇領域及び頬領域における色情報色相情報など、顔の見え方に依存しない性別・年齢推定に有効な特徴量を用い、関数近似能力を持つ多層型Nneural Networkを推定器として用いることで、性別の分類だけではなく、様々な分野への応用を考慮した推定年齢の連続値出力を可能とする手法が提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１１―７０６２９号公報
【特許文献２】特開２００３−２４２４８６号公報
【特許文献３】特開２００８―２８２０８９号公報
【非特許文献】
【０００９】
【非特許文献１】滝本裕則、他３名、「姿勢変動に影響されない顔画像からの性別年齢推定」、電学論Ｃ、127巻7号、2007号,p.1022−p.1029
【発明の概要】
【発明が解決しようとする課題】
【００１０】
確かに、非特許文献１で開示されている手法は有用ではあるが改善の余地が残っている。例えば、非特許文献１に係る肌テクスチャでは、額、目尻、法齢線（豊令線）などの各領域におけるエッジ強度の平均と偏差をシワ特徴量として定義しているが、年齢・性別に応じてシワ形状（シワの向きや深さ）が変化するため、シワ形状に係る特徴量をシワ特徴量とすれば人物属性の推定精度向上が期待できる。また、非特許文献１に係る色相特徴では、撮影環境の変化に対する考慮がなされていないため、撮影環境の変化に対してロバスト性を持たせることができれば人物属性の推定精度向上が期待できる。
【００１１】
そこで、本発明は、このような課題に鑑みてなされたもので、その目的とするところは、シワ形状に係る特徴量を人物属性の推定に適用でき、加えて、撮影環境の変化に対してロバスト性を有する人物属性推定装置、人物属性推定方法、及びプログラムを提供することである。
【課題を解決するための手段】
【００１２】
上述した課題を解決する第１の発明は、人物を撮影するように設定されたカメラの画像から顔領域を検出する顔検出手段と、事前に作成された顔モデルを前記顔領域にあてはめることで前記顔領域上における顔器官の位置を特定し、特定した顔器官の位置から、人物属性の推定に利用する特徴量を求める関心領域として、シワが発生し易い領域である第１の関心領域を前記顔領域に設定する関心領域設定手段と、前記特徴量として、前記第１の関心領域内のエッジ画像から勾配ヒストグラムを抽出する特徴量抽出手段と、複数の学習用顔画像から抽出した前記特徴量を人物属性の区分に分類した結果である学習器を参照し、前記特徴量抽出手段が抽出した前記特徴量を用いて前記顔領域に対応する人物属性の区分を特定する人物属性推定手段を備えたことを特徴とする人物属性推定装置である。
【００１３】
上述した第１の発明において、勾配ヒストグラムとは、エッジの方向を横軸、エッジの強度を縦軸に取り、エッジの強度を累積ヒストグラムとしてあらわしたもので、上述した第１の発明によれば、関心領域内のエッジ画像から生成された勾配ヒストグラムは、関心領域内における物体形状を示すことになり、ここでは、シワが発生し易い顔の第１の領域が関心領域となるため、特徴量抽出層の特徴量抽出手段が生成する勾配ヒストグラムは、第１の関心領域内の画像におけるシワ形状を示すことになり、シワ形状に係る特徴量を人物属性の推定に適用できる。
【００１４】
更に、上述した課題を解決する第２の発明は、第１の発明に記載した人物属性推定装置であって、前記関心領域設定手段は、前記第１の関心領域に加え、肌の基準色とする領域である第２の関心領域と唇に対応する第３の関心領域を前記顔領域に設定し、前記特徴量として、前記勾配ヒストグラムに加え、前記第２の関心領域と前記第３の関心領域間の色距離を抽出することを特徴とする人物属性推定装置である。
【００１５】
上述した第２の発明によれば、第２の関心領域と第３の関心領域間の色距離は相対的な値になるため、撮影条件が変動しても、第２の関心領域と第３の関心領域間の色距離は変動しないため、本実施形態の人物属性推定装置は、撮影条件の変動に対してロバスト性を有することになる。
【００１６】
更に、上述した課題を解決する第３の発明は、第１の発明または第２の発明に記載した人物属性推定装置であって、所望の人物属性の区分毎に用意された複数の学習用顔画像から前記特徴量を抽出し、機械学習により前記学習器を作成する学習器生成手段を備えたことを特徴とする人物属性推定装置である。
【００１７】
上述した第３の発明によれば、人物属性の推定に利用する前記学習器を作成できるようになる。なお、前記学習器の作成する手法としては、カーネル関数を用いた非線形分離を利用するＳＶＭを用いるとよい。
【００１８】
更に、第４の発明は、人物を撮影するように設定されたカメラの画像から顔領域を検出する顔検出工程と、事前に作成された顔モデルを前記顔領域にあてはめることで前記顔領域上における顔器官の位置を特定し、特定した顔器官の位置から、人物属性の推定に利用する特徴量を求める関心領域として、シワが発生し易い領域である第１の関心領域を前記顔領域に設定する関心領域設定工程と、前記特徴量として、前記第１の関心領域内のエッジ画像から勾配ヒストグラムを抽出する特徴量抽出工程と、複数の学習用顔画像から抽出した前記特徴量を人物属性の区分に分類した結果である学習器を参照し、前記特徴量抽出手段が抽出した前記特徴量を用いて前記顔領域に対応する人物属性の区分を特定する人物属性推定工程を含む処理をコンピュータが実行することを特徴とする人物属性推定方法である。
【００１９】
更に、上述した課題を解決する第５の発明は、第４の発明に記載した人物属性推定方法であって、前記関心領域設定工程において、前記第１の関心領域に加え、肌の基準色とする領域である第２の関心領域と唇に対応する第３の関心領域を前記顔領域に設定し、前記特徴量抽出工程において、前記特徴量として、前記勾配ヒストグラムに加え、前記第２の関心領域と前記第３の関心領域間の色距離を抽出することを特徴とする人物属性推定方法である。
【００２０】
更に、第６の発明は、人物を撮影するように設定されたカメラの画像から顔領域を検出する顔検出工程と、事前に作成された顔モデルを前記顔領域にあてはめることで前記顔領域上における顔器官の位置を特定し、特定した顔器官の位置から、人物属性の推定に利用する特徴量を求める関心領域として、シワが発生し易い領域である第１の関心領域を前記顔領域に設定する関心領域設定工程と、前記特徴量として、前記第１の関心領域内のエッジ画像から勾配ヒストグラムを抽出する特徴量抽出工程と、複数の学習用顔画像から抽出した前記特徴量を人物属性の区分に分類した結果である学習器を参照し、前記特徴量抽出手段が抽出した前記特徴量を用いて前記顔領域に対応する人物属性の区分を特定する人物属性推定工程を含む処理をコンピュータに実行させるためのコンピュータプログラムである。
【００２１】
更に、上述した課題を解決する第７の発明は、第６の発明に記載した人物属性推定方法であって、前記関心領域設定工程において、前記第１の関心領域に加え、肌の基準色とする領域である第２の関心領域と唇に対応する第３の関心領域を前記顔領域に設定し、前記特徴量抽出工程において、前記特徴量として、前記勾配ヒストグラムに加え、前記第２の関心領域と前記第３の関心領域間の色距離を抽出することを特徴とすることを特徴とするコンピュータプログラムである。
【発明の効果】
【００２２】
このように、本発明によれば、シワ形状に係る特徴量を人物属性の推定を行うことができ、加えて、撮影環境の変化に対してロバスト性を有する人物属性推定装置、人物属性推定方法、及びプログラムを提供できる。
【図面の簡単な説明】
【００２３】
【図１】人物属性推定装置を配置したシステム構成を説明する図。
【図２】人物属性推定装置が有するハードウェアを説明する図。
【図３】人物属性推定装置に実装されるアプリケーションの層の構成を説明する図。
【図４】特徴量抽出層の顔検出手段の動作を説明する図。
【図５】特徴量抽出層の顔検出手段の動作を説明する補足図。
【図６】対象領域の一例を説明する図。
【図７】特徴量抽出手段が勾配ヒストグラムを抽出する動作を説明する図。
【図８】特徴量抽出手段が抽出する勾配ヒストグラムを説明する図。
【図９】特徴量抽出手段が第２の関心領域と第３の関心領域間の色距離を抽出する動作を説明する図。
【図１０】本発明の効果を説明する図。
【発明を実施するための形態】
【００２４】
ここから、本発明の好適な実施形態について、図面を参照しながら詳細に説明する。なお、これから説明する実施形態は本発明の一実施形態にしか過ぎず、本発明は、これから説明する実施形態に限定されることなく、種々の変形や変更が可能である。
【００２５】
図１は、本実施形態に係る人物属性推定装置１を配置したシステム構成を説明する図である。図１で図示した人物属性推定装置１は、広告を表示する広告媒体２ａ（図１では、デジタルサイネージ）と、広告媒体２ａを閲覧している人物３を撮影するカメラ２と、カメラ２が撮影した映像に含まれる人物３の人物属性（年齢・性別）を推定する人物属性推定装置１とから少なくとも構成される。
【００２６】
なお、本実施形態において広告媒体２ａとは、公の場において大衆に対し広告を提示する媒体で、図１では、液晶ディスプレイを用いて広告を表示するデジタルサイネージ（Digital Signage）として広告媒体２ａを図示しているが、広告媒体２ａは、ショーウインドウ、広告看板、店舗内の特定の商品陳列棚などとすることもできる。
【００２７】
図２は、人物属性推定装置１が有するハードウェアを説明する図である。図２に図示したように、コンピュータを利用して実現される装置である人物属性推定装置１は、ハードウェアとして、メモリインターフェースやグラフィックボードなどが実装されたチップセット１ｂに接続しているＣＰＵ（Central Processing Unit）１ａを有し、このチップセット１ｂには、メモリ１ｃ、ディスプレイ１ｄ、キーボード／マウス１ｅ、ＬＡＮインターフェース１ｆ、ハードディスク１ｇ及びカメラインターフェース１ｈが接続されている。
【００２８】
人物属性推定装置１のハードディスク１ｇには、人物属性推定装置１を動作させるためのコンピュータプログラムが実装され、このコンピュータプログラムには、基本的な機能を提供するオペレーティングシステムや該オペレーティングシステム上で動作する画像認識に係るライブラリ（例えば、OpenCV）などの他に、画像認識に係るライブラリを利用して人物属性を推定するための機能を提供するアプリケーションが実装される。
【００２９】
図３は、人物属性推定装置１に実装されるアプリケーション層の構成を説明する図である。図３に図示したように、画像認識に係るライブラリを利用して人物属性を推定するための機能を提供するアプリケーションの層の構成には、カメラ２が撮影した画像が入力されるインターフェース層１０と、インターフェース層１０に入力された画像を解析することで、人物属性の推定に用いる特徴量を該画像から抽出する特徴量抽出層１１と、学習用顔画像から得られた特徴量を用いて予め生成された学習器１３０を有する人物属性学習層１３と、人物属性学習層１３が有する学習器１３０を参照し、特徴量抽出層１１が抽出した特徴量から人物属性を推定する人物属性推定層１２が含まれる。
【００３０】
ここから、人物属性推定装置１に実装されるアプリケーションの層の構成についてより詳細に説明する。図３に図示したように、インターフェース層１０には、カメラインターフェース１ｈを利用して実現される画像入力手段１００が含まれる。特徴量抽出層１１に出力する画像はカメラ２で撮影した動画に含まれる各フレームであってもよいが、一定時間毎（例えば、１分毎）のフレームであってもよい。
【００３１】
次に、特徴量抽出層１１について説明する。図３に図示したように、特徴量抽出層１１には、カメラ２から入力された画像から矩形の顔領域を検出する顔検出手段１１０と、顔検出手段１１０が検出した顔領域毎に、特徴量を抽出する対象領域を検出する関心領域設定手段１１１と、顔検出手段１１０が検出した顔領域の特徴量を抽出する手段として、関心領域設定手段１１１が検出した対象領域からシワ特徴量と唇特徴量を顔領域の特徴量として抽出する特徴量抽出手段１１２が含まれる。
【００３２】
ここから、特徴量抽出層１１に含まれる各手段について説明する。図４は、特徴量抽出層１１の顔検出手段１１０の動作を説明する図で、図５は、特徴量抽出層１１の顔検出手段１１０の動作を説明する補足図である。
【００３３】
本実施形態において、特徴量抽出層１１の顔検出手段１１０は、インターフェース層１０から入力された画像から顔領域を検出する際、まず、インターフェース層１０の画像入力手段１００に入力された画像から背景を除去する処理を行う（Ｓ１）。背景を除去する手法としては、背景画像を用意しておき、インターフェース層１０から入力された画像のある位置の画素が、背景画像の同じ位置にある画素との差分が閾値未満なら「０」(黒）、閾値以上であれば「１」（白）とする処理を行えばよい。
【００３４】
インターフェース層１０から入力された画像から背景を除去すると、特徴量抽出層１１の顔検出手段１１０は、図５（ａ）に図示したように、インターフェース層１０から入力された画像から背景が除去された後の領域をｂｌｏｂ（小塊）４ａとして抽出し、更に、ｂｌｏｂ４ａのサイズに依存する矩形で囲った領域をｂｌｏｂ領域４ｂとして抽出する（Ｓ２）。
【００３５】
特徴量抽出層１１の顔検出手段１１０は、ｂｌｏｂ（小塊）４ａとｂｌｏｂ領域４ｂを抽出すると、背景を除去する前の画像についてｂｌｏｂ領域４ｂをあてはめ、ｂｌｏｂ領域４ｂ内の画像から顔検出処理を行い、顔領域の候補を検出する（Ｓ３）。なお、顔検出処理については、下記の非特許文献１などで開示されているＨａａｒ-Like特徴量を用いた手法を利用するとよい。
＜非特許文献１＞Paul Viola and Michel J. Jones: "Rapid Object Detection Using a Boosted Cascade of Simple Features", Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.511-518, (2001)
【００３６】
図５（ｂ）に図示したように、背景を除去する前の画像についてｂｌｏｂ領域４ｂをあてはめ、ｂｌｏｂ領域４ｂ内の画像から顔検出処理を行うと、同一の顔から検出された複数の顔領域４ｃや、顔以外の物を顔として誤検出した顔領域４ｄも含まれるため、本実施形態において、特徴量抽出層１１の顔検出手段１１０は、抽出したｂｌｏｂ領域４ｂ内の画像にて顔検出処理を行った後、図５（ｃ）に図示したように、２つの顔領域において、一方の顔領域の中心と他方の顔領域の中心との距離≦一方の顔領域の中心から端までの距離＋他方の顔領域の中心から端までの距離であるか確認するなどして、顔領域４ｃの候補の重なりを判定し、重なっていると判定された顔領域の中から最大サイズのものを選択するなどして、同一の顔から検出されたと推測される複数の顔領域４ｂを一つの顔領域４ｅにまとめる処理（Ｓ４）や、図５（ｄ）に図示したように、顔領域（ここでは、顔領域４ｅ、ｄ）に含まれるｂｌｏｂ４ａの割合を参照して、顔以外を誤検出した顔領域４ｄの候補を削除する処理を行い（Ｓ５）、最終的に残った顔領域（ここでは、顔領域４ｅ）を顔検出結果とし、最終的に残った顔領域（ここでは、顔領域４ｅ）を所定サイズに正規化して（Ｓ６）、この処理を終了する。
【００３７】
次に、特徴量抽出層１１の関心領域設定手段１１１について説明する。本実施形態において、特徴量抽出層１１の関心領域設定手段１１１は、事前に作成された顔モデルを顔検出手段１１０が検出した顔領域に当てはめることで、顔領域における顔器官（目、鼻、唇等）の位置を特定し、特定した顔器官（目、鼻、唇等）の位置を利用し、人物属性の推定に用いる特徴量を求める関心領域として、シワの発生し易い顔の領域である第１の関心領域、肌の基準色とする顔の領域である第２の関心領域及び唇の領域である第３の関心領域を顔領域に設定する処理を行う。なお、顔モデルを顔領域に当てはめる手法としては、下記の非特許文献２などで開示され、Ａｆｆｉｎｅ変換により顔モデルを顔領域に当てはめるＡＳＭ（Active Shape Model）を用いるとよい。
＜非特許文献２＞T.F. Cootes, D. Cooper, C.J. Taylor and J. Graham, "Active Shape Models - Their Training and Application." Computer Vision and Image Understanding. Vol. 61, No. 1, Jan. 1995, pp. 38-59.
【００３８】
図６は、関心領域の設定の一例を説明する図である。図６では、シワの発生し易い顔の領域である第１の関心領域として、額領域５ａ、左右の目下領域５ｂ、ｃ、左右の法齢線領域５ｄ、５ｅの合計５つが、肌の基準色とする顔の領域である第２の関心領域として鼻領域５ｆが、そして、唇の領域である第３の関心領域として唇領域５ｇが設定され、特徴量抽出層１１の関心領域設定手段１１１は、図６で図示した関心領域と顔器官（目、鼻、唇等）との相対的な位置関係から、顔モデルを顔検出手段１１０が検出した顔領域におけるこれらの関心領域を求める。
【００３９】
このように、本実施形態では、事前に作成された顔モデルを顔領域に当てはめ、顔領域における顔器官の位置を検出し、顔器官の位置を利用して関心領域を顔領域に設定するため、正面の顔のみならず斜めの顔に対しても、顔領域における関心領域を正確に検出することができ、本実施形態の人物属性推定装置１は、撮影された顔の向きに対してロバスト性を持つことになる。
【００４０】
次に、特徴量抽出層１１の特徴量抽出手段１１２について説明する。非特許文献１では、額、目尻、法齢線（豊令線）などの各領域におけるエッジ強度の平均と偏差をシワ特徴量として定義しているが、本実施形態においては、年齢・性別に応じてシワ形状（シワの向きや深さ）が変化することに着目し、特徴量抽出層１１の特徴量抽出手段１１２は、関心領域設定手段１１１が検出した第１の関心領域内のエッジ画像から求めた勾配ヒストグラムを、関心領域設定手段１１１が検出した第１の関心領域内のシワ形状（シワの向きや深さ）を示す特徴量として抽出する。
【００４１】
更に、年齢や性別により唇の赤みが異なることに着目し、本実施形態において、特徴量抽出層１１の特徴量抽出手段１１２は、唇の赤みを示す特徴量として、関心領域設定手段１１１が検出した第２の関心領域と第３の関心領域間の色距離を抽出する。なお、第２の関心領域と第３の関心領域間の色距離は相対的な値になるため、撮影条件が変動しても、第２の関心領域と第３の関心領域間の色距離は変動しないため、本実施形態の人物属性推定装置１は、撮影条件の変動に対してロバスト性を有することになる。
【００４２】
図７は、特徴量抽出層１１の特徴量抽出手段１１２が勾配ヒストグラムを抽出する動作を説明する図で、この手順は、顔検出手段１１０が検出した顔領域毎に実行される。
【００４３】
勾配ヒストグラムを抽出する際、特徴量抽出層１１のシワ特徴量抽出手段１１２は、まず、シワの発生し易い顔の対象領域である第１の関心領域内の画像におけるＸ方向及びＹ方向のエッジ画像を算出する（Ｓ１０）。第１の関心領域におけるＸ方向及びＹ方向のエッジ画像を算出する手法としては、空間フィルタの一つであるＳｏｂｅｌフィルタを用いるとよく、ここでは、Ｘ方向及びＹ方向のエッジ画像を算出するため、Ｓｏｂｅｌフィルタのオペレータとしては表1のオペレータを用いるとよい。
【表１】
2013058060.tif 000003
【００４４】
シワの発生し易い顔の対象領域である第１の関心領域内の画像におけるＸ方向及びＹ方向のエッジ画像を算出すると、特徴量抽出層１１の特徴量抽出手段１１２は、数式１を用いて、Ｘ方向及びＹ方向のエッジ画像の画素毎に勾配強度・勾配方向を算出する（Ｓ１１）。
【数１】
2013058060.tif 000004
【００４５】
Ｘ方向及びＹ方向のエッジ画像の画素毎に勾配強度・勾配方向を算出すると、特徴量抽出層１１の特徴量抽出手段１１２は、勾配強度・勾配方向を元に、Ｘ軸を勾配方向、Ｙ軸を勾配強度とした勾配ヒストグラムを生成し（Ｓ１２）、この手順を終了する。
【００４６】
図８は、特徴量抽出層１１の特徴量抽出手段１１２が抽出する勾配ヒストグラムを説明する図である。勾配ヒストグラムの勾配方向は全方向（０度〜３６０度）でも良いが、本実施形態において、特徴量抽出層１１の特徴量抽出手段１１２は、全方向（０度〜３６０度）を１０分割した３６方向の勾配ヒストグラムを生成する。
【００４７】
対象領域内の画像のＸ方向及びＹ方向のエッジ画像から生成された勾配ヒストグラムは、対象領域内における物体形状を示すことになり、ここでは、シワが発生し易い第１の関心領域が対象領域となるため、特徴量抽出層１１の特徴量抽出手段１１２が生成する勾配ヒストグラムは、第１の関心領域内の画像におけるシワ形状を示すことになる。
【００４８】
次に、特徴量抽出層１１の特徴量抽出手段１１２が、第２の関心領域と第３の関心領域間の色距離を抽出する動作について説明する。図９は、特徴量抽出層１１の特徴量抽出手段１１２第２の関心領域と第３の関心領域間の色距離を抽出する動作を説明する図で、この手順は、顔検出手段１１０が検出した顔領域毎に実行される。
【００４９】
特徴量抽出層１１の特徴量抽出手段１１２は、唇特徴量を抽出する際、基準肌領域内の画像と第３の関心領域内の画像それぞれから、赤み成分を多く含む色空間上での色ヒストグラムを求めた後（Ｓ２０）、該色ヒストグラム間の差分を色距離として抽出し（Ｓ２１）、この手順を終了する。なお、本実施形態では、赤み成分を多く含む色空間を、Ｈ（色相）、Ｓ（彩度）及びＲ（赤）の３つの色空間とし、色ヒストグラム間の差分として数式２に従いバタチャリヤ距離を算出するが、ヒストグラム間の差分としてマハラノビス距離を算出してもよい。
【数２】
2013058060.tif 000005
【００５０】
このように、特徴量抽出層１１の特徴量抽出手段１１２は、顔画像の特徴量として、合計で５つの第１の関心領域毎に３６方向の勾配ヒストグラムを作成し、また、Ｈ（色相）、Ｓ（彩度）及びＲ（赤）の３つの色空間毎に、第２の関心領域と第３の関心領域間の色距離（ここでは、バタチャリヤ距離）を抽出するため、一つの顔領域から抽出される特徴量は１８３次元のベクトルとなる。
【００５１】
次に、人物属性学習層１３の学習器１３０について説明する。人物属性学習層１３には、特徴量抽出層１１から得られた特徴量（ここでは、勾配ヒストグラムと色距離）から人物属性（ここでは、年齢・性別）を推定する際に用いる学習器１３０と、機械学習により学習器１３０を作成する学習器生成手段１３１が設けられる。
【００５２】
人物属性学習層１３の学習器１３０は、学習器生成手段１３１により人物属性を推定する前に予め生成される。本実施形態において、人物属性学習層１３の学習器生成手段１３１は、ＳＶＭ（Support Vector Machine）により学習器１３０を生成する。
【００５３】
ＳＶＭ（Support Vector Machine）を利用して学習器１３０を生成する際、予め、人物属性の区分（ここでは、男女の性別に４つの年齢区分毎に、０歳から１９歳、２０歳から３４歳、３５歳から４９歳、５０歳以上を設定した合計８区分）毎に複数の学習用顔画像を用意し、学習用顔画像毎に上述した１８３次元の特徴量を抽出し、カーネル関数を用いた非線形分離を利用するＳＶＭにより、それぞれの学習用顔画像から抽出された特徴量を８個の人物属性の区分に分離した結果が学習器１３０として利用される。
【００５４】
次に、人物属性推定層１２について説明する。人物属性推定層１２の人物属性推定手段は、人物属性学習層１３の学習器１３０を参照し、特徴量抽出層１１から得られた特徴量（ここでは、シワ特徴量と唇特徴量）から人物属性（ここでは、年齢・性別）を推定する処理を行う。具体的には、人物属性推定層１２の人物属性推定手段は、人物属性（ここでは、年齢・性別）を推定する際、人物属姓学習層の学習器１３０を参照し、特徴量抽出層１１から得られた１８３次元の特徴量が属するベクトル空間に対応した人物属性の区分を該特徴量の対象となった顔領域の人物属性として特定する。
【００５５】
最後に、本発明の効果について説明する。図１０は、本発明の効果を説明する図で、図１０（ａ）は年齢推定結果を示し、図１０（ｂ）は性別推定結果を示し、図１０内のパーセント表示は、図１０（ａ）の番号２であれば、２０歳から３４歳までの女性を正しく推定できた識別率が各角度で８７％、８２％・・・であることを示している。
【００５６】
図１０の年齢推定結果では、若年層（１９歳以下）の年齢推定結果が非常に悪い識別率になっているが、これは、人物属性学習器１３０を生成する際に利用した若年層（１９歳以下）の学習用顔画像の数が１５人と少ないためと考えられ、より多くの学習用顔画像を用いて学習器１３０を生成すれば識別率は向上すると思われる。
【符号の説明】
【００５７】
１    人物属性推定装置
１０  インターフェース層
１００  画像入力手段
１１  特徴量抽出層
１１０  顔検出手段
１１１  関心領域設定手段
１１２  特徴量抽出手段
１２  人物属性推定層
１２０  人物属性推定手段
１３  人物属性学習層
１３０  学習器
１３１  学習器生成手段
２    カメラ
２ａ  広告媒体
３    人物
【図１】
2013058060.tif 000006
【図２】
2013058060.tif 000007
【図３】
2013058060.tif 000008
【図４】
2013058060.tif 000009
【図５】
2013058060.tif 000010
【図６】
2013058060.tif 000011
【図７】
2013058060.tif 000012
【図８】
2013058060.tif 000013
【図９】
2013058060.tif 000014
【図１０】
2013058060.tif 000015