(57)【要約】【課題】用意する写真画像の枚数を増加させることなく、識別率を向上させることの可能な人物属性識別装置を提供する。【解決手段】人物属性識別装置１０は、カメラ１２と、カメラ１２で撮影された人物の画像から正写真画像をキャプチャする画像キャプチャ装置１４と、正写真画像を左右反転して反転写真画像を生成する左右反転部１８と、正写真画像及び反転写真画像の中から人物の顔が写っている領域を顔画像として検出する顔検出部２０と、検出された顔画像を抽出する顔画像抽出部２２と、抽出された顔画像に基づいて正面顔尤度を算出する正面顔尤度算出部２４と、抽出された顔画像の中から正面顔尤度の高い上位Ｆ枚の顔画像を選択する正面顔選択部２８と、選択された顔画像に基づいて人物の属性（性別及び年代）を判定する属性判定部３０とを備える。【選択図】図１
2008310392.tif 000002
【特許請求の範囲】
【請求項１】
人物を撮影して正写真画像を生成する撮影手段と、
前記撮影手段により生成された正写真画像を左右反転して反転写真画像を生成する左右反転手段と、
前記撮影手段により生成された正写真画像及び前記左右反転手段により生成された反転写真画像に基づいて前記人物の属性を判定する属性判定手段とを備えたことを特徴とする人物属性識別装置。
【請求項２】
請求項１に記載の人物属性識別装置であってさらに、
前記撮影手段により生成された正写真画像及び前記左右反転手段により生成された反転写真画像の中から前記人物の顔が写っている領域を顔画像として検出する顔検出手段と、
前記顔検出手段により検出された顔画像を抽出する顔画像抽出手段とを備え、
前記属性判定手段は、前記顔画像抽出手段により抽出された顔画像に基づいて前記人物の属性を判定する、ことを特徴とする人物属性識別装置。
【請求項３】
請求項２に記載の人物属性識別装置であってさらに、
前記顔画像抽出手段により抽出された顔画像に基づいて正面顔尤度を算出する正面顔尤度算出手段と、
前記顔画像抽出手段により抽出された顔画像の中から前記正面顔尤度算出手段により算出された正面顔尤度の高い上位所定枚数の顔画像を選択する正面顔選択手段とを備え、
前記属性判定手段は、前記正面顔選択手段により選択された顔画像に基づいて前記人物の属性を判定する、ことを特徴とする人物属性識別装置。
【請求項４】
人物を撮影して正写真画像を生成する撮影ステップと、
前記撮影ステップにより生成された正写真画像を左右反転して反転写真画像を生成する左右反転ステップと、
前記撮影ステップにより生成された正写真画像及び前記左右反転ステップにより生成された反転写真画像に基づいて前記人物の属性を判定する属性判定ステップとを備えたことを特徴とする人物属性識別方法。
【請求項５】
請求項４に記載の人物属性識別方法であってさらに、
前記撮影ステップにより生成された正写真画像及び前記左右反転ステップにより生成された反転写真画像の中から前記人物の顔が写っている領域を顔画像として検出する顔検出ステップと、
前記顔検出ステップにより検出された顔画像を抽出する顔画像抽出ステップとを備え、
前記属性判定ステップは、前記顔画像抽出ステップにより抽出された顔画像に基づいて前記人物の属性を判定する、ことを特徴とする人物属性識別方法。
【請求項６】
請求項５に記載の人物属性識別方法であってさらに、
前記顔画像抽出ステップにより抽出された顔画像に基づいて正面顔尤度を算出する正面顔尤度算出ステップと、
前記顔画像抽出ステップにより抽出された顔画像の中から前記正面顔尤度算出ステップにより算出された正面顔尤度の高い上位所定枚数の顔画像を選択する正面顔選択ステップとを備え、
前記属性判定ステップは、前記正面顔選択ステップにより選択された顔画像に基づいて前記人物の属性を判定する、ことを特徴とする人物属性識別方法。
【請求項７】
請求項４〜６のいずれか１項に記載の各ステップをコンピュータに実行させるための人物属性識別プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物属性識別装置及びその方法に関し、さらに詳しくは、人物を撮影してその人物の属性（性別、年代など）を識別する人物属性識別装置及びその方法に関する。
【背景技術】
【０００２】
特開平１１−１７５７２４号公報（特許文献１）及び特開２００６−３２３５０７号公報（特許文献２）には、人物を撮影した写真画像、特に顔画像に基づいてその人物の性別や年代などの属性を識別する人物属性識別装置が記載されている。しかしながら、いずれの装置も人物の属性を正しく識別できる割合（以下、「識別率」という。）は１００％ではなく、その向上は常に要求されている。
【０００３】
識別率を向上させる最も単純な方法として、同一人物を異なる角度で撮影した写真画像をできる限り多数用意し、これらの写真画像に基づいて属性を識別するという方法が考えられる。しかしながら、用意する写真画像の枚数を増加させることは、それらを記憶しておくために大容量のＦＩＦＯ(First-In First-Out)メモリを用意しなければならないなどの問題があり、好ましくない。
【特許文献１】特開平１１−１７５７２４号公報
【特許文献２】特開２００６−３２３５０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、用意する写真画像の枚数を増加させることなく、識別率を向上させることが可能な人物属性識別装置及びその方法を提供することである。
【課題を解決するための手段及び発明の効果】
【０００５】
本発明による人物属性識別装置は、撮影手段と、左右反転手段と、属性判定手段とを備える。撮影手段は、人物を撮影して正写真画像を生成する。左右反転手段は、撮影手段により生成された正写真画像を左右反転して反転写真画像を生成する。属性判定手段は、撮影手段により生成された正写真画像及び左右反転手段により生成された反転写真画像に基づいて人物の属性を判定する。
【０００６】
本発明によれば、正写真画像を左右反転し、正写真画像と異なる反転写真画像を生成するので、用意する写真画像の枚数を増加させなくても、人物の属性を判定するのに用いる写真画像の枚数を実質的に倍増させ、その結果、識別率を向上させることができる。
【０００７】
好ましくは、人物属性識別装置はさらに、顔検出手段と、顔画像抽出手段とを備える。顔検出手段は、撮影手段により生成された正写真画像及び左右反転手段により生成された反転写真画像の中から人物の顔が写っている領域を顔画像として検出する。顔画像抽出手段は、顔検出手段により検出された顔画像を抽出する。属性判定手段は、顔画像抽出手段により抽出された顔画像に基づいて人物の属性を判定する。
【０００８】
この場合、人物の属性を判定するのに顔画像のみを用いるので、上記よりも識別率を向上させることができる。
【０００９】
好ましくは、人物属性識別装置はさらに、正面顔尤度算出手段と、正面顔選択手段とを備える。正面顔尤度算出手段は、顔画像抽出手段により抽出された顔画像に基づいて正面顔尤度を算出する。正面顔選択手段は、顔画像抽出手段により抽出された顔画像の中から正面顔尤度算出手段により算出された正面顔尤度の高い上位所定枚数の顔画像を選択する。属性判定手段は、正面顔選択手段により選択された顔画像に基づいて人物の属性を判定する。
【００１０】
この場合、人物の属性を判定するのに正面顔又はそれに近い顔が写っている顔画像のみを用いるので、上記よりも識別率を向上させることができる。
【００１１】
本発明による人物属性識別方法は上記人物属性識別装置の動作方法に相当する。上記人物属性識別装置は、人物属性識別プログラムをコンピュータにインストールすることにより生産される。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。
【００１３】
図１を参照して、本発明の実施の形態による人物属性識別装置１０は、カメラ１２と、画像キャプチャ装置１４と、ＦＩＦＯメモリ１６と、左右反転部１８と、顔検出部２０と、顔画像抽出部２２と、正面顔尤度算出部２４と、メモリ２６と、正面顔選択部２８と、属性判定部３０とを備える。
【００１４】
カメラ１２は人物を撮影する。画像キャプチャ装置１４は、カメラ１２で撮影された人物の画像を所定時間ごとにキャプチャして複数の写真画像（以下、「正写真画像」という。）を連続的に生成する。ＦＩＦＯメモリ１６は、画像キャプチャ装置１４から出力された正写真画像を順次記憶する。
【００１５】
左右反転部１８は、ＦＩＦＯメモリ１６から順次読み出された正写真画像を左右反転して反転写真画像を生成する。顔検出部２０は、上記正写真画像及び反転写真画像の中から人物の顔が写っている領域を顔画像として検出する。顔画像抽出部２２は、正又は反転写真画像の中から、顔検出部２０により検出された顔画像を抽出する（切り出す）。
【００１６】
正面顔尤度算出部２４は、顔画像抽出部２２により抽出された顔画像に基づいて正面顔尤度を算出する。正面顔尤度は、撮影されている顔が正面顔である可能性を表し、正面顔の場合は１００％に近い高い値になるが、横顔、下向き顔、上向き顔等の場合は低い値になる。
【００１７】
メモリ２６は、顔画像抽出部２２により抽出された顔画像を正面顔尤度算出部２４により算出された正面顔尤度と対応付けて記憶する。正面顔選択部２８は、メモリ２６に記憶された正面顔尤度を参照し、メモリ２６に記憶された顔画像の中から正面顔尤度の高い上位Ｆ枚の顔画像を選択する。属性判定部３０は、正面顔選択部２８により選択された顔画像に基づいて人物の属性、具体的には性別及び年代を判定する。
【００１８】
次に、人物属性識別装置１０の動作を説明する。ここでは、カメラ１２で同一人物が撮影され、その結果、画像キャプチャ装置１４により合計Ｔ枚の正写真画像が得られたものとする。
【００１９】
図２を参照して、処理対象の画像番号を示す変数ｔを「１」に初期化し（Ｓ１）、正又は反転写真画像を示す変数ｍを「１」に初期化する（Ｓ２）。
【００２０】
続いて、変数ｍが「１」か否かを判定し（Ｓ３）、ｍ＝１の場合（Ｓ３でＹＥＳ）、次の顔検出処理（Ｓ５）に進むが、ｍ≠１（ｍ＝２）の場合（Ｓ３でＮＯ）、正写真画像を左右反転して反転写真画像を生成する（Ｓ４）。たとえば図３（ａ）に示されるような正写真画像Ｐ１〜Ｐ４が与えられた場合、図３（ｂ）に示されるような反転写真画像Ｒ１〜Ｒ４がそれぞれ生成される。
【００２１】
続いて、正又は反転写真画像の中から人物の顔が写っている領域を顔画像として検出する（Ｓ５）。通常、写真画像の中に顔が写っている場合もあれば、顔が全く写っていない場合もある。また、顔が写っていても、その位置及び大きさは様々である。そのため、写真画像の中から様々な位置及び大きさのパッチを切り出し、その部分の画像に基づいて顔尤度を算出する。顔尤度は、その画像が顔である可能性を表す。そして、顔尤度が所定のしきい値を超えているパッチを顔が写っている顔画像と特定する。たとえば図３（ｃ）に示されるように、顔画像ＦＰ２〜ＦＰ４，ＦＲ２〜ＦＲ４が特定される。本例では写真画像Ｐ１，Ｒ１には顔が写っていないので、これらの中には顔画像は特定されていない。詳細については、特開２００６−３２３５０７号公報（特許文献２）の記載をここに援用する。
【００２２】
続いて、正又は反転写真画像の中から、その検出された顔画像を抽出する（Ｓ６）。たとえば図３（ｄ）に示されるように、顔画像ＦＰ２〜ＦＰ４，ＦＲ２〜ＦＲ４が抽出される。
【００２３】
続いて、抽出された顔画像に基づいて正面顔尤度を算出する（Ｓ７）。正面顔尤度は、その顔が正面である可能性を表す。正面顔尤度と上記顔検出処理（Ｓ５）における顔尤度とでは、尤度の算出に用いる学習サンプルが異なる。具体的には図４に示されるように、顔尤度の算出のためには、正面顔か否かに関係なく、顔が写っている画像は陽性（＋１）サンプルとして学習され、顔が写っていない画像は陰性（−１）サンプルとして学習される。一方、正面顔尤度の算出のためには、正面顔が写っている画像は陽性（＋１）サンプルとして学習され、正面顔が写っていない画像は陰性（−１）サンプルとして学習される。なお、顔が写っていない画像は学習されない。
【００２４】
ここでは上記顔検出処理（Ｓ５）における顔尤度と異なる方法で正面顔尤度を算出しているが、正面顔が多い場合には顔検出処理（Ｓ５）で算出した顔尤度をそのまま正面顔尤度として用いてもよい。この場合、算出処理にかかる負荷を低減することができる。
【００２５】
続いて、変数ｍをインクリメントし（Ｓ８）、ｍ＞２の場合、つまり正及び反転写真画像の両方に対して上記ステップＳ５〜Ｓ７の処理を終えた場合（Ｓ９でＹＥＳ）、次のステップＳ１０に進む。一方、ｍ＞２でない場合、つまり正写真画像に対してしか上記ステップＳ５〜Ｓ７の処理を終えていない場合（Ｓ９でＮＯ）、上記ステップＳ３に戻り、反転写真画像に対して上記ステップＳ５〜Ｓ７の処理を行う。
【００２６】
続いて、変数ｔをインクリメントし（Ｓ１０）、ｔ＞Ｔの場合、つまりＴ枚全ての正写真画像に対して上記ステップＳ４〜Ｓ７の処理を終えた場合（Ｓ１１でＹＥＳ）、次のステップＳ１２に進む。一方、ｔ＞Ｔでない場合、つまりまだＴ枚全ての写真画像に対して上記ステップＳ４〜Ｓ７の処理を終えていない場合（Ｓ１１でＮＯ）、上記ステップＳ２に戻り、次の正写真画像に対して上記ステップＳ４〜Ｓ７の処理を行う。
【００２７】
以上の結果、２×（Ｔ−ｋ）枚の顔画像とその正面顔尤度とが得られる。ここで、ｋは顔が全く写っていない正写真画像の枚数である。
【００２８】
続いて、２×（Ｔ−ｋ）枚の顔画像のうち以下の処理対象となる顔画像を示す変数ｉを「１」に初期化する（Ｓ１２）。ｉ番目の顔画像の正面顔尤度が上位Ｆ枚以内か否かを判定する（Ｓ１３）。正面顔尤度が上位Ｆ枚以内の場合（Ｓ１３でＹＥＳ）、その顔画像を選択し（Ｓ１４）、正面顔尤度が上位Ｆ枚以内でない場合（Ｓ１３でＮＯ）、その顔画像を選択しない（Ｓ１４をスキップ）。
【００２９】
続いて、変数ｉをインクリメントし（Ｓ１５）、ｉ＞２（Ｔ−ｋ）の場合、つまり全ての顔写真画像に対して上記ステップＳ１３〜Ｓ１４の処理を終えた場合（Ｓ１６でＹＥＳ）、次のステップＳ１７に進む。一方、ｉ＞２（Ｔ−ｋ）でない場合、つまりまだ全ての顔画像に対して上記ステップＳ１３〜Ｓ１４の処理を終えていない場合（Ｓ１６でＮＯ）、上記ステップＳ１３に戻り、次の顔画像に対して上記ステップＳ１３〜Ｓ１４の処理を行う。
【００３０】
ここで選択される顔画像には、正面顔が写っている場合もあるが、正面顔に近い顔が写っているだけで、正面顔が写っていない場合もある。撮影状況によっては正面顔が写っている顔画像が１枚もない場合もあるからである。顔検出処理（Ｓ５）と正面顔尤度算出処理（Ｓ７）とを別々に行っているのは、そのような撮影状況でも識別率をできる限り高く維持するためである。たとえばＦ＝３の場合、図３（ｄ）に示される顔画像ＦＰ２〜ＦＰ４，ＦＲ２〜ＦＲ４の中から、図３（ｅ）に示される上位３枚の顔画像ＦＰ３，ＦＲ３，ＦＰ２が選択される。
【００３１】
最後に、選択された顔画像に基づいて人物の属性を判定する（Ｓ１４）。具体的には図５に示されるように、Ｆ枚の顔画像の各々に基づいて各クラス（たとえば男性、女性、１０代、２０代、３０代、４０代、５０代、６０代）の尤度Ｌ１１，Ｌ２１，…，ＬＦ１，Ｌ１２，Ｌ２２，…，ＬＦ２，…，Ｌ１８，Ｌ２８，…，ＬＦ８を算出し、各クラスの平均尤度／Ｌ１…／Ｌ８（＝尤度の合計／Ｆ）を算出する。そして、平均尤度が最大のクラスを最尤クラスとして選択し、最尤クラスを人物の属性と決定する。詳細については、特開２００６−３２３５０７号公報（特許文献２）の記載をここに援用する。
【００３２】
一般に、人物の顔は概ね左右対称であるが、厳密には左右非対称である。したがって、正写真画像を左右反転させた反転写真画像には、もとの人物と非常によく似た別の人物が写っていると評価することができるが、両人物の性別や年代は同じと評価することができる。
【００３３】
本発明の実施の形態によれば、正写真画像を左右反転し、正写真画像と異なる反転写真画像を生成するので、用意する写真画像の枚数を増加させなくても、人物の属性を判定するのに用いる写真画像の枚数を実質的に倍増させ、その結果、識別率を向上させることができる。また、人物の属性を判定するのに顔画像のみを用いるので、識別率をより向上させることができる。さらに、人物の属性を判定するのに正面顔又はそれに近い顔が写っている顔画像のみを用いるので、識別率をより向上させることができる。
【００３４】
上記実施の形態は撮影により得られた写真画像を最初に左右反転しているが、写真画像の中から顔を検出して顔画像を抽出した後、その顔画像を左右反転するように変更してもよい。この場合、顔画像はもとの写真画像よりも小さいので、左右反転処理にかかる負荷を低減することができる。また、顔が写っていない画像が反転されることはないので、左右反転処理の結果が無駄になることはない。
【００３５】
なお、人物属性識別装置１０は典型的には自動販売機に装着されるが、コンビニエンスストア、ファストフード、レストランなどのレジに設置されてもよい。
【００３６】
以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施の形態による人物属性識別装置の構成を示す機能ブロック図である。
【図２】図１に示した人物属性識別装置の動作を示すフロー図である。
【図３】図２に示した動作により処理される画像の変遷を示す図である。
【図４】図１中の顔検出部及び正面顔尤度算出部で用いられる学習サンプルの比較を示す図である。
【図５】図１中の属性判定部で算出される各クラスの尤度及びその平均尤度を示す図である。
【符号の説明】
【００３８】
１０  人物属性識別装置
１２  カメラ
１４  画像キャプチャ装置
１８  左右反転部
２０  顔検出部
２２  顔画像抽出部
２４  正面顔尤度算出部
２８  正面顔選択部
３０  属性判定部
【図１】
2008310392.tif 000003
【図２】
2008310392.tif 000004
【図４】
2008310392.tif 000005
【図５】
2008310392.tif 000006
【図３】
2008310392.tif 000007