(57)【特許請求の範囲】
【請求項１】
画像を入力する画像入力手段と、
前記画像入力手段により入力された画像から人物の顔画像を検出する顔検出手段と、
前記顔検出手段により検出された顔画像から表情毎に対応した表情評価値を算出する表情評価値算出手段と、
前記算出された表情毎に対応した表情評価値に基づいて各表情評価値に対応する優先度を決定し、各表情評価値及び各表情評価値に対応して設けられた表情判定用閾値のいずれか一方を該決定した優先度に基づいて重み付けする処理手段と、
前記処理手段によりいずれか一方が重み付けされた表情評価値と表情判定用閾値との比較結果に基づいて前記顔画像の表情を判定する表情判定手段と
を具備することを特徴とする表情認識装置。
【請求項２】
画像を入力する画像入力手段と、
前記画像入力手段により入力された画像から人物の顔画像を検出する顔検出手段と、
前記顔検出手段により検出された人物の顔画像から当該人物の属性を推定する推定手段と、
前記推定手段により推定された属性に基づいて各表情の優先度を決定する決定手段と、
前記決定手段により決定された優先度に基づいて、前記顔検出手段により検出された顔画像から表情毎に対応した表情評価値を算出する表情評価値算出手段と、
前記表情評価値算出手段により算出された表情評価値と表情判定用閾値との比較結果に基づいて前記顔画像の表情を判定する表情判定手段と
を具備することを特徴とする表情認識装置。
【請求項３】
前記属性は個人であり、
前記決定手段は、
前記推定手段により推定された個人の各表情の検出履歴に基づき、各表情に対する優先度を決定する
ことを特徴とする請求項２記載の表情認識装置。
【請求項４】
前記属性は年齢であり、
前記決定手段は、
前記推定手段により推定された年齢に基づき、各表情に対する優先度を決定する
ことを特徴とする請求項２記載の表情認識装置。
【請求項５】
前記決定手段は、
前記推定手段により推定された性別に基づき、各表情に対する優先度を決定する
ことを特徴とする請求項２記載の表情認識装置。
【請求項６】
表情各々は、カテゴリに分類されており、
前記処理手段は、
前記分類されたカテゴリ毎に該カテゴリに属する各表情に対応した表情評価値の比較を行なうことにより各表情評価値に対応する優先度を決定する
ことを特徴とする請求項１記載の表情認識装置。
【請求項７】
画像を入力する画像入力手段と、
前記画像入力手段により入力された画像から人物の顔画像を検出する顔検出手段と、
前記顔検出手段により検出された顔画像から表情毎に対応した表情評価値を算出する表情評価値算出手段と、
前記算出された表情毎に対応した表情評価値に基づいて各表情評価値に対応する優先度を決定し、各表情評価値及び各表情評価値に対応して設けられた表情判定用閾値のいずれか一方を該決定した優先度に基づいて重み付けする処理手段と、
前記処理手段によりいずれか一方が重み付けされた表情評価値と表情判定用閾値との比較結果に基づいて前記顔画像の表情を判定する表情判定手段と、
前記表情判定手段により判定された前記顔画像の表情に基づき撮像を行なう撮像手段と
を具備することを特徴とする撮像装置。
【請求項８】
画像を入力する画像入力手段と、
前記画像入力手段により入力された画像から人物の顔画像を検出する顔検出手段と、
前記顔検出手段により検出された人物の顔画像から当該人物の属性を推定する推定手段と、
前記推定手段により推定された属性に基づいて各表情の優先度を決定する決定手段と、
前記決定手段により決定された優先度に基づいて、前記顔検出手段により検出された顔画像から表情毎に対応した表情評価値を算出する表情評価値算出手段と、
前記表情評価値算出手段により算出された表情評価値と表情判定用閾値との比較結果に基づいて前記顔画像の表情を判定する表情判定手段と、
前記表情判定手段により判定された前記顔画像の表情に基づき撮像を行なう撮像手段と
を具備することを特徴とする撮像装置。
【請求項９】
表情認識装置における表情認識方法であって、
画像入力手段が、画像を入力する画像入力工程と、
顔検出手段が、前記画像入力工程により入力された画像から人物の顔画像を検出する顔検出工程と、
表情評価値算出手段が、前記顔検出工程により検出された顔画像から表情毎に対応した表情評価値を算出する表情評価値算出工程と、
処理手段が、前記算出された表情毎に対応した表情評価値に基づいて各表情評価値に対応する優先度を決定し、各表情評価値及び各表情評価値に対応して設けられた表情判定用閾値のいずれか一方を該決定した優先度に基づいて重み付けする処理工程と、
表情判定手段が、前記処理工程によりいずれか一方が重み付けされた表情評価値と表情判定用閾値との比較結果に基づいて前記顔画像の表情を判定する表情判定工程と
を含むことを特徴とする表情認識装置における表情認識方法。
【請求項１０】
表情認識装置における表情認識方法であって、
画像入力手段が、画像を入力する画像入力工程と、
顔検出手段が、前記画像入力工程により入力された画像から人物の顔画像を検出する顔検出工程と、
推定手段が、前記検出された人物の顔画像から当該人物の属性を推定する推定工程と、
決定手段が、前記推定された属性に基づいて各表情の優先度を決定する決定工程と、
表情評価値算出手段が、前記決定された優先度に基づいて、前記検出された顔画像から表情毎に対応した表情評価値を算出する表情評価値算出工程と、
表情判定手段が、前記算出された表情評価値と表情判定用閾値との比較結果に基づいて前記顔画像の表情を判定する表情判定工程と
を含むことを特徴とする表情認識装置における表情認識方法。
【請求項１１】
コンピュータを、
画像から人物の顔画像を検出する顔検出手段、
前記顔検出手段により検出された顔画像から表情毎に対応した表情評価値を算出する表情評価値算出手段、
前記算出された表情毎に対応した表情評価値に基づいて各表情評価値に対応する優先度を決定し、各表情評価値及び各表情評価値に対応して設けられた表情判定用閾値のいずれか一方を該決定した優先度に基づいて重み付けする処理手段、
前記処理手段によりいずれか一方が重み付けされた表情評価値と表情判定用閾値との比較結果に基づいて前記顔画像の表情を判定する表情判定手段
として機能させるための表情認識プログラム。
【請求項１２】
コンピュータを、
画像を入力する画像入力手段、
前記画像入力手段により入力された画像から人物の顔画像を検出する顔検出手段、
前記顔検出手段により検出された人物の顔画像から当該人物の属性を推定する推定手段、
前記推定手段により推定された属性に基づいて各表情の優先度を決定する決定手段、
前記決定手段により決定された優先度に基づいて、前記顔検出手段により検出された顔画像から表情毎に対応した表情評価値を算出する表情評価値算出手段、
前記表情評価値算出手段により算出された表情評価値と表情判定用閾値との比較結果に基づいて前記顔画像の表情を判定する表情判定手段
として機能させるための表情認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表情認識装置、撮像装置、方法及びプログラムに関する。
【背景技術】
【０００２】
従来、静止画、動画を含む画像から顔を検出する技術が知られており（非特許文献１）、その検出された顔の表情を判定する技術も知られている（特許文献７）。
【０００３】
この技術に関連して、特許文献１には、複数の表情が含まれた動画から各表情を識別する技術について言及されている。また、特許文献２には、例えば、恐怖、悲しみは音声、幸福、驚きは画像に重み付けして表情を判定する技術について言及されている。また、特許文献３には、無表情とそれ以外の表情との比率に応じて表情を合成して、表情を生成する技術について言及されている。また、特許文献４には、カメラ、マイクロホンなどの各種センサの出力に重み付けを行い、人の情動を推定する技術について言及されている。
【０００４】
また、特許文献５には、例えば、笑顔の度合いと端性さ度合いを算出し、撮影画像がカジュアルな場面であれば、笑顔の度合いに対する評価を端正さの度合いに対する評価よりも優先させて表示させる技術について言及されている。また、特許文献６には、優先度の高い表情と、優先度の低い表情とを設け、表情を表出する技術について言及されている。
【特許文献１】特開平１１−２３２４５６号公報
【特許文献２】特開平１０−２２８２９５号公報
【特許文献３】特開平１０−９１８０８号公報
【特許文献４】特開２００５−１９９４０３号公報
【特許文献５】特開２００４−４６５９１号公報
【特許文献６】特開２００６−２８９５０８号公報
【特許文献７】特開２００５−０５６３８８号公報
【非特許文献１】御手洗祐輔, 森克彦, 真継優和, “選択的モジュール起動を用いたConvolutionalNeuralNetworksによる変動にロバストな 顔検出システム”, FIT (情報科学技術フォーラム), Ll-013, 2003
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した通り、人の表情を認識する技術については種々提案されているが未だ課題がある。例えば、異なる表情であったとしても、眼や口などのパーツが似たような形状となってしまうため、表情を正しく認識できず、誤認識が生じてしまう。このような誤認識は、例えば、図１（ａ）のように笑顔の時に頬の筋肉が持ち上がった状態と、図１（ｃ）のように瞬きにより眼が半開きになった状態との識別に際して生じる。この場合、両者ともに上下瞼間距離が短く、眼の形状が似た状態となり、その区別が難しい。
【０００６】
そのため、例えば、デジタルカメラ等の撮像装置に顔（例えば、眼の形状）の表情を検出する技術を搭載し、図１（ｂ）や図１（ｃ）を眼瞑り画像として判定させるようにした場合、図１（ａ）の画像も失敗とされ、非撮影画像となってしまう虞がある。また、全て眼を開けているときに、笑顔であると判定させるようにした場合には、図２の画像も撮影されてしまう可能性がある。
【０００７】
図２に示す画像を泣き顔とするのか、困っている顔とするのかは、個人差があるためその判定が非常に困難となる。そのため、例えば、複数の識別器から出力される表情評価値の最大値に基づいて表情を判定するようにした場合、困っている表情よりも泣き表情の方が評価値が多少高い場合が多いため、実際には困っている表情であっても、泣き表情と判定されてしまう可能性がある。また、赤ん坊の場合、泣き表情の確率の方が圧倒的に高いが、泣き表情を誤って困り表情と判定してしまう虞がある。
【０００８】
更に、表情の判定に際して、各表情における表情評価値の算出処理を一律に全て行なうような構成では、例えば、図１（ｂ）のように明らかに眼瞑りであっても、複数の表情に対する表情評価値の算出処理が行なわれてしまうため、その処理が無駄となる。
【０００９】
本発明は、上述した問題点に鑑みてなされたものであり、眼や口などのパーツが似たような形状となっている場合であっても、表情を正確に認識できるようにした表情認識装置、撮像装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明の一態様による表情認識装置は、画像を入力する画像入力手段と、前記画像入力手段により入力された画像から人物の顔画像を検出する顔検出手段と、前記顔検出手段により検出された顔画像から表情毎に対応した表情評価値を算出する表情評価値算出手段と、前記算出された表情毎に対応した表情評価値に基づいて各表情評価値に対応する優先度を決定し、各表情評価値及び各表情評価値に対応して設けられた表情判定用閾値のいずれか一方を該決定した優先度に基づいて重み付けする処理手段と、前記処理手段によりいずれか一方が重み付けされた表情評価値と表情判定用閾値との比較結果に基づいて前記顔画像の表情を判定する表情判定手段とを具備することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、表情認識の精度を向上させることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明に係わる表情認識装置、撮像装置、方法及びプログラムの一実施の形態について添付図面を参照して詳細に説明する。
【００１７】
（実施形態１）
まず、実施形態１について説明する。図３は、本発明の実施の一形態に係わる表情認識装置１０の構成の一例を示す図である。
【００１８】
表情認識装置１０には、コンピュータが組み込まれている。コンピュータには、ＣＰＵ等の主制御部、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等の記憶部が具備される。また、コンピュータには、例えば、各種ボタン、ディスプレイ又はタッチパネル等の入出力部、ネットワークカード等の通信部等も具備される。なお、これら各構成部は、バス等により接続され、主制御部が記憶部に記憶されたプログラムを実行することで制御される。
【００１９】
ここで、表情認識装置１０は、その機能的な構成として、画像入力部１０００と、顔検出部１００１と、表情評価値算出部１００２と、優先処理部１００３と、表情認識部１００４とを具備して構成される。これら機能的な構成の一部又は全ては、ＣＰＵがメモリ等に格納されたプログラム（例えば、表情認識プログラム）を実行することで実現される。なお、ハードウェア構成により実現されてもよい。
【００２０】
画像入力部１０００は、レンズ、ＣＭＯＳセンサ、ＣＣＤなどの撮像素子、アナログ／デジタル（Ａ／Ｄ）変換器、画像処理回路などから成る撮像装置により構成され、画像信号を生成し、それをデジタル画像（以下、単に画像と言う）として入力する。画像入力部１０００では、例えば、人物の顔を含む画像を入力する。なお、画像は、静止画、動画を含むデータである。
【００２１】
顔検出部１００１は、入力された画像から人物の顔を検出する。この顔検出には所定のアルゴリズムを用いればよい。所定のアルゴリズムとしては、例えば、エッジのような低次特徴から眼や口のような高次特徴を階層的に検出し、最終的に顔の重心位置を検出するコンボリューションニューラルネットワークが知られている（非特許文献１）。コンボリューションニューラルネットワークを用いることにより、眼や口の重心位置も求めることができる。
【００２２】
表情評価値算出部１００２は、顔検出部１００１により検出された顔に基づき各表情に対応した表情評価値の算出を行う。表情評価値の算出には所定のアルゴリズムを用いればよい。表情評価値算出部１００２は、表情認識装置１０が表情検出モードで動作している場合のみ機能する。なお、本実施形態においては表情検出モードが選択されているものとして説明する。ここで、表情評価値算出部１００２は、図４に示すように、画像正規化部１１００と、複数表情評価値算出部１１０１とを具備して構成される。
【００２３】
画像正規化部１１００は、顔検出部１００１により検出された顔、眼、口の重心位置に基づき画像入力部１０００により入力された画像に対して正規化処理を行なう。具体的には、図５に示すように、入力された画像１３００から顔画像を切り出し、その画像に対して回転や拡大・縮小等の正規化処理を行う。この正規化処理では、正規化画像１３０１、１３０２に示すように、左右眼位置を結ぶ直線が水平でかつ、左右眼位置の距離が所定距離（例えば、４０ピクセル）となるようにアフィン変換が行なわれる。なお、拡大縮小処理における補間には、どのような技術を採用してもよく、例えば、バイキュービック法を用いればよい。
【００２４】
複数表情評価値算出部１１０１は、喜怒哀楽など基本６表情の基本表情評価値と、眼の開閉度評価値とを算出する。すなわち、笑顔、嫌悪、悲しみ、困り、驚き、怒りに対する各表情に対応した基本表情評価値と、眼の開閉度評価値とを求め、それらを表情評価値として出力する。例えば、笑顔表情評価値と眼の開閉度評価値とを算出する場合には、笑顔表情評価値を算出した後、眼の開閉度評価値を算出する。可能であれば、笑顔表情評価値と眼の開閉度評価値とを並列して算出するようにしてもよい。なお、本実施形態における複数表情評価値算出部１１０１では、喜怒哀楽など基本６表情の評価値と、眼の開閉度の評価値とを算出するが、勿論これ以外の評価値を算出するようにしてもかまわない。
【００２５】
喜怒哀楽などの基本６表情の表情評価値の算出は、周知の技術により実現できる。例えば、特許文献７に開示された技術を用いればよい。この技術では、予め用意された無表情画像から得られた所定の特徴量（図６に示す眼尻と口端点のＹ方向距離Ｙ１など）と入力画像から得られた所定の特徴量（図６に示す眼尻と口端点のＹ方向距離Ｙ２など）との差分から各変化量を算出する。なお、本実施形態においては、予め用意された無表情画像として、複数人物の無表情画像の平均画像を用いる。
【００２６】
また、眼の開閉度評価値の算出方法について簡単に説明すると、眼の開閉度評価値の算出では、まず、図７に示すように、顔検出部１００１により検出された左右の眼重心位置を中心として矩形領域１２００を設定する。矩形領域は、例えば、左右の眼重心位置を中心として所定範囲（上下１０ピクセル、左右１０ピクセル）とする。次に、矩形領域１２００に対して閾値処理を行い、２値化画像を生成する。例えば、矩形領域１２００が８ビット階調（０−２５５階調）である場合には、閾値を１００等に設定する。そして、矩形領域１２００を構成する画素の輝度値が１００以上の画素は輝度値を２５５にし、逆に画素の輝度値が１００より小さい画素は輝度値を０にする。その後、矩形領域１２００内の輝度値が０の画素数をカウントする。図７には、輝度値が０の画素数についてのグラフが示されており、眼を開いた状態では、瞳孔領域が存在するため輝度値が０の画素数が多い。これに対して眼を閉じた状態では、瞳孔領域が隠れてしまうため、輝度値が０の画素数は少なくなる。このことを利用して眼瞑り度の算出を行う（図８参照）。図８に示す目瞑り度は、輝度値が０の画素数を眼瞑り度に変換する関数（例えば、８ビット（０−２５５階調））を用いて算出したものである。この場合、眼瞑り度が２５５に近いほど眼を閉じていることになり、眼瞑り度が０に近いほど眼を開いていることになる。なお、上述した閾値には、画像等に応じた任意の値を設ければよい。
【００２７】
眼瞑り度が２５５となる時の画素数Ｔｈ１は、例えば、大量の眼を閉じた画像から輝度値０の画素数の平均値を算出することにより決められる。また、眼瞑り度が０となる時の画素数Ｔｈ２は、例えば、大量の眼を開いた画像から輝度値０の画素数の平均値を算出することにより決められる。なお、眼瞑り度が２５５となる時の画素数Ｔｈ１、眼瞑り度が０となる時の画素数Ｔｈ２は、これ以外の方法により決めるようにしてもよい。
【００２８】
図３に戻り、優先処理部１００３は、表情評価値算出部１００２で算出された表情評価値に基づき各表情に付与する優先度を決定する。より詳細には、図９に示すような優先度情報テーブル１０１０に基づき表情評価値算出部１００２により算出された表情評価値各々に重み付けを行なうことになる。図９に示す優先度情報テーブル１０１０の一例では、笑顔と眼瞑りがカテゴリ１として分類され、悲しみと困りがカテゴリ２として分類され、驚きはカテゴリ３に分類されている。すなわち、優先度情報テーブル１０１０では、表情各々が所定のカテゴリ毎（表情カテゴリ）に分類されており、優先処理部１００３では、その表情カテゴリ内に分類された表情間との関係で優先度を決める。図９に示す優先度情報テーブル１０１０では、笑顔表情の度合いを示す表情評価値Ｅ１が所定値Ｅｒ１よりも大きければ、笑顔表情の優先度は１、目瞑り表情の優先度は０．５に決められる。つまり、笑顔表情評価値Ｅ１が所定値Ｅｒ１よりも大きければ、目瞑り表情より笑顔表情の重みが大きくなる。一方、笑顔表情の度合いを示す表情評価値Ｅ１が所定値Ｅｒ１よりも小さければ、笑顔表情の優先度は１、目瞑り表情の優先度は１に決められる。なお、図９に示す優先度情報テーブルに規定される優先度（重み）の決め方については後述する。
【００２９】
表情認識部１００４は、顔検出部１００１により検出された顔の表情を判定し、画像入力部１０００により入力された人物の顔の表情を認識する。ここで、表情認識部１００４は、図１０に示すように、表情評価値更新部１４００と、表情判定部１４０１とを具備して構成される。
【００３０】
表情評価値更新部１４００は、優先処理部１００３により決定された表情の優先度に基づき表情評価値算出部１００２により算出された表情評価値と、当該評価値に対応する表情判定用閾値との関係を更新（変更）する。この更新は、下記「式１」のように表情評価値算出部１００２で算出された表情評価値Ｅｉに表情の優先度ｗｉを乗じることで行われる。ｉは表情番号、つまり、各表情を示す値である。例えば、笑顔表情は表情番号１、目瞑り表情は表情番号２とする。Ｅｉ’は更新後の表情番号ｉの表情評価値を示している。
【００３１】
式１  Ｅｉ’＝Ｅｉ×ｗｉ（ｉ≧１）
【００３２】
図１１は、例えば、図１（ａ）に対する更新前の表情評価値Ｅｉと更新後の表情評価値Ｅｉ’を示したグラフである。更新前では表情番号２の表情評価値Ｅ２は比較的高いが、更新後では表情評価値Ｅ２’は低い値になっている。
【００３３】
表情判定部１４０１は、表情評価値更新部１４００による更新結果に基づき顔の表情を判定する。表情の判定は、表情評価値更新部１４００で更新された表情評価値Ｅｉ’に対して所定の閾値処理を実施することにより行なわれる。具体的には、表情評価値Ｅｉ’が表情判定用閾値Ｔｈｉを超えている場合、顔検出部１００１で検出された人物の顔には表情番号ｉの表情が表出していると判定される。
【００３４】
図１２は、例えば、図１（ａ）に対する更新前の表情評価値Ｅｉと更新後の表情評価値Ｅｉ’と各表情番号に対する表情判定用閾値Ｔｈｉを示した図である。図１２に示すように、更新前の表情番号１、２の表情評価値、つまり、笑顔表情の表情評価値Ｅ１と目瞑り表情の表情評価値Ｅ２は夫々の表情判定用閾値Ｔｈ１及びＴｈ２を超えている。よって、更新前の表情評価値Ｅ１とＥ２とからでは、笑顔で眼を閉じていると判定される。しかし、更新後は、笑顔表情の表情評価値Ｅ１’は表情判定用閾値Ｔｈ１を超えているが、目瞑り表情の評価値Ｅ２’は表情判定用閾値Ｔｈ２を超えていないので、笑顔表情であると判定される。つまり、笑顔表情評価値Ｅ１が所定の値以上であれば、目瞑り表情の評価値Ｅ２がそれほど高い値ではない限り、笑顔表情であると判定され、笑顔表情が優先されるようになる。
【００３５】
図１３は、図１（ｂ）に対する更新前の表情評価値Ｅｉと更新後の表情評価値Ｅｉ’と各表情番号に対する表情判定用閾値Ｔｈｉを示した図である。図１３に示すように、更新前の表情番号１、２の表情評価値、つまり、笑顔表情の表情評価値Ｅ１と目瞑り表情の表情評価値Ｅ２は夫々の表情判定用閾値Ｔｈ１及びＴｈ２を超えているので、笑顔で眼を瞑っていると判定される。また、更新後でも笑顔表情の表情評価値Ｅ１と目瞑り表情の表情評価値Ｅ２は夫々の表情判定用閾値Ｔｈ１及びＴｈ２を超えているので、笑顔で眼を瞑っていると判定される。これと同様に、完全に眼を閉じた状態では目瞑りとして判定されることになる。
【００３６】
以上のように、本実施形態では、算出された各表情評価値Ｅｉに基づき各表情の優先度を決定し、各表情評価値Ｅｉを更新するため、例えば、眼瞑り表情の表情評価値Ｅ２が非常に高い値の場合のみ目瞑り表情であると判定されることになる。
【００３７】
ここで、図１４を用いて、図９に示す優先度情報テーブルに規定された優先度について説明する。
【００３８】
優先度情報テーブルには、上述した通り、表情評価値に応じた優先度が設けられる。この優先度をテーブルに規定する際には、まず、所定の表情を有する画像群を用いて表情評価値Ｅｋの度数分布を作成し、その平均μから所定範囲内に存在する最大表情評価値ＥｋＭａｘを算出する。そして、その算出された最大表情評価値ＥｋＭａｘ×優先度ｗｋが表情判定用閾値Ｔｈｋを超えないように優先度ｗｋを決める。例えば、図１（ａ）のような半眼の画像群を用いて目瞑り表情評価値Ｅ２の度数分布を作成し、平均μから所定範囲±２σ内の最大表情評価値Ｅ２Ｍａｘを算出する。そして、最大表情評価値Ｅ２Ｍａｘが表情判定用閾値Ｔｈ２を超えないように優先度ｗ２を決める。
【００３９】
次に、図１５を用いて、図１に示す表情認識装置１０における表情判定処理の流れについて説明する。
【００４０】
ステップＳ１００では、ユーザが、ユーザインターフェイスを用いてモードの選択を行う。例えば、表情検出モードを選択する。ステップＳ１０１では、ユーザにより表情検出モードの選択が行われたかどうか確認し、当該モードが選択されていなければ、ステップＳ１００に戻る。一方、ユーザにより表情検出モードが選択された場合には、ステップＳ１０２へ進む。
【００４１】
ステップＳ１０２では、画像入力部１０００において、画像入力が行われる。ステップＳ１０３では、顔検出部１００１において、ステップＳ１０２で入力された画像から上述した所定の顔検出アルゴリズムを用いた顔検出が行なわれる。
【００４２】
ステップＳ１０４では、ステップＳ１０３で人物の顔が検出されなかった場合には、ステップＳ１０２へ進み、次の画像入力が行われることになるが、人物の顔が検出された場合には、ステップＳ１０５へ進む。
【００４３】
ステップＳ１０５では、画像正規化部１１００において、ステップＳ１０３で検出された人物の顔の画像を正規化するとともに、複数表情評価値算出部１１０１において、当該画像から表情毎の表情評価値Ｅｉを算出する。ステップＳ１０６では、優先処理部１００３において、ステップＳ１０５で算出された表情評価値Ｅｉに基づいて各表情の優先度ｗｉを決定する。
【００４４】
ステップＳ１０７では、表情評価値更新部１４００において、ステップＳ１０６で決定された各表情の優先度ｗｉに基づいて表情評価値Ｅｉを更新するか判定を行う。例えば、表情の優先度ｗ１とｗ２が初期値（例えば、ｗ１＝１．０とｗ２＝１．０）と異なれば、ステップＳ１０８に進み、ステップＳ１０６で決定された表情の優先度ｗｉに基づきステップＳ１０５で算出された表情評価値Ｅｉを更新する。また、そうでないならば、表情評価値Ｅｉの更新は行なわない。
【００４５】
ステップＳ１０９では、表情判定部１４０１において、ステップＳ１０８で更新された表情評価値Ｅｉ’と、上記表情毎の表情判定用閾値Ｔｈｉとを用いた表情の判定がなされる。
【００４６】
ステップＳ１１０では、表情判定処理を終了する場合、そのままこの処理を終了するが、そうでない場合には、ステップＳ１０２へ進み、次の画像入力がなされる。
【００４７】
以上のように実施形態１によれば、算出された表情評価値に基づいて各表情の優先度を決定し、その優先度に基づき表情評価値を更新して表情の判定を行なうようにしたため、表情の判定を精度よく行なえる。例えば、眼や口などのパーツが似たような形状となっている場合であっても、表情を正確に認識できる。これにより、例えば、デジタルカメラなどに表情認識処理を搭載することで最適な撮影を行うことができる。
【００４８】
（実施形態２）
次に、実施形態２について説明する。なお、実施形態２における表情認識装置１０の構成は、実施形態１における図１と同様であるため、その説明は省略する。
【００４９】
ここで、図１６を用いて、実施形態２に係わる表情認識装置１０における表情判定処理の流れについて説明する。なお、ここでは、実施形態１における図１５と相違する処理についてのみ説明する。相違点としては、ステップＳ２０７とステップＳ２０８における処理が異なるところである。
【００５０】
ステップＳ２０７では、実施形態１とは異なり、表情評価値を更新するのではなくて、表情判定用閾値の更新を行う。つまり、図１２で説明したように、表情評価値各々に重みを乗じ、表情評価値を更新するのではなくて、図１７に示すように、表情判定用閾値各々を更新させる。すなわち、表情判定用閾値を変更させることで、表情評価値と当該評価値に対応する表情判定用閾値との関係を更新する。
【００５１】
なお、この表情判定用閾値の決め方としては、図１４に示すように、例えば、図１（ａ）のような半眼の画像群を用いて目瞑り表情評価値Ｅ２の度数分布を作成し、平均μから所定範囲±２σ内の最大表情評価値Ｅ２Ｍａｘを算出する。そして、最大表情評価値Ｅ２Ｍａｘより大きい値を表情判定用閾値Ｔｈ２’とする。
【００５２】
ステップＳ２０７では、表情判定用閾値の更新を行うと判定されたならば、つまり、笑顔表情評価値Ｅ１が表情判定用閾値Ｔｈ１以上ならば、ステップＳ２０８に進み、表情番号２の表情判定用閾値Ｔｈ２をＴｈ２’に変更する。また、そうでなければ、ステップＳ２０９に進む。
【００５３】
以上のように実施形態２によれば、算出された表情評価値に基づいて各表情の優先度を決定し、その優先度に基づき表情判定用閾値を更新して表情の判定を行なうようにしたため、表情の判定を精度よく行なえる。例えば、眼や口などのパーツが似たような形状となっている場合であっても、表情を正確に認識できる。これにより、例えば、デジタルカメラなどに表情認識処理を搭載することで最適な撮影を行うことができる。
【００５４】
（実施形態３）
次に、実施形態３について説明する。なお、実施形態３における表情認識装置１０の構成は、実施形態１における図１と同様であるため、その説明は省略する。
【００５５】
ここで、図１８を用いて、実施形態３に係わる表情認識装置１０における表情判定処理の流れについて説明する。なお、ステップＳ３０１〜ステップＳ３０４までの処理は、実施形態１の図１５におけるステップＳ１０１〜ステップＳ１０４までの処理と同様となるため、ここではその説明は省略し、ステップＳ３０５以降の処理について説明する。
【００５６】
ステップＳ３０５では、画像正規化部１１００において、ステップＳ３０３で検出された人物の顔の画像を正規化するとともに、複数表情評価値算出部１１０１において、当該画像からまず、１つ目の表情評価値Ｅｉを算出する。ここで、実施形態３における表情評価値算出部１００２（実際には、複数表情評価値算出部１１０１）では、表情評価値算出処理を複数並列して行なうことはできず、各表情毎に順番に算出処理を行なう。
【００５７】
ステップＳ３０６では、当該算出された表情評価値Ｅｉが表情判定用閾値Ｔｈｉ以上であるか否かを判定する。例えば、目瞑り表情評価値Ｅｉが所定の表情判定用閾値Ｔｈｉ以上であるか否かを判定する。この結果、表情評価値Ｅｉが表情判定用閾値Ｔｈｉ以上となれば、ステップＳ３０８へ進み、例えば、目瞑り表情評価値Ｅ７が表情判定用閾値Ｔｈ７以上であるならば、その他の表情評価値の算出は行わず、表情を眼瞑りとして判定する。一方、所定の表情評価値Ｅｉが所定の表情判定用閾値Ｔｈｉよりも小さければ、ステップＳ３０７へ進む。
【００５８】
ステップＳ３０７では、全ての表情評価値算出処理が終了したならば、ステップＳ３０８へ進む。一方、全ての表情評価値算出処理が終了していないならば、ステップＳ３０５へ進む。ステップＳ３０８では、全ての表情評価値が算出されれば、全ての表情評価値に基づいて優先度を決め表情を判定する。これに対して、ステップＳ３０６で、所定の表情評価値Ｅｉが所定の表情判定用閾値Ｔｈｉ以上であると判定された場合には、所定の表情判定用閾値Ｔｈｉを超えた表情をステップＳ３０２で入力された画像に含まれた顔の表情として判定する。
【００５９】
以上のように実施形態３によれば、所定の表情評価値Ｅｉが所定の表情判定用閾値Ｔｈｉ以上であれば、所定の表情判定用閾値Ｔｈｉを超えた表情を検出された顔の表情として判定し、その他の表情評価値算出処理を行わない。そのため、余分な処理を省くことができるので、処理負荷を軽減させられる。
【００６０】
（実施形態４）
次に、実施形態４について説明する。実施形態４においては、認証処理（個人認証、年齢認証、性別認証）の結果に基づき優先度を決定し、表情を判定する場合について説明する。なお、実施形態４においては、実施形態１の図１で説明した表情認識装置１０を撮像装置１００に適用した場合について説明する。
【００６１】
図１９は、撮像装置１００における構成の一例を示す図である。実施形態４では撮像装置１００の例として電子スチルカメラを用いる。
【００６２】
１０１は、撮像レンズ群であり、１０２は、絞り装置及びシャッタ装置を備えた光量調節装置である。１０３は、撮像レンズ群を通過した被写体像としての光束を電気信号に変換するＣＣＤ（Charge-Coupled Devices）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）等の撮像素子である。１０４は、撮像素子１０３のアナログ信号出力にクランプ処理、ゲイン処理等を行うアナログ信号処理回路である。１０５は、アナログ信号処理回路１０４の出力をデジタル信号に変換するＡ／Ｄ変換器である。
【００６３】
１０７は、デジタル信号処理回路であり、Ａ／Ｄ変換器１０５からのデータ或いはメモリ制御回路１０６からのデータに対して所定の画素補間処理や色変換処理などを行う。また、デジタル信号処理回路１０７は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。更に、その撮像した画像データから、特定被写体の顔検出処理、表情認識処理、個人認証処理、年齢認証処理、性別認証処理を実行する。
【００６４】
システム制御回路１１２は、上述した演算結果に基づき露出制御回路１１３、焦点制御回路１１４に対する制御を実行するＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理を行う。
【００６５】
メモリ制御回路１０６は、アナログ信号処理回路１０４、Ａ／Ｄ変換器１０５、デジタル信号処理回路１０７、メモリ１０８、デジタル／アナログ（以下、Ｄ／Ａとする）変換器１０９を制御する。これにより、Ａ／Ｄ変換器１０５でＡ／Ｄ変換されたデータはデジタル信号処理回路１０７、メモリ制御回路１０６を介して、或いはＡ／Ｄ変換器１０５でＡ／Ｄ変換されたデータが直接メモリ制御回路１０６を介して、メモリ１０８に書き込まれる。
【００６６】
メモリ１０８は、表示装置１１０に表示するデータを記憶しており、このメモリ１０８に記録されているデータは、Ｄ／Ａ変換器１０９を介してＴＦＴ、ＬＣＤ等の表示装置１１０に出力されて表示される。また、メモリ１０８は、撮像した静止画象や動画像を格納する。なお、メモリ１０８は、所定枚数の静止画像や所定時間分の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮像する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ１０８に対して行うことが可能となる。また、メモリ１０８は、システム制御回路１１２の作業領域としても使用することが可能である。なお、撮像した静止画象や動画像はインターフェース１１１を使用してＣＤ−ＲＯＭ、フロッピー(登録商標)ディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等の記憶媒体に書き込んでもよい。
【００６７】
表示装置１１０は、撮像した画像データを逐次表示することができ、この場合、電子ファインダとして機能する。表示装置１１０は、システム制御回路１１２の指示により任意に表示をオン／オフすることが可能であり、表示をオフにした場合は、オンにした場合に比較して、この撮像装置１００の電力消費を大幅に低減できる。また、システム制御回路１１２でのプログラムの実行に応じて、文字、画像等を用いて動作状態やメッセージ等を表示する。
【００６８】
１１１は、メモリカードやハードディスク等の記憶媒体とのＩ／Ｆ（インタフェース）である。撮像装置１００は、このインターフェース１１１を用いて、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。このインターフェース１１１をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものにより構成した場合、各種通信カードを接続すれば、インターフェース１１１は通信インターフェースとして機能する。各種通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等が挙げられる。
【００６９】
システム制御回路１１２は、撮像装置１００全体の動作を制御する。システム制御回路１１２内のメモリに、このシステム制御回路１１２の動作用、又は特定被写体の顔や表情を認識する定数、変数、プログラム等を記憶している。なお、ＣＤ−ＲＯＭ、フロッピー(登録商標)ディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を使用して、システム制御回路１１２内のメモリに記憶されているこれらの定数、変数、プログラム等も変更可能である。また、このシステム制御回路１１２の動作用、又は特定被写体の顔検出などを行うためのデータやプログラムに関しては、メモリに格納するのではなく、上記記憶媒体等などから読み取ることにより実行させてもよく、上記記載方法に限定しているわけではない。
【００７０】
露出制御回路１１３は、光量調節装置１０２の絞り装置、シャッタ装置を制御する。焦点制御回路１１４は撮像レンズ群１０１のフォーカシング、ズーミングを制御する。露出制御回路１１３、焦点制御回路１１４はＴＴＬ方式を用いて制御されており、撮像した画像データをデジタル信号処理回路１０７によって演算した演算結果に基づき、システム制御回路１１２が露出制御回路１１３、焦点制御回路１１４に対して制御を行う。
【００７１】
図２０は、実施形態４に係わる撮像装置１００における処理の流れを示すフローチャートである。なお、この処理を実行するプログラムは、例えば、システム制御回路１１２内のメモリに記憶されており、システム制御回路１１２の制御の下に実行される。
【００７２】
この処理は、電源投入などにより開始される。まず、ステップＳ４００で、システム制御回路１１２は、内部のメモリの各種フラグや制御変数等を初期化する。
【００７３】
ステップＳ４０１でシステム制御回路１１２は撮像装置１００のモード設定状態を検知する。ユーザはモードとして表情検出モードを選択する。
【００７４】
ステップＳ４０２では、システム制御回路１１２は、選択されたモードに応じた処理を実行し、その処理を終えた後、ステップＳ４０１に戻る。システム制御回路１１２は、ステップＳ４０１で撮影モードが選択されている場合は、ステップＳ４０３に進み、電源の残容量や動作状況が撮像装置１００の動作に問題があるか否かを判断する。システム制御回路１１２は、問題があると判断すると、ステップＳ４０４に進み、表示装置１１０を用いて画像や音声により所定の警告表示を行い、その後、ステップＳ４０１に戻る。電源に問題が無いと判断された場合は、ステップＳ４０５に進む。
【００７５】
ステップＳ４０５では、システム制御回路１１２は記憶媒体の動作状態が撮像装置１００の動作、特に記憶媒体に対する画像データの記録再生動作に問題があるか否かを判断する。システム制御回路１１２は、問題があると判断すると前述のステップＳ４０４に進み、表示装置１１０を用いて、画像や音声により所定の警告表示を行った後、ステップＳ４０１に戻る。記憶媒体に問題がないと判断した場合は、ステップＳ４０６に進む。
【００７６】
ステップＳ４０６では、システム制御回路１１２は、表示装置１１０を用いて画像や音声により撮像装置１００の各種設定状態のユーザインターフェース（以下、ＵＩとする）表示を行う。なお、表示装置１１０の画像表示がオンであったならば、表示装置１１０も用いて画像や音声により撮像装置１００の各種設定状態のＵＩ表示を行ってもよい。こうしてユーザによる各種設定がなされる。
【００７７】
ステップＳ４０７では、システム制御回路１１２は、表示装置１１０の画像表示をオン状態に設定する。更に、ステップＳ４０８で、システム制御回路１１２は、撮像した画像データを逐次表示するスルー表示状態の設定を行なう。スルー表示状態では、メモリ１０８に書き込まれたデータを表示装置１１０に逐次表示することにより、電子ファインダ機能が実現される。
【００７８】
ステップＳ４０９では、撮影者などのユーザによってシャッタースイッチが押下されたかどうかが判定される。シャッタースイッチが押下されていなければ、ステップＳ４０１に戻る。シャッタースイッチが押下されたならば、ステップＳ４１０に進む。
【００７９】
ステップＳ４１０では、システム制御回路１１２は、実施形態１でも説明したような顔検出アルゴリズムを実行させる。ステップＳ４１１では、ステップＳ４１０で人物の顔が検出されたならば、人物の顔に対して所定のＡＥ・ＡＦ制御を行わせる。
【００８０】
ステップＳ４１２では、ステップＳ４１０で検出した人物の顔に対して認証処理を行う。認証処理では、個人認証、年齢認証、性別認証のいずれか又は全てが行なわれる。個人認証には、様々な技術が存在するが、例えば、非特許文献２に開示された技術を用いればよい。具体的には、実施形態１で説明したように、顔検出に用いたＣＮＮの低次（エッジ）特徴から特徴ベクトルを生成し、非特許文献３のようなＳｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅを用いて予め用意しておいた参照特徴ベクトルと比較し個人認証を行う。
「非特許文献２」
K..Mori, M.Matsugu, T.Suzuki, “Face Recognition Using SVM Fed with Intermediate Output of CNN for Face Detection”, Machine Vision Application, pp410 - 413, 2005
「非特許文献３」
津田宏治, “サポートベクターマシンとは何か”, 電子情報通信学会誌, Vol.83, No.6, pp460-466, 2000
【００８１】
年齢認証では、各年代毎の平均顔を予め用意しておき、当該各年代毎の平均顔とステップＳ４１０で検出した人物の顔とをマッチングし、類似度が最も高い年代をステップＳ４１０で検出した人物の顔の年代として判定（推定）する。なお、各年代毎の平均顔は、例えば、各年代（０〜１０歳、１０〜２０歳、２０〜３０歳など）の正規化画像を大量に収集し、それに基づき作成すればよい。
【００８２】
性別認証では、性別毎の平均顔を予め用意しておき、当該性別毎の平均顔とステップＳ４１０で検出した人物の顔とをマッチングし、類似度が最も高い性別をステップＳ４１０で検出した人物の顔の性別として判定（推定）する。なお、性別毎の平均顔は、例えば、男性と女性の正規化画像を大量に収集し、それに基づき作成すればよい。
【００８３】
ステップＳ４１３では、ステップＳ４１２での認証結果に基づいて表情カテゴリ内の各表情に対する優先度を決める。なお、本実施形態においては、認証処理として個人認証が行なわれたものとする。例えば、ステップＳ４１２における個人認証結果により検出された顔が人物Ａであると判定された場合には、図２１に示すような履歴テーブル２０００を参照することによって表情カテゴリ内の各表情に対して優先度を決める。なお、履歴テーブル２０００は、例えば、システム制御回路１１２内のメモリに格納されており、各人物に対して特定の表情が検出される都度、その履歴が更新される。図２１に示す履歴テーブル２０００を参照すると、人物Ａは、過去に泣き表情が３０回、困り表情が０回検出されており、困り表情よりも泣き表情の方が発生頻度が高いので、泣き表情の優先度は１．３、困り表情の優先度は０．８となっている。この優先度は、履歴テーブル２０００と、優先度情報テーブル（人物用テーブル）とを用いて決められる。例えば、人物Ａは泣き表情が３０回、困り表情が０回で泣き表情と困り表情の比率が３０対０なので、泣き表情の優先度を１．３、困り表情の優先度を０．８とする。
【００８４】
このように表情検出履歴を用いて表情カテゴリ内における各表情の優先度を決めることで、例えば、図２２に示すように、更新前では、人物Ａの表情は困り表情であると判定されるが、更新後では、人物Ａの表情は泣き表情であると判定されるようになる。例えば、人物Ａが赤ちゃんである場合には、泣き表情の方が過去の検出頻度が高いので、困り表情よりも泣き表情と判定される可能性が高くなる。
【００８５】
なお、認証処理に年代認証や性別認証を行う場合も同様に、図２１に示す年代用テーブル２００１、性別用テーブル２００２を用いることにより各優先度を決定する。０〜１０歳は困り表情よりも泣き表情の方が一般的に発生確率が高いので、例えば、図２１の年代用テーブル２００１のように、０〜１０歳は困り表情よりも泣き表情の方が優先度が高くなるように設定されている。
【００８６】
図２０に戻り、ステップＳ４１４で撮像した画像データをスルー表示した後、ステップＳ４１５では実施形態１で説明した表情評価値算出アルゴリズムを用いて表情評価値Ｅｉの算出を行う。
【００８７】
ステップＳ４１６では、ステップＳ４１３で決められた優先度ｗｉに基づきステップＳ４１５で算出された表情評価値Ｅｉを更新した後、表情判定用閾値Ｔｈｉ処理を行うことで表情を判定する。
【００８８】
ステップＳ４１７では、撮像装置は、ステップＳ４１６で判定された表情に基づいて撮影を行うか否かを自動的に判定する。例えば、表情検出履歴を参照して検出頻度が少ない下位３位以内の表情であれば珍しい表情として撮影する。ステップＳ４１７で撮影と判定された場合には撮影動作が行われ、ステップＳ４１８で撮影画像をクイックレビュー表示した後、システム制御回路１１２は、ステップＳ４２０で撮影した画像をインターフェース１１１を通して不揮発性メモリカード等に記憶させる。ステップＳ４１７で撮影と判定されなかった場合には、ステップＳ４１０へ戻り、次の画像に対して処理を行う。ステップＳ４２１で自動撮影終了であれば、自動撮影を終了するが、ステップＳ４２１で自動撮影終了でない場合には、ステップＳ４１０へ戻り、次の画像に対して処理を行う。
【００８９】
以上のように実施形態４によれば、個人認証結果、年齢認証結果、性別認証結果に基づいて各表情に対する優先度を決め、個人、年代、性別に特化した表情認識を行うことができる。なお、本実施形態においては、表情認識装置１０を撮像装置１００に適用させた場合について説明をしたが、表情認識装置１０をパーソナルコンピュータなどに適用し、画像検索に利用してもよい。
【００９０】
（実施形態５）
次に、実施形態５について説明する。実施形態５においては、優先する表情（第１の表情）と非優先の表情（第２の表情）とを予め設定しておき、その設定された表情と表情評価値とに基づき撮影を行なう場合について説明する。なお、実施形態５においては、実施形態４同様に、実施形態１の図１で説明した表情認識装置１０を撮像装置１００に適用した場合について説明する。実施形態５における撮像装置１００の構成は、実施形態４における図１９と同様であるため、その説明は省略する。
【００９１】
図２３は、実施形態５に係わる撮像装置１００における処理の流れを示すフローチャートである。なお、この処理を実行するプログラムは、例えば、システム制御回路１１２内のメモリに記憶されており、システム制御回路１１２の制御の下に実行される。
【００９２】
この処理は、電源投入などにより開始される。まず、ステップＳ５００で、システム制御回路１１２は、内部のメモリの各種フラグや制御変数等を初期化する。
【００９３】
ステップＳ５０１でシステム制御回路１１２は撮像装置１００のモード設定状態を検知する。実施形態５においては、ユーザが撮影対象とする表情として笑顔表情を選択したこととする。撮影対象表情として笑顔表情が選択されると、システム制御回路１１２は、例えば、優先表情を笑顔表情、非優先表情を目瞑り表情に設定する。ここで、ステップＳ５０２からステップＳ５１３までの処理は、実施形態４の図２０におけるステップＳ４０２からステップＳ４１３までの処理と同様となるため、ここではその説明は省略する。
【００９４】
ステップＳ５１４では、ステップＳ５０１で設定された優先表情の表情評価値Ｅ５が表情判定用閾値Ｔｈ５以上か否かを判定する。つまり、優先表情である笑顔表情の表情評価値Ｅ５が表情判定用閾値Ｔｈ５以上であるか判定する。優先表情である笑顔表情の表情評価値Ｅ５が表情判定用閾値Ｔｈ５以上であるならば、ステップＳ５１５へ進む。
【００９５】
ステップＳ５１５では、非優先表情である表情の表情評価値Ｅ６が表情判定用閾値Ｔｈ６以上であるか判定する。つまり、非優先表情である眼瞑り表情の表情評価値Ｅ６が表情判定用閾値Ｔｈ６以上であるか判定する。なお、目瞑り表情の評価値Ｅ６は、眼を瞑っている度合いを示す。非優先表情である眼瞑り表情の表情評価値Ｅ６が表情判定用閾値Ｔｈ６を下回っていれば、ステップＳ５１６へ進み、撮影を行う。
【００９６】
ステップＳ５１７では撮影された画像をクイックレビュー表示した後、システム制御回路１１２は、ステップＳ５１６で撮影した画像をインターフェース１１１を通して不揮発性メモリカード等に記憶させる。ステップＳ５１４で優先表情評価値Ｅ５が表情判定用閾値Ｔｈ５以上でない場合、ステップＳ５１５で非優先表情評価値Ｅ６が表情判定用閾値Ｔｈ６以上である場合には、ステップＳ５２０では撮影は行われない。すなわち、優先表情である笑顔の表情評価値が所定の閾値を超え（笑顔表情の表情判定用閾値以上）、更に、非優先表情である眼瞑り表情が所定の閾値を下回っている場合（眼瞑り表情の表情判定用閾値未満）にのみ撮影が行なわれる。
【００９７】
ステップＳ５１９では、自動撮影終了であるならば、処理を終了させるが、そうでなければ、ステップＳ５１０へ進み、次の画像に対して処理が行われる。
【００９８】
以上のように実施形態５によれば、優先する表情（第１の表情）の表情評価値が所定値以上であっても非優先の表情（第２の表情）の表情報価値が所定値を下回っていなければ、撮影を行わない。このようにすることで眼を開いた笑顔表情のみを笑顔表情として撮影させられる。これにより、ユーザが求める最適な表情を撮影することができる。
【００９９】
なお、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できる。
【０１００】
例えば、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様をとることもできる。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【０１０１】
また、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置に内蔵されたコンピュータがそのプログラムコードを読み出して実行することにより前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。
【０１０２】
したがって、本発明の機能処理をコンピュータで実現するために、当該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳ（Operating System）に供給するスクリプトデータ等の形態であってもよい。
【０１０３】
コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
【０１０４】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１０５】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。
【０１０６】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部又は全部を行ない、その処理によって前述した実施形態の機能が実現される。
【０１０７】
更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行なう。
【図面の簡単な説明】
【０１０８】
【図１】顔を含む画像の一例を示す第１の図である。
【図２】顔を含む画像の一例を示す第２の図である。
【図３】本発明の実施の一形態に係わる表情認識装置１０の構成の一例を示す図である。
【図４】図３に示す表情評価値算出部１００２における構成の一例を示す図である。
【図５】正規化処理の概要を説明するための図である。
【図６】表情評価値の算出処理の概要を説明するための図である。
【図７】眼の開閉度評価値の算出処理の概要を説明するための第１の図である。
【図８】眼の開閉度評価値の算出処理の概要を説明するための第２の図である。
【図９】優先度情報テーブルの概要を示す図である。
【図１０】図３に示す表情認識部１００４における構成の一例を示す図である。
【図１１】表情評価値の更新処理の概要を説明するための第１の図である。
【図１２】表情評価値の更新処理の概要を説明するための第２の図である。
【図１３】表情評価値の更新処理の概要を説明するための第３の図である。
【図１４】優先度の規定方法の概要を説明するための図である。
【図１５】図１に示す表情認識装置１０における表情判定処理の流れを示すフローチャートである。
【図１６】実施形態２に係わる表情認識装置１０における表情判定処理の流れを示すフローチャートである。
【図１７】実施形態２に係わる表情評価値の更新処理の概要を説明するための図である。
【図１８】実施形態３に係わる表情認識装置１０における表情判定処理の流れを示すフローチャートである。
【図１９】撮像装置１００における構成の一例を示す図である。
【図２０】図１９に示す撮像装置１００における処理の流れを示すフローチャートである。
【図２１】履歴テーブル、優先度情報テーブル（人物用、年代用、性別用）の概要を示す図である。
【図２２】実施形態４に係わる表情評価値の更新処理の概要を説明するための図である。
【図２３】実施形態５に係わる撮像装置１００における処理の流れを示すフローチャートである。
【符号の説明】
【０１０９】
１０    表情認識装置
１００    撮像装置
１０１    レンズ群
１０２    光量調節装置
１０３    撮像素子
１０４    アナログ信号処理回路
１０５    Ａ／Ｄ変換器
１０６    メモリ制御回路
１０７    デジタル信号処理回路
１０８    メモリ
１０９    Ｄ／Ａ変換器
１１０    表示装置
１１１    Ｉ／Ｆ
１１２    システム制御回路
１１３    露出制御回路
１１４    焦点制御回路
１０００    画像入力部
１００１    顔検出部
１００２    表情評価値算出部
１００３    優先処理部
１００４    表情認識部
１１００    画像正規化部
１１０１    複数表情評価値算出部
１４００    表情評価値更新部
１４０１    表情判定部
【図１】
0004914398.tif 000002
【図２】
0004914398.tif 000003
【図３】
0004914398.tif 000004
【図４】
0004914398.tif 000005
【図５】
0004914398.tif 000006
【図６】
0004914398.tif 000007
【図７】
0004914398.tif 000008
【図８】
0004914398.tif 000009
【図９】
0004914398.tif 000010
【図１０】
0004914398.tif 000011
【図１１】
0004914398.tif 000012
【図１２】
0004914398.tif 000013
【図１３】
0004914398.tif 000014
【図１４】
0004914398.tif 000015
【図１５】
0004914398.tif 000016
【図１６】
0004914398.tif 000017
【図１７】
0004914398.tif 000018
【図１８】
0004914398.tif 000019
【図１９】
0004914398.tif 000020
【図２０】
0004914398.tif 000021
【図２１】
0004914398.tif 000022
【図２２】
0004914398.tif 000023
【図２３】
0004914398.tif 000024