(57)【要約】【課題】人物の表情や個人照合などの認識処理を行う際に、未抽出の特徴があった場合においても、当該認識処理を精度良く行えるようにする。【解決手段】入力された画像データから被写体における複数の特徴を特徴点検出手段１５３及び特徴量抽出手段１５４で抽出し、前記複数の特徴のうち、未抽出の特徴がある場合、抽出された特徴に対して重み付けを重み付け設定手段１５５で設定し、重み付け設定手段１５５で重み付けがなされた特徴に基づいて認識処理手段である表情判定手段１５６で前記被写体の認識処理を行うようにする。【選択図】図３
2008186303.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像データから被写体における予め定められた複数の特徴を抽出する特徴抽出手段と、
前記複数の特徴のうち、前記特徴抽出手段で未抽出の特徴がある場合、前記特徴抽出手段で抽出された特徴に対して重み付けを設定する重み付け設定手段と、
前記重み付け設定手段で重み付けがなされた特徴に基づいて前記被写体の認識処理を行う認識処理手段と
を有することを特徴とする画像処理装置。
【請求項２】
入力された画像データから被写体における予め定められた複数の特徴を抽出する特徴抽出手段と、
前記複数の特徴のうち、前記特徴抽出手段で未抽出の特徴がある場合、当該未抽出の特徴に基づいて認識処理する範囲を限定する限定手段と、
前記限定手段で限定された範囲に基づいて前記被写体の認識処理を行う認識処理手段と
を有することを特徴とする画像処理装置。
【請求項３】
入力された画像データから被写体における予め定められた複数の特徴を抽出する特徴抽出手段と、
前記複数の特徴のうち、前記特徴抽出手段で未抽出の特徴がある場合、前記特徴抽出手段で抽出された特徴の情報に基づいて前記未抽出の特徴を補足処理する補足手段と、
前記補足手段で補足された前記未抽出の特徴と前記特徴抽出手段で抽出された特徴とに基づいて前記被写体の認識処理を行う認識処理手段と
を有することを特徴とする画像処理装置。
【請求項４】
前記被写体は人物であり、前記画像データから当該被写体の顔を検出する顔検出手段を更に有し、
前記特徴抽出手段は、前記画像データから前記顔検出手段で検出した前記被写体の顔における予め定められた複数の特徴を抽出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記顔検出手段で検出された前記被写体の顔のサイズ及び向きを正規化する正規化手段を更に有し、
前記特徴抽出手段は、前記画像データから前記正規化手段で正規化された前記被写体の顔における予め定められた複数の特徴を抽出することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像データに対して、前記特徴抽出手段で抽出する前記複数の特徴に係る領域を設定する領域設定手段を更に有し、
前記特徴抽出手段は、前記領域設定手段で設定された領域から前記複数の特徴の抽出を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項７】
前記特徴抽出手段は、前記被写体における特徴として、当該特徴に関する変化量を算出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項８】
前記被写体は人物であり、前記認識処理手段は、前記認識処理として、当該被写体における表情の認識処理、又は、当該被写体における個人照合を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項９】
前記補足手段は、前記特徴抽出手段で未抽出の特徴がある場合、前記被写体における特定軸に関して当該未抽出の特徴と対称の位置にある、前記特徴抽出手段で抽出された特徴の情報に基づいて、当該未抽出の特徴を補足処理することを特徴とする請求項３に記載の画像処理装置。
【請求項１０】
前記認識処理手段における認識処理の結果に基づいて前記画像データの記憶を行う記憶手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項１１】
入力された画像データから被写体における予め定められた複数の特徴を抽出する特徴抽出ステップと、
前記複数の特徴のうち、前記特徴抽出ステップで未抽出の特徴がある場合、前記特徴抽出ステップで抽出された特徴に対して重み付けを設定する重み付け設定ステップと、
前記重み付け設定ステップで重み付けがなされた特徴に基づいて前記被写体の認識処理を行う認識処理ステップと
を有することを特徴とする画像処理方法。
【請求項１２】
入力された画像データから被写体における予め定められた複数の特徴を抽出する特徴抽出ステップと、
前記複数の特徴のうち、前記特徴抽出ステップで未抽出の特徴がある場合、当該未抽出の特徴に基づいて認識処理する範囲を限定する限定ステップと、
前記限定ステップで限定された範囲に基づいて前記被写体の認識処理を行う認識処理ステップと
を有することを特徴とする画像処理方法。
【請求項１３】
入力された画像データから被写体における予め定められた複数の特徴を抽出する特徴抽出ステップと、
前記複数の特徴のうち、前記特徴抽出ステップで未抽出の特徴がある場合、前記特徴抽出ステップで抽出された特徴の情報に基づいて前記未抽出の特徴を補足処理する補足ステップと、
前記補足ステップで補足された前記未抽出の特徴と前記特徴抽出ステップで抽出された特徴とに基づいて前記被写体の認識処理を行う認識処理ステップと
を有することを特徴とする画像処理方法。
【請求項１４】
入力された画像データから被写体における予め定められた複数の特徴を抽出する特徴抽出ステップと、
前記複数の特徴のうち、前記特徴抽出ステップで未抽出の特徴がある場合、前記特徴抽出ステップで抽出された特徴に対して重み付けを設定する重み付け設定ステップと、
前記重み付け設定ステップで重み付けがなされた特徴に基づいて前記被写体の認識処理を行う認識処理ステップと
をコンピュータに実行させるためのプログラム。
【請求項１５】
入力された画像データから被写体における予め定められた複数の特徴を抽出する特徴抽出ステップと、
前記複数の特徴のうち、前記特徴抽出ステップで未抽出の特徴がある場合、当該未抽出の特徴に基づいて認識処理する範囲を限定する限定ステップと、
前記限定ステップで限定された範囲に基づいて前記被写体の認識処理を行う認識処理ステップと
をコンピュータに実行させるためのプログラム。
【請求項１６】
入力された画像データから被写体における予め定められた複数の特徴を抽出する特徴抽出ステップと、
前記複数の特徴のうち、前記特徴抽出ステップで未抽出の特徴がある場合、前記特徴抽出ステップで抽出された特徴の情報に基づいて前記未抽出の特徴を補足処理する補足ステップと、
前記補足ステップで補足された前記未抽出の特徴と前記特徴抽出ステップで抽出された特徴とに基づいて前記被写体の認識処理を行う認識処理ステップと
をコンピュータに実行させるためのプログラム。
【請求項１７】
請求項１４乃至１６のいずれか１項に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データにおける被写体の認識処理を行う画像処理装置及び画像処理方法、当該画像処理方法をコンピュータに実行させるためのプログラム、並びに、当該プログラムを記録するコンピュータ読み取り可能な記憶媒体に関するものである。
【背景技術】
【０００２】
画像中から人物の顔の有無を検出し、更に、人物の顔面の特徴を検出することによって、人物がどのような表情であるかなどを認識する技術がある。
【０００３】
例えば、画像中から人物の顔の表情が出やすい所定領域に対応する部分を抽出してウェーブレット変換し、各帯域毎の平均電力を算出して、無表情の顔から得られる平均電力との差分により表情を検出する方法がある（例えば、特許文献１参照）。また、表情を認識するための所定特徴の変化量を、予め用意しておいた無表情の場合と認識対象との特徴量の差により検出した後、当該所定特徴の変化量から各表情に対する得点を算出することによって表情を認識する方法もある（例えば、特許文献２参照）。
【０００４】
しかしながら、上述した技術では、影や装着物などの何らかの影響により、認識処理に使用する特徴が正確に検出できない場合がある。
【０００５】
そこで、これらの影響が発生した場合でも認識処理を行い得る技術として、従来、以下の技術が提案されている。
【０００６】
下記の特許文献３の技術では、まず、入力顔画像の全体をブロックに分割し、この各ブロックから得られた特徴ベクトルと、予め用意しておいた登録画像群から得られた同ブロックの平均特徴ベクトルとの距離を計算し、ブロック毎に重み付けを行う。その後、この重み付けされた特徴ベクトルに基づいて照合得点算出を行い、照合処理を行う方法を開示している。更に、下記の特許文献４の技術では、顔部位検出技術において、眼鏡の光沢反射面を持つ物の反射像を取り除いた画像に対して処理を行うことで、顔部位を精度良く検出する方法を開示している。
【０００７】
【特許文献１】特許第２８４０８１６号公報
【特許文献２】特開２００５−５６３８８号公報
【特許文献３】特開２００３−３２３６２２号公報
【特許文献４】特開２００２−３５２２２９号公報
【特許文献５】特開２０００−３００６５号公報
【非特許文献１】Edgar Osuna, Robert Freund, Federico Girosi "Training Support Vector Machines: an Application to Face Detection" Proceedings of CVPR'97, pp130-136, 1997
【非特許文献２】Yann LeCun and Yoshua Bengio"Convolutinal Networks for Images,Speech,and Time Series" The Handbook of Brain Theory and Neural Networks, pp255-258, 1995
【非特許文献３】Watanabe, S. and Pakvasa, N. (1973). Subspace method of pattern recognition, Proceeding of １st International Joint Conference of Pattern Recognition, pp25-32
【発明の開示】
【発明が解決しようとする課題】
【０００８】
人物の表情は、顔面を構成する眉、目、口、頬などのパーツ動作の組み合わせで表現できる。そして、表情を認識する際には、顔領域を単にいくつかに分割し、全ての領域で分析を行うよりも、例えば、表情動作の出やすい領域だけを設定し、これらの設定された領域において分析を行うことにより、処理コストの削減にも繋がる。
【０００９】
また、例えば、笑顔は比較的に口周辺が大きく変化しやすいが目周辺はそれほど変化しないなどのように、各表情に応じて各領域の重要度は異なる。よって、認識する表情に応じて、目や口などの表情動作が出やすい顔面を構成する各パーツ、又は顔領域をいくつかに分割した場合の各領域の重み付けが望ましい。
【００１０】
また、個人を照合する際も、顔を複数の領域に分割して、個人照合に重要な領域だけを設定し、設定された領域だけ分析を行えば良い。この際、これら設定された領域から得られる特徴の重要度も異なる。例えば、頬領域などの何もパーツがない領域から抽出された特徴は、目や口付近の領域から抽出された特徴よりも、個人を照合する特徴として重要度が低い場合がある。
【００１１】
上述したように、表情を認識するための領域の設定は、例えば、何らかの方法で目や口の位置を抽出し、これらの位置を用いて領域を設定する方法がある。
【００１２】
しかしながら、例えば、サングラス、ヒゲ、影など何らかのものによる隠蔽などにより、目や口の位置が検出されない場合、表情動作の出やすい領域も設定できない。この場合、所定の特徴を全て検出することができず、表情を認識することができないという問題がある。例え、何らかの画像補正を行ったとしても、サングラス、ヒゲ、影などの影響を完全に無くすことはできない。
【００１３】
一方、個人照合する場合も同様に、サングラス、ヒゲ、影などの影響により個人照合するために必要な所定領域が設定されず、所定特徴が抽出されないため、個人を照合することはできないという問題がある。
【００１４】
本発明は上述の問題点にかんがみてなされたものであり、人物の表情認識や個人照合などの認識処理を行う際に、未抽出の特徴があった場合においても、当該認識処理を精度良く行えるようにすることを目的とする。
【課題を解決するための手段】
【００１５】
本発明の画像処理装置は、入力された画像データから被写体における予め定められた複数の特徴を抽出する特徴抽出手段と、前記複数の特徴のうち、前記特徴抽出手段で未抽出の特徴がある場合、前記特徴抽出手段で抽出された特徴に対して重み付けを設定する重み付け設定手段と、前記重み付け設定手段で重み付けがなされた特徴に基づいて前記被写体の認識処理を行う認識処理手段とを有する。
【００１６】
本発明の画像処理装置における他の態様は、入力された画像データから被写体における予め定められた複数の特徴を抽出する特徴抽出手段と、前記複数の特徴のうち、前記特徴抽出手段で未抽出の特徴がある場合、当該未抽出の特徴に基づいて認識処理する範囲を限定する限定手段と、前記限定手段で限定された範囲に基づいて前記被写体の認識処理を行う認識処理手段とを有する。
【００１７】
また、本発明の画像処理装置におけるその他の態様は、入力された画像データから被写体における予め定められた複数の特徴を抽出する特徴抽出手段と、前記複数の特徴のうち、前記特徴抽出手段で未抽出の特徴がある場合、前記特徴抽出手段で抽出された特徴の情報に基づいて前記未抽出の特徴を補足処理する補足手段と、前記補足手段で補足された前記未抽出の特徴と前記特徴抽出手段で抽出された特徴とに基づいて前記被写体の認識処理を行う認識処理手段とを有する。
【００１８】
本発明の画像処理方法は、入力された画像データから被写体における予め定められた複数の特徴を抽出する特徴抽出ステップと、前記複数の特徴のうち、前記特徴抽出ステップで未抽出の特徴がある場合、前記特徴抽出ステップで抽出された特徴に対して重み付けを設定する重み付け設定ステップと、前記重み付け設定ステップで重み付けがなされた特徴に基づいて前記被写体の認識処理を行う認識処理ステップとを有する。
【００１９】
本発明の画像処理方法における他の態様は、入力された画像データから被写体における予め定められた複数の特徴を抽出する特徴抽出ステップと、前記複数の特徴のうち、前記特徴抽出ステップで未抽出の特徴がある場合、当該未抽出の特徴に基づいて認識処理する範囲を限定する限定ステップと、前記限定ステップで限定された範囲に基づいて前記被写体の認識処理を行う認識処理ステップとを有する。
【００２０】
また、本発明の画像処理方法におけるその他の態様は、入力された画像データから被写体における予め定められた複数の特徴を抽出する特徴抽出ステップと、前記複数の特徴のうち、前記特徴抽出ステップで未抽出の特徴がある場合、前記特徴抽出ステップで抽出された特徴の情報に基づいて前記未抽出の特徴を補足処理する補足ステップと、前記補足ステップで補足された前記未抽出の特徴と前記特徴抽出ステップで抽出された特徴とに基づいて前記被写体の認識処理を行う認識処理ステップとを有する。
【００２１】
本発明のプログラムは、入力された画像データから被写体における予め定められた複数の特徴を抽出する特徴抽出ステップと、前記複数の特徴のうち、前記特徴抽出ステップで未抽出の特徴がある場合、前記特徴抽出ステップで抽出された特徴に対して重み付けを設定する重み付け設定ステップと、前記重み付け設定ステップで重み付けがなされた特徴に基づいて前記被写体の認識処理を行う認識処理ステップとをコンピュータに実行させるためのものである。
【００２２】
本発明のプログラムにおける他の態様は、入力された画像データから被写体における予め定められた複数の特徴を抽出する特徴抽出ステップと、前記複数の特徴のうち、前記特徴抽出ステップで未抽出の特徴がある場合、当該未抽出の特徴に基づいて認識処理する範囲を限定する限定ステップと、前記限定ステップで限定された範囲に基づいて前記被写体の認識処理を行う認識処理ステップとをコンピュータに実行させるためのものである。
【００２３】
また、本発明のプログラムにおけるその他の態様は、入力された画像データから被写体における予め定められた複数の特徴を抽出する特徴抽出ステップと、前記複数の特徴のうち、前記特徴抽出ステップで未抽出の特徴がある場合、前記特徴抽出ステップで抽出された特徴の情報に基づいて前記未抽出の特徴を補足処理する補足ステップと、前記補足ステップで補足された前記未抽出の特徴と前記特徴抽出ステップで抽出された特徴とに基づいて前記被写体の認識処理を行う認識処理ステップとをコンピュータに実行させるためのものである。
【００２４】
本発明のコンピュータ読み取り可能な記憶媒体は、前記プログラムを記録する。
【発明の効果】
【００２５】
本発明によれば、人物の表情認識や個人照合などの認識処理を行う際に、未抽出の特徴があった場合においても、当該認識処理を精度良く行うことが可能となる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の諸実施の形態について説明を行う。なお、以下の説明においては、本発明に係る画像処理装置として、撮像装置を適用した例で説明を行う。
【００２７】
（第１の実施の形態）
以下、添付図面を参照して、本発明における第１の実施の形態を詳しく説明する。
図１は、第１の実施の形態に係る撮像装置（画像処理装置）１００の概略構成を示すブロック図である。なお、本実施の形態では、撮像装置１００の一例として、電子スチルカメラを用いる。
【００２８】
図１において、撮像レンズ群１０１は、被写体における光学像を撮像装置１００の内部に導くものである。光量調節部１０２は、絞り機構及びシャッタ機構を備え、撮像レンズ群１０１を介して入射した被写体における光学像の光量を調節する。撮像素子１０３は、撮像レンズ群１０１を通過した被写体における光学像（光束）を電気信号に変換するものであり、例えば、ＣＣＤやＣＭＯＳセンサ等から構成されている。
【００２９】
アナログ信号処理部１０４は、撮像素子１０３から出力された電気信号であるアナログ信号に、クランプ処理、ゲイン処理等を行う。アナログ／デジタル（以下、「Ａ／Ｄ」と称する）変換部１０５は、アナログ信号処理部１０４から出力されたアナログ信号をデジタル信号に変換して画像データとして出力する。
【００３０】
デジタル信号処理部１０７は、Ａ／Ｄ変換部１０５からの画像データ或いはメモリ制御部１０６からの画像データに対して、所定の画素補間処理や色変換処理などを行う。また、デジタル信号処理部１０７は、これらの画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて、ＴＴＬ（スルー・ザ・レンズ）方式のＡＷＢ（オートホワイトバランス）処理も行う。更に、デジタル信号処理部１０７は、後述するシステム制御部１１２による制御に基づいて、画像データから特定被写体を検出し、特定被写体の表情の認識処理を実行する。
【００３１】
後述のシステム制御部１１２は、デジタル信号処理部１０７による演算結果に基づいて、露出制御部１１３、焦点制御部１１４に対する制御を実行するＴＴＬ方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理を行う。
【００３２】
メモリ制御部１０６は、アナログ信号処理部１０４、Ａ／Ｄ変換部１０５、デジタル信号処理部１０７、メモリ１０８、デジタル／アナログ（以下、「Ｄ／Ａ」と称する）変換部１０９及びインタフェース（Ｉ／Ｆ）１１１を制御する。これにより、Ａ／Ｄ変換部１０５でＡ／Ｄ変換された画像データは、デジタル信号処理部１０７及びメモリ制御部１０６を介して、或いは直接メモリ制御部１０６を介して、メモリ１０８に書き込まれる（記憶される）。
【００３３】
メモリ１０８は、例えばＲＡＭで構成され、表示部１１０に表示する画像データ等の各種データを記憶しており、このメモリ１０８に記録されている画像データ等は、Ｄ／Ａ変換器１０９を介して、ＴＦＴ、ＬＣＤ等からなる表示部１１０に出力されて表示される。また、メモリ１０８は、撮像された静止画に係る画像データや動画に係る画像データを格納可能に構成されており、所定枚数の静止画に係る画像データや所定時間分の動画に係る画像データを格納するのに十分な記憶容量を備えている。
【００３４】
これにより、複数枚の静止画像を連続して撮像する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像データの書き込みをメモリ１０８に対して行うことが可能となる。また、メモリ１０８は、システム制御部１１２の作業領域としても使用することが可能に構成されている。なお、撮像された静止画や動画に係る画像データは、インターフェース（Ｉ／Ｆ）１１１を介して、ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等の記憶媒体に書き込まれる形態であっても良い。
【００３５】
表示部１１０は、撮像素子１０３で撮像された画像データを表示する。この際、画像データを表示部１１０に逐次表示すれば、表示部１１０を、いわゆる電子ファインダとして機能させることができる。また、表示部１１０は、システム制御部１１２による制御によりその表示を任意にオン／オフすることが可能であり、表示をオフにした場合は、オンにした場合と比較して、この撮像装置１００における電力消費を大幅に低減できる。また、表示部１１０は、システム制御部１１２でのプログラムの実行に応じて、文字、画像等を用いて動作状態やメッセージ等を表示する。
【００３６】
インタフェース（Ｉ／Ｆ）１１１は、例えば、撮像装置１００とメモリカードやハードディスク等の記憶媒体との接続を司るものである。このインターフェース（Ｉ／Ｆ）１１１を用いて、他のコンピュータやプリンタ等の周辺機器との間で画像データや、画像データに付属した管理情報を転送し合うことができる。このインターフェース（Ｉ／Ｆ）１１１をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続すればよい。この各種通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード等が挙げられる。
【００３７】
システム制御部１１２は、撮像装置１００における全体の動作を統括的に制御するものである。システム制御部１１２は、その内部メモリに、当該システム制御部１１２の動作用のプログラムや、特定被写体の顔や表情を認識するための定数、変数、プログラム等を記憶している。なお、ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等の記憶媒体を使用して、システム制御部１１２の内部メモリに記憶されているこれらの定数、変数、プログラム等を変更可能である。また、システム制御部１１２の動作用のプログラムや、特定被写体の顔や表情を認識するためのデータやプログラムに関しては、その内部メモリに格納するのではなく、上記記憶媒体等などから読み取ることにより実行させる形態であっても良い。
【００３８】
露出制御部１１３は、光量調節部１０２の絞り機構やシャッタ機構の駆動を制御する。焦点制御部１１４は、撮像レンズ群１０１のフォーカシングやズーミングを制御する。露出制御部１１３及び焦点制御部１１４は、例えば、ＴＴＬ方式を用いて制御されており、デジタル信号処理部１０７による画像データの演算結果に基づきシステム制御部１１２が、露出制御部１１３や焦点制御部１１４に対して制御を行うように構成されている。
【００３９】
次に、本実施の形態に係る撮像装置１００の制御動作について説明する。
図２は、第１の実施の形態に係る撮像装置（画像処理装置）１００の制御動作を示すフローチャートである。なお、この図２に示す処理を実行するプログラムは、システム制御部１１２内の内部メモリに記憶されており、システム制御部１１２による制御の下に実行される。そして、図２に示す処理は、当該撮像装置１００に対する電源投入などにより開始される。
【００４０】
まず、ステップＳ２００において、システム制御部１１２は、その内部メモリに記憶されている各種のフラグや制御変数等を初期化し、初期設定を行う。
【００４１】
続いて、ステップＳ２０１において、システム制御部１１２は、撮像装置１００におけるモード設定状態を検知し、当該検知した設定モードを判断する。この判断の結果、設定モードが自動撮影モードである場合には、ステップＳ２０３に進む。一方、ステップＳ２０１の判断の結果、設定モードが自動撮影モード以外のモードである場合には、続いて、ステップＳ２０２において、システム制御部１１２は、選択された設定モードに応じた処理を実行し、当該処理の終了後にステップＳ２０１に戻る。
【００４２】
ステップＳ２０３において、システム制御部１１２は、撮像装置１００における電源の残容量やその動作情況が撮像装置１００の動作において問題がないか否かを判断する。この判断の結果、電源に問題がある場合には、続いて、ステップＳ２０４において、システム制御部１１２は、表示部１１０を用いて画像や音声により所定の警告を行い、その後、ステップＳ２０１に戻る。
【００４３】
一方、ステップＳ２０３の判断の結果、電源に問題がない場合には、続いて、ステップＳ２０５において、システム制御部１１２は、記憶媒体が撮像装置１００の動作、特に、記憶媒体に対する画像データの記録再生動作に問題があるか否かを判断する。この判断の結果、記憶媒体に問題がある場合には、続いて、ステップＳ２０４において、システム制御部１１２は、表示部１１０を用いて画像や音声により所定の警告を行い、その後、ステップＳ２０１に戻る。
【００４４】
一方、ステップＳ２０５の判断の結果、記憶媒体に問題がない場合には、ステップＳ２０６に進む。ステップＳ２０６において、システム制御部１１２は、表示部１１０を用いて、画像や音声により撮像装置１００の各種の設定状態におけるユーザインターフェース（以下、「ＵＩ」と称する）の表示を行う。このようにしてユーザによる各種の設定がなされる。
【００４５】
続いて、ステップＳ２０７において、システム制御部１１２は、表示部１１０における撮像画像表示をオン状態に設定する。
【００４６】
続いて、ステップＳ２０８において、システム制御部１１２は、撮像した画像データに基づく撮像画像を逐次表示するスルー表示状態に設定する。このスルー表示状態では、メモリ１０８に逐次書き込まれた画像データを表示部１１０に逐次表示することにより、電子ファインダ機能が実現される。
【００４７】
続いて、ステップＳ２０９において、システム制御部１１２は、撮影者などのユーザによって撮像装置１００のシャッタースイッチ（不図示）が押されてオンされたか否かを判断する。この判断の結果、シャッタースイッチがオンされていない場合には、ステップＳ２０１に戻る。
【００４８】
一方、ステップＳ２０９の判断の結果、シャッタースイッチがオンされた場合には、続いて、ステップＳ２１０において、システム制御部１１２は、露出制御部１１３や焦点制御部１１４に対して、所定のＡＥ制御、ＡＦ制御を行わせ、その後、撮影を行う。なお、ＡＥ制御及びＡＦ制御は、シャッタースイッチのオン後に所定時間間隔で行うようにしても良いし、或いは、後述するステップＳ２１２の表情認識処理で行われる顔検出処理の結果に応じて再度行うようにしても良い。
【００４９】
続いて、ステップＳ２１１において、システム制御部１１２は、ステップＳ２１１による撮影の結果得られた画像データを表示部１１０にスルー表示する。
【００５０】
続いて、ステップＳ２１２において、システム制御部１１２は、デジタル信号処理部１０７に対して、撮像された画像データを用いた表情認識処理を行わせる。
【００５１】
以下、このステップＳ２１２における人物（被写体）の表情認識処理の方法について説明する。
【００５２】
図３は、デジタル信号処理部１０７で行われる表情認識処理に係る機能構成を示すブロック図である。
【００５３】
図３に示す目・口・顔検出手段１５０は、Ａ／Ｄ変換部１０５から出力された画像データ（デジタル信号）に対して所定の処理を行うことにより、当該画像データに基づく画像中の特定被写体の顔位置、目の位置、口の位置を検出する。
【００５４】
画像正規化手段１５１は、目・口・顔検出手段１５０で検出された目の位置、口の位置、顔位置の情報から、画像データ内の顔画像データにおける顔画像サイズ及び回転方向（向き）の正規化処理を行う。
【００５５】
特徴点検出領域設定手段１５２は、画像正規化手段１５１で正規化された顔画像データと目・口・顔検出手段１５０で検出された顔、目及び口の位置の情報を用いて、所定の特徴点検出の対象とする領域の設定を行う。
【００５６】
特徴点検出手段１５３は、画像正規化手段１５１で正規化された顔画像データと特徴点検出領域設定手段１５２で設定された各設定領域から所定の特徴点の検出を行う。特徴量抽出手段１５４は、特徴点検出手段１５３で検出された所定特徴点から、表情認識に使用する所定特徴量の抽出を行う。ここで、特徴点検出手段１５３及び特徴量抽出手段１５４は、入力された画像データから被写体における複数の特徴を抽出する特徴抽出手段を構成する。
【００５７】
重み付け設定手段１５５は、特徴量抽出手段１５４での特徴量抽出結果に基づいて、抽出されない特徴量が存在する場合に、所定特徴量に対する重み付けの変更を行う。
【００５８】
表情判定手段１５６は、特徴量抽出手段１５４で抽出された所定特徴量と重み付け設定手段１５５で設定された重み付けを使用して表情の判定を行う。ここで、表情判定手段１５６は、入力された画像データにおける被写体の認識処理を行う認識処理手段を構成する。
【００５９】
次に、図３に示す各手段の詳細な説明を行う。
目・口・顔検出手段１５０は、Ａ／Ｄ変換部１０５から出力された画像データ（デジタル信号）に対して顔検出処理を行う。
【００６０】
図４は、目・口・顔検出手段１５０による顔検出処理の結果得られた人物の目、口及び顔位置を示す模式図である。ここで、目・口・顔検出手段１５０による顔位置の検出処理は、例えば、予め大量の顔画像データと非顔画像データとを用意しておき、上記の非特許文献１で示すように、Support Vector Machineで学習させ、顔領域と非顔領域とを分離して検出する方法などで実現される。これにより、図４の顔位置３０２が検出される。
【００６１】
目及び口の位置の検出処理は、例えば、上記顔位置の検出と同様に、予め大量の目及び口の画像データと非目及び非口の画像データとを用意しておき、Support Vector Machineで学習させて、上記検出された図４の顔位置３０２の周辺を検索する方法などで実現される。これにより、図４の目の位置３００及び３０１、並びに、口の位置３０３が検出される。また、他の方法として、上記検出された顔の位置３０２周辺において、目及び口の位置検出用のテンプレートを使用して、図４の目の位置３００及び３０１、並びに、口の位置３０３を検出する方法などがある。なお、目の位置３００及び３０１、口の位置３０３、並びに、顔位置３０２の検出は、これらの方法に限定されるわけではなく、その他の手法を用いて検出するようにしても良い。また、上記の非特許文献２に示されているように、Convolutional Neural Networkを顔検出に適用する方法もある。
【００６２】
画像正規化手段１５１は、目・口・顔検出手段１５０で検出された図４の顔位置３０２と目の位置３００及び３０１の３点の位置情報を使用して、目・口・顔検出手段１５０で使用された顔画像データのサイズ及びその回転方向（向き）の正規化処理を行う。
【００６３】
図５は、画像正規化手段１５１による正規化処理を説明するための模式図である。図５には、顔画像データのサイズ及び回転方向を正規化処理をした場合の顔画像データを示している。
【００６４】
本実施の形態では、図５に示すように、目の位置３００及び３０１の２点の直線の傾きが所定の傾きで（図５の例では傾きが水平）、かつ、目の位置３００及び３０１の間の距離が所定の距離となるようにアフィン変換を行って正規化処理を行う。即ち、本実施の形態では、図５に示すように、顔画像データ３０４のサイズ及び回転方向（向き）を、顔画像データ３０５に正規化処理する。なお、顔画像データのサイズ及び回転方向の正規化処理は、目の位置３００及び３０１並びに口の位置３０３、或いは、顔位置３０２及び口の位置３０３などを用いて行うようにしても良いし、また、これらの方法に限定されるわけではなく他の手法を用いても良い。
【００６５】
図６は、特徴点検出手段１５３により検出される所定特徴点を示す模式図である。特徴点検出領域設定手段１５２は、図６の各特徴点３５０〜３６７を検出するための領域設定を行う。
【００６６】
まず、図６の眉毛に係る特徴点３５０〜３５５の検出領域設定について説明する。
図７及び図８は、特徴点検出領域設定手段１５２により行われる、図６の眉毛に係る特徴点の検出領域設定を示す模式図である。
【００６７】
図６の特徴点３５０を検出するための検出領域４００のｘ方向における範囲は、図７に示すように、｛（左目の位置３００の座標ｘ）−（ａ／２）｝から（左目の位置３００の座標ｘ）までとする。また、検出領域４００のｙ方向における範囲は、図７に示すように、｛（左目の位置３００の座標ｙ）−（ａ／２）｝から（左目の位置３００の座標ｙ）までとする。ここで、ａの値は、左目の位置３００と右目の位置３０１との間の距離に相当する。
【００６８】
図６の特徴点３５２を検出するための検出領域４０１のｘ方向における範囲は、図７に示すように、（左目の位置３００の座標ｘ）から｛（左目位置３００の座標ｘ）＋（ａ／２）｝までとする。また、検出領域４０１のｙ方向における範囲は、図７に示すように、｛（左目の位置３００の座標ｙ）−（ａ／２）｝から（左目の位置３００の座標ｙ）までとする。
【００６９】
図６の特徴点３５１を検出するための検出領域４０４のｘ方向における範囲は、図８に示すように、｛（左目の位置３００の座標ｘ）−（ａ／８）｝から｛（左目の位置３００の座標ｘ）＋（ａ／８）｝までとする。また、検出領域４０４のｙ方向における範囲は、図８に示すように、｛（左目の位置３００の座標ｙ）−（ａ／２）｝から（左目の位置３００の座標ｙ）までとする。
【００７０】
以上が左の眉毛に係る特徴点３５０〜３５２を検出するための検出領域４０１及び４０２並びに４０４の設定方法である。なお、右の眉毛に係る特徴点３５３〜３５５を検出するための検出領域４０２及び４０３並びに４０５の設定方法も、この左の眉毛の場合と同様の方法でなされる。
【００７１】
次に、図６の目に係る特徴点３５６〜３６３の検出領域設定について説明する。
図９及び図１０は、特徴点検出領域設定手段１５２により行われる、図６の目に係る特徴点の検出領域設定を示す模式図である。
【００７２】
図６の特徴点３５６を検出するための検出領域４０６のｘ方向における範囲は、図９に示すように、｛（左目の位置３００の座標ｘ）−（ａ／２）｝から（左目の位置３００の座標ｘ）までとする。また、検出領域４０６のｙ方向における範囲は、図９に示すように、｛（左目の位置３００の座標ｙ）−（ａ／４）｝から｛（左目の位置３００の座標ｙ）＋（ａ／４）｝までとする。
【００７３】
図６の特徴点３５９を検出するための検出領域４０７のｘ方向における範囲は、図９に示すように、（左目の位置３００の座標ｘ）から｛（左目の位置３００の座標ｘ）＋（ａ／２）｝までとする。また、検出領域４０７のｙ方向における範囲は、図９に示すように、｛（左目の位置３００の座標ｙ）−（ａ／４）｝から｛（左目の位置３００の座標ｙ）＋（ａ／４）｝までとする。
【００７４】
図６の特徴点３５７を検出するための検出領域４１０のｘ方向における範囲は、図１０に示すように、｛（左目の位置３００の座標ｘ）−（ａ／８）｝から｛（左目の位置３００の座標ｘ）＋（ａ／８）｝までとする。また、検出領域４１０のｙ方向における範囲は、図１０に示すように、｛（左目の位置３００の座標ｙ）−（ａ／４）｝から（左目の位置３００の座標ｙ）までとする。
【００７５】
図６の特徴点３５８を検出するための検出領域４１１のｘ方向における範囲は、図１０に示すように、｛（左目の位置３００の座標ｘ）−（ａ／８）｝から｛（左目の位置３００の座標ｘ）＋（ａ／８）｝までとする。また、検出領域４１１のｙ方向における範囲は、図１０に示すように、（左目の位置３００の座標ｙ）から｛（左目の位置３００の座標ｙ）＋（ａ／４）｝までとする。
【００７６】
以上が左目に係る特徴点３５６〜３５９を検出するための検出領域４０６及び４０７、並びに、４１０及び４１１の設定方法である。なお、右目に係る特徴点３６０〜３６３を検出するための検出領域４０８及び４０９、並びに、４１２及び４１３の設定方法も、この左目の場合と同様の方法でなされる。
【００７７】
次に、図６の口に係る特徴点３６４〜３６７の検出領域設定について説明する。
図１１及び図１２は、特徴点検出領域設定手段１５２により行われる、図６の口に係る特徴点の検出領域設定を示す模式図である。
【００７８】
図６の特徴点３６４を検出するための検出領域４１４のｘ方向における範囲は、図１１に示すように、｛（口の位置３０３の座標ｘ）−（３ａ／４）｝から（口の位置３０３の座標ｘ）までとする。また、検出領域４１４のｙ方向における範囲は、図１１に示すように、｛（口の位置３０３の座標ｙ）−（３ａ／８）｝から｛（口の位置３０３の座標ｙ）＋（３ａ／８）｝までとする。
【００７９】
図６の特徴点３６７を検出するための検出領域４１５のｘ方向における範囲は、図１１に示すように、（口の位置３０３の座標ｘ）から｛（口の位置３０３の座標ｘ）＋（３ａ／４）｝までとする。また、検出領域４１５のｙ方向における範囲は、図１１に示すように、｛（口の位置３０３の座標ｙ）−（３ａ／８）｝から｛（口の位置３０３の座標ｙ）＋（３ａ／８）｝までとする。
【００８０】
図６の特徴点３６５を検出するための検出領域４１６のｘ方向における範囲は、図１２に示すように、｛（口の位置３０３の座標ｘ）−（ａ／８）｝から｛（口の位置３０３の座標ｘ）＋（ａ／８）｝までとする。また、検出領域４１６のｙ方向における範囲は、図１２に示すように、｛（口の位置３０３の座標ｙ）−（３ａ／８）｝から（口の位置３０３の座標ｙ）までとする。
【００８１】
図６の特徴点３６６を検出するための検出領域４１７のｘ方向における範囲は、図１２に示すように、｛（口の位置３０３の座標ｘ）−（ａ／８）｝から｛（口の位置３０３の座標ｘ）＋（ａ／８）｝までとする。また、検出領域４１７のｙ方向における範囲は、図１２に示すように、（口の位置３０３の座標ｙ）から｛（口の位置３０３の座標ｙ）＋（３ａ／８）｝までとする。
【００８２】
なお、上述した画像領域の分割方法は、更に分割領域を増やすなどしても良く、本実施の形態で示した形態に必ずしも限定されるわけではない。
【００８３】
特徴点検出手段１５３は、画像正規化手段１５１においてサイズ及び回転方向の正規化処理が行われた顔画像データ３０５と特徴点検出領域設定手段１５２で設定された各特徴点の検出領域を用いて、特徴点検出処理を行う。この際の特徴点検出方法としては、例えば、顔検出と同様に、目尻、目頭など図６の特徴点（３５０〜３６７）を検出するために必要な各テンプレートを予め用意しておき、特徴点検出領域設定手段１５２で設定された各特徴点検出領域内で検出を行う方法を用いる。なお、特徴点検出方法も、これらの方法に限定されるわけではなく、他の手法を用いて行うようにしても良い。
【００８４】
図１３は、特徴量抽出手段１５４で抽出される各特徴量を示す模式図である。
特徴量抽出手段１５４は、特徴点検出手段１５３で検出された各特徴点３５０〜３６７から所定特徴量（４５０〜４６４）を抽出する。
【００８５】
特徴量抽出手段１５４で抽出される所定特徴量としては、例えば以下の特徴量である。
特徴点３５２と特徴点３５３のｘ方向距離から眉毛間距離４５０を抽出する。特徴点３５１と特徴点３５７のｙ方向距離から眉毛・上瞼間距離４５１を抽出し、特徴点３５４と特徴点３６１のｙ方向距離から眉毛・上瞼間距離４５２を抽出する。特徴点３５２と特徴点３５９のｙ方向距離から眉毛・目頭間距離４５３を抽出し、特徴点３５３と特徴点３６０のｙ方向距離から眉毛・目頭間距離４５４を抽出する。特徴点３５０と特徴点３５６のｙ方向距離から眉毛・目尻間距離４５５を抽出し、特徴点３５５と特徴点３６３のｙ方向距離から眉毛・目尻間距離４５６を抽出する。
【００８６】
また、特徴点３５６と特徴点３５９のｘ方向距離から目尻・目頭間距離４５７を抽出し、特徴点３６０と特徴点３６３のｘ方向距離から目尻・目頭間距離４５８を抽出する。特徴点３５７と特徴点３５８のｙ方向距離から上下瞼間距離４５９を抽出し、特徴点３６１と特徴点３６２のｙ方向距離から上下瞼間距離４６０を抽出する。特徴点３５６と特徴点３６４のｙ方向距離から目尻・口端点間距離４６１を抽出し、特徴点３６３と特徴点３６７のｙ方向距離から目尻・口端点間距離４６２を抽出する。特徴点３６４と特徴点３６７のｘ方向距離から口端点間距離４６３を抽出する。特徴点３６５と特徴点３６６のｙ方向距離から上下唇間距離４６４を抽出する。
【００８７】
また、特徴量抽出手段１５４は、予め用意しておいた無表情の顔画像データから得られた各特徴量と、表情認識対象となる画像データから得られた各特徴量に基づいて、各特徴量の変化量を算出する。
【００８８】
図１４は、特徴量抽出手段１５４で抽出された各特徴量から変化量を求める際のフローチャートである。
【００８９】
まず、ステップＳ３００において、特徴量抽出手段１５４で抽出した各特徴量が、予め用意しておく無表情画像データのものであるか否かを判断する。この判断の結果、特徴量抽出手段１５４で抽出した各特徴量が無表情画像データのものである場合には、続いて、ステップＳ３０１において、特徴量抽出手段１５４で抽出した各特徴量を参照特徴量として、例えば自身の内部メモリに登録する。
【００９０】
一方、ステップＳ３００の判断の結果、特徴量抽出手段１５４で抽出した各特徴量が無表情画像データでない、即ち表情認識対象となる画像データである場合には、ステップＳ３０２に進む。ステップＳ３０２では、表情認識対象となる画像データから抽出された各特徴量と、ステップＳ３０１で登録された無表情画像データの各特徴量との差分や比を計算し、無表情画像データからの変化量を算出する。
【００９１】
この際、各特徴量の変化量の算出処理は、例えば、前フレーム画像データ、自動的に抽出した無表情画像データ、もしくは平均的な無表情モデルなどを用いて、差分や比を計算し変化量を算出する方法であっても良く、本実施の形態で示した方法に限定されない。
【００９２】
図１５は、重み付け設定手段１５５による、各特徴量抽出結果に基づく重み付け設定方法を示すフローチャートである。また、図１６は、表情番号毎の抽出された特徴量に対する重み付けＬＵＴ（Look Up Table）の一例を示す模式図である。ここで、図１６には、表情の種類に応じて、表情番号が付されたＬＵＴ（以降、「ＬＵＴ１」とする）が示されており、図１６（ａ）に表情番号１、図１６（ｂ）に表情番号２、・・・が示されている。
【００９３】
重み付け設定手段１５５は、図１５に示すように、まず、ステップＳ４００において、特徴量抽出手段１５４により全ての所定特徴量が抽出できたか否かを判断する。この判断の結果、全ての所定特徴量が抽出できた場合には、続いて、ステップＳ４０１において、予め各表情の特徴量毎に設定された重み付けをそのまま使用する。
【００９４】
一方、ステップＳ４００の判断の結果、全ての所定特徴量は抽出できていない（抽出できなかった所定特徴量がある）場合には、続いて、ステップＳ４０２において、抽出できた特徴量に対して、各表情の特徴量毎に重み付けを再度設定する。なお、重み付けを再度設定する際には、図１６に示す予め用意しておいたＬＵＴ１を参照することによって、各表情の特徴量毎に対して重み付けを再度設定する。
【００９５】
なお、本実施の形態においては、特徴量が抽出できない原因として、特徴点検出手段１５３において特徴点が抽出できない場合や、特徴点検出領域設定手段１５２において特徴点を抽出するための検出領域の設定ができない場合等が考えられる。
【００９６】
次に、ＬＵＴ１の作成方法について説明する。
図１７は、図１６に示すＬＵＴ（ＬＵＴ１）の作成方法を示すフローチャートである。このＬＵＴ１の作成方法では、未抽出の特徴量の数に応じて、重み付けの和を変更するようにしている。
【００９７】
即ち、ある表情に対して、まず、ステップＳ５００において、未検出特徴量がｎ個未満であるか否かを判断する。この判断の結果、未検出特徴量がｎ個未満である場合には、続いて、ステップＳ５０１において、重み付けの和をα（αは定数）とするように重み付けを行う。
【００９８】
一方、ステップＳ５００の判断の結果、未検出特徴量がｎ個以上存在する場合には、続いて、ステップＳ５０２において、重み付けの和をα−β＊ｎ（βは定数）に設定し、抽出された特徴量の重要度に応じて、各特徴量に重み付けを割り当てるようにする。
【００９９】
例えば、ｎ＝１とした場合には、全ての特徴量が抽出された場合の重み付けの和と、未抽出特徴量があった場合の重み付けの和とを同一にするのではなく、未抽出特徴量の数分だけ重み付けの和を小さくする。なお、未検出特徴量がｎ個以上存在する場合にも、重み付けの和がαとなるように重み付けしても良い。
【０１００】
以下に、未検出特徴量に応じて再度重み付けを行う理由について、具体的な例を挙げて説明する。
【０１０１】
図１８は、各特徴点から抽出される各特徴量の重要度（重み付け）の一例を示す特性図である。
【０１０２】
例えば、特徴点検出手段１５３によりある特徴点が検出できず、特徴量抽出手段１５４で特徴量Ａが抽出できなかった場合に、各表情のうち、笑顔の表情に対して重み付けを行う処理とする。
【０１０３】
図１８において、重み付けを行うための重みは、横軸を特徴量の変化量、縦軸をスコアーとした場合の「傾き」に相当する。この場合、特徴量Ａ（５００）は、笑顔の表情か否かを判定するための重要度（重み）が他の特徴量Ｂ（５０１）及び特徴量Ｃ（５０２）と比べて大きくなっているが、特徴量Ａ（５００）が抽出できていないため、特徴量Ａ（５００）を使用することができない。
【０１０４】
よって、通常ならば、重みの大きい特徴量Ａ（５００）を除いた他の特徴量Ｂ（５０１）及び特徴量Ｃ（５０２）を使用して笑顔の表情の判定を行うことになる。しかしながら、現状で設定されている重み付けは、特徴量Ａ〜Ｃの全てが抽出された場合でのみ、笑顔の表情を判定するために用いる重み付けである。
【０１０５】
そのため、このままの重み付けを使用して笑顔の表情の判定を行うと、抽出できなかった特徴量Ａ（５００）の寄与が大きいため、笑顔の表情度を表す全体スコアーが常に非常に低い値となってしまう。そこで、本実施の形態では、図１６のＬＵＴ１に従って重み付けを変更する。
【０１０６】
図１９は、図１８に示す各特徴量のうちの特徴量Ａが抽出できなかった場合に、抽出された他の特徴量Ｂ及びＣの重みをＬＵＴ１に従って変更した一例を示す特性図である。
【０１０７】
例えば、図１６のＬＵＴ１を用いて、図１９に示すように、抽出された特徴量Ｂ（５０１）の重みを特徴量Ｂ'（５０３）、特徴量Ｃ（５０２）の重みを特徴量Ｃ'（５０４）のように変更する。
【０１０８】
なお、図１８及び図１９に示す例では、各特徴量の重みを線形関数の傾きとしているが、本実施の形態においては、線形関数の傾きに限定されるわけではない。このように、全特徴量のうち抽出された特徴量に対して再度の重み付けを行うことによって、抽出された特徴量及びその特徴量に対する重みを使用して表情認識処理が可能となる。
【０１０９】
表情判定手段１５６は、各表情におけるスコアーを算出し、最も高いスコアーとなった表情を、表情認識対象となる画像データの人物（被写体）の表情として判定する。以上の処理を行うことにより、図２のステップＳ２１２における表情認識処理が行われる。
【０１１０】
なお、各表情のスコアーの算出方法の一例としては、下記の数式１に従って特徴量変化量ｌi、表情番号Ｎの特徴量の重みｗiから、所定関数funcを使用して表情番号Ｎの特徴量ｉに対するスコアー（ScoreiN）を算出する。なお、所定関数funcは、図１８及び図１９の各線形関数に相当する。続いて、下記の数式２に従って、算出したスコアー（ScoreiN）を特徴量の数ｎ個分だけ加算することによって、表情番号Ｎの表情スコアー（SumScoreＮ）が算出される。
【０１１１】
【数１】
2008186303.tif 000003
【０１１２】
ここで、再び、図２の説明に戻る。
上述した処理により、図２のステップＳ２１２における表情認識処理が行われると、ステップＳ２１３に進む。
【０１１３】
続いて、ステップＳ２１３において、システム制御部１１２は、ステップＳ２１２での表情認識処理の結果判定された表情が、予め設定された所定の表情（例えば笑顔）であるか否かを判断する。この判断の結果、ステップＳ２１２での表情認識処理の結果判定された表情が、予め設定された所定の表情である場合には、ステップＳ２１４に進む。
【０１１４】
ステップＳ２１４において、システム制御部１１２は、撮像素子１０３による撮影動作を行い、得られた画像データをメモリ１０８に書き込む（記憶する）制御を行う。
【０１１５】
続いて、ステップＳ２１５において、システム制御部１１２は、ステップＳ２１４での撮影の結果得られた画像データを表示部１１０にクイックレビュー表示する制御を行う。
【０１１６】
続いて、ステップＳ２１６において、システム制御部１１２は、メモリ１０８に書き込まれた撮像画像データを例えばデジタル信号処理部１０７に画像圧縮処理させ、処理後の画像データをインタフェース１１１を介して記憶媒体へ記録する記録処理を行う。なお、記憶媒体へ記録処理を行う前に、必要に応じて、高輝度或いは低輝度の色を薄くする色消し処理などの他の画像処理を行うようにしても良い。
【０１１７】
ステップＳ２１６の処理が終了した場合、或いは、ステップＳ２１３でステップＳ２１２での表情認識処理の結果判定された表情が予め設定された所定の表情でないと判断された場合には、ステップＳ２１７に進む。
【０１１８】
ステップＳ２１７において、システム制御部１１２は、例えば、撮像装置１００のシャッタースイッチ（不図示）が再度押されてオンされた等を検出することにより、自動撮影を終了するか否かを判断する。
【０１１９】
ステップＳ２１７の判断の結果、自動撮影を終了しない場合には、ステップＳ２１１に戻る。一方、ステップＳ２１７の判断の結果、自動撮影を終了する場合には、図２に示すフローチャートにおける処理を終了する。
【０１２０】
第１の実施の形態に係る撮像装置によれば、全ての所定特徴量が抽出されなかった場合であっても、抽出できた所定特徴量に対して重み付けの変更を行い、画像データ内の人物の表情を認識処理することによって、当該認識処理を精度良く行うことが可能となる。
【０１２１】
なお、第１の実施の形態では、撮像装置１００の一例として電子スチルカメラを適用した場合について説明したが、例えば、ビデオカメラ等を適用したものであっても良い。また、所定のプログラムをコンピュータで実行させることにより、データベース中の動画像データ、もしくは静止画像データから所定の表情における顔画像データの検索に用いるようにしても良い。
【０１２２】
（第２の実施の形態）
以下、添付図面を参照して、本発明における第２の実施の形態を詳しく説明する。
第２の実施の形態に係る撮像装置（画像処理装置）の構成は、図１に示す第１の実施の形態に係る撮像装置の構成に対して、デジタル信号処理部１０７の内部構成のみが異なる。即ち、図１に示す第１の実施の形態に係るデジタル信号処理部１０７に対して、図２０に示すデジタル信号処理部２０７を適用した形態である。また、第２の実施の形態に係る撮像装置（画像処理装置）の制御動作については、図２に示す第１の実施の形態に係る撮像装置の制御動作のステップＳ２１２における表情認識処理の内容以外は同様である。
【０１２３】
図２０は、第２の実施の形態におけるデジタル信号処理部２０７で行われる表情認識処理に係る機能構成を示すブロック図である。
【０１２４】
図２０に示す目・口・顔検出手段６００は、Ａ／Ｄ変換部１０５から出力された画像データ（デジタル信号）に対して所定の処理を行うことにより、当該画像データに基づく画像中の特定被写体の顔位置、目の位置、口の位置を検出する。
【０１２５】
画像正規化手段６０１は、目・口・顔検出手段６００で検出された目の位置、口の位置、顔位置の情報から、画像データ内の顔画像データにおける顔画像サイズ及び回転方向（向き）の正規化処理を行う。
【０１２６】
特徴ベクトル抽出領域設定手段６０２は、目・口・顔検出手段６００で検出された目の位置、口の位置及び顔位置の情報と画像正規化手段６０１で正規化した画像データを用いて、特徴ベクトルを抽出するための各抽出領域の設定を行う。
【０１２７】
特徴ベクトル抽出手段６０３は、特徴ベクトル抽出領域設定手段６０２で設定された各抽出領域と、画像正規化手段６０１で正規化された画像データを用いて、各特徴ベクトルを抽出する。ここで、特徴ベクトル抽出手段６０３は、入力された画像データから被写体における複数の特徴を抽出する特徴抽出手段を構成する。
【０１２８】
表情限定手段６０４は、特徴ベクトル抽出手段６０３での各特徴ベクトルの抽出結果に基づいて、表情認識処理の対象とする人物の表情の範囲を限定する。
【０１２９】
重み付け設定手段６０５は、表情限定手段６０４で限定された各表情における各特徴ベクトル毎に、例えば図１６に示すようなＬＵＴ１を用いて重み付けを行う。
【０１３０】
表情判定手段６０６は、表情限定手段６０４で限定された各表情の情報と、重み付け設定手段６０５で設定された重み付けと、特徴ベクトル抽出手段６０３で抽出された各特徴ベクトルを用いて、表情認識処理を行う。そして、表情判定手段６０６では、当該表情認識処理の結果、表情限定手段６０４で限定された各表情のうち、最も高いスコアーとなった表情を、表情認識対象となる画像データの人物（被写体）の表情として判定する。
【０１３１】
以下に、この表情認識処理を詳細に説明する。
目・口・顔検出手段６００及び画像正規化手段６０１では、それぞれ、第１の実施の形態における目・口・顔検出手段１５０及び画像正規化手段１５１と同様の処理が行われる。
【０１３２】
以下、特徴ベクトル抽出領域設定手段６０２の詳細な処理について説明する。
図２１は、特徴ベクトル抽出領域設定手段６０２により行われる、特徴ベクトルを抽出する各抽出領域設定を示す模式図である。ここで、図２１には、特徴ベクトル抽出領域設定手段６０２で設定される特徴ベクトル抽出領域７０１〜７０７が示されている。また、左目の位置３００と右目の位置３０１のｘ方向距離をａとする。
【０１３３】
図２１に示す抽出領域７０１のｘ方向における範囲は、｛（左目の位置３００の座標ｘ）−（ａ／２）から｛（左目の位置３００の座標ｘ）＋（ａ／２）｝までとする。また、抽出領域７０１のｙ方向における範囲は、｛（左目の位置３００の座標ｙ）−（３ａ／４）｝から｛（左目の位置３００の座標ｘ）−（ａ／４）｝までとする。
【０１３４】
図２１に示す抽出領域７０３のｘ方向における範囲は、｛（左目の位置３００の座標ｘ）−（ａ／２）｝から｛（左目の位置３００の座標ｘ）＋（ａ／２）｝までとする。また、抽出領域７０３のｙ方向における範囲は、｛（左目の位置３００の座標ｙ）−（ａ／４）｝から｛（左目の位置３００の座標ｙ）＋（ａ／４）｝までとする。
【０１３５】
図２１に示す抽出領域７０５のｘ方向における範囲は、｛（顔位置３０２の座標ｘ）−ａ｝から（顔位置３０２の座標ｘ）までとする。また、抽出領域７０５のｙ方向における範囲は、｛（顔位置３０２の座標ｙ）−（ａ／４）｝から｛（顔位置３０２の座標ｙ）＋（ａ／４）｝までとする。
【０１３６】
以上が顔画像データの左側部分における抽出領域７０１、７０３及び７０５の設定方法である。同様にして、顔画像データの右側部分における各抽出領域７０２、７０４及び７０６の設定方法も、この左側部分における抽出領域の設定方法と同様の方法でなされる。
【０１３７】
図２１に示す抽出領域７０７のｘ方向における範囲は、｛（口の位置３０３の座標ｘ）−（３ａ／４）｝から｛（口の位置３０３の座標ｘ）＋（３ａ／４）｝までとする。また、抽出領域７０７のｙ方向における範囲は、｛（口の位置３０３の座標ｙ）−（３ａ／８）｝から｛（口の位置３０３の座標ｙ）＋（３ａ／８）｝までとする。
【０１３８】
なお、上述した画像領域の分割方法は、更に分割領域を増やすなどしても良く、本実施の形態で示した形態に必ずしも限定されるわけではない。
【０１３９】
続いて、特徴ベクトル抽出手段６０３では、まず、画像正規化手段６０１によって正規化処理された画像データに対して、例えば、Sobelフィルタなどのエッジ検出フィルタを用いて、エッジ画像データを生成する。
【０１４０】
次に、特徴ベクトル抽出手段６０３では、特徴ベクトル抽出領域設定手段６０２で設定された各抽出領域と上記エッジ検出フィルタの出力値を用いて、エッジ検出フィルタの出力値そのものである特徴ベクトルを抽出する。
【０１４１】
例えば、あるｎ１×ｍ１画素領域内の（ｉ，ｊ）成分のフィルタ出力値をａ（ｉ，ｊ）とする場合、ｎ１×ｍ１次元の特徴ベクトルＡ（... , ａ（ｉ，ｊ）, ...）を算出する。また、これを所定の抽出領域分だけ行い、エッジ顔画像データ内から所定抽出領域数Ｎ個の特徴ベクトルが抽出される。この所定抽出領域から抽出されたＮ個のフィルタ出力値の特徴ベクトルは、以降の表情の判定処理に用いられる。
【０１４２】
なお、上述したフィルタは、他の種類のフィルタを用いても良いし、また、フィルタ処理を行わずに正規化された輝度画像データそのものを用いても良い。また、本実施の形態においては、特徴ベクトルが抽出されない原因として、上記所定フィルタの出力値が得られない場合や、特徴ベクトルを抽出するための抽出領域の設定ができない場合等が考えられる。
【０１４３】
表情限定手段６０４は、特徴ベクトル抽出領域設定手段６０２における各抽出領域の設定結果、もしくは特徴ベクトル抽出手段６０３での各特徴ベクトルの抽出結果に基づいて、表情認識処理の対象とする人物の表情の範囲を限定する。
【０１４４】
図２２は、表情限定手段６０４による表情の限定処理を行う際に用いるＬＵＴの一例を示す模式図である。以降の説明においては、図２２に示すＬＵＴを「ＬＵＴ２」として説明する。
【０１４５】
未設定領域Ａ、つまり、抽出領域Ａから特徴ベクトルが抽出されない場合には、図２２のＬＵＴ２を参照することによって、表情番号１、表情番号２．．．のそれぞれに対応する表示だけに対して、表情認識処理が行われる。
【０１４６】
例えば、何らかの装着物によって、目の位置３００及び３０１が検出できずに、図２１の抽出領域７０１〜７０４が設定されない、つまり、当該抽出領域の特徴ベクトルが抽出されない場合、図２２に示す予め用意しておいたＬＵＴ２を参照することによって、例えば、笑顔の表情だけの表情認識処理を行うようにする。
【０１４７】
これは、上述したように、例えば、笑顔の表情は、一般的に口の周辺が大きく変化するという特徴があるため、口周辺は笑顔の表情を判定するための重要度が高い。よって、抽出領域７０１〜７０４から特徴ベクトルが抽出されない場合には、抽出領域７０７における特徴ベクトルに基づいて口周辺の変化を分析する。これにより、変化の度合いの大きな（即ち、精度良く認識処理できる）笑顔の表情などの限定された表情だけを認識処理することが可能である。
【０１４８】
図２３は、表情限定手段６０４による処理を示すフローチャートである。
【０１４９】
まず、ステップＳ６００において、特徴ベクトル抽出手段６０３で全て（Ｎ個）の特徴ベクトルが抽出されたか否かを判断する。
【０１５０】
ステップＳ６００の判断の結果、特徴ベクトル抽出手段６０３で全て（Ｎ個）の特徴ベクトルが抽出された場合には、続いて、ステップＳ６０１において、認識処理する対象の表情を限定せずに全ての表情を認識処理する。
【０１５１】
一方、ステップＳ６００の判断の結果、特徴ベクトル抽出手段６０３で全て（Ｎ個）の特徴ベクトルは抽出されなかった（抽出できなかった特徴ベクトルがある）場合には、ステップＳ６０２に進む。そして、ステップＳ６０２において、認識処理する対象の表情を、例えば上述したＬＵＴ２を用いて限定する。
【０１５２】
図２４は、図２２に示す表情を限定処理するためのＬＵＴ（ＬＵＴ２）の作成方法を示すフローチャートである。
【０１５３】
まず、ステップＳ７００において、全ての表情に対して、表情毎に、各特徴ベクトルの重み付けを行う。
【０１５４】
続いて、ステップＳ７０１において、ある表情Ｘについて、特徴ベクトルＹが検出されないと想定する。
【０１５５】
続いて、ステップＳ７０２において、特徴ベクトルＹの重み付けが、表情Ｘにおいて上位Ｚ以内であるか否かを判断する。
【０１５６】
ステップＳ７０２の判断の結果、特徴ベクトルＹの重み付けが、表情Ｘにおいて上位Ｚ以内でない場合には、続いて、ステップＳ７０３において、表情Ｘを、特徴ベクトルＹが検出されない場合でも認識処理を行う表情、即ち限定表情とする。
【０１５７】
一方、ステップＳ７０２の判断の結果、特徴ベクトルＹの重み付けが、表情Ｘにおいて上位Ｚ以内である場合には、続いて、ステップＳ７０４において、表情Ｘを、特徴ベクトルＹが検出されない場合には認識処理しない表情とする。
【０１５８】
重み付け設定手段６０５は、表情限定手段６０４で限定された各表情の各特徴ベクトルに対して、図１６に示すＬＵＴ１と同様に、重み付けＬＵＴ３を予め用意しておき、重み付けＬＵＴ３を参照することによって、重み付けの設定を行う。
【０１５９】
表情判定手段６０６は、まず、表情限定手段６０４で限定された各表情に関して、各表情に対応する各参照特徴ベクトルと、特徴ベクトル抽出手段６０３で抽出された各特徴ベクトルとの類似度を算出する。その後、表情判定手段６０６は、各特徴ベクトルから得られた類似度を各表情毎に加算することによって、各表情に関して総合類似度を算出し、最も類似度の高い表情を、表情認識対象となる画像データの人物（被写体）の表情として判定する。
【０１６０】
なお、上述した参照特徴ベクトルは、１人の人物に対する様々な表情を含む複数人物の大量データベースを予め用意しておき、各表情の各領域から特徴ベクトルを算出し、各表情の各領域から算出された特徴ベクトルの平均を各参照特徴ベクトルとする。つまり、人物Ａに対して表情１の領域ｄから特徴ベクトル１を算出し、人物Ｂに対しても同様に表情１の領域ｄから特徴ベクトル２を算出し、これを複数人物に対して行い、これらの特徴ベクトルの平均を各参照特徴ベクトルとする。
【０１６１】
ここで、参照特徴ベクトルと特徴ベクトル抽出手段６０３で抽出された特徴ベクトルとの類似度の算出方法について説明する。
まず、例えば、上述した非特許文献３に示されているように、各領域から抽出される参照特徴ベクトルに対して主成分分析を行い、上位ｋ個の固有ベクトルから構成される各部分空間を決定する。次に、各参照特徴ベクトルから決定された各部分空間内に各特徴ベクトルを射影した後、それらのユークリッド距離の逆数に、重み付け設定手段６０５で設定された重み付けを掛けた値を、各特徴ベクトルにおける各類似度として算出する。そして、限定された表情の中で、類似度の総和が最も高い表情を、表情認識対象となる画像データの人物（被写体）の表情として決定する。
【０１６２】
なお、参照特徴ベクトルは、本実施の形態以外の方法で抽出するようにしても構わない。また、２つの特徴ベクトルの類似度は、ユークリッド距離以外の要素を用いて算出するようにしても構わない。また、ユークリッド距離の逆数に重み付けを掛けた値を類似度とする以外の方法を採用しても良い。更に、入力画像を複数枚用意し、上述した特許文献５に示されているような制約相互部分空間法等を用いても構わない。
【０１６３】
第２の実施の形態に係る撮像装置によれば、所定の特徴ベクトルを抽出できない場合であっても、認識処理を行う表情を限定処理することで、画像データ内の人物の表情の認識処理を精度良く行うことが可能となる。
【０１６４】
なお、第２の実施の形態においても、第１の実施の形態と同様、撮像装置１００の一例として電子スチルカメラを適用した場合について説明したが、例えば、ビデオカメラ等を適用したものであっても良い。また、所定のプログラムをコンピュータで実行させることにより、データベース中の動画像データ、もしくは静止画像データから所定の表情における顔画像データの検索に用いるようにしても良い。
【０１６５】
（第３の実施の形態）
以下、添付図面を参照して、本発明における第３の実施の形態を詳しく説明する。
第３の実施の形態に係る撮像装置（画像処理装置）の構成は、図１に示す第１の実施の形態に係る撮像装置の構成に対して、デジタル信号処理部１０７の内部構成のみが異なる。即ち、図１に示す第１の実施の形態に係るデジタル信号処理部１０７に対して、図２５に示すデジタル信号処理部３０７を適用した形態である。また、第３の実施の形態に係る撮像装置（画像処理装置）の制御動作については、図２に示す第１の実施の形態に係る撮像装置の制御動作のステップＳ２１２における表情認識処理の内容以外は同様である。
【０１６６】
図２５は、第３の実施の形態におけるデジタル信号処理部３０７で行われる表情認識処理に係る機能構成を示すブロック図である。
【０１６７】
図２５に示す目・口・顔検出手段８００は、Ａ／Ｄ変換部１０５から出力された画像データ（デジタル信号）に対して所定の処理を行うことにより、当該画像データに基づく画像中の特定被写体の顔位置、目の位置、口の位置を検出する。
【０１６８】
画像正規化手段８０１は、目・口・顔検出手段８００で検出された目の位置、口の位置、顔位置の情報から、画像データ内の顔画像データにおける顔サイズ及び回転方向（向き）の正規化処理を行う。
【０１６９】
特徴点検出領域設定手段８０２は、画像正規化手段８０１で正規化された顔画像データと目・口・顔検出手段８００で検出された顔、目及び口の位置の情報を用いて、所定の特徴点検出領域の設定を行う。
【０１７０】
特徴点検出手段８０３は、画像正規化手段８０１で正規化された顔画像データと特徴点検出領域設定手段８０２で設定された各設定領域から所定の特徴点の検出を行う。
【０１７１】
特徴点補足手段８０４は、特徴点検出手段８０３で未検出の特徴点が存在する場合に、特徴点の補足処理を行う。
【０１７２】
特徴量抽出手段８０５は、特徴点検出手段８０３で検出された所定特徴点と特徴点補足手段８０４で補足処理された特徴点から、表情認識に使用する所定特徴量の抽出を行う。
【０１７３】
重み付け設定手段８０６は、特徴量抽出手段８０５で抽出された各特徴量の重み付けを設定する。
【０１７４】
表情判定手段８０７は、特徴量抽出手段８０５で抽出された所定特徴量と重み付け設定手段８０６で設定された重み付けを使用して表情の判定を行う。
【０１７５】
次に、図２５に示す各手段の詳細な説明を行う。
ここで、目・口・顔検出手段８００、画像正規化手段８０１、特徴点検出領域設定手段８０２及び特徴点検出手段８０３は、それぞれ、図３に示す同名称の各手段と同様の処理を行うものであるため、その詳細な説明は省略する。
【０１７６】
以下に、特徴点補足手段８０４による詳細な説明を行う。
図２６は、特徴点補足手段８０４における未検出の特徴点の補足処理を示すフローチャートである。図２７は、特徴点検出手段８０３により一部の特徴点（３６０及び３６３）が検出されなかった場合の顔画像データを示す模式図である。図２８は、図２７に示す未検出特徴点を補足処理する方法を示す模式図である。
【０１７７】
特徴点補足手段８０４は、まず、図２６のステップＳ８００において、特徴点検出手段８０３による特徴点の検出において未検出の特徴点が存在するか否かを判断する。この判断の結果、未検出の特徴点が存在しない場合には、図２６におけるフローチャートの処理を終了する。
【０１７８】
一方、ステップＳ８００の判断の結果、図２７に示す特徴点３６０及び３６３のように、未検出の特徴点が存在する場合には、ステップＳ８０１に進む。そして、ステップＳ８０１において、所定軸（特定軸）を中心として当該未検出特徴点と対称の位置にある特徴点が検出されているか否かを判断する。即ち、ここでは、例えば、未検出の特徴点が特徴点３６０の場合に、顔領域の中心、つまり図２８に示す顔位置３０２を通る直線を中心軸（所定軸）として、当該特徴点３６０と対称な特徴点３５９が検出されているか否かを判断することになる。
【０１７９】
ステップＳ８０１の判断の結果、所定軸を中心として未検出特徴点と対称の位置にある特徴点が検出されている場合には、続いて、ステップＳ８０２において、当該未検出特徴点の補足処理が行われる。
【０１８０】
ステップＳ８０２では、まず、例えば、図２８に示すように、顔位置３０２を基準として、検出された特徴点３５９への相対座標（ｘ１，ｙ１）を求める。次に、顔位置３０２（ｘ，ｙ）と相対座標（ｘ１，ｙ１）を用いて、座標（ｘ＋ｘ１，ｙ−ｙ１）を求め、この座標を特徴点３６０の座標値とする。未検出の特徴点３６３に関しても、特徴点３６０の場合と同様の処理を行い、特徴点３６３の座標値を算出する。このようにして、ほとんど変動が見られないような特徴点に関しては、検出された特徴点を使用して補足処理を行う。
【０１８１】
一方、ステップＳ８０１の判断の結果、所定軸を中心として未検出特徴点と対称の位置にある特徴点が検出されていない場合には、続いて、ステップＳ８０３において、未検出特徴点の補足処理を行わない。
【０１８２】
特徴量抽出手段８０５は、第１の実施形態における特徴量抽出手段１５４と同様に、認識処理対象の画像データに関する各特徴量を抽出する。その後、認識処理対象の画像データに関する各特徴量と予め用意しておいた無表情の顔画像データから得られた特徴量との差分もしくは比を算出することによって、認識処理対象の画像データにおける各特徴量の変化量を算出する。
【０１８３】
重み付け設定手段８０６は、第１の実施の形態の重み付け設定手段１５５と同様に、例えば、図１６に示す重み付けＬＵＴ１を用いることによって、各表情の各特徴量に対して重み付けを行う。
【０１８４】
表情判定手段８０７は、第１の実施の形態の表情判定手段１５６と同様に、例えば、各表情に関して総合スコアーを算出し、最も高いスコアーとなった表情を、表情認識対象となる画像データの人物の表情として判定する。
【０１８５】
第３の実施の形態に係る撮像装置によれば、未検出の特徴点があった場合、当該未検出の特徴点を補足して重み付け処理を行い、画像データ内の人物の表情を認識処理することによって、当該認識処理を精度良く行うことが可能となる。
【０１８６】
なお、第３の実施の形態においても、第１の実施の形態と同様、撮像装置１００の一例として電子スチルカメラを適用した場合について説明したが、例えば、ビデオカメラ等を適用したものであっても良い。また、所定のプログラムをコンピュータで実行させることにより、データベース中の動画像データ、もしくは静止画像データから所定の表情における顔画像データの検索に用いるようにしても良い。
【０１８７】
（第４の実施の形態）
以下、添付図面を参照して、本発明における第４の実施の形態を詳しく説明する。
第４の実施の形態に係る撮像装置（画像処理装置）の構成は、図１に示す第１の実施の形態に係る撮像装置の構成に対して、デジタル信号処理部１０７の内部構成のみが異なる。即ち、図１に示す第１の実施の形態に係るデジタル信号処理部１０７に対して、図３０に示すデジタル信号処理部４０７を適用した形態である。
【０１８８】
より具体的には、第１の実施の形態（第２及び第３の実施形態も同様）におけるデジタル信号処理部では表情認識処理を行うものであったが、第４の実施の形態におけるデジタル信号処理部４０７では、後述の個人照合処理を行うものである。また、第４の実施の形態に係る撮像装置（画像処理装置）の制御動作については、図２に示す第１の実施の形態に係る撮像装置の制御動作のステップＳ２１２及びＳ２１３が、図２９に示すステップＳ９０１及びＳ９０２の処理に変更となる以外は同様である。
【０１８９】
図２９は、第４の実施の形態に係る撮像装置（画像処理装置）１００の制御動作を示すフローチャートである。なお、この図２９に示す処理を実行するプログラムは、システム制御部１１２内の内部メモリに記憶されており、システム制御部１１２による制御の下に実行される。
【０１９０】
システム制御部１１２は、図２に示すステップＳ２００〜Ｓ２１１までの処理を行った後、続いて、ステップＳ９０１において、デジタル信号処理部１０７に対して、撮像された画像データを用いた個人照合処理を行う。
【０１９１】
続いて、ステップＳ９０２において、システム制御部１１２は、ステップＳ９０１での個人照合処理の結果判定された人物が、予め設定された所定の人物であるか否かを判断する。この判断の結果、ステップＳ９０１での個人照合処理の結果判定された人物が、予め設定された所定の人物である場合には、図２に示すステップＳ２１４〜Ｓ２１７までの処理を経た後、当該フローチャートにおける処理を終了する。
【０１９２】
一方、ステップＳ９０２の判断の結果、ステップＳ９０１での個人照合処理の結果判定された人物が、予め設定された所定の人物でない場合には、ステップＳ２１７に進む。そして、ステップＳ２１７で自動撮影終了と判断された場合に、当該フローチャートにおける処理を終了する。
【０１９３】
図３０は、第４の実施の形態におけるデジタル信号処理部４０７で行われる個人照合処理に係る機能構成を示すブロック図である。
【０１９４】
図３０に示す目・口・顔検出手段１０００は、Ａ／Ｄ変換部１０５から出力された画像データ（デジタル信号）に対して所定の処理を行うことにより、当該画像データに基づく画像中の特定被写体の顔位置、目の位置、口の位置を検出する。
【０１９５】
画像正規化手段１００１は、目・口・顔検出手段１０００で検出された目の位置、口の位置、顔位置の情報から、画像データ内の顔画像データにおける顔画像サイズ及び回転方向（向き）の正規化処理を行う。
【０１９６】
特徴ベクトル抽出領域設定手段１００２は、目・口・顔検出手段１０００で検出された目の位置、口の位置及び顔位置の情報と画像正規化手段１００１で正規化した画像データを用いて、特徴ベクトルを抽出するための各抽出領域の設定を行う。
【０１９７】
特徴ベクトル抽出手段１００３は、特徴ベクトル抽出領域設定手段１００２で設定された各抽出領域と、画像正規化手段１００１で正規化された画像データを用いて、各特徴ベクトルを抽出する。
【０１９８】
照合人物限定手段１００４は、特徴ベクトル抽出手段１００３での特徴ベクトルの抽出結果に基づいて、照合する対象人物の範囲を限定する。
【０１９９】
個人照合手段１００５は、特徴ベクトル抽出手段１００３で抽出された特徴ベクトルを用いて、照合人物限定手段１００４で限定された照合対象人物に対して個人照合処理を行う。
【０２００】
次に、図３０に示す各手段の詳細な説明を行う。
ここで、目・口・顔検出手段１０００、画像正規化手段１００１、特徴ベクトル抽出領域設定手段１００２及び特徴ベクトル抽出手段１００３は、それぞれ、図２０に示す同名称の各手段と同様の処理を行うものであるため、その詳細な説明は省略する。
【０２０１】
まず、照合人物限定手段１００４の詳細な説明を行う。
図３１は、照合人物限定手段１００４における照合する対象人物の限定処理を示すフローチャートである。
【０２０２】
照合人物限定手段１００４は、まず、ステップＳ１０００において、特徴ベクトル抽出手段１００３により全ての特徴ベクトルが抽出されたか否かを判断する。この判断の結果、全ての特徴ベクトルが抽出された場合には、続いて、ステップＳ１００１において、照合対象人物をデータベースに格納された全ての人物とする。
【０２０３】
一方、ステップＳ１０００の判断の結果、全ての特徴ベクトルは抽出されなかった（未抽出の特徴ベクトルがある）場合には、続いて、ステップＳ１００２において、未抽出の特徴ベクトルが所定数以内であるか否かを判断する。
【０２０４】
ステップＳ１００２の判断の結果、未抽出の特徴ベクトルが所定数以内である場合には、続いて、ステップＳ１００３において、照合する対象人物の限定処理を行う。つまり、例えば、特徴ベクトル抽出領域設定手段１００２で設定された抽出領域Ａから特徴ベクトルが抽出されない場合、予め用意しておいたデータベース内から抽出領域Ａ以外の抽出領域で個人照合するために有効な特徴がある人物だけを選択する。この具体例を図３２を用いて説明する。
【０２０５】
図３２は、サングラスをかけ、口付近にヒゲがある人物の顔画像データを示す模式図である。ここで、抽出領域１１０１〜１１０６は、特徴ベクトル抽出領域設定手段１００２で設定された特徴ベクトルを抽出するための抽出領域である。また、図３３は、データベースに登録されている登録人物とその人物に対応するキーワードを示した図である。
【０２０６】
図３２の抽出領域１１０１及び１１０２から目領域に関する特徴ベクトルが抽出されない場合には、予め用意しておいたデータベース内から口付近に個人照合するための有効な特徴がある人物、例えば、図３２に示す口付近にヒゲが存在する人物などに限定する。なお、口付近にヒゲがある人物だけを予め登録されたデータベース内から選択する場合には、登録の際に図３３に示す「ヒゲ」というキーワードを組として登録しておくことで、データベース内から口付近にヒゲが存在する人物だけを簡単に選択することができる。
【０２０７】
このようにして、図３１に示すステップＳ１００３の照合人物の限定処理が行われる。
【０２０８】
一方、図３１のステップＳ１００２の判断の結果、未抽出の特徴ベクトルが所定数よりも多い場合には、続いて、ステップＳ１００４において、人物の照合処理を行わないように処理する。
【０２０９】
次に、個人照合手段１００５の詳細な説明を行う。
個人照合手段１００５は、まず、第２の実施の形態で説明した手法と同様に、予め登録する同一人物について複数枚の画像データを用意し、複数枚の画像データの同一の領域から各特徴ベクトルを算出する。そして、算出した各特徴ベクトルの平均を算出することによって、各平均特徴ベクトルを算出する。
【０２１０】
次に、各抽出領域から抽出される各平均特徴ベクトルに対して主成分分析を行い、上位ｋ個の固有ベクトルを算出し、夫々の部分空間を決定する。更に、この部分空間内に特徴ベクトル抽出手段１００３で抽出された各特徴ベクトルを射影し、それらのユークリッド距離などから類似度を算出する。そして、各特徴ベクトルから得られた類似度の累算が最も高い登録画像データに対応する人物を照合人物とする方法がある。なお、個人照合方法に関しては、本実施の形態以外の他の方法を用いても良いし、類似度に関してもユークリッド距離以外を使用しても良い。
【０２１１】
このように、所定の特徴ベクトルが抽出できない場合でも、抽出された特徴ベクトルに個人を照合する重要な情報が含まれている場合には当該情報をキーワードとする登録人物のみを選択し照合処理を行うことで、特定の人物に対する個人照合が可能となる。以上のように、全ての特徴ベクトルは抽出されなかった場合においても、照合対象人物の範囲を限定することによって、限定された対象人物の照合処理を行うことができる。
【０２１２】
また、他の手法として、照合処理の際、入力画像データから得られる特徴ベクトルの抽出結果に基づいて、単に上述した照合人物の限定処理を行うだけではなく、抽出された各特徴ベクトルの重み付けの変更を行ってから当該照合処理を行うようにしても良い。この各特徴ベクトルの重み付けの変更に際しては、例えば、予め用意しておいたＬＵＴ（ＬＵＴ４）を用いて行うようにする。
【０２１３】
なお、この際に用いるＬＵＴ４の作成方法も、第１の実施の形態で説明したように、未抽出の特徴がある場合には、当該未抽出の特徴数に応じて重み付けの和を小さくし、未抽出の特徴以外の抽出された特徴の重要度に応じて重み付けの割り当てを行うようにする。
【０２１４】
例えば、図３２の抽出領域１１０３〜１１０６から特徴ベクトルが抽出されなかった場合について考える。この場合、登録人物のうち、口付近にヒゲが存在する人物のみ照合処理を行うのだが、抽出領域１１０３〜１１０６の中で特に抽出領域１１０３及び１１０４はヒゲが存在する領域なので、個人を識別するために重要な特徴となる。よって、抽出領域１１０３及び１１０４の重みを抽出領域１１０５及び１１０６の重みよりも大きくする。以下に、この重み付け処理を行う処理のフローチャートを示す。
【０２１５】
図３４は、図３１の照合人物限定手段１００４における照合する対象人物の限定処理において、重み付け処理を加えた処理を示すフローチャートである。ここで、図３１と同様の処理ステップについては、同様の符号を付している。
【０２１６】
照合人物限定手段１００４は、まず、図３１と同様に、ステップＳ１０００において、特徴ベクトル抽出手段１００３により全ての特徴ベクトルが抽出されたか否かを判断する。この判断の結果、全ての特徴ベクトルが抽出された場合には、続いて、ステップＳ１００１において、照合対象人物をデータベースに格納された全ての人物とする。
【０２１７】
一方、ステップＳ１０００の判断の結果、全ての特徴ベクトルは抽出されなかった（抽出できなかった特徴ベクトルがある）場合には、続いて、図３１と同様に、ステップＳ１００２において、未抽出の特徴ベクトルが所定数以内であるか否かを判断する。
【０２１８】
ステップＳ１００２の判断の結果、未抽出の特徴ベクトルが所定数以内である場合には、続いて、ステップＳ１１０１において、特徴ベクトル抽出手段１００３により検出された特徴ベクトルに対して、上述したＬＵＴ４などを用いて重み付けを行う。続いて、ステップＳ１１０２において、照合する対象人物の限定処理を行う。
【０２１９】
一方、ステップＳ１００２の判断の結果、未抽出の特徴ベクトルが所定数よりも多い場合には、図３１と同様に、続いて、ステップＳ１００４において、人物の照合処理を行わないように処理する。
【０２２０】
なお、個人照合手段による照合処理の際の類似度算出方法は、第２の実施の形態で説明したような方法などを用いる。
【０２２１】
このように、所定の特徴ベクトルが抽出できない場合でも、抽出された特徴ベクトルに個人を照合する重要な情報が含まれている対象人物に対して、個人照合処理が可能となる。本実施の形態の撮像装置では、全ての特徴については抽出できなかった場合、抽出された特徴の重み付けを変更し、照合対象人物の範囲を限定することによって、限定された人物の照合処理を行うことができる。
【０２２２】
更に、ある特徴ベクトルが抽出されなかった場合に、照合対象人物を限定する処理は行わず、単に個人照合用のＬＵＴ５を用いて抽出された特徴ベクトルに対する重み付けの変更を行った後に、照合処理を行うようにしても良い。この際、ＬＵＴ５の作成方法も、上述したように、未検出の特徴数に応じて重み付けの和を小さくし、これを抽出された特徴の重要度に応じて割り当てるようにする。なお、この際、未検出の特徴数に応じて重み付けの和を小さくしなくても良い。
【０２２３】
図３５は、図３４に示す処理において、照合対象人物の限定処理を行わずに、抽出された特徴ベクトルに対する重み付けのみを行う処理を示すフローチャートである。具体的には、ある特徴ベクトルが抽出できなかった場合に、それ以外の抽出された特徴ベクトルに対して、予め用意しておいたＬＵＴ５を用いて重み付けの変更を行った後に、照合対象人物を全ての人物とする処理を行うものである。ここで、図３４と同様の処理ステップについては、同様の符号を付している。以下に、各ステップ毎に説明を行う。
【０２２４】
まず、図３４（図３１）と同様に、ステップＳ１０００において、特徴ベクトル抽出手段１００３により全ての特徴ベクトルが抽出されたか否かを判断する。この判断の結果、全ての特徴ベクトルが抽出された場合には、続いて、ステップＳ１００１において、照合対象人物をデータベースに格納された全ての人物とする。
【０２２５】
一方、ステップＳ１０００の判断の結果、全ての特徴ベクトルは検出されなかった（未抽出の特徴ベクトルがある）場合には、続いて、図３１と同様に、ステップＳ１００２において、未検出の特徴ベクトルが所定数以内であるか否かを判断する。
【０２２６】
ステップＳ１００２の判断の結果、未抽出の特徴ベクトルが所定数以内である場合には、続いて、ステップＳ１２０１において、特徴ベクトル抽出手段１００３により検出された特徴ベクトルに対して、上述したＬＵＴ５などを用いて重み付けを行う。つまり、図３６のように、抽出領域１１０２が（隠蔽等により）検出されない場合、個人照合用のＬＵＴ５を用いて抽出領域１１０１、１１０３〜１１０６の特徴ベクトルに対して重み付けを行う。そして、図３５の場合には、その後、ステップＳ１００１に進み、照合対象人物をデータベースに格納された全ての人物とする。
【０２２７】
一方、ステップＳ１００２の判断の結果、未抽出の特徴ベクトルが所定数よりも多い場合には、続いて、ステップＳ１００４において、人物の照合処理を行わないように処理する。なお、人物の照合方法については、第２の実施の形態の表情認識処理で説明したように、類似度を用いて行うようにしても、或いは他の方法を用いて行うようにしても良い。
【０２２８】
第４の実施の形態に係る撮像装置によれば、全ての特徴ベクトルは抽出できなかった場合であっても、抽出された特徴ベクトルの重み付けを変更することによって、画像データ内の人物の照合処理を精度良く行うことが可能となる。
【０２２９】
なお、第４の実施形態においても、他の形態と同様、撮像装置１００の一例として電子スチルカメラを適用した場合について説明したが、例えば、ビデオカメラ等を適用したものであっても良い。また、所定のプログラムをコンピュータで実行させることにより、データベース中の動画像データ、もしくは静止画像データから所定の人物における顔画像データの検索に用いるようにしても良い。
【０２３０】
前述した各実施形態に係る撮像装置（画像処理装置）１００では、表情認識や個人照合の認識処理をする際に、抽出できなかった特徴がある場合でも、抽出された特徴に基づいて当該特徴の重み付けを再度行って、当該認識処理を行っている。或いは、抽出できなかった特徴がある場合でも、抽出された特徴を用いて当該抽出できなかった特徴を補足し、その後、重み付けを行って表情認識や個人照合の認識処理を行っている。このような処理を行うことで、抽出できなかった特徴があった場合においても、人物の表情認識や個人照合などの認識処理を精度良く行うことが可能となる。
【０２３１】
更に、人物の所定表情に関しては、所定の特徴や領域だけ大きく変化する場合がある。例えば、笑顔の表情の際には、口領域付近が大きく変動する。また、特定の人物の照合に関しても、照合の際に用いる顔面を構成する特定のパーツや領域が、他人と区別するための最も重要な特徴となる場合がある。例えば、口付近にヒゲが存在する人物に対しては、他の特徴よりも口付近が最も他人と区別するための特徴となる場合がある。そこで、前述した各実施形態に係る撮像装置（画像処理装置）１００では、未抽出の特徴がある場合場合でも、判定する表情や照合対象とする人物を限定することで、人物の表情認識や個人照合などの認識処理を精度良く行うことが可能となる。
【０２３２】
前述した各実施形態に係る撮像装置（画像処理装置）１００を構成する図１、図３、図２０、図２５及び図３０の各手段、並びに撮像装置１００における画像処理方法を示す図２、図１４、図１５、図１７、図２３、図２４、図２６、図２９、図３１、図３４及び図３５の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び当該プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【０２３３】
具体的に、前記プログラムは、例えばＣＤ−ＲＯＭのような記憶媒体に記録し、或いは各種伝送媒体を介し、コンピュータに提供される。前記プログラムを記録する記憶媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。他方、前記プログラムの伝送媒体としては、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク（ＬＡＮ、インターネットの等のＷＡＮ、無線通信ネットワーク等）システムにおける通信媒体を用いることができる。また、この際の通信媒体としては、光ファイバ等の有線回線や無線回線などが挙げられる。
【０２３４】
また、コンピュータが供給されたプログラムを実行することにより各実施形態に係る撮像装置１００の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等と共同して各実施形態に係る撮像装置（画像処理装置）１００の機能が実現される場合や、供給されたプログラムの処理の全て、或いは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて各実施形態に係る撮像装置（画像処理装置）１００の機能が実現される場合も、かかるプログラムは本発明に含まれる。
【図面の簡単な説明】
【０２３５】
【図１】第１の実施の形態に係る撮像装置（画像処理装置）の概略構成を示すブロック図である。
【図２】第１の実施の形態に係る撮像装置（画像処理装置）の制御動作を示すフローチャートである。
【図３】第１の実施の形態におけるデジタル信号処理部で行われる表情認識処理に係る機能構成を示すブロック図である。
【図４】目・口・顔検出手段による顔検出処理の結果得られた人物の目、口及び顔位置を示す模式図である。
【図５】画像正規化手段による正規化処理を説明するための模式図である。
【図６】特徴点検出手段により検出される所定特徴点を示す模式図である。
【図７】特徴点検出領域設定手段により行われる、図６の眉毛に係る特徴点の検出領域設定を示す模式図である。
【図８】特徴点検出領域設定手段により行われる、図６の眉毛に係る特徴点の検出領域設定を示す模式図である。
【図９】特徴点検出領域設定手段により行われる、図６の目に係る特徴点の検出領域設定を示す模式図である。
【図１０】特徴点検出領域設定手段により行われる、図６の目に係る特徴点の検出領域設定を示す模式図である。
【図１１】特徴点検出領域設定手段により行われる、図６の口に係る特徴点の検出領域設定を示す模式図である。
【図１２】特徴点検出領域設定手段により行われる、図６の口に係る特徴点の検出領域設定を示す模式図である。
【図１３】特徴量抽出手段で抽出される各特徴量を示す模式図である。
【図１４】特徴量抽出手段で抽出された各特徴量から変化量を求める際のフローチャートである。
【図１５】重み付け設定手段による、各特徴量抽出結果に基づく重み付け設定方法を示すフローチャートである。
【図１６】表情番号毎の抽出された特徴量に対する重み付けＬＵＴ（Look Up Table）の一例を示す模式図である。
【図１７】図１６に示すＬＵＴ（ＬＵＴ１）の作成方法を示すフローチャートである。
【図１８】各特徴点から抽出される各特徴量の重要度（重み付け）の一例を示す特性図である。
【図１９】図１８に示す各特徴量のうちの特徴量Ａが抽出されなかった場合に、抽出された他の特徴量Ｂ及びＣの重みをＬＵＴ１に従って変更した一例を示す特性図である。
【図２０】第２の実施の形態におけるデジタル信号処理部で行われる表情認識処理に係る機能構成を示すブロック図である。
【図２１】特徴ベクトル抽出領域設定手段により行われる、特徴ベクトルを抽出する各抽出領域設定を示す模式図である。
【図２２】表情限定手段による表情の限定処理を行う際に用いるＬＵＴの一例を示す模式図である。
【図２３】表情限定手段による処理を示すフローチャートである。
【図２４】図２２に示す表情を限定処理するためのＬＵＴ（ＬＵＴ２）の作成方法を示すフローチャートである。
【図２５】第３の実施の形態におけるデジタル信号処理部で行われる表情認識処理に係る機能構成を示すブロック図である。
【図２６】特徴点補足手段における未検出の特徴点の補足処理を示すフローチャートである。
【図２７】特徴点検出手段により一部の特徴点が検出されなかった場合の顔画像データを示す模式図である。
【図２８】図２７に示す未検出特徴点を補足処理する方法を示す模式図である。
【図２９】第４の実施の形態に係る撮像装置（画像処理装置）の制御動作を示すフローチャートである。
【図３０】第４の実施の形態におけるデジタル信号処理部で行われる個人照合処理に係る機能構成を示すブロック図である。
【図３１】照合人物限定手段における照合する対象人物の限定処理を示すフローチャートである。
【図３２】サングラスをかけ、口付近にヒゲがある人物の顔画像データを示す模式図である。
【図３３】データベースに登録されている登録人物とその人物に対応するキーワードを示した図である。
【図３４】図３１の照合人物限定手段における照合する対象人物の限定処理において、重み付け処理を加えた処理を示すフローチャートである。
【図３５】図３４に示す処理において、照合対象人物の限定処理を行わずに、抽出された特徴ベクトルに対する重み付けのみを行う処理を示すフローチャートである。
【図３６】抽出領域１１０２が隠蔽された場合の人物の顔画像データを示す模式図である。
【符号の説明】
【０２３６】
１００  撮像装置（画像処理装置）
１０１  撮像レンズ群
１０２  光量調節部
１０３  撮像素子
１０４  アナログ信号処理部
１０５  Ａ／Ｄ変換部
１０６  メモリ制御部
１０７  デジタル信号処理部
１０８  メモリ
１０９  Ｄ／Ａ変換部
１１０  表示部
１１１  インタフェース（Ｉ／Ｆ）
１１２  システム制御部
１１３  露出制御部
１１４  焦点制御部
１５０  目・口・顔検出手段
１５１  画像正規化手段
１５２  特徴点検出領域設定手段
１５３  特徴点検出手段
１５４  特徴量抽出手段
１５５  重み付け設定手段
１５６  表情判定手段
【図１】
2008186303.tif 000004
【図２】
2008186303.tif 000005
【図３】
2008186303.tif 000006
【図４】
2008186303.tif 000007
【図５】
2008186303.tif 000008
【図６】
2008186303.tif 000009
【図７】
2008186303.tif 000010
【図８】
2008186303.tif 000011
【図９】
2008186303.tif 000012
【図１０】
2008186303.tif 000013
【図１１】
2008186303.tif 000014
【図１２】
2008186303.tif 000015
【図１３】
2008186303.tif 000016
【図１４】
2008186303.tif 000017
【図１５】
2008186303.tif 000018
【図１６】
2008186303.tif 000019
【図１７】
2008186303.tif 000020
【図１８】
2008186303.tif 000021
【図１９】
2008186303.tif 000022
【図２０】
2008186303.tif 000023
【図２１】
2008186303.tif 000024
【図２２】
2008186303.tif 000025
【図２３】
2008186303.tif 000026
【図２４】
2008186303.tif 000027
【図２５】
2008186303.tif 000028
【図２６】
2008186303.tif 000029
【図２７】
2008186303.tif 000030
【図２８】
2008186303.tif 000031
【図２９】
2008186303.tif 000032
【図３０】
2008186303.tif 000033
【図３１】
2008186303.tif 000034
【図３２】
2008186303.tif 000035
【図３３】
2008186303.tif 000036
【図３４】
2008186303.tif 000037
【図３５】
2008186303.tif 000038
【図３６】
2008186303.tif 000039