(57)【要約】【課題】  顔特徴部位の検出精度を向上させる。【解決手段】  顔に関する参照データを設定する設定モードと該参照データを用いて顔に対する判定を行う判定モードとにおいて、顔の特徴部位の検出に用いるパラメータを、それぞれ設定する検出パラメータ設定部１０５と、顔の特徴部位の位置をそれぞれのモードで設定されたパラメータを用いて検出する顔特徴部位位置検出部１０４と、それぞれのモードで検出された前記特徴部位の位置に基づいて特徴量を算出する特徴量算出部１１０と、設定モードで算出された特徴量に基づいて参照データを設定する参照データ設定部１１３と、判定モードで算出された特徴量と参照データとを用いて、顔に対する判定を行う表情判定部１１２とを備える。【選択図】  図１
2010055395.tif 000002
【特許請求の範囲】
【請求項１】
顔に関する参照データを設定する設定モードと該参照データを用いて顔に対する判定を行う判定モードとにおいて、顔の特徴部位の検出に用いるパラメータを、それぞれのモードに基づいて設定するパラメータ設定手段と、
前記設定モード及び前記判定モードにおいて、それぞれのモードで入力された画像中に存在する顔の特徴部位の位置を、それぞれのモードで設定されたパラメータを用いて検出する検出手段と、
前記設定モード及び前記判定モードにおいて、それぞれのモードで検出された前記特徴部位の位置に基づいて特徴量を算出する算出手段と、
前記設定モードにおいて、該設定モードで算出された特徴量に基づいて参照データを設定する参照データ設定手段と、
前記判定モードにおいて、該判定モードで算出された特徴量と前記設定モードで設定された参照データとを用いて、該判定モードで入力された画像中に存在する顔に対する判定を行う判定手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記パラメータは、顔の特徴部位の検出を行う領域を特定するパラメータを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記設定手段は、前記判定モードにおいて前記顔の特徴部位の検出を行う領域を、前記設定モードよりも広くなるように設定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記判定手段は、顔の表情を判定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記パラメータは、前記モードのそれぞれにおいて対象とする表情の顔のデータに基づいて作成されることを特徴とする請求項４に記載の表情認識装置。
【請求項６】
前記設定モードで検出された顔の特徴部位の位置に基づいて、前記判定モードで検出された顔の特徴部位の位置を補正する補正手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記補正手段は、前記設定モードで検出された顔の特徴部位の位置を、補正値の初期値として用いることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記設定モードを初期設定し、該設定モードで算出された特徴量の評価に基づいて前記判定モードへ設定を変更するモード設定手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記検出手段は、入力された画像中に存在する顔を検出する手段と、当該検出された顔の大きさまたは向きを正規化する手段とを備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
顔に関する参照データを設定する設定モードにおいて、顔の特徴部位の検出に用いる第１のパラメータを設定する工程と、
前記設定モードにおいて、該設定モードで入力された画像中に存在する顔の特徴部位の位置を、前記第１のパラメータを用いて検出する工程と、
前記設定モードにおいて、該設定モードで検出された前記特徴部位の位置に基づいて特徴量を算出する工程と、
前記設定モードにおいて、該設定モードで算出された特徴量に基づいて参照データを設定する工程と、
前記参照データを用いて顔に対する判定を行う判定モードにおいて、顔の特徴部位の検出に用いるパラメータとして、前記第１のパラメータとは独立な第２のパラメータを設定する工程と、
前記判定モードにおいて、該判定モードで入力された画像中に存在する顔の特徴部位の位置を、前記第２のパラメータを用いて検出する工程と、
前記判定モードにおいて、該判定モードで検出された前記特徴部位の位置に基づいて特徴量を算出する工程と、
前記判定モードにおいて、該判定モードで算出された特徴量と前記設定モードで設定された参照データとを用いて、該判定モードで入力された画像中に存在する顔に対する判定を行う工程とを備えることを特徴とする画像処理方法。
【請求項１１】
請求項１０に記載の画像処理方法を、コンピュータに実行させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力した画像中の顔に対する判定、特に顔の表情の判別に好適な技術に関するものである。
【背景技術】
【０００２】
従来、画像認識や音声認識の分野では、特定の認識対象に特化した認識処理アルゴリズムをソフトウェア、或いは専用プロセッサを用いたハードウェアにより実行することで、認識対象及び背景を含む画像から、認識対象を検出するものが知られている。
【０００３】
特に、顔を特定の認識対象として検出する技術は、例えば非特許文献１のサーベイで紹介されているように、従来から多く開示されている。
【０００４】
近年では、非特許文献２で紹介された手法が注目されている。また、非特許文献３で示されているように、正面向きの顔だけではなく、横向きの顔の検出を行う技術の開発も行われている。
【０００５】
また、顔画像中の目や口といった顔の特徴部位の検出に関する技術は、非特許文献４や非特許文献５で開示されている。
【０００６】
また、画像中の顔の表情を認識する技術として、非特許文献６や７で紹介されている手法がある。
【０００７】
その他に、顔の表情動作を客観的に記述する方法として知られているＦＡＣＳ（Ｆａｃｉａｌ  Ａｃｔｉｏｎ  Ｃｏｄｉｎｇ  Ｓｙｓｔｅｍ）のＡｃｔｉｏｎ  Ｕｎｉｔに対応する変化を検出し、表情を認識する技術も開発されている。
【０００８】
また、特許文献１には、表情認識の技術が開示されている。
【特許文献１】特開２００５−５６３８８号公報
【非特許文献１】“画像処理による顔検出と顔認識”、岩井他、情報処理学会研究報告  ２００５−ＣＶＩＭ−１４９  ｐｐ３４３−３６８、２００５年５月
【非特許文献２】Ｒａｐｉｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  Ｂｏｏｓｔｅｄ  Ｃａｓｃａｄｅ  ｏｆ  Ｓｉｍｐｌｅ  Ｆｅａｔｕｒｅｓ”，  Ｐａｕｌ  Ｖｉｏｌａ，  Ｍｉｃｈａｅｌ  Ｊｏｎｅｓ，  ＣＯＮＦＥＲＥＮＣＥ  ＯＮ  ＣＯＭＰＵＴＥＲ  ＶＩＳＩＯＮ  ＡＮＤ  ＰＡＴＴＥＲＮ  ＲＥＣＯＧＮＩＴＩＯＮ  ２００１
【非特許文献３】Ｌｅａｒｎｉｎｇ  Ｓｐａｒｓｅ  Ｆｅａｔｕｒｅｓ  ｉｎ  Ｇｒａｎｕｌａｒ  Ｓｐａｃｅ  ｆｏｒ  Ｍｕｌｔｉ−Ｖｉｅｗ  Ｆａｃｅ  Ｄｅｔｅｃｔｉｏｎ（Ｃ．Ｈｕａｎｇ，Ｈ．Ａｉ，Ｙ．Ｌｉ，＊Ｓ．Ｌａｏ；Ｔｓｉｎｇｈｕａ  Ｕｎｉｖ．，Ｃｈｉｎａ，＊Ｏｍｒｏｎ  Ｃｏｒｐ．，Ｊａｐａｎ）ｐｐ．４０１−４０６  ７ｔｈ  Ｉｎｔ’ｌ  Ｃｏｎｆ．Ａｕｔｏｍａｔｉｃ  Ｆａｃｅ  ＆  Ｇｅｓｔｕｒｅ  Ｒｅｃｏｇｎｉｔｉｏｎ
【非特許文献４】Ａ  ｌａｎｄｍａｒｋ  ｐａｐｅｒ  ｉｎ  ｆａｃｅ  ｒｅｃｏｇｎｉｔｉｏｎ  “Ｇ．Ｍ．Ｂｅｕｍｅｒ，Ｑ．Ｔａｏ，  Ａ．Ｍ．Ｂａｚｅｎ，Ｒ．Ｎ．Ｊ．Ｖｅｌｄｈｕｉｓ”、７ｔｈ  Ｉｎｔ’ｌ  Ｃｏｎｆ．Ａｕｔｏｍａｔｉｃ  Ｆａｃｅ  ＆  Ｇｅｓｔｕｒｅ  Ｒｅｃｏｇｎｉｔｉｏｎ
【非特許文献５】Ｔ．Ｆ．Ｃｏｏｔｅｓ，Ｇ．Ｊ．Ｅｄｗａｒｄｓ  ａｎｄ  Ｃ．Ｊ．Ｔａｙｌｏｒ：“Ａｃｔｉｖｅ  ａｐｐｅａｒａｎｃｅ  ｍｏｄｅｌｓ”，Ｐｒｏｃ．ｏｆ  ｔｈｅ  ５ｔｈ  Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（Ｅｄ．ｂｙ  Ｈ．Ｂ．Ｎｅｕｍａｎｎ），Ｖｏｌ．２，Ｓｐｒｉｎｇｅｒ，ｐｐ．４８４４９８（１９９８）．
【非特許文献６】Ｇ．Ｄｏｎａｔｅ，Ｔ．Ｊ．Ｓｅｊｎｏｗｓｋｉ，ｅｔ．ａｌ，  ”Ｃｌａｓｓｉｆｙｉｎｇ  Ｆａｃｉａｌ  Ａｃｔｉｏｎｓ”ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．２１，ｎｏ．１０，Ｏｃｔ，１９９９
【非特許文献７】Ｙ．Ｔｉａｎ，Ｔ．Ｋａｎａｄｅ，ａｎｄ  Ｊ．Ｆ．Ｃｏｈｎ“Ｒｅｃｏｇｎｉｚｉｎｇ  Ａｃｔｉｏｎ  Ｕｎｉｔｓ  ｆｏｒ  Ｆａｃｉａｌ  Ｅｘｐｒｅｓｓｉｏｎ  Ａｎａｌｙｓｉｓ”ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  ｖｏｌ．２３，ｎｏ．２，Ｆｅｂ．２００１
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述した非特許文献２や非特許文献３のように、画像中の顔の検出に成功したか否かという意味での顔の検出精度は向上している。しかしながら、顔の検出結果の位置精度、つまり検出された顔の位置の座標が顔領域中で常に同一位置（例えば顔中心）にあるかという意味の開発はあまりされていない。
【００１０】
顔の特徴部位の検出においても、検出位置にはある程度の誤差が生じる。
【００１１】
また画像中の顔の表情を認識する技術において、非特許文献６の手法では、目視によってフレーム画像から顔の部分領域が正確に切り出されることが前提となっている。また非特許文献７の手法でも、顔パターンの大まかな位置決めは自動化されているが、特徴部位の位置決めに当たっては人間の目視による微調整が必要となっている。
【００１２】
以上のように、入力画像から顔領域を切り出す処理、または表情認識に使用する特徴部位の位置の検出精度は、表情認識の精度に影響を与えている。
【００１３】
本発明の目的は、画像中の顔領域切り出しの精度や特徴部位位置の検出精度の影響を受けにくい画像処理装置及び方法を提供することである。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明の画像処理装置は、顔に関する参照データを設定する設定モードと該参照データを用いて顔に対する判定を行う判定モードとにおいて、顔の特徴部位の検出に用いるパラメータを、それぞれのモードに基づいて設定するパラメータ設定手段と、前記設定モード及び前記判定モードにおいて、それぞれのモードで入力された画像中に存在する顔の特徴部位の位置を、それぞれのモードで設定されたパラメータを用いて検出する検出手段と、前記設定モード及び前記判定モードにおいて、それぞれのモードで検出された前記特徴部位の位置に基づいて特徴量を算出する算出手段と、前記設定モードにおいて、該設定モードで算出された特徴量に基づいて参照データを設定する参照データ設定手段と、前記判定モードにおいて、該判定モードで算出された特徴量と前記設定モードで設定された参照データとを用いて、該判定モードで入力された画像中に存在する顔に対する判定を行う判定手段とを備える。
【００１５】
また本発明の他の態様によれば、画像処理方法に、顔に関する参照データを設定する設定モードにおいて、顔の特徴部位の検出に用いる第１のパラメータを設定する工程と、前記設定モードにおいて、該設定モードで入力された画像中に存在する顔の特徴部位の位置を、前記第１のパラメータを用いて検出する工程と、前記設定モードにおいて、該設定モードで検出された前記特徴部位の位置に基づいて特徴量を算出する工程と、前記設定モードにおいて、該設定モードで算出された特徴量に基づいて参照データを設定する工程と、前記参照データを用いて顔に対する判定を行う判定モードにおいて、顔の特徴部位の検出に用いるパラメータとして、前記第１のパラメータとは独立な第２のパラメータを設定する工程と、前記判定モードにおいて、該判定モードで入力された画像中に存在する顔の特徴部位の位置を、前記第２のパラメータを用いて検出する工程と、前記判定モードにおいて、該判定モードで検出された前記特徴部位の位置に基づいて特徴量を算出する工程と、前記判定モードにおいて、該判定モードで算出された特徴量と前記設定モードで設定された参照データとを用いて、該判定モードで入力された画像中に存在する顔に対する判定を行う工程とを備える。
【発明の効果】
【００１６】
本発明によれば、動作モード毎に、顔特徴部位を検出する際に使用するパラメータ、例えば検出領域を設定することで、顔特徴部位の検出精度を向上させることが可能である。
【００１７】
また、判定モードにおいて検出された顔特徴部位位置の補正の際に、設定モードで検出された顔特徴部位位置を補正位置の初期値として使用する態様では、領域の切り出し精度や顔特徴部位の検出精度の影響を受けにくい表情認識が実現できる。
【発明を実施するための最良の形態】
【００１８】
以下、添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００１９】
本実施形態では、入力画像中の顔の表情が、所定の表情であるか否かを判定する表情認識処理について説明する。また、所定の表情を笑顔とする例を使用して説明する。
【００２０】
図１は本実施形態に係る画像処理装置の機能構成を示す図である。本実施形態に係る画像処理装置は、制御部１００、顔検出部１０１、対象顔選択部１０２、正規化顔画像作成部１０３、顔特徴部位位置検出部１０４を備える。また検出パラメータ設定部１０５、検出パラメータ保持部１０６、動作モード保持部１０７、動作モード設定部１０８、特徴量評価部１０９、特徴量算出部１１０、表情度算出部１１１、表情判定部１１２を有する。更に参照データ設定部１１３、参照データ保持部１１４、顔特徴部位位置補正部１１５、切り替え部１１６、補正結果保持部１１７を備える。以下、各部について説明する。
【００２１】
制御部１００は、本実施形態に係る画像処理装置全体を制御するための処理を行うものである。制御部１００は、顔検出部１０１、対象顔選択部１０２、正規化顔画像作成部１０３、顔特徴部位位置検出部１０４、検出パラメータ設定部１０５、検出パラメータ保持部１０６、動作モード保持部１０７、動作モード設定部１０８と接続されている。更に制御部１００は、特徴量評価部１０９、特徴量算出部１１０、表情度算出部１１１、表情判定部１１２、参照データ設定部１１３、参照データ保持部１１４、顔特徴部位位置補正部１１５、切り替え部１１６、補正結果保持部１１７と接続されている。そして制御部１００は、各部が適切なタイミングで動作するように、各部を制御する。
【００２２】
顔検出部１０１は、入力画像における顔の領域（入力画像中に含まれる顔の画像の領域）を検出する。具体的には、入力画像中の顔領域の数、顔領域の座標位置、顔領域のサイズを求める処理を行う。
【００２３】
対象顔選択部１０２は、顔検出部１０１で検出された顔領域の情報から、表情認識を行う対象とする顔を選択する。この選択の手法は限定しないが、例えば、顔のサイズや入力画像中における顔の位置から決定することが出来る。
【００２４】
正規化顔画像作成部１０３は、対象顔選択部１０２で選択された顔に対する顔領域情報を使用して、顔のサイズや回転（向き）が正規化された正規化顔画像を作成する。作成方法については後述する。
【００２５】
顔特徴部位位置検出部１０４は、正規化顔画像作成部１０３で作成された正規化画像から、表情認識に使用する顔特徴部位を検出する。この検出手法については後述する。
【００２６】
検出パラメータ設定部１０５は、顔特徴部位位置検出部１０４で顔特徴部位を検出する際に使用するパラメータ、例えば検出する領域を設定する。この設定は、後述する動作モード保持部１０７が保持する動作モードに従って、検出パラメータ保持部１０６が保持する複数のパラメータの中から選択することで行なわれる。検出パラメータ保持部１０６は、動作モード毎に設定された検出パラメータを保持する。
【００２７】
動作モード保持部１０７は、動作モード設定部１０８で設定された動作モードの情報を保持する。動作モード設定部１０８は、後述する特徴量評価部１０９における特徴量の評価結果が所定の結果だった場合に、動作モードを変更するために、新たな動作モードを動作モード保持部１０７に設定する。
【００２８】
特徴量評価部１０９は、後述する特徴量算出部１１０で算出された特徴量の評価を行う。評価方法については後述する。また、その評価結果が所定の結果の場合には、制御部１００を介して、後述する参照データ設定部１１３がその特徴量を参照データとして設定し、また動作モード設定部１０８が所定の動作モードを設定するようにする。
【００２９】
特徴量算出部１１０は、顔特徴部位位置検出部１０４で検出された顔特徴部位の位置、または後述する顔特徴部位位置補正部１１５で補正された顔特徴部位の補正位置から特徴量を算出する。特徴量の算出方法については後述する。
【００３０】
表情度算出部１１１は、特徴量算出部１１０で算出された特徴量に基づいて、表情度を算出する。表情度の算出方法については後述する。
【００３１】
表情判定部１１２は、表情度算出部１１１で算出された表情度を評価して、対象顔選択部１０２で選択された入力画像中の顔の表情を判定する。判定方法については後述する。
【００３２】
参照データ設定部１１３は、特徴量評価部１０９における特徴量の評価結果が所定の結果だった場合に、特徴量算出部１１０で算出した特徴量を参照データとして、参照データ保持部１１４に設定する。
【００３３】
顔特徴部位位置補正部１１５は、顔特徴部位位置検出部１０４で検出された顔特徴部位の位置を補正する。補正方法については後述する。
【００３４】
切り替え部１１６は、顔特徴部位位置検出部１０４で検出された顔特徴部位の位置結果を出力する先を、動作モード保持部１０７が保持する動作モード情報に基づいて、特徴量算出部１１０または顔特徴部位位置補正部１１５に切り替える。
【００３５】
補正結果保持部１１７は、顔特徴部位位置補正部１１５で得られた顔特徴部位の補正位置及び補正量を保持する。
【００３６】
続いて、動作モードについて説明する。本実施形態の動作モードは、参照データ探索モードと表情判定モードとの２種類がある。これらのモードにおける処理の概要を説明する。なお、詳細な説明は後述する。
【００３７】
参照データ探索モードは、表情判定モードにおける表情判定処理において使用する参照データを探索して設定する設定モードである。より具体的には、特徴量算出部１１０で算出された特徴量が所定の条件を満たす場合に、その特徴量またはその特徴量を含む過去のいくつかの特徴量から求めた値を参照データとする。
【００３８】
表情判定モードは、参照データ探索モードで設定された参照データと、現在の処理対象画像から求めた特徴量との変化に基づいて、表情の度合いを示す表情度を算出し、その表情度に基づいて表情を判定する判定モードである。
【００３９】
図２は、動作モードの設定手順を示すフローチャートである。まず処理開始時の動作モードとして、ステップＳ２０１で参照データ探索モードが初期設定される。ステップＳ２０２では、特徴量評価部１０９で特徴量が所定の条件を満たすかを評価する。そして、特徴量が所定の条件を満たすと評価された場合に、ステップＳ２０３で動作モードを表情判定モードに変更して、表情判定を行う。
【００４０】
続いて、上記各部の動作によって実行される、入力画像中の顔の表情を判別する為のメインの処理について説明する。図３につき、参照データ探索モードにおける処理を説明し、図４につき、表情判定モードにおける処理を説明する。
【００４１】
図３は、参照データ探索モードにおける処理手順を示すフローチャートである。ステップＳ３０１で、処理対象の画像が入力される。この画像は、動画像ファイルから静止画として切り出された１枚の画像や、不図示の撮像系で撮像されたフレーム画像等が考えられるが、特に限定はしない。
【００４２】
ステップＳ３０２では、顔検出部１０１が入力画像中の顔を検出する。顔検出処理手法は、背景技術で説明したように、様々な手法が提案されている。例えば、非特許文献２で紹介されている矩形フィルタを使用する方法を使用する。
【００４３】
ステップＳ３０３では、対象顔選択部１０２が、ステップＳ３０２で検出された顔から表情認識を行う対象となる顔を選択する。検出された顔が一つだけの場合は、その顔を選択する。検出された顔が複数ある場合には、例えば、所定サイズ以上の顔の中で、入力画像の中心に近い位置にある顔が選択される。
【００４４】
ステップＳ３０４では、正規化顔画像作成部１０３が、対象顔選択ステップＳ３０３で選択された顔の領域の画像から正規化顔画像を作成する。この作成方法を図５に模式的に示す。
【００４５】
図５の（Ａ）は正規化前の入力画像中の顔領域を、図５の（Ｂ）は正規化後の顔領域を示す。図５の（Ａ）中、５０１は顔領域を、５０２は検出された顔の中心座標を、５０３は検出された顔の右目座標を、５０４は検出された顔の左眼座標を示す。また、図５の（Ｂ）中、５１１は正規化された顔領域を示す。つまり、入力画像中の顔領域５０１が面内回転をしており、また、図５の（Ｂ）に示す正規化後の顔領域５１１と比較すると顔のサイズも異なっている。
【００４６】
なお、図５の（Ｂ）中、５１２は正規化顔画像作成時に顔領域の中心座標として使用した位置５０２の正規化画像上での座標を示す。５１３、５１４はそれぞれ顔領域のサイズを求める際に使用した右目及び左目位置５０３、５０４の正規化画像上での座標を示す。
【００４７】
正規化処理は、顔の中心座標５０２を中心に、右目座標５０３と左眼座標５０４とを結ぶ直線が水平になるように、面内回転量を補正するとともに、右目座標５０３と左眼座標５０４とを結ぶ線分が所定の長さになるようにする。この正規化処理は、アフィン変換と呼ばれる幾何学的変換処理で行われる。
【００４８】
この正規化処理で使用する右目座標５０３及び左眼座標５０４の検出には、例えば、上述した非特許文献４や非特許文献５の技術を使用することができる。なお、この正規化処理において、輝度値の正規化を行うことも可能である。輝度値の正規化には、例えば、ヒストグラム平坦化処理を使用する。このヒストグラム平坦化処理は、上記非特許文献７に解説されている。
【００４９】
ステップＳ３０５では、顔特徴部位位置検出部１０４で使用する検出パラメータ、例えば顔検出領域が設定されているかを判定し、設定されていなければステップＳ３０６へ、設定されていればステップＳ３０７へ進む。
【００５０】
ステップＳ３０６では、検出パラメータ設定部１０５が、顔特徴部位位置検出部１０４で使用する顔検出パラメータを設定する。検出パラメータ設定部１０５は、検出パラメータ保持部１０６が保持している複数の検出パラメータの中から、動作モード保持部１０７が保持している現在の動作モードに従って検出パラメータを選択し、設定する。
【００５１】
本実施形態では、検出パラメータとして検出領域を特定する情報を用いる。この検出領域について説明する。本実施形態の検出領域はマスクで指定される。以下ではこのマスクを検出領域マスクと呼ぶことにする。
【００５２】
図６は、顔の特徴部位として口の端点を検出する際に使用する検出領域マスクの例を示す図である。図６の（Ａ）中６０１は参照データ探索モードで使用する検出領域マスクを示す。図６の（Ｂ）中６０２は表情判定モードで使用する検出領域マスクを示す。また図６中、６０３、６０４は検出領域を、６０５、６０６は非検出領域を示す。
【００５３】
これらの検出領域マスクは、検出対象の顔の特徴部位ごとに、図５の（Ｂ）に示した正規化画像中の所定の位置に設定される。後述する顔特徴部位位置検出処理においては、この検出領域マスク６０１、６０２中の検出領域６０３、６０４の領域において、顔特徴部位の検出を行う。
【００５４】
図８に正規化画像中で検出領域マスクを設定する領域の一例を示す。８０１は右目目尻検出マスクを設定する領域を、８０２は左目目尻検出マスクを設定する領域を示す。８０３は右口端点検出マスクを設定する領域を、８０４は左口端点検出マスクを設定する領域を示す。
【００５５】
例えば、図６に示した口端点を検出する検出領域マスクに関して説明する。右口端点検出マスク及び左口端点検出マスクを設定する領域８０３、８０４に、動作モードごとに独立に図６に示した検出領域の設定を行う。すなわち、参照データ探索モードでは検出領域マスク６０１を選択して検出領域６０３を第１のパラメータとして設定する。表情判定モードでは検出領域マスク６０２を選択して検出領域６０４を第２のパラメータとして設定する。
【００５６】
前述のように、正規化画像の作成は、顔の検出位置と両目の検出位置とを基準に行われる。そのため、正規化画像中で口の端点が存在する位置は、個人差や表情等により、ある範囲に分布する。また、顔の検出位置や両目の検出位置の誤差によってもある範囲に分布することになる。そのため、口の端点の検出領域は、図６に示した検出領域マスク６０１の検出領域６０３及び検出領域マスク６０２の検出領域６０４のように、広がりのある範囲となる。
【００５７】
また、本実施形態の表情認識処理では、参照データ探索モードで設定された参照データと、現在の画像から求めた特徴量との変化に基づいて、表情の度合いを示す表情度を算出し、その表情度に基づいて表情判定を行う。
【００５８】
つまり、表情の判定のために、無表情または表情の変化の少ない状態からの変化を調査する。そのため、参照データ探索モードでは、参照データとして設定すべき特徴量は、無表情または表情の変化の少ない顔から求めた特徴量である。また、表情判定モードでは、無表情または表情の変化の少ない状態からの変化を調査する。そのために、図６に示した参照データ探索モードで使用する検出領域マスク６０１の検出領域６０３は、表情判定モードで使用する検出領域マスク６０２の検出領域６０４の範囲よりも狭い領域となっている。
【００５９】
この検出領域６０３、６０４を作成するには、例えば、無表情または表情の変化の少ない顔を集めた画像データベースＡと、検出する表情の顔を集めた画像データベースＢとを用意する。検出領域６０２を決定する際には、データベースＡのそれぞれの画像に対して、前述の顔検出処理と正規化処理を行って得られた正規化顔画像中で、対象検出部位の位置の頻度分布を調査し、各位置における頻度がしきい値以上の領域を検出領域６０２とする。検出領域６０４を決定する際には、データベースＡとＢのそれぞれの画像に対して、前述の顔検出処理と正規化処理を行って得られた正規化顔画像中で、対象検出部位の位置の頻度分布を調査し、各位置における頻度がしきい値以上の領域を検出領域６０４とする。このようにして予め検出領域マスクを求めて用意しておく。
【００６０】
なお、検出領域マスクは、後述する顔特徴部位位置検出処理で検出する検出部位ごとに用意される。つまり、口の端点の他にも目尻等を検出する場合は、それぞれの特徴部位に合わせた検出領域マスクを使用する。
【００６１】
また、検出領域マスクの他にも、後述する顔特徴部位位置検出で使用するパラメータを設定する。例えば、その検出で使用する手法が非特許文献２に基づくものである場合は、弱判別器と呼ばれる矩形フィルタ群が、テンプレートマッチング法を使用する場合はテンプレートが、そのパラメータに相当する。
【００６２】
上記の弱判別器やテンプレートも、予め用意した、無表情または表情の変化の少ない顔を集めた画像データベースＡと、検出する表情の顔を集めた画像データベースＢとから、参照データ探索モードと表情判定モードとのそれぞれで使用するものを求めておく。
【００６３】
つまり、画像データベースＡの画像中の顔の特徴部位を検出するように学習して得た弱判別器を参照データ探索モードで使用し、また画像データベースＡとＢの画像中の顔の特徴部位を検出するように学習して得た弱判別器を表情判定モードで使用する。
【００６４】
また、テンプレートについては、画像データベースＡの画像の平均画像から検出対象の顔の特徴部位ごとに生成したテンプレートを参照データ探索モードで使用する。また、画像データベースＡとＢの画像の平均画像から検出対象の顔の特徴部位ごとに生成したテンプレートを表情判定モードで使用する。
【００６５】
ステップＳ３０７では顔特徴部位の位置を検出する。この検出は、顔特徴部位位置検出部１０４で行われる。顔特徴部位位置の検出は、ステップＳ３０４で目の検出手法として説明した、非特許文献４に記載の手法を使用することが可能である。また別の手法としてテンプレートマッチング法を使用することも出来る。正規化画像作成ステップＳ３０４では、入力画像中の顔に対して目の位置の検出を行っていたが、ステップＳ３０７では、ステップＳ３０４で作成された正規化画像に対して検出処理を行う。そのため、ステップＳ３０４で対象とする顔と比較して、一般的に変動の大きさは小さくなる。そのため、複数の画像の平均画像から検出対象の顔特徴部位ごとに生成したテンプレートを使用して、顔特徴部位を検出することも可能である。テンプレートマッチング法は、公知の技術であり、例えば非特許文献７に記載がある。
【００６６】
ステップＳ３０７で検出する顔特徴部位の例を図７に示す。図７中、７０１は右目目尻を、７０２は左目目尻を、７０３は右口端点を、７０４は左口端点を示す。
【００６７】
ステップＳ３０８では、ステップＳ３０７で検出した顔特徴部位の位置から特徴量を算出する。図９はステップＳ３０８で算出する特徴量を示す図である。９０１は右目目尻と右口端点との距離を、９０２は左目目尻と左口端点との距離を、９０３は口両端点間距離を示す。各距離は、各顔特徴部位の正規化画像上の座標値から算出する。
【００６８】
ステップＳ３０９では、ステップＳ３０８で求めた特徴量の評価を特徴量評価部１０８により行う。この評価は、現在の入力画像が無表情または変化の少ない表情かどうか、またステップＳ３０７で検出された顔特徴部位が誤検出されたものでないかを確認するために行われる。上記の確認は、ステップＳ３０７で検出された顔特徴部位の位置を直接使用しても行うことが出来る。しかし本実施形態では、検出された顔特徴部位位置の距離という特徴量を使用する。
【００６９】
これは、ステップＳ３０２で検出された顔中心座標の位置の検出誤差を打ち消すことが出来るためである。つまり、顔検出位置に誤差がある場合、無表情または変化の少ない表情の時の顔特徴部位位置の分布は、その誤差のため本来の分布よりも広い分布になる。笑顔等の表情により顔特徴部位の位置が変化した時のその移動量と比較して、その誤差量は必ずしも小さいとは言えないので、その誤差の影響を少なくするために、前述の特徴量を使用して評価を行っている。
【００７０】
特徴量評価は、例えば、全ての特徴量の評価が所定の範囲に含まれている顔画像が、連続画像中で所定比率存在するかを判定することで行われる。この評価手法の技術は、本出願人が先に出願した特願２００７−１６０６８０に開示してある。
【００７１】
そしてこの評価結果に基づいて、参照データとして不適当ならば、ステップＳ３０１に戻り新たな入力画像に対して参照データ探索処理を行う。参照データとして適当ならばステップＳ３１０に進む。
【００７２】
ステップＳ３１０では、ステップＳ３０８で算出された特徴量を参照データとして、参照データ設定部１１３が参照データ保持部１１４に設定する。この参照データの算出は、ステップＳ３０８で算出された特徴量をそのまま設定しても良い。また他の算出手法として、例えば、ステップＳ３０９における特徴量評価を、全ての特徴量の評価が所定の範囲に含まれている顔画像が、連続画像中で所定比率存在するかを判定することで行われたとする。その場合、連続画像中の所定範囲内の各特徴量の平均値を参照データとして使用しても良い。
【００７３】
ステップＳ３１１では、動作モード設定部１０８が、動作モードを参照データ探索モードから表情判定モードに変更し、その情報を動作モード保持部１０７に保持する。
【００７４】
このように参照データ探索モードにおいては、図１の特徴量算出部１１０、表情度算出部１１１、表情判定部１１２、顔特徴部位位置補正部１１５、補正結果保持部１１７は動作しない。
【００７５】
続いて、表情判定モードの時の動作を説明する。図４は、表情判定モードにおける処理手順を示すフローチャートである。
【００７６】
ステップＳ４０１では、後述するステップＳ４０６で顔特徴部位の位置検出に使用するパラメータを検出パラメータ設定部１０５が設定する。検出パラメータ設定部１０５は、動作モード保持部１０８に保持されている動作モードが表情判定モードであるので、検出パラメータ保持部１０６に保持されている検出パラメータの中から、表情判定モードで使用する検出パラメータを選択して設定する。
【００７７】
ステップＳ４０２では、処理対象の画像が入力され、ステップＳ４０３では、入力画像中の顔が検出される。
【００７８】
ステップＳ４０４では、ステップＳ４０３で検出された顔から正規化顔画像の作成を行う対象となる顔を選択する。ステップＳ４０５では、ステップＳ４０４で選択された顔の画像から正規化顔画像を作成する。
【００７９】
ステップＳ４０６では、顔特徴部位の位置を検出する。なお、この検出で使用される検出パラメータは、ステップＳ４０１で設定された、表情判定モード時の顔特徴部位位置検出処理用のパラメータである。つまり、例えば、口端点検出用の検出領域マスクは、図６の（Ｂ）に示した表情判定モード時の検出領域マスク６０２であり、検出する範囲は検出領域６０４である。
【００８０】
ステップＳ４０７では、顔特徴部位位置検出ステップＳ４０６で検出された顔特徴部位位置の補正を行う。この補正処理は、顔特徴部位位置補正部１１５で行われ、また補正値は補正結果保持部１１７に保持される。なお、現在の動作モードは表情判定モードであるため、図１に示した切り替え部１１６は、顔特徴部位位置検出部１０４で検出した顔特徴部位の位置情報を、顔特徴部位位置補正部１１５に出力するように切り替えられている。
【００８１】
背景技術で示したように、顔検出処理の検出結果位置や目検出位置にはある程度の誤差が生じる。すると、正規化画像作成時の、推定顔サイズや推定回転量が正解の顔サイズや回転量とは異なり、作成された正規化画像が、連続画像間で異なることが生じる。その例を図１０に示す。図１０の（Ａ）は、目検出結果位置１００１が正解の時の画像を、図１０の（Ｂ）は目検出結果位置１００２が正解よりも内側に誤検出した様子を示す。また、図１０の（Ｃ）は、図１０の（Ａ）の目検出結果で作成した正規化顔画像を、図１０の（Ｄ）は図１０（Ｂ）の目検出結果で作成した正規化顔画像を示す。
【００８２】
図１０の（Ｃ）と図１０の（Ｄ）を比較すると、図１０の（Ｄ）は、正規化画像中の顔のサイズが大きく、目尻や口の端点が図１０の（Ｃ）の位置よりも外側に移動していることがわかる。つまり、例えば連続画像で、ある時刻Ｔの画像に対して、図１０の（Ａ）のように正解の顔検出・目検出結果で正規化画像を作成して目尻や口の端点を検出する。次に時刻Ｔ＋１の画像に対して、図１０の（Ｂ）のように誤検出した目検出結果で正規化画像を作成して目尻や口の端点を検出したとする。すると、入力画像中の顔の表情には変化が無いのに、ステップＳ４０６で検出した顔特徴部位の位置では、口が横に広がり、目尻と口の端点の距離が広がったという変化が生じたように評価される。
【００８３】
このような誤検出に伴う、変化の誤った評価は表情判定の精度を劣化されることになる。そこで、顔特徴部位検出位置が突発的に大きく変化しないように、つまりそのような変化が検出された場合でもその影響を受けにくくして、正規化画像上で特徴点が緩やかに変化するように、特徴点位置を補正する処理を行なう。
【００８４】
この補正には、一般にロバスト推定と呼ばれている処理を使用する。この処理は、簡単に説明すると、前回の値の近傍であれば影響を受けるが、ある範囲を越えると影響を受けにくくするというものである。このロバスト推定のアルゴリズムは以下の式で表される。時刻ｔにおける正規化画像で検出された顔特徴部位の位置をｘｔとすると，その時刻における補正値θｔは、以下の式１及び式２に従って更新される。この時、以前の補正結果θｔ−１と補正量∂Ｅｔ−１／∂θは補正結果保持部１１７に保持されている。また新たに求めた補正結果θｔと補正量∂Ｅｔ／∂θは、補正結果保持部１１７に保持される。ただし、初期値においては、式２の代わりに式３が使用される。
【００８５】
【数１】
2010055395.tif 000003
【００８６】
【数２】
2010055395.tif 000004
【００８７】
【数３】
2010055395.tif 000005
【００８８】
ここでρ（・）は正値有限偶関数で、αは記憶率、ηは適応率を表す定数である。εは観測値と推定値の誤差を表す関数で、通常次のように表す。
εｔ＝ｘｔ−θｔ−１    （式４）
ここでρ（・）に使用する関数として式５の関数を使用する。これは、正規化画像が正しくない場合の顔特徴部位位置の検出結果は、正規化画像が正しい場合の結果と比較して大きく外れるので、以前の結果から大きく外れた結果に対しては鈍く反応し、近い値には速く追随する。という目的を考慮して設定している。
【００８９】
【数４】
2010055395.tif 000006
【００９０】
なお、このロバスト推定は初期値に大きく依存する。つまり、顔特徴部位位置検出の結果が誤検出している場合の位置を誤って参照データとして設定すると、修正を行うことが困難である。そこで、参照データ探索モードのステップＳ３０６におけるパラメータ設定で説明したように、参照データを決定する。すなわち、範囲が限定された領域検出マスクのように、無表情または表情の変化の少ない顔を集めた画像データベースを使用して求めた検出パラメータを使用する。さらにステップＳ３０９で特徴量の評価も行っている。このように初期値の高精度化と、ロバスト推定を組み合わせることで、顔検出結果の誤差の影響を受けにくい表情認識を行っている。
【００９１】
ステップＳ４０８では、図９に示した特徴量を算出する。ステップＳ４０９では、ステップＳ４０８で算出した特徴量及び参照データ探索モードで参照データ保持部１１４に保持した参照データを使用して、表情度算出部１１１が表情度を算出する。
【００９２】
表情度算出処理は、図１１に示すように、最初にステップＳ１１０１で特徴量と参照データとから特徴量比を求め、次にステップＳ１１０２で特徴量比から表情度を計算する。
【００９３】
ステップＳ１１０１では、下記の式６に基づいて特徴量比を求める。式６中、Ｃｊは特徴量比を、Ｆｊは特徴量を、Ｒｊは参照データを示す。なお、添え字のｊは図９に示した各特徴のインデックスを示す。
Ｃｊ＝Ｆｊ／Ｒｊ  （式６）
ステップＳ１１０２では、下記の式７に示すように、各特徴量とそれに対する係数との積和演算によって表情度Ｓを求める。なお、Ｗｊは各特徴量に対する係数を示す。
Ｓ＝Σ（Ｗｊ・Ｃｊ）  （式７）
係数Ｗｊの求め方は、特には限定しないが、例えば線形判別分析（Ｌｉｎｅａｒ  Ｄｉｓｃｒｉｍｉｎａｎｔ  Ａｎａｌｙｓｉｓ：ＬＤＡ）と呼ばれる方法を使用することが出来る。以下簡単に説明する。なお、線形判別分析については非特許文献８に詳細な説明がある。
【００９４】
各特徴量比をベクトルにしたものを、特徴量比ベクトル
Ｃ＝（Ｃ１，Ｃ２，・・・，Ｃｎ）ｔ
とする。なおｔは転置を表している。図９に示したように、本実施形態ではこのベクトルの次元は３である。線形判別分析は、ｎ次元空間の特徴ベクトルを１次元空間に射影して判別する手法と考えることが出来る。この時の射影は、
ｙ＝ＷｔＣ      （式８）
で示すことができ、特徴比ベクトルＣの係数Ｗが判別パラメータとなり、今回求める係数のベクトルとなる。また、ｙは判別器の出力値となり、この値を表情度Ｓとして使用する。このＷは式９で求められる。
Ｗ＝Ｓｗ−１（Ｍ１−Ｍ２）  （式９）
なお、式９中のＭｉは標本平均を示し、またＳｗは散布行列を示す。標本平均Ｍｉは式１０、散布行列Ｓｗは式１１で求められる。
【００９５】
判定したい表情のクラス（本実施形態では笑顔の画像）をクラス１、そのほかの表情のクラスをクラス２で表すと、各クラスの標本平均Ｍｉは式１０で表される。なお、ｎｉは、各クラスの標本数を示す。
【００９６】
【数５】
2010055395.tif 000007
【００９７】
また、散布行列をＳｗは式１１で求められる。
【００９８】
【数６】
2010055395.tif 000008
【００９９】
具体的にＷを求めるためには、予め判定したい表情の画像（本実施形態では笑顔の画像）とそのほかの表情の顔を多数用意し、選択した無表情の顔の特徴量とから各画像に対して特徴量比Ｃｊを求める。そして、式１０から笑顔とその他の表情の標本平均Ｍｉを、そして式１１から散布行列Ｓｗを求める。そして、式９を使用してＷを求めることで、式７の係数を求めることが出来る。
【０１００】
ステップＳ４１０では、ステップＳ４０９で求めた表情度としきい値とを比較して、入力画像が所望の表情か否かを表情判定部１１２で判定する。そして、所望の表情でなければステップＳ４０２へ戻り、新たな入力画像に対して処理を行う。なお、このしきい値は、前述した表情度算出で使用する式７の係数Ｗｊを求める際に求めることが出来る。つまり、予め用意した全ての顔画像に対して、得られた係数Ｗｊを使用して笑顔度Ｓを求める。そして、所望の表情とそれ以外の表情のそれぞれに属する顔画像毎に、求めた笑顔度の頻度分布を作成し、その頻度分布上でしきい値候補を変化させて、所望の検出精度となるときのしきい値候補の値をしきい値として設定する。
【０１０１】
図１２は、本実施形態の画像処理装置を実現するコンピュータのハードウェア構成を示す図である。ＣＰＵ１２１は、プログラムを実行することで種々の処理を実行し、装置各部を制御する。ＲＯＭ１２２はプログラムや各種固定データを記憶する。ＲＡＭ１２３は各種データやプログラムを一時記憶し、ＣＰＵ１２１にワークエリアを提供する。ＣＰＵはＲＯＭ１２２内のプログラムやＨＤＤ１２５などからＲＡＭ１２３へロードされたプログラムを実行することで、フローチャートにつき上述した処理を実現する。
【０１０２】
入力部１２４は、キーボードやマウスなどを備え、ユーザからのデータや指示の入力を受け付ける。ＨＤＤ１２５は、ハードディスクドライブであり、プログラムや辞書データ、画像データなどを不揮発に記憶する。表示部１２６は入力データや処理結果などを表示する。ＨＤＤ１２５に代えてＣＤＲＯＭドライブなどを備えるようにしてもよい。
【０１０３】
Ｉ／Ｆ１２７は、撮像装置と接続し、撮像装置が撮影した画像を受け取ったり、撮像装置への指示などを送信する。バス１２８は装置各部を接続する。
【０１０４】
以上説明したように、本実施形態によれば、設定した種類の表情の判定において、表情の判定に使用する特徴量の算出において使用される顔特徴部位位置の検出を高精度に行う。そのために、設定した種類の表情の判定に必要な顔特徴部位の検出に使用する、例えば検出領域といったパラメータを、動作モードに基づいて設定する。また、正規化画像作成時の誤差の影響を受けにくくするために、検出された顔特徴部位の位置の補正を行う。以上により、高精度な表情認識を実現する。
【０１０５】
なお、本発明の目的は、上記実施の形態の機能を実現するソフトウェアのプログラムコードを、装置のコンピュータ（またはＣＰＵ）がコンピュータ読み取り可能な記憶媒体から読出して実行することでも達成される。
【０１０６】
この場合、コンピュータ可読記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶したコンピュータ可読記憶媒体は本発明を構成することになる。
【０１０７】
プログラムコードを供給するためのコンピュータ可読記憶媒体としては、種々の媒体が利用できる。例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【０１０８】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【０１０９】
【図１】実施形態の画像処理装置の機能構成を示す図である。
【図２】動作モードの設定手順を示すフローチャートである。
【図３】参照データ探索モードの動作を示すフローチャートである。
【図４】表情判定モードの動作を示すフローチャートである。
【図５】正規化顔画像の生成を説明する図である。
【図６】検出領域マスクの例を説明する図である。
【図７】顔特徴部位の例を説明する図である。
【図８】顔特徴部位検出領域の例を説明する図である。
【図９】特徴量の例を示す図である。
【図１０】顔特徴部位の検出誤差と正規化顔画像の関係を示す図である。
【図１１】表情度算出処理の動作を示すフローチャートである。
【図１２】本実施形態の画像処理装置を実現するコンピュータのハードウェア構成を示す図である。
【図１】
2010055395.tif 000009
【図２】
2010055395.tif 000010
【図３】
2010055395.tif 000011
【図４】
2010055395.tif 000012
【図５】
2010055395.tif 000013
【図６】
2010055395.tif 000014
【図７】
2010055395.tif 000015
【図８】
2010055395.tif 000016
【図９】
2010055395.tif 000017
【図１０】
2010055395.tif 000018
【図１１】
2010055395.tif 000019
【図１２】
2010055395.tif 000020