(57)【要約】  画像を取得する画像取得部（１０１）と、画像取得部（１０１）が取得した画像中から人物の顔領域を抽出し、当該顔領域の情報を付与した顔画像とする顔領域抽出部（１０２）と、顔画像に基づき、１つ以上の顔特徴点を抽出する顔特徴点抽出部（１０３）と、顔特徴点抽出部（１０３）が抽出した各顔特徴点の信頼度に応じて、顔画像中の顔の状態をあらわす顔条件を判定する顔条件判定部（１０５）と、顔条件判定部（１０５）が判定した顔条件に応じて、顔特徴点抽出部（１０３）が抽出した各顔特徴点のうち、表情認識に用いる特徴量を抽出するための基準点を決定する基準点決定部（１０７）と、基準点決定部（１０７）が決定した基準点に応じて特徴量を抽出する顔特徴量抽出部（１０９）と、顔特徴量抽出部（１０９）が抽出した特徴量を用いて、顔画像中の人物の表情を認識する表情認識部（１１１）と、表情認識部（１１１）による、顔画像中の人物の表情の認識結果に関する情報を出力する表情認識結果出力部（１１３）とを備えた。
2019102619.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する画像取得部と、
前記画像取得部が取得した画像中から人物の顔領域を抽出し、当該顔領域の情報を付与した顔画像とする顔領域抽出部と、
前記顔画像に基づき、１つ以上の顔特徴点を抽出する顔特徴点抽出部と、
前記顔特徴点抽出部が抽出した各顔特徴点の信頼度に応じて、前記顔画像中の顔の状態をあらわす顔条件を判定する顔条件判定部と、
前記顔条件判定部が判定した顔条件に応じて、前記顔特徴点抽出部が抽出した各顔特徴点のうち、表情認識に用いる特徴量を抽出するための基準点を決定する基準点決定部と、
前記基準点決定部が決定した基準点に応じて前記特徴量を抽出する顔特徴量抽出部と、
前記顔特徴量抽出部が抽出した特徴量を用いて、前記顔画像中の人物の表情を認識する表情認識部と、
前記表情認識部による、前記顔画像中の人物の表情の認識結果に関する情報を出力する表情認識結果出力部
とを備えた表情認識装置。
【請求項２】
前記顔条件判定部は、
前記各顔特徴点の信頼度に応じて、前記顔画像中の顔が装着物を装着した状態か否かを示す顔条件を判定する
ことを特徴とする請求項１記載の表情認識装置。
【請求項３】
前記顔条件判定部は、
前記顔画像が撮影された照明環境に基づく前記各顔特徴点の信頼度に応じて、前記顔条件を判定する
ことを特徴とする請求項１記載の表情認識装置。
【請求項４】
前記顔条件判定部は、
前記各顔特徴点の信頼度に応じて、前記顔画像中の顔が、影がある状態か否か、または、色とびがある状態か否かを示す顔条件を判定する
ことを特徴とする請求項１記載の表情認識装置。
【請求項５】
前記顔条件判定部は、
前記顔特徴点抽出部が抽出した各顔特徴点と、平均顔特徴点モデルで定義された、平均顔における各顔特徴点との比較結果によって前記顔特徴点の信頼度を判定し、前記顔条件を判定する
ことを特徴とする請求項１記載の表情認識装置。
【請求項６】
前記顔条件判定部は、
前記平均顔における各顔特徴点と、前記顔特徴点抽出部が抽出した各顔特徴点との類似度によって前記各顔特徴点の信頼度を判定する
ことを特徴とする請求項５記載の表情認識装置。
【請求項７】
前記顔条件判定部は、
前記平均顔における各顔特徴点間の距離と、前記各顔特徴点抽出部が抽出した各顔特徴点間の距離との類似度によって前記各顔特徴点の信頼度を判定する
ことを特徴とする請求項５記載の表情認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、人物が撮影された画像に基づいて、当該人物の表情を認識する表情認識装置に関するものである。
【背景技術】
【０００２】
近年、カーナビ、家電機器、または、ロボット等において、案内または会話等の応答表現を使用者の感情に応じて変化させる音声対話機能を実現するため、使用者の感情を検知するシステムの開発が進んでいる。
例えば、使用者の顔を撮影した画像をカメラから取得し、取得した画像を用いて使用者の表情を認識して、使用者の感情を検知する機能に対する要求が高まっている。【０００３】
表情認識の手法には、例えば、人物の顔を撮影した画像から、口または目等の特徴点を利用して、表情認識に必要な特徴量を抽出し、人物の表情を認識する手法がある。
しかし、例えば、画像中の人物がサングラスまたはマスク等の装着物を着用している場合、特徴量を抽出するための特徴点を抽出できないこと、または、当該特徴点の抽出精度が低くなることがある。【０００４】
サングラスまたはマスク等の装着物の有無を考慮した特徴点に基づき特徴量を抽出する技術として、例えば、特許文献１には、顔認証の技術において、入力顔画像から眼鏡装着の有無に応じた特徴量抽出位置を決定し、決定した特徴量抽出位置に基づき特徴量を抽出して、抽出した特徴量と登録画像の特徴量とを照合することにより顔認証を行う顔認証システムが開示されている。
特許文献１に開示されている技術では、入力顔画像のユーザに装着物ありと判定した場合、装着物の位置を回避して特徴量抽出位置を決定するため、入力顔画像および登録画像のユーザの眼鏡装着の有無に関わらず、顔認証を行うことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２８０２５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示されている技術は、人物の顔を撮影した画像を用いた、個人の認証に関する技術であって、人物の表情認識を行う技術ではない。そのため、特徴量を抽出するための特徴量抽出位置を決定するにあたり、特徴量抽出位置が、表情認識を行うのに適した位置であるかどうかの考慮がされていない。
人物の顔を撮影した画像を用いて当該人物の表情認識を行う場合、表情認識を行うための特徴量の抽出に用いる基準となる特徴点は、表情変化による変動が少ない特徴点である必要がある。基準となる特徴点が変動すると抽出される特徴量も変動してしまい、正確な表情認識を行うことができないためである。
また、特許文献１に開示されている技術では、人物の顔の向き、または、照明環境等、装着物の有無以外の要因に応じて特徴量抽出位置を決定するようにはなっていないため、特徴量を抽出することができない可能性がある。
したがって、特許文献１に開示されているような技術では、人物の表情を認識することができないという課題があった。【０００７】
この発明は上記のような課題を解決するためになされたもので、人物を撮影した画像において、人物の表情認識を行うことができる表情認識装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
この発明に係る表情認識装置は、画像を取得する画像取得部と、画像取得部が取得した画像中から人物の顔領域を抽出し、当該顔領域の情報を付与した顔画像とする顔領域抽出部と、顔画像に基づき、１つ以上の顔特徴点を抽出する顔特徴点抽出部と、顔特徴点抽出部が抽出した各顔特徴点の信頼度に応じて、顔画像中の顔の状態をあらわす顔条件を判定する顔条件判定部と、顔条件判定部が判定した顔条件に応じて、顔特徴点抽出部が抽出した各顔特徴点のうち、表情認識に用いる特徴量を抽出するための基準点を決定する基準点決定部と、基準点決定部が決定した基準点に応じて特徴量を抽出する顔特徴量抽出部と、顔特徴量抽出部が抽出した特徴量を用いて、顔画像中の人物の表情を認識する表情認識部と、表情認識部による、顔画像中の人物の表情の認識結果に関する情報を出力する表情認識結果出力部とを備えたものである。
【発明の効果】
【０００９】
この発明によれば、表情認識を行うのに適した特徴点を基準とした表情認識を行うことで、人物を撮影した画像において、人物の表情を認識することができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１に係る表情認識装置の構成例を示したブロック図である。
【図２】実施の形態１において、顔特徴点記録部が記録する各顔特徴点に関する情報の一例を示す図である。
【図３】実施の形態１において、平均顔特徴点モデルで定義されている、平均顔の顔特徴点の情報の一例を示す図である。
【図４】実施の形態１において、顔条件記録部が記録する、顔条件の判定結果に関する情報の一例を示す図である。
【図５】実施の形態１において、基準点判定条件モデルで定義されている、基準点判定条件の一例を示す図である。
【図６】実施の形態１において、顔動画像中の人物の顔の状態の一例を説明するための図である。この実施の形態１に係る撮影補助装置の対象物概要判定部および移動速度指示部の詳細な動作を説明するためのフローチャートである。
【図７】実施の形態１において、基準点記録部が記録する基準点の情報の一例を示す図である。
【図８】実施の形態１において、顔特徴量抽出部が抽出する各特徴量の一例のイメージを説明するための図である。
【図９】実施の形態１において、顔特徴量記録部が記録する各特徴量に関する情報の一例を示す図である。
【図１０】、実施の形態１において、事前生成データベースが備える表情認識条件モデルの内容の一例を示す図である。この発明の実施の形態３におけるナビゲーションシステムの概要を示す図である。
【図１１】実施の形態１において、表情認識結果記録部が記録する、顔動画像中の人物の表情の認識結果に関する情報の一例を示す図である。
【図１２】実施の形態１に係る表情認識装置の動作を説明するためのフローチャートである。
【図１３】図１２のステップＳＴ１２０４の動作について説明するためのフローチャートである。
【図１４】図１２のステップＳＴ１２０５の動作について説明するためのフローチャートである。
【図１５】図１２のステップＳＴ１２０６の動作について説明するためのフローチャートである。
【図１６】図１２のステップＳＴ１２０７の動作について説明するためのフローチャートである。
【図１７】図１７Ａ，図１７Ｂは、実施の形態１に係る表情認識装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
【００１２】
図１は、実施の形態１に係る表情認識装置１の構成例を示したブロック図である。
表情認識装置１は、図１に示すように、事前生成データベース２、撮影デバイス３、および、表示デバイス４と接続される。
また、表情認識装置１は、図１に示すように、画像取得部１０１と、顔領域抽出部１０２と、顔特徴点抽出部１０３と、顔特徴点記録部１０４と、顔条件判定部１０５と、顔条件記録部１０６と、基準点決定部１０７と、基準点記録部１０８と、顔特徴量抽出部１０９と、顔特徴量記録部１１０と、表情認識部１１１と、表情認識結果記録部１１２と、表情認識結果出力部１１３を備える。
【００１３】
画像取得部１０１は、撮影デバイス３が撮影した画像を取得する。画像取得部１０１は、撮影デバイス３から取得した画像を、顔領域抽出部１０２に出力する。
実施の形態１において、撮影デバイス３が撮影し、画像取得部１０１が取得する画像は、動画像であってもよいし、静止画像であってもよい。以下、実施の形態１においては、一例として、撮影デバイス３は動画像を撮影し、画像取得部１０１は撮影デバイス３が撮影した動画像を取得するものとして説明する。
なお、表情認識装置１では、画像取得部１０１が取得した動画像のフレーム単位で、表情認識処理が行われる。
【００１４】
顔領域抽出部１０２は、画像取得部１０１が取得した動画像中から、人物の顔を示す領域（以下、「顔領域」という。）を抽出する。顔領域抽出部１０２は、既存の技術を用いて顔領域を抽出すればよい。顔領域を抽出する既存の技術は、例えば、非特許文献１「Paul Viola, Michael J. Jones. Robust Real-Time Face Detection. International Journal of Computer Vision. Vol. 57, No2 pp.137-154 (2004)」に記載されている。
顔領域抽出部１０２は、画像取得部１０１が取得した動画像に、顔領域の情報を付与して、顔特徴点抽出部１０３に出力する。
画像取得部１０１が撮影デバイス３から取得し、顔領域抽出部１０２が顔領域の情報を付与された画像を、「顔画像」という。
実施の形態１では、撮影デバイス３は動画像を撮影し、画像取得部１０１は動画像を取得するものとするので、以下では、「顔画像」を、「顔動画像」というものとして説明する。
【００１５】
顔特徴点抽出部１０３は、顔領域抽出部１０２から出力された顔動画像に基づき、顔の特徴点（以下、「顔特徴点」という。）を抽出する。
実施の形態１において、顔特徴点とは、人の顔を構成する各構成部分上の点であり、当該各構成部分の特徴をよく表す１つまたは複数の点をいう。人の顔を構成する各構成部分とは、例えば、眉毛、目、鼻、または、口である。また、各構成部分の特徴をよく表す１つまたは複数の点とは、例えば、左眉の外端または鼻の先端である。
顔特徴点抽出部１０３は、顔特徴点として、「顔特徴点の位置」を抽出する。「顔特徴点の位置」とは、例えば、顔動画像上の座標で示される。
顔特徴点抽出部１０３は、既存の技術を用いて各顔特徴点を抽出すればよい。顔特徴点抽出部１０３は、顔特徴点を抽出する既存の技術として、例えば、非特許文献２「Wiskott L., Fellous J.-M., Kruger N., von der Malsburg C. Face Recognition by Elastic Bunch Graph Matching. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 19. Issue 7, pp. 775-779 (1997)」に開示されている公知の方法を用いる。
顔特徴点抽出部１０３は、抽出した各顔特徴点の情報を、顔特徴点記録部１０４に出力して、記録させる。顔特徴点の情報とは、顔特徴点抽出部１０３が顔動画像上で抽出した、顔特徴点の位置を示す顔動画像上の座標が、顔のどの構成部分の、どの顔特徴点を示すのかをあらわす情報である。
【００１６】
顔特徴点記録部１０４は、顔特徴点抽出部１０３が出力した各顔特徴点に関する情報を記録する。
図２は、実施の形態１において、顔特徴点記録部１０４が記録する各顔特徴点に関する情報の一例を示す図である。
図２に示すように、各顔特徴点に関する情報は、各顔特徴点の、顔動画像における座標の情報を含む。
各顔特徴点の座標は、顔動画像の左上の座標を原点（０，０）として示す座標である。
なお、図２では説明の簡単のため図示を省略しているが、各顔特徴点に関する情報において、各顔特徴点の座標と、画像取得部１０１が取得した顔動画像のどのフレームを処理対象としているかを特定する情報とが対応付けられる。
【００１７】
顔条件判定部１０５は、顔特徴点抽出部１０３が抽出し、顔特徴点記録部１０４に記録させた各顔特徴点に関する情報に基づき、顔動画像中の顔は、装着物を装着しているか、影または色とびがないか等、顔動画像中の顔の状態をあらわす顔条件を判定する。
【００１８】
具体的には、顔条件判定部１０５は、各顔特徴点の信頼度に応じて、顔条件を判定する。実施の形態１において、顔特徴点の信頼度とは、顔特徴点が精度よく抽出できているか否かをいい、顔条件判定部１０５は、顔特徴点が精度よく抽出できていれば信頼度は高いと判定し、顔特徴点が精度よく抽出できていなければ信頼度は低いと判定する。
例えば、顔条件判定部１０５は、顔特徴点抽出部１０３が、目を示す顔特徴点を抽出できていなければ、当該目を示す顔特徴点の信頼度は低いとし、顔条件を、「サングラス着用」と判定する。また、例えば、顔条件判定部１０５は、顔特徴点抽出部１０３が、口を示す顔特徴点を抽出できていなければ、当該口を示す顔特徴点の信頼度は低いとし、顔条件を、「マスク着用」と判定する。
【００１９】
また、顔条件判定部１０５は、事前生成データベース２が備える平均顔特徴点モデル２１（後述する）に基づき、平均顔特徴点モデル２１で定義されている顔特徴点に関する情報と、顔特徴点抽出部１０３が抽出した顔特徴点に関する情報とを比較し、両顔特徴点の類似度によって、各顔特徴点の信頼度を判定してもよい。例えば、顔条件判定部１０５は、目を示す顔特徴点の座標について上記の比較を行い、その結果、両座標間の差が著しく大きい場合は、両顔特徴点の類似度が低く、抽出された目を示す顔特徴点の信頼度が低いとし、顔条件を、「サングラス着用」と判定する。また、例えば、顔条件判定部１０５は、口を示す顔特徴点の座標について上記の比較を行い、その結果、両座標間の差が著しく大きい場合は、両顔特徴点の類似度が低く、抽出された口を示す顔特徴点の信頼度が低いとし、顔条件を、「マスク着用」と判定する。また、例えば、顔条件判定部１０５は、目を示す顔特徴点である目の外端と目の内端との間の距離について上記の比較を行い、その結果、両距離間の差が著しく大きい場合は、上記の比較における、目を示す顔特徴点である目の外端と目の内端との間の距離の類似度が低く、抽出された目を示す顔特徴点の信頼度が低いとし、顔条件として、「サングラス着用」と判定する。
顔条件判定部１０５は、平均顔特徴点モデル２１で定義されている顔特徴点に関する情報と、顔特徴点抽出部１０３が抽出した顔特徴点に関する情報とを比較する際、例えば、ユークリッド距離またはマハラノビス距離を用いる方法を採用すればよい。なお、顔条件判定部１０５は、例えば、顔特徴点抽出部１０３が抽出した顔特徴点に関する情報から算出される左目外端と右目外端との間の距離が、平均顔特徴点モデル２１に定義された顔特徴点に関する情報から算出される左目外端と右目外端との間の距離と同距離になるように合わせることによって、顔の大きさの正規化を行うようにする。顔の大きさの正規化を行う際に利用する複数の顔特徴点は、当該複数の顔特徴点間の距離によって顔の大きさを表せるものであればよく、例えば、左眉外端と右眉外端との間の距離を利用してもよい。
【００２０】
ここで、図３は、実施の形態１において、平均顔特徴点モデル２１で定義されている、平均顔の顔特徴点に関する情報の一例を示す図である。なお、実施の形態１において、「平均顔」とは、複数の者の顔を撮影した動画像または静止画像を重ね合わせ、当該複数の者の平均の顔として求めた顔をいう。
図３に示すように、平均顔特徴点モデル２１では、人物の各顔特徴点と、当該各顔特徴点の顔動画像における平均座標とを対応付けた、平均顔の顔特徴点に関する情報が定義されている。当該平均顔特徴点モデル２１は、予め、管理者等によって生成される。
【００２１】
また、顔条件判定部１０５は、例えば、照明環境または撮影デバイス３の設置場所に関する情報から、顔動画像における影または色とびの範囲を特定し、顔条件を判定するようにしてもよい。
例えば、人物の顔に左から照明があたっている状態等の照明環境が事前に分かっている場合、顔条件判定部１０５は、顔の左半分が色とびしている可能性が高く、顔の左半分の範囲内における、顔特徴点抽出部１０３が抽出した顔特徴点について、当該顔特徴点の信頼度は低いとし、顔条件を、「左から照明有」と判定する。
なお、照明環境または撮影デバイス３の設置場所に関する情報は、例えば、管理者等が予め設定し、表情認識装置１が参照可能な場所に、記録しておく。
【００２２】
また、人物の顔の向きにより顔の左半分が隠れている場合、顔条件判定部１０５は、顔の左半分の範囲内における、顔特徴点抽出部１０３が抽出した顔特徴点について、当該顔特徴点の信頼度は低いとし、顔条件を、「斜め顔」と判定する。
このように、顔条件判定部１０５は、後に基準点決定部１０７が基準点を決定する際に特定の範囲内の顔特徴点を基準点とすることがないように、基準点とする顔特徴点を制限するための顔条件を判定することもできる。顔条件判定部１０５が、基準点とする顔特徴点を制限するための顔条件を判定することにより、基準点決定部１０７は、より適切な基準点を決定することができる。基準点決定部１０７については後述する。
【００２３】
顔条件判定部１０５は、顔条件の判定結果に関する情報を、顔条件記録部１０６に出力して、記録させる。
【００２４】
顔条件記録部１０６は、顔条件判定部１０５が出力した、顔条件の判定結果に関する情報を記録する。
ここで、図４は、実施の形態１において、顔条件記録部１０６が記録する、顔条件の判定結果に関する情報の一例を示す図である。
図４に示すように、顔条件記録部１０６には、顔条件の判定結果に関する情報として、「通常」、「マスク着用」、または、「左から照明有」といった情報が記録される。
例えば、「通常」とは、人物の顔に装着物がなく、かつ、照明環境等が人物の顔の画像に影響を与えるものではなく、かつ、人物の顔が正面を向いている状態を示す。また、例えば、「マスク着用」とは、人物が顔にマスクを着用している状態を示す。また、例えば、「左から照明有」とは、人物の顔に左から照明があたっている状態を示す。
なお、図４では説明の簡単のため図示を省略しているが、「通常」、「マスク着用」、または、「左から照明有」といった情報は、画像取得部１０１が取得した顔動画像のどのフレームを処理対象としているかを特定する情報と対応付けて記録される。
【００２５】
基準点決定部１０７は、事前生成データベース２が備える基準点判定条件モデル２２（後述する）に基づき、顔条件判定部１０５が判定した顔条件に応じて、顔特徴点抽出部１０３が抽出して顔特徴点記録部１０４に記録させている顔特徴点のうち、表情認識に用いる特徴量を抽出するための基準点を決定する。
実施の形態１に係る表情認識装置１において、表情認識を行う際は、顔特徴点抽出部１０３により抽出された１つ以上の顔特徴点のうち一部の顔特徴点を利用し、当該一部の顔特徴点を基準として抽出した特徴量から表情を認識する。しかし、表情を認識するために用いる特徴量を正確に抽出するためには、当該特徴量を、表情変化による変動が少ない顔特徴点を基準として抽出する必要がある。また、顔特徴点が抽出される際の種々の条件によっては、抽出された顔特徴点の中に、抽出精度の低い顔特徴点が生じる場合がある。抽出精度の低い顔特徴点が特徴量の抽出の際の基準として用いられると、特徴量も正確に抽出されないこととなる。
そこで、基準点決定部１０７は、事前に生成されている基準点判定条件モデル２２に基づき、顔条件判定部１０５が判定した顔条件に応じて、顔特徴点抽出部１０３が抽出して顔特徴点記録部１０４に記録させている顔特徴点のうち、表情認識に用いる特徴量を抽出する基準となる基準点を決定する。
なお、顔条件判定部１０５が判定した顔条件が複数ある場合は、基準点決定部１０７は、予め設定された優先順位に基づき、複数の顔条件のうち、優先順位の高いほうの顔条件に応じて基準点を決定するようにする。基準点を決定するための優先順位は、予め管理者等が設定しておき、例えば、後述する基準点判定条件モデル２２に定義しておく。例えば、顔条件判定部１０５が、「マスク着用」と「左から照明有」を顔条件として判定した場合に、「マスク着用」という顔条件に応じて基準点の決定を行うようにするのであれば、管理者等は、「マスク着用」の優先順位を、「左から照明有」の優先順位よりも高く設定する。
【００２６】
ここで、図５は、実施の形態１において、基準点判定条件モデル２２で定義されている、基準点判定条件の一例を示す図である。
図５に示すように、基準点判定条件モデル２２では、顔条件と、基準点と、基準点を決定するための、顔条件の優先順位とが対応付けられた基準点判定条件が定義されている。当該基準点判定条件モデル２２は、予め、管理者等によって生成される。
基準点判定条件において、顔条件に対応付けられている基準点は、顔領域における顔特徴点のうち、表情認識に用いる特徴量を抽出するのに適した顔特徴点である。
例えば、顔条件が「斜め顔」である場合、鼻の先端は前に凸になっているため、基準点としては使用せず、目尻の中間点、すなわち、左目外端と右目外端との中間点を基準点とするよう定義されている。
また、例えば、顔条件が「発話時」である場合、口角は、位置が変動するため、基準点としての使用の優先度は下げ、目尻の中間点を基準点とするよう定義されている。
また、例えば、顔条件が「左から照明有」である場合、目尻の中間点は抽出できないため、基準点としては使用せず、左口角の特徴量も検出精度が低くなるため、基準点としての使用の優先度を下げて、鼻の先端を基準点とするよう定義されている。
【００２７】
基準点決定部１０７は、図５に示すような基準点判定条件モデル２２に基づき、顔条件に応じて、基準点を決定する。基準点決定部１０７による基準点決定の具体的な方法について説明する。基準点決定方法は、予め設定されており、基準点決定部１０７は、当該予め設定された基準点決定方法に沿って基準点を決定する。なお、以下の説明において、顔動画像中の人物の顔の状態として、例えば、図６に示すような状態が想定されるものとする。
【００２８】
一般的に、人の顔の中には、顔の表情が色々に変化しても、ほとんど位置が変化しない顔特徴点がいくつかある。従って、ほとんど位置が変化しない顔特徴点を、予め数点、管理者等が決めておき、図５に示すように、各顔条件と対応させて各１つの基準点を登録しておく。
そして、システムの稼動時は、基準点決定部１０７が、実際の動画が撮影された際の顔条件に応じて、基準とする顔特徴点を変化させる。すなわち、条件によらず、同じ基準点を固定的に使用するのではなく、顔条件に応じて動的に変化させる。
【００２９】
基準点決定部１０７は、顔条件によって、基準となる顔特徴点を動的に変化させ、基準点を決定する。
例えば、図６に示すように、人物のサングラス着用時（図６（Ａ）参照）は目を示す顔特徴点の抽出精度が低くなるため、管理者等は、目尻の中間点は避け、鼻の先端を基準点として、予め、基準点判定条件モデル２２に登録しておく。基準点決定部１０７は、基準点判定条件モデル２２に基づき、鼻の先端を基準点に決定する。
また、例えば、マスク着用時（図６（Ｂ）参照）は鼻を示す顔特徴点の抽出精度が低くなるため、管理者等は、鼻の先端は避け、目尻の中間点を基準点として、予め、基準点判定条件モデル２２に登録しておく。基準点決定部１０７は、基準点判定条件モデル２２に基づき、目尻の中間点を基準点とする。
また、例えば、通常時（図６（Ｃ）参照）は、顔特徴点の抽出精度が低くなる要素がないが、管理者等は、目尻の中間点を基準点として、予め、基準点判定条件モデル２２に登録しておく。基準点決定部１０７は、基準点判定条件モデル２２に基づき、目尻の中間点を基準点とする。
また、例えば、人物の顔が斜め顔であれば（図６の（Ｄ）参照）、鼻の先端は前に凸となり抽出精度が低くなるため、管理者等は、鼻の先端は避け、目尻の中間点を基準点として、基準点判定条件モデル２２に登録しておく。基準点決定部１０７は、基準点判定条件モデル２２に基づき、目尻の中間点を基準点とする。
また、例えば、発話時（図６（Ｄ）参照）は、口が動いており、当該口を示す顔特徴点の抽出精度が低くなるため、管理者等は、予め、口は避け、目尻の中間点を基準点として、基準点判定条件モデル２２に登録しておく。基準点決定部１０７は、基準点判定条件モデル２２に基づき、目尻の中間点を基準点とする。
また、例えば、人物の顔に左から照明があたっている、左から照明有の時（図６（Ｅ）参照）は、人物の顔の左側を示す顔特徴点の抽出精度が低くなり、目尻の中間点が算出できたいため、管理者等は、予め、鼻の先端を基準点として、基準点判定条件モデル２２に登録しておく。基準点決定部１０７は、基準点判定条件モデル２２に基づき、鼻の先端を基準点に決定する。
【００３０】
基準点決定部１０７は、決定した基準点の情報を、基準点記録部１０８に出力して、記録させる。
【００３１】
基準点記録部１０８は、基準点決定部１０７が出力した基準点の情報を記録する。
ここで、図７は、実施の形態１において、基準点記録部１０８が記録する基準点の情報の一例を示す図である。
図７に示すように、基準点記録部１０８には、基準点の情報として、「目尻の中間点」、または、「鼻の先端」等の情報が記録される。
なお、図７では説明の簡単のため図示を省略しているが、「目尻の中間点」、または、「鼻の先端」等の基準点の情報は、画像取得部１０１が取得した顔動画像のどのフレームを処理対象としているかを特定する情報と対応付けて記録される。
【００３２】
顔特徴量抽出部１０９は、基準点決定部１０７が出力し基準点記録部１０８に記録させている基準点に応じて、表情認識に用いる各特徴量を抽出する。
ここで、図８は、実施の形態１において、顔特徴量抽出部１０９が抽出する各特徴量の一例のイメージを説明するための図である。図８Ａは、基準点が両目尻の中間点である場合に、顔特徴量抽出部１０９が抽出する特徴量の一例のイメージを示しており、図８Ｂは、基準点が鼻の先端である場合に、顔特徴量抽出部１０９が抽出する特徴量の一例のイメージを示している。
例えば、図８に示すように、基準点と両眉毛の内端を結んだ角度（図８のＶ１）、基準点と鼻の下の両端を結んだ角度（図８のＶ２）、および、基準点と左右両口角を結んだ角度（Ｖ３）が特徴量に設定される。これらは、口角の上がり、小鼻の開き、または、眉のしかめ等、表情変化において特徴が表れるとされている特徴量である。
顔特徴量抽出部１０９は、例えば、図８のＶ１〜Ｖ３に示すような角度を、表情認識に用いる特徴量として抽出する。
【００３３】
また、図８では、顔特徴量抽出部１０９は、角度を表情認識に用いる特徴量として抽出するものとしたが、これは一例に過ぎない。例えば、顔特徴量抽出部１０９は、基準点と各顔特徴点間の距離、基準点から各顔特徴点への方向、または、図８のＶ１〜Ｖ３に示した角度以外の角度を、表情認識に用いる特徴量として抽出してもよい。
また、上述の説明では、顔特徴量抽出部１０９は、３つの特徴量を抽出するものとしたが、これは一例に過ぎず、顔特徴量抽出部１０９は、１つ以上の特徴量を抽出するようになっていればよい。
このように、顔特徴量抽出部１０９は、基準点を基準として、表情認識に用いる各特徴量を抽出する。
顔特徴量抽出部１０９は、抽出した各特徴量を、顔特徴量記録部１１０に出力して、記録させる。
【００３４】
顔特徴量記録部１１０は、顔特徴量抽出部１０９が出力した各特徴量を記録する。
ここで、図９は、実施の形態１において、顔特徴量記録部１１０が記録する各特徴量に関する情報の一例を示す図である。
図９に示すように、顔特徴量記録部１１０は、各特徴量の具体的な値を記録する。
なお、図９では説明の簡単のため図示を省略しているが、各特徴量に関する情報は、画像取得部１０１が取得した顔動画像のどのフレームを処理対象としているかを特定する情報と対応付けて記録される。
【００３５】
表情認識部１１１は、顔特徴量抽出部１０９が抽出し、顔特徴量記録部１１０に記録させた各特徴量を用いて、顔動画像中の人物の表情を認識する。
例えば、表情認識部１１１は、顔特徴量記録部１１０に記録されている各特徴量を用いて、事前生成データベース２が備える表情認識条件モデル２３（後述する）に基づき、顔動画像中の人物の表情を認識する。
【００３６】
具体的には、例えば、人物の表情について、「真顔」、「幸福」、「驚き」、「恐怖」、「怒り」、「嫌悪」、および、「悲しみ」の７つの表情を認識するものとすると、表情認識部１１１は、各表情を認識するための各特徴量の閾値に基づき、閾値を満たす特徴量の数が最も多い表情を、顔動画像中の人物の表情として認識する。
なお、各表情を認識するための各特徴量の閾値は、それぞれ、予め、管理者等によって設定され、表情認識条件モデル２３に、表情の判定条件として定義されている。管理者等は、予め、例えば、口角の上がりで表情を認識させる場合は、表情の判定条件として、「Ｖ３＞４５」等と設定する。
【００３７】
ここで、図１０は、実施の形態１において、事前生成データベース２が備える表情認識条件モデル２３の内容の一例を示す図である。
図１０に示すように、表情認識条件モデル２３では、顔特徴量記録部１１０に記録させた特徴量毎に、各表情（ここでは、上述の７つの表情）であると認識するための特徴量の判定条件が、表情認識条件として定義されている。
表情認識部１１１は、顔特徴量記録部１１０に記録されている各特徴量を用いて、図１０に示すような表情認識条件モデル２３に基づき、顔動画像中の人物の表情を認識する。
なお、各特徴量を用いて、表情認識条件モデル２３に基づき、顔動画像中の人物の表情を認識した結果、複数の表情が認識された場合、表情認識部１１１は、例えば、予め設定された表情の優先順位に基づき、優先順位の高い表情を、顔動画像中の人物の表情とするようにすればよい。表情の優先順位は、予め、管理者等が設定して、表情認識条件モデル２３に定義しておくようにすればよい。
また、複数の表情が認識された場合、表情認識部１１１は、例えば、顔動画像中の人物の表情を「判定不能」とするようにしてもよい。
【００３８】
なお、実施の形態１では、上述のように、表情認識部１１１は、図１０に示すような表情認識条件モデル２３に基づき顔動画像中の人物の表情を認識するものとするが、これは一例に過ぎない。表情認識部１１１は、例えば、顔特徴量記録部１１０に記録されている各特徴量を用いて、Ｒａｎｄｏｍ  Ｆｏｒｅｓｔ、または、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）、Ａｄａｂｏｏｓｔ、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）等の既存の機械学習の技術によって、顔動画像中の人物の表情を認識するようにしてもよい。
【００３９】
表情認識部１１１は、顔動画像中の人物の表情の認識結果に関する情報を、表情認識結果記録部１１２に出力して、記録させる。
【００４０】
表情認識結果記録部１１２は、表情認識部１１１が出力した、表情の認識結果に関する情報を記録する。
ここで、図１１は、実施の形態１において、表情認識結果記録部１１２が記録する、顔動画像中の人物の表情の認識結果に関する情報の一例を示す図である。
図１１に示すように、表情認識結果記録部１１２は、顔動画像中の人物の表情の認識結果を示す情報を記録する。
なお、図１１では説明の簡単のため図示を省略しているが、顔動画像中の人物の表情の認識結果を示す情報は、画像取得部１０１が取得した顔動画像のどのフレームを処理対象としているかを特定する情報と対応付けて記録される。
【００４１】
表情認識結果出力部１１３は、表情認識部１１１が認識し、表情認識結果記録部１１２に記録させた、顔動画像中の人物の表情の認識結果に関する情報を、表示デバイス４に出力する。
【００４２】
なお、図１において、顔特徴点記録部１０４と、顔条件記録部１０６と、基準点記録部１０８と、顔特徴量記録部１１０と、表情認識結果記録部１１２は、表情認識装置１に備えられるものとしたが、これに限らず、顔特徴点記録部１０４と、顔条件記録部１０６と、基準点記録部１０８と、顔特徴量記録部１１０と、表情認識結果記録部１１２は、表情認識装置１の外部の、表情認識装置１が参照可能な場所に備えられるものとしてもよい。
【００４３】
事前生成データベース２は、平均顔特徴点モデル２１と、基準点判定条件モデル２２と、表情認識条件モデル２３を備える。各モデルは、予め、管理者等によって生成され、事前生成データベース２に記憶されている。
平均顔特徴点モデル２１には、図３を用いて説明したように、人物の顔の各顔特徴点と、当該各顔特徴点の顔動画像における平均座標とを対応付けた、平均顔の顔特徴点の情報が定義されている。
基準点判定条件モデル２２には、図５を用いて説明したように、顔条件と、基準点と、基準点を決定するための、顔条件の優先順位とが対応付けられた基準点判定条件が定義されている。
表情認識条件モデル２３には、図１０を用いて説明したように、特徴量毎に、各表情であると認識するための特徴量の判定条件が、表情認識条件として定義されている。
【００４４】
撮影デバイス３は、例えば、カメラである。
表示デバイス４は、例えば、液晶画面である。
【００４５】
次に、実施の形態１に係る表情認識装置１の動作について説明する。
図１２は、実施の形態１に係る表情認識装置１の動作を説明するためのフローチャートである。
【００４６】
画像取得部１０１は、撮影デバイス３が撮影した動画像を取得する（ステップＳＴ１２０１）。画像取得部１０１は、撮影デバイス３から取得した動画像を、顔領域抽出部１０２に出力する。
【００４７】
顔領域抽出部１０２は、ステップＳＴ１２０１にて画像取得部１０１から出力された動画像中から、人物の顔領域を抽出する（ステップＳＴ１２０２）。顔領域抽出部１０２は、顔動画像を顔特徴点抽出部１０３に出力する。
【００４８】
顔特徴点抽出部１０３は、ステップＳＴ１２０２にて顔領域抽出部１０２から出力された顔動画像に基づき、顔特徴点を抽出する（ステップＳＴ１２０３）。
顔特徴点抽出部１０３は、抽出した顔特徴点の情報を顔特徴点記録部１０４に出力し、記録させる。
【００４９】
顔条件判定部１０５は、ステップＳＴ１２０３にて顔特徴点抽出部１０３が出力し、顔特徴点記録部１０４に記録させた顔特徴点の情報に基づき、顔動画像中の人物の顔は、装着物を装着しているか、影または色とびがないか等の顔条件を判定する（ステップＳＴ１２０４）。
【００５０】
ここで、図１３は、図１２のステップＳＴ１２０４の動作について説明するためのフローチャートである。
図１３に沿って、顔条件判定部１０５の動作について説明する。
顔条件判定部１０５は、顔特徴点記録部１０４に記録されている顔特徴点の情報を取得する（ステップＳＴ１３０１）。
【００５１】
顔条件判定部１０５は、顔動画像中の顔は、装着物を装着しているか、あるいは、影または色とびはないかを判定する（ステップＳＴ１３０２）。
【００５２】
ステップＳＴ１３０２において、顔条件判定部１０５は、「装着物なし、影なし、かつ、色とびなし」と判定した場合、顔条件「通常」の情報を、顔条件記録部１０６に記録させる（ステップＳＴ１３０３）。
【００５３】
ステップＳＴ１３０２において、顔条件判定部１０５は、「影あり、または、色とびあり」と判定した場合、影あり、または、色とびがある状態をあらわす顔条件の情報を、顔条件記録部１０６に記録させる。例えば、顔動画像中の人物の顔に左から照明があたっている場合であれば、顔条件判定部１０５は、顔条件「左から照明有」の情報を顔条件記録部１０６に記録させる（ステップＳＴ１３０４）。
【００５４】
ステップＳＴ１３０２において、顔条件判定部１０５は、「装着物あり」と判定した場合、装着物を装着している状態をあらわす顔条件の情報を、顔条件記録部１０６に記録させる。例えば、顔動画像中の人物が、顔にマスクを着用している場合であれば、顔条件判定部１０５は、顔条件「マスク着用」の情報を顔条件記録部１０６に記録させる（ステップＳＴ１３０５）。
【００５５】
図１２のフローチャートに戻る。
基準点決定部１０７は、基準点判定条件モデル２２に基づき、ステップＳＴ１２０４にて顔条件判定部１０５が判定した顔条件に応じて、表情認識に用いる特徴量を抽出するための基準点を決定する（ステップＳＴ１２０５）。
【００５６】
ここで、図１４は、図１２のステップＳＴ１２０５の動作について説明するためのフローチャートである。
図１４に沿って、基準点決定部１０７の動作について説明する。
基準点決定部１０７は、顔条件記録部１０６に記録されている顔条件を取得する（ステップＳＴ１４０１）。
基準点決定部１０７は、基準点判定条件モデル２２（図５参照）に基づき、ステップＳＴ１４０１で取得した顔条件に応じて、基準点を決定する（ステップＳＴ１４０２）。
基準点決定部１０７は、決定した基準点の情報を、基準点記録部１０８に出力し、記録させる（ステップＳＴ１４０３）。
【００５７】
図１２のフローチャートに戻る。
顔特徴量抽出部１０９は、ステップＳＴ１２０５にて基準点決定部１０７が決定した基準点に応じて、表情認識に用いる特徴量を抽出する（ステップＳＴ１２０６）。
【００５８】
ここで、図１５は、図１２のステップＳＴ１２０６の動作について説明するためのフローチャートである。
図１５に沿って、顔特徴量抽出部１０９の動作について説明する。
顔特徴量抽出部１０９は、基準点記録部１０８に記録されている基準点の情報を取得する（ステップＳＴ１５０１）。
顔特徴量抽出部１０９は、ステップＳＴ１５０１にて取得した基準点の情報に基づき、特徴量を抽出する（ステップＳＴ１５０２）。顔特徴量抽出部１０９は、上述したように、例えば、基準点と両眉毛の内端を結んだ角度（図８のＶ１参照）、基準点と鼻の下の両端を結んだ角度（図８のＶ２参照）、および、基準点と左右両口角を結んだ角度（図８のＶ３参照）を特徴量とする。
顔特徴量抽出部１０９は、抽出した特徴量を、顔特徴量記録部１１０に記録させる（ステップＳＴ１５０３）。
【００５９】
図１２のフローチャートに戻る。
表情認識部１１１は、ステップＳＴ１２０６にて顔特徴量抽出部１０９が抽出し、顔特徴量記録部１１０に記録させた各特徴量を用いて、顔動画像中の人物の表情を認識する（ステップＳＴ１２０７）。
実施の形態１では、表情認識部１１１は、顔特徴量記録部１１０に記録されている各特徴量を用いて、事前生成データベース２が備える表情認識条件モデル２３に基づき、顔動画像中の人物の表情を認識するものとする。
【００６０】
ここで、図１６は、図１２のステップＳＴ１２０７の動作について説明するためのフローチャートである。
図１６に沿って、表情認識部１１１の動作について説明する。
なお、以下の動作説明において、表情認識部１１１は、人の表情について、例えば、「真顔」、「幸福」、「驚き」、「恐怖」、「怒り」、「嫌悪」、および、「悲しみ」の７つの表情を認識するものとする。また、表情認識条件モデル２３は、図１０に示したような内容であるとする。
また、顔特徴量記録部１１０に記録されている各特徴量は、基準点と両眉毛の内端を結んだ角度（図８のＶ１参照）、基準点と鼻の下の両端を結んだ角度（図８のＶ２参照）、および、基準点と左右両口角を結んだ角度（Ｖ３参照）とする。
表情認識部１１１は、顔特徴量記録部１１０に記録された各特徴量Ｖ１〜Ｖ３を取得する（ステップＳＴ１６０１）。
【００６１】
表情認識部１１１は、ステップＳＴ１６０１にて取得した各特徴量Ｖ１〜Ｖ３について、表情認識条件モデル２３で定義されている、各特徴量Ｖ１〜Ｖ３における各表情の判定条件（幸福判定条件、驚き判定条件、恐怖判定条件、怒り判定条件、嫌悪判定条件、悲しみ判定条件）のうち、いずれか一つでも満たしているかどうかを判定する（ステップＳＴ１６０２）。
【００６２】
表情認識部１１１は、ステップＳＴ１６０２において、ステップＳＴ１６０１にて取得した各特徴量Ｖ１〜Ｖ３が、各特徴量Ｖ１〜Ｖ３における各表情の判定条件のいずれをも満たさないと判定した場合（ステップＳＴ１６０２の“ＮＯ”の場合）、顔動画像中の人物の表情を「真顔」と認識する（ステップＳＴ１６０３）。
【００６３】
表情認識部１１１は、ステップＳＴ１６０２において、ステップＳＴ１６０１にて取得した各特徴量Ｖ１〜Ｖ３が、各特徴量Ｖ１〜Ｖ３における各表情の判定条件のいずれかを満たすと判定した場合（ステップＳＴ１６０２の“ＹＥＳ”の場合）、各特徴量Ｖ１〜Ｖ３のうち、条件を満たす特徴量が最も多いのは、幸福判定条件、驚き判定条件、恐怖判定条件、怒り判定条件、嫌悪判定条件、悲しみ判定条件のいずれであるかを判定する（ステップＳＴ１６０４）。
【００６４】
表情認識部１１１は、ステップＳＴ１６０４において、各特徴量Ｖ１〜Ｖ３のうち、条件を満たす特徴量が最も多いのは幸福判定条件であると判定した場合、顔動画像上の人物の表情を「幸福」と認識する（ステップＳＴ１６０５）。
【００６５】
表情認識部１１１は、ステップＳＴ１６０４において、各特徴量Ｖ１〜Ｖ３のうち、条件を満たす特徴量が最も多いのは驚き判定条件であると判定した場合、顔動画像上の人物の表情を「驚き」と認識する（ステップＳＴ１６０６）。
【００６６】
表情認識部１１１は、ステップＳＴ１６０４において、各特徴量Ｖ１〜Ｖ３のうち、条件を満たす特徴量が最も多いのは恐怖判定条件であると判定した場合、顔動画像上の人物の表情を「恐怖」と認識する（ステップＳＴ１６０７）。
【００６７】
表情認識部１１１は、ステップＳＴ１６０４において、各特徴量Ｖ１〜Ｖ３のうち、条件を満たす特徴量が最も多いのは怒り判定条件であると判定した場合、顔動画像上の人物の表情を「怒り」と認識する（ステップＳＴ１６０８）。
【００６８】
表情認識部１１１は、ステップＳＴ１６０４において、各特徴量Ｖ１〜Ｖ３のうち、条件を満たす特徴量が最も多いのは嫌悪判定条件であると判定した場合、顔動画像上の人物の表情を「嫌悪」と認識する（ステップＳＴ１６０９）。
【００６９】
表情認識部１１１は、ステップＳＴ１６０４において、各特徴量Ｖ１〜Ｖ３のうち、条件を満たす特徴量が最も多いのは嫌悪判定条件ではないと判定した場合、顔動画像上の人物の表情を「悲しみ」と認識する（ステップＳＴ１６１０）。
【００７０】
表情認識部１１１は、顔動画像上の人の表情の認識結果に関する情報を、表情認識結果記録部１１２に記録させる（ステップＳＴ１６１１）。
【００７１】
図１２のフローチャートに戻る。
表情認識結果出力部１１３は、ステップＳＴ１２０７にて表情認識部１１１が表情認識結果記録部１１２に記録させた、顔領域動画像中の人物の表情の認識結果に関する情報を、表示デバイス４に出力する（ステップＳＴ１２０８）。
【００７２】
以上のように、表情認識装置１は、撮影デバイス３が撮影した動画像から、当該動画像に写っている人物の表情を認識する。
【００７３】
上述したような従来の個人認証技術は、個人認証を行うための技術であるため、個人認証のための特徴量を抽出するための特徴量抽出位置を決定するにあたり、特徴量抽出位置が、表情認識を行うのに適した位置であるかどうかの考慮がされていなかった。
また、上述したような従来の個人認証技術では、装着物の有無によって特徴量抽出位置を決定するようにはなっていたが、従来の個人認証技術では、人物の顔の向き、または、照明環境等、装着物の有無以外の要因に応じて特徴量抽出位置を決定するようにはなっていなかった。その結果、特徴量を精度よく抽出することができなくなる可能性があった。
これに対し、実施の形態１に係る表情認識装置１では、予め、ほとんど位置が変化しない顔特徴点を、予め数点、管理者等が決めておき、各顔条件と対応させて各１つの基準点を基準点判定条件モデル２２に登録しておくようにした。
そして、顔条件判定部１０５は、装着物の有無だけでなく、装着物以外の、顔特徴点抽出精度を下げる要因についても考慮して、顔条件を判定するようにし、基準点決定部１０７が、顔条件判定部１０５が判定した顔条件と、基準点判定条件モデル２２に登録されている基準とに基づいて、顔特徴点のうち、表情認識に用いる特徴量を抽出するための基準点を決定するようにした。
これにより、表情認識装置１は、抽出精度が低いと想定される顔特徴点を除いた、表情認識を行うのに適している基準点に基づいて特徴量を抽出できるようになり、その結果、精度よく画像中の人物の表情を認識できるようになる。
【００７４】
図１７Ａ，図１７Ｂは、実施の形態１に係る表情認識装置１のハードウェア構成の一例を示す図である。
実施の形態１において、画像取得部１０１と、顔領域抽出部１０２と、顔特徴点抽出部１０３と、顔条件判定部１０５と、基準点決定部１０７と、顔特徴量抽出部１０９と、表情認識部１１１と、表情認識結果出力部１１３の各機能は、処理回路１７０１により実現される。すなわち、表情認識装置１は、撮影デバイス３から取得した動画像と、事前生成データベース２に記憶されている平均顔特徴点モデル２１、基準点判定条件モデル２２、および、表情認識条件モデル２３とに基づき、撮影デバイス３から取得した動画像中の人物の表情を認識する処理の制御を行うための処理回路１７０１を備える。
処理回路１７０１は、図１７Ａに示すように専用のハードウェアであっても、図１７Ｂに示すようにメモリ１７０５に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１７０６であってもよい。
【００７５】
処理回路１７０１が専用のハードウェアである場合、処理回路１７０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
【００７６】
処理回路１７０１がＣＰＵ１７０６の場合、画像取得部１０１と、顔領域抽出部１０２と、顔特徴点抽出部１０３と、顔条件判定部１０５と、基準点決定部１０７と、顔特徴量抽出部１０９と、表情認識部１１１と、表情認識結果出力部１１３の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、画像取得部１０１と、顔領域抽出部１０２と、顔特徴点抽出部１０３と、顔条件判定部１０５と、基準点決定部１０７と、顔特徴量抽出部１０９と、表情認識部１１１と、表情認識結果出力部１１３は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）１７０２、メモリ１７０５等に記憶されたプログラムを実行するＣＰＵ１７０６、またはシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ１７０２、またはメモリ１７０５等に記憶されたプログラムは、画像取得部１０１と、顔領域抽出部１０２と、顔特徴点抽出部１０３と、顔条件判定部１０５と、基準点決定部１０７と、顔特徴量抽出部１０９と、表情認識部１１１と、表情認識結果出力部１１３の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ１７０５とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等が該当する。
【００７７】
なお、画像取得部１０１と、顔領域抽出部１０２と、顔特徴点抽出部１０３と、顔条件判定部１０５と、基準点決定部１０７と、顔特徴量抽出部１０９と、表情認識部１１１と、表情認識結果出力部１１３の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、画像取得部１０１については専用のハードウェアとしての処理回路１７０１でその機能を実現し、顔領域抽出部１０２と、顔特徴点抽出部１０３と、顔条件判定部１０５と、基準点決定部１０７と、顔特徴量抽出部１０９と、表情認識部１１１と、表情認識結果出力部１１３については処理回路がメモリ１７０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
顔特徴点記録部１０４と、顔条件記録部１０６と、基準点記録部１０８と、顔特徴量記録部１１０と、表情認識結果記録部１１２は、例えば、ＨＤＤ１７０２を使用する。なお、これは一例に過ぎず、顔特徴点記録部１０４と、顔条件記録部１０６と、基準点記録部１０８と、顔特徴量記録部１１０と、表情認識結果記録部１１２は、ＤＶＤまたはメモリ１７０５等によって構成されるものであってもよい。
また、表情認識装置１は、撮影デバイス３、事前生成データベース２、または、表示デバイス４等の外部機器との通信を行う、入力インタフェース装置１７０３、および、出力インタフェース装置１７０４を有する。
【００７８】
以上の説明では、顔特徴点抽出部１０３が抽出した顔特徴点、顔条件判定部１０５が判定した顔条件、基準点決定部１０７が決定した基準点、顔特徴量抽出部１０９が抽出した顔特徴量、および、表情認識部１１１が認識した表情の情報を、それぞれ、顔特徴点記録部１０４、顔条件記録部１０６、基準点記録部１０８、顔特徴量記録部１１０、および、表情認識結果記録部１１２に記録させるものとした。そして、顔条件判定部１０５、基準点決定部１０７、顔特徴量抽出部１０９、表情認識部１１１、および、表情認識結果出力部１１３は、顔特徴点記録部１０４、顔条件記録部１０６、基準点記録部１０８、顔特徴量記録部１１０、および、表情認識結果記録部１１２に記録させた各種情報に基づき、図１２を用いて説明したような各種動作を行うものとした。
しかし、これに限らず、顔特徴点記録部１０４、顔条件記録部１０６、基準点記録部１０８、顔特徴量記録部１１０、および、表情認識結果記録部１１２は備えないものとし、顔条件判定部１０５、基準点決定部１０７、顔特徴量抽出部１０９、表情認識部１１１、および、表情認識結果出力部１１３は、それぞれ、顔特徴点抽出部１０３が抽出した顔特徴点、顔条件判定部１０５が判定した顔条件、基準点決定部１０７が決定した基準点、顔特徴量抽出部１０９が抽出した顔特徴量、および、表情認識部１１１が認識した表情の情報を、直接各部から受け取り、各種動作を行うものとしてもよい。
【００７９】
以上のように、実施の形態１の表情認識装置１は、画像を取得する画像取得部１０１と、画像取得部１０１が取得した画像中から人物の顔領域を抽出し、当該顔領域の情報を付与した顔画像とする顔領域抽出部１０２と、顔画像に基づき、１つ以上の顔特徴点を抽出する顔特徴点抽出部１０３と、顔特徴点抽出部１０３が抽出した各顔特徴点の信頼度に応じて、顔画像中の顔の状態をあらわす顔条件を判定する顔条件判定部１０５と、顔条件判定部１０５が判定した顔条件に応じて、顔特徴点抽出部１０３が抽出した各顔特徴点のうち、表情認識に用いる特徴量を抽出するための基準点を決定する基準点決定部１０７と、基準点決定部１０７が決定した基準点に応じて特徴量を抽出する顔特徴量抽出部１０９と、顔特徴量抽出部１０９が抽出した特徴量を用いて、顔画像中の人物の表情を認識する表情認識部１１１と、表情認識部１１１による、顔画像中の人物の表情の認識結果に関する情報を出力する表情認識結果出力部１１３とを備えるように構成されている。そのため、表情認識を行うのに適した特徴点を基準とした表情認識を行うことで、人物を撮影した画像において、人物の表情を認識することができる。
【００８０】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００８１】
この発明に係る表情認識装置は、表情認識を行うのに適した特徴点を基準とした表情認識を行うことで、人物を撮影した画像において、精度よく人物の表情を認識することができるように構成したため、人物を撮影した画像に基づき当該人物の表情を認識する表情認識装置等に適用することができる。
【符号の説明】
【００８２】
１  表情認識装置、２  事前生成データベース、３  撮影デバイス、４  表示デバイス、２１  平均顔特徴点モデル、２２  基準点判定条件モデル、２３  表情認識条件モデル、１０１  画像取得部、１０２  顔領域抽出部、１０３  顔特徴点抽出部、１０４  顔特徴点記録部、１０５  顔条件判定部、１０６  顔条件記録部、１０７  基準点決定部、１０８  基準点記録部、１０９  顔特徴量抽出部、１１０  顔特徴量記録部、１１１  表情認識部、１１２  表情認識結果記録部、１１３  表情認識結果出力部、１７０１  処理回路、１７０２  ＨＤＤ、１７０３  入力インタフェース装置、１７０４  出力インタフェース装置、１７０５  メモリ、１７０６  ＣＰＵ。
【図１】
2019102619.tif 000003
【図２】
2019102619.tif 000004
【図３】
2019102619.tif 000005
【図４】
2019102619.tif 000006
【図５】
2019102619.tif 000007
【図６】
2019102619.tif 000008
【図７】
2019102619.tif 000009
【図８】
2019102619.tif 000010
【図９】
2019102619.tif 000011
【図１０】
2019102619.tif 000012
【図１１】
2019102619.tif 000013
【図１２】
2019102619.tif 000014
【図１３】
2019102619.tif 000015
【図１４】
2019102619.tif 000016
【図１５】
2019102619.tif 000017
【図１６】
2019102619.tif 000018
【図１７】
2019102619.tif 000019
【国際調査報告】
2019102619.tif 000020
2019102619.tif 000021
2019102619.tif 000022
2019102619.tif 000023