(57)【要約】      （修正有）【課題】発話中であっても精度の高い表情の認識を行える表情認識装置を提供する。【解決手段】表情認識装置１は、顔画像を取得する顔画像取得部１０と、発話音声を取得する音声取得部１２と、取得した音声を構成する音素を求める発話音声認識部１３と、音素に対応する口唇形状の変化に関するデータを記憶した口唇形状変化ＤＢ１６と、発話音声認識部１３にて求めた音素に対応するデータを口唇形状変化ＤＢ１６から読み出し、顔画像取得部１０にて取得した顔画像から、音素に対応する口唇形状の変化をキャンセルした顔画像を生成する口唇形状変化計算部１５と、口唇形状変化計算部１５にて求めた顔画像に基づいて表情の推定を行う表情識別器１７とを備える。【選択図】図１
2020091559.tif 000002
【特許請求の範囲】
【請求項１】
顔画像を取得する顔画像取得部と、
発話音声を取得する音声取得部と、
取得した音声を構成する音素を求める音声認識部と、
音素に対応する口唇形状の変化に関するデータを記憶したデータベースと、
前記音声認識部にて求めた音素に対応するデータを前記データベースから読み出し、前記顔画像取得部にて取得した顔画像から、前記音素に対応する口唇形状の変化をキャンセルした顔画像を生成する口唇形状変化計算部と、
前記口唇形状変化計算部にて求めた顔画像に基づいて表情の推定を行う表情識別器と、
を備える表情認識装置。
【請求項２】
前記顔画像取得部にて取得した顔画像と、前記音声認識部にて求めた音素のデータの時系列を統合するデータパイプラインを備える請求項１に記載の表情認識装置。
【請求項３】
前記口唇形状変化計算部は、前記音素が存在しない区間では、前記データベースから読み出したデータを補間し、補間したデータを用いて口唇形状の変化をキャンセルする請求項１または２のいずれかに記載の表情認識装置。
【請求項４】
前記口唇形状変化計算部は、リニア補間またはスプライン曲線を用いた補間を行う請求項３に記載の表情認識装置。
【請求項５】
前記データベースには、デフォルトの口唇形状の変化に関するデータと、当該データに適用する係数とが記憶されており、前記係数は初期のキャリブレーションによってユーザごとに設定される請求項１乃至４のいずれかに記載の表情認識装置。
【請求項６】
前記データベースには、デフォルトの口唇形状の変化に関するデータと、当該データに適用する係数とが記憶されており、前記係数は、口唇形状の変化をキャンセルした顔画像がエラーにならないようにする方針で補正される請求項１乃至４のいずれかに記載の表情認識装置。
【請求項７】
前記データベースには、前後の音素のデータも含むトライグラムに対応するデータを記憶している請求項１乃至６のいずれかに記載の表情認識装置。
【請求項８】
前記音声取得部は、複数のマイクを有するマイクアレイであり、
前記顔画像取得部にて複数人の顔画像を取得したときには、各顔画像に係る人が発声した音声をマイクアレイによって特定し、
前記表情識別部は、特定した音声を用いて顔画像の表情を識別する請求項１乃至７のいずれかに記載の表情認識装置。
【請求項９】
表情認識装置によって顔画像から表情を認識する方法であって、
前記表情認識装置が、顔画像を取得するステップと、
前記表情認識装置が、発話音声を取得するステップと、
前記表情認識装置が、取得した音声を構成する音素を求めるステップと、
前記表情認識装置が、求めた音素に対応するデータを、音素に対応する口唇形状の変化に関するデータを記憶したデータベースから読み出し、前記顔画像から、前記音素に対応する口唇形状の変化をキャンセルした顔画像を生成するステップと、
前記表情認識装置が、口唇形状の変化がキャンセルされた顔画像に基づいて表情の推定を行うステップと、
を備える表情認識方法。
【請求項１０】
顔画像から表情を認識するプログラムであって、コンピュータに、
顔画像を取得するステップと、
発話音声を取得するステップと、
取得した音声を構成する音素を求めるステップと、
求めた音素に対応するデータを、音素に対応する口唇形状の変化に関するデータを記憶したデータベースから読み出し、前記顔画像から、前記音素に対応する口唇形状の変化をキャンセルした顔画像を生成するステップと、
口唇形状の変化がキャンセルされた顔画像に基づいて表情の推定を行うステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間の表情を認識する表情認識装置、表情認識方法、およびプログラムに関する。
【背景技術】
【０００２】
画像情報に基づいた人間の表情の認識技術については、すでに様々な製品が実用化されている。それらの多くは、顔画像から画像特徴点を抽出し、あらかじめ大量の顔画像により学習させた識別器を用いて対応する顔器官点（あらかじめ、顔認識のために定めた、目、鼻、口などの両端などの識別点）の画像中の位置を検出し、顔向きおよび口の開閉、目の開閉などの状態を検出し、学習データとして用意した顔画像（喜び、怒り、悲しみ、など）データセット中のどの感情データに近いかを基準に感情推定を行う。
【０００３】
他の適用事例としては、画像データを一般的な可視光画像（ＲＧＢ画像）を用いる代わりに近赤外カメラ画像などを利用し、外部の環境光変化に対して堅牢にするもの、複数のカメラ画像を使用し（ステレオカメラなど）、各画像の視差から奥行情報を推定し、画像データから抽出した特徴点に対して奥行情報を加えて３次元的に識別処理をおこなうもの、またはランダムドットパターンなどの画像パターンを赤外光で照射し、顔に映り込んだパターンの視差変化からより高精度な奥行情報を取得する深度カメラセンサーを用いたもの等がある。また、入力される画像データ等の種別は異なるが、以降の識別機による顔位置、器官点の変化の認識、感情ラベルデータを含む学習データに基づく類似・分類判定処理などの基本構成は大きく変わらない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１２０６０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
表情の認識において、特に利用者と対話しながら表情認識を行う場合には、発話による口周りの変化が、顔認識精度の低下に影響を与える。特に、顔認識の識別器の学習に使用される学習データは、静止画像に正解値として与えた感情ラベル（喜び、怒り、悲しみ、など）をもとにしており、発話中の口形状の変化に対応したデータが学習データに含まれてはいないため、口元の微妙な変化により正しく表情の認識を行うことが出来ない。
【０００６】
この問題を解決するため、学習用画像を顔全体と、口領域を除外した画像に切り分けて、発話を検出した場合には、顔の上半分のみを学習用画像として用いた学習済みモデルに切り替えて感情認識を行う技術が提案されている（特許文献１）。しかし、口唇の情報を一律に切り捨てると、口元に表れている感情情報が使われなくなってしまう。
【０００７】
そこで、本発明では、発話中であっても精度の高い表情の認識を行える表情認識装置を提供する。
【課題を解決するための手段】
【０００８】
本発明の表情認識装置は、顔画像を取得する顔画像取得部と、発話音声を取得する音声取得部と、取得した音声を構成する音素を求める音声認識部と、音素に対応する口唇形状の変化に関するデータを記憶したデータベースと、前記音声認識部にて求めた音素に対応するデータを前記データベースから読み出し、前記顔画像取得部にて取得した顔画像から、前記音素に対応する口唇形状の変化をキャンセルした顔画像を生成する口唇形状変化計算部と、前記口唇形状変化計算部にて求めた顔画像に基づいて表情の推定を行う表情識別器とを備える。
【０００９】
この構成により、顔画像取得部にて画像情報を取得することに加えて、音声取得部にて発話音声も同時に取得し、音声信号処理による発話音素認識および発話音素に対応する顔形状の変化データを照合し、入力画像から得られる顔画像に対しこれらの発話による変化・変形を抑制する操作を加えたのちに、表情認識処理を行うことにより、発話中であっても精度良く表情を認識できる。
【００１０】
本発明の表情認識装置は、前記顔画像取得部にて取得した顔画像と、前記音声認識部にて求めた音素のデータの時系列を統合するデータパイプラインを備えてもよい。この構成により、顔画像と発話音声とを同期させ、発話に対応する口唇の動きを適切にキャンセルできる。
【００１１】
本発明の表情認識装置において、前記口唇形状変化計算部は、前記音素が存在しない区間では、前記データベースから読み出したデータを補間し、補間したデータを用いて口唇形状の変化をキャンセルしてもよい。ここで、データの補間として、リニア補間またはスプライン曲線を用いた補間を行ってもよい。これにより、音素が存在しない区間についても発話に対応する口唇の動きをキャンセルできる。
【００１２】
本発明の表情認識装置において、前記データベースには、デフォルトの口唇形状の変化に関するデータと、当該データに適用する係数とが記憶されており、前記係数は初期のキャリブレーションによってユーザごとに設定されてもよい。これにより、ユーザによって異なる口唇の動きに合わせて口唇の動きをキャンセルできる。
【００１３】
本発明の表情認識装置において、前記データベースには、デフォルトの口唇形状の変化に関するデータと、当該データに適用する係数とが記憶されており、前記係数は、口唇形状の変化をキャンセルした顔画像がエラーにならないようにする方針で補正されてもよい。これにより、予めユーザがキャリブレーションを行わなくても、ユーザによって異なる口唇の動きに合わせる係数を設定できる。
【００１４】
本発明の表情認識装置において、前記データベースには、前後のいずれかの音素のデータを含むバイグラムまたは前後の両方の音素のデータも含むトライグラムに対応するデータを記憶していてもよい。同じ音素の発声であっても前後の音素によって口唇の動きが異なる場合があるが、本発明の構成によれば、前後の音素も含めて口唇の動きを適切にキャンセルできる。
【００１５】
本発明の表情認識装置において、前記音声取得部は、複数のマイクを有するマイクアレイであり、前記顔画像取得部にて複数人の顔画像を取得したときには、各顔画像に係る人が発声した音声をマイクアレイによって特定し、前記表情識別部は、特定した音声を用いて顔画像の表情を識別してもよい。この構成により、複数人が発話しているときでも、口唇の動きをキャンセルできる。
【００１６】
本発明の表情認識方法は、表情認識装置によって顔画像から表情を認識する方法であって、前記表情認識装置が、顔画像を取得するステップと、前記表情認識装置が、発話音声を取得するステップと、前記表情認識装置が、取得した音声を構成する音素を求めるステップと、前記表情認識装置が、求めた音素に対応するデータを、音素に対応する口唇形状の変化に関するデータを記憶したデータベースから読み出し、前記顔画像から、前記音素に対応する口唇形状の変化をキャンセルした顔画像を生成するステップと、前記表情認識装置が、口唇形状の変化がキャンセルされた顔画像に基づいて表情の推定を行うステップとを備える。
【００１７】
本発明のプログラムは、顔画像から表情を認識するプログラムであって、コンピュータに、顔画像を取得するステップと、発話音声を取得するステップと、取得した音声を構成する音素を求めるステップと、求めた音素に対応するデータを、音素に対応する口唇形状の変化に関するデータを記憶したデータベースから読み出し、前記顔画像から、前記音素に対応する口唇形状の変化をキャンセルした顔画像を生成するステップと、口唇形状の変化がキャンセルされた顔画像に基づいて表情の推定を行うステップとを実行させる。
【発明の効果】
【００１８】
本発明によれば、発話中であっても適切に表情の認識を行える。
【図面の簡単な説明】
【００１９】
【図１】第１の実施の形態の表情認識装置の構成を示す図である。
【図２】（ａ）顔特徴点データと音素データの時系列を統一した結果を示す図である。（ｂ）音素データがない区間で、表情認識の処理データの要求がある場合の例を示す図である。
【図３】第１の実施の形態の口唇形状変化ＤＢに記憶されたデータを示す図である。
【図４】２つの音素を発声するときの口唇形状の変化を示す図である。
【図５】第１の実施の形態の表情認識装置の動作を示すフローチャートである。
【図６】第２の実施の形態の表情認識装置の構成を示す図である。
【図７】第３の実施の形態の口唇形状変化ＤＢに記憶されたデータを示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態の表情認識装置について図面を参照しながら説明する。
（第１の実施の形態）
図１は、表情認識装置１の構成を示す図である。表情認識装置１は、顔画像撮影部１０と、顔特徴点認識部１１と、発話音声入力部１２と、発話音素認識部１３と、データパイプライン１４と、口唇形状変化計算部１５と、口唇形状変化データベース（以下、「口唇形状変化ＤＢ」という）１６と、表情識別部１７とを備えている。
【００２１】
顔画像撮影部１０は、表情の認識対象であるユーザを撮影する機能を有するカメラである。具体的には、可視光カメラ、近赤外線カメラ、複数カメラによる奥行情報付きカメラ、深度カメラなどである。顔画像撮影部１０は、顔画像を撮影し、次の顔特徴点認識部１１に顔画像データを送信する。
【００２２】
顔特徴点認識部１１は、顔画像撮影部１０にて取得した顔画像データから、顔の器官点（目、鼻、口など）の位置、輪郭部分などあらかじめ定義した器官点位置を示す特徴点の位置を推定、抽出する。得られる顔特徴点のそれぞれは、３次元の座標位置を含む。ここで、３次元座標位置の取得方法について述べる。
【００２３】
深度カメラなどあらかじめ奥行を含む３次元点として計測される場合には３次元推定を行わずに特徴点の３次元位置を得ることができる。一方、顔画像撮影装置に応じて、器官点の推定検出時に２次元画像データ上の位置のみが求められる場合には、２次元画像上に写像された各器官点の位置から３次元姿勢を推定し、各器官点の奥行方向を含めた３次元位置を求める。
【００２４】
顔特徴点認識部１１は、顔が横向きの場合や、顔の一部が遮蔽物により隠蔽され器官点位置が画像上に含まれない点については、認識できた点群とあらかじめ顔形状として記録された特徴点間の位置関係情報をもとに、推定位置を求め、出力結果とする。顔特徴点認識部１１は、顔輪郭および各器官点の特徴点位置に基づいて顔全体の顔向きを推定し、併せて出力結果とする。
【００２５】
発話音声入力部１２は、表情の認識対象であるユーザの発話音声を入力する機能を有する。具体的には、例えば、マイクである。発話音声入力部１２は、次の発話音素認識部１３に音声データを送信する。
【００２６】
発話音素認識部１３は、発話音声信号から、発話音素記号列を推定し、その記号列を出力する機能を有する。発話音声からの音素記号列の推定方法については、音声信号処理にてフォルマントから推定する方法、確率統計モデルに基づき推定する方法（ＧＭＭ−ＨＭＭ）、深層学習モデルを用いて音素特徴の学習及び識別を推定する方法（ＤＮＮ＿ＨＭＭ）などを用いることができる（徳田恵一「隠れマルコフモデルによる音声認識と音声合成」IPSJ Magazine Vol.45 No.10 Oct 2004）。本実施の形態において、発話音素を認識する特定の手法を限定するものではない。なお、認識結果の音素の定義については、後述する口唇形状変化ＤＢ１６に記憶された音素のデータに対応するものであればどのようなものであってもよい。
【００２７】
データパイプライン１４は、顔特徴点認識部１１、発話音素認識部１３からの出力結果を時系列的に統合し、一定時間にわたってデータを保持する。顔画像から得られた顔特徴点のデータと発話音声信号から得られた音素のデータは、それぞれの認識処理にかかる時間が異なるので、必ずしも同時刻に認識結果が得られない場合がある。次の処理を適用するに際しては、それぞれの認識結果について、各実時間での同一時刻で対応させたペアとして処理を行う必要がある。データパイプライン１４は、顔特徴点と発話音素のそれぞれの認識結果を一定時間記録保存する。これにより、後段処理では、指定時刻ごとに対応する両データを取得可能である。
【００２８】
図２（ａ）は、顔特徴点データと音素データの時系列を統一した結果を示す図である。図２（ａ）において、網掛けをしているところは、認識結果のデータが存在する時刻である。図２（ａ）に示すように、データパイプライン１４は、各認識結果が得られた時刻を同期させてデータを保存する。
【００２９】
口唇形状変化計算部１５は、顔画像から、発話による口唇形状変化をキャンセルして、発話をしていないとしたときの顔画像を計算する機能を有する。具体的には、顔画像から認識した顔特徴点の位置を発話に基づく口唇の動きの分だけ補正する。この計算には、口唇形状変化ＤＢ１６に記憶されたデータを用いる。
【００３０】
図３は、口唇形状変化ＤＢ１６に記憶されたデータを示す模式図である。口唇形状変化ＤＢ１６は、発話音素に対応する口唇や顎など顔特徴点の変化量（本書では「口唇形状変化データ」という）を記憶したデータベースである。口唇形状変化データは、音素に対応する口唇の動きをキャンセルするためのデータである。
【００３１】
例えば、音素が「あ」の場合には、口を大きく開けて発音するので、発声していない状態からみると下唇や顎の特徴点が下に移動している。「あ」の発声の口唇の動きをキャンセルして発声していないときの顔画像に補正するためには、図３に示すように下唇と顎の特徴点を上に移動させる。また、音素が「む」の場合には、上下の唇をぎゅっと閉じて発音をするので、発声していない状態からみると上下の唇の特徴点が近づくように移動している。「む」の発生の口唇の動きをキャンセルして発声していないときの顔画像に補正するためには、図３に示すように上唇を少し上に移動し、下唇を少し下に移動する。
【００３２】
口唇形状変化計算部１５は、データパイプライン１４によって保存されたデータから顔特徴点に対応する時刻の音素のデータを取得し、読み出した音素の対応する口唇形状変化データを口唇形状変化ＤＢ１６から読み出し、読み出した口唇形状変化データを顔特徴点に適用することにより、口唇の動きをキャンセルした顔特徴点のデータを求める。
【００３３】
事前に記録された音素ごとの口唇形状変化データは、正面方向であり、顔向きや、顔全体の大きさなどが異なる顔画像に対してそのまま適用することはできない。口唇形状変化計算部１５は、顔特徴識別時に取得した特徴点に基づいて、顔向き、および前後端、左右端から個人的な顔サイズを算出し、形状変化を適用する際にサイズ、向きの変換を口唇形状変化ＤＢ１６から読み出した口唇変化量に適用したうえで、元の顔特徴点に対して口唇形状変形の減算処理を行う。
【００３４】
図２（ａ）に示すように、音素データについては、前後認識音素の中間状態で認識音素データがない区間がある。例えば、図２（ｂ）に示すように、音素データがない区間で、表情認識の処理データの要求がある場合があるが、その場合には中間状態の口唇変化量データを前後の音素データをもとに生成する。ここで、中間状態を求める処理について説明する。
【００３５】
図４は、２つの音素を発声するときの口唇形状の変化を示す図である。発話は発音音素ごとに区切って発話されるのではなく連続して発話されるので、認識された発音音素間における口唇形状は、直前の音素による口唇形状から緩やかに変化した中間状態となる。したがって、各時刻フレームの発音音素に基づく口唇形状状態は、前後に認識された発音音素の中間状態として合成し使用することとなる。２つの形状状態（特徴点の３次元座標位置）から中間状態を生成する場合には、前後の形状状態の座標位置の変化量に対して変化時間分のフレーム数分で分割したものを適宜積算することによって生成することができる。例えば、前後の音素が「あ」と「む」であった場合、図３に記憶された「あ」に対応する口唇形状変化データと「む」の口唇形状変化データとを補間することにより、中間状態における口唇の動きの口唇形状変化データを算出できる。
【００３６】
この口唇形状変化データの補間の方法については、単純に線形で均等分割する方法（リニア補完）の他、開始前後の変化量について、あらかじめ各音素間の変化としてスプライン曲線などで定義する方法など、いくつかの実現方法がある。どの方法を用いるかは、発音音素に対応する口唇形状を定義するデータセットの定義、記録方法により選択することが可能である。
【００３７】
表情識別部１７は、口唇形状変化計算部１５によって口唇形状変化による顔形状変形分を差し引いた顔全体の特徴点データを入力として、表情の識別を行う。識別方法については、統計手法に基づくもの、または深層学習により学習した識別器を用いるものなどがあるが、本実施の形態においては、入力となる顔特徴点データに対応するものであれば、どのような手法を用いてもよい。
【００３８】
図５は、第１の実施の形態の表情認識装置１の動作を示すフローチャートである。表情認識装置１は、顔画像撮影部１０にて、認識対象のユーザの顔画像を撮影し（Ｓ１０）、撮影した顔画像から顔器官の特徴点を認識する（Ｓ１１）。また、表情認識装置１は、発話音声入力部１２にて、顔画像を撮影するのと同時に発話を集音して入力する（Ｓ１２）。続いて、表情認識装置１は、入力された発話音声に含まれる音素を認識する（Ｓ１３）。表情認識装置１は、データパイプライン１４によって、顔器官の特徴点が得られた時刻と発話音声の音素が得られた時刻に基づいて、顔器官特徴点と音素を同期させて記憶する（Ｓ１４）。
【００３９】
次に、表情認識装置１は、表情を認識したい顔画像を撮影したときに発声された音素のデータを特定し、読み出した音素に対応する口唇形状変化データを口唇形状変化ＤＢ１６から読み出す（Ｓ１５）。ここで、顔画像を撮影したときに発声された音素のデータがない場合（図２（ｂ）に示す場合）には、前後の音素のデータを読み出し、前後の音素のデータに対応する口唇形状変化データを補間して、口唇形状変化データを得る。表情認識装置１は、顔特徴点に口唇形状変化データを適用することにより、発声による口唇の動きの影響をキャンセルする（Ｓ１６）。
【００４０】
続いて、表情認識装置１は、発声による口唇の動きの影響をキャンセルした顔画像を用いて、その表情の認識を行う（Ｓ１７）。
【００４１】
以上、本実施の形態の表情認識装置１の構成について説明したが、上記した表情認識装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータと、顔画像を撮影するカメラ、発話音声を入力するマイクである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した表情認識装置１が実現される。このようなプログラムも本発明の範囲に含まれる。
【００４２】
本実施の形態の表情認識装置１は、発話音声から口唇形状変化を求め、口唇形状変化データを差し引いた顔画像に基づいて表情を認識するので、発話中であっても表情を精度良く認識できる。また、口唇形状の変化をキャンセルした顔画像を表情識別部１７に渡す構成とすることにより、表情識別部１７の構成としては従来の表情認識の手法を用いることができる。
【００４３】
（第２の実施の形態）
図６は、第２の実施の形態の表情認識装置２の構成を示す図である。発声による口唇の動きには個人差がある。第２の実施の形態の表情認識装置２は、個人差を反映してより精度良く、発声による口唇の動きの影響をキャンセルする。
【００４４】
第２の実施の形態の表情認識装置２の基本的な構成は、第１の実施の形態と同じであるが、第２の実施の形態の表情認識装置２は、補正係数データベース（以下、「補正係数ＤＢ」という）１８を有している。補正係数ＤＢ１８は、発声による口唇の動きの影響をキャンセルする際に、個々のユーザごとに、口唇形状変化ＤＢ１６に記憶された口唇形状変化データをどの程度の強さで反映させるかを定める係数を記憶している。
【００４５】
この係数は、表情認識装置２の初期設定において、ユーザが音素を発声する画像を撮影し、当該画像を用いて設定することができる。もし、初期設定が煩雑であれば、表情認識装置２を使用している間に徐々に係数をキャリブレーションしてもよい。補正係数が適切でないと、ユーザの顔画像に対して、補正係数をかけた口唇形状変化データを適用すると、顔画像がエラーになってしまうことがある。分かりやすい例としては、下唇の特徴点を上に移動した結果、下唇の特徴点が上唇の特徴点よりも上に位置してしまうことである。このようなエラーが生じた場合には、下唇の特徴点を上に移動させる度合いを小さくするという方針で補正係数を調整する。このように、表情認識を行いつつ徐々にキャリブレーションを行うことも可能である。第２の実施の形態の表情認識装置２のその他の構成および動作は第１の実施の形態と同じである。
【００４６】
第２の実施の形態の表情認識装置２は、発話音声から個々のユーザの口唇形状変化を求め、口唇形状変化データを差し引いた顔画像に基づいて表情を認識するので、発話中であっても表情を精度良く認識できる。
【００４７】
なお、本実施の形態では、一般の口唇形状変化ＤＢ１６と補正係数ＤＢ１８との組合せによってユーザの個人差に対応する構成について説明したが、ユーザごとに口唇形状変化ＤＢ１６を持つこととしてもよい。
【００４８】
（第３の実施の形態）
次に、第３の実施の形態の表情認識装置３について説明する。第３の実施の形態の表情認識装置３の基本的な構成は、第１の実施の形態の表情認識装置１と同じであるが、口唇形状変化ＤＢ１６に記憶されたデータが異なる。
【００４９】
図７は、第３の実施の形態の表情認識装置３が有する口唇形状変化ＤＢ１６に記憶されたデータの例を示す図である。第１の実施の形態においては、口唇形状変化ＤＢ１６は１の音素に対応する口唇形状変化データを記憶していたが、本実施の形態では、３つの連続する音素（トライグラム）の真ん中の音素に対応する口唇形状変化データを記憶している。同じ音素であっても、前後の音素によって口唇の動きが異なるので、前後の音素も含めて口唇形状変化データを持つことにより、より精度の良い音素に対応する口唇形状変化データを規定することができる。第３の実施の形態の表情認識装置３のその他の構成および動作は第１の実施の形態と同じである。
【００５０】
第３の実施の形態の表情認識装置３は、発話音声から個々のユーザの口唇形状変化を求め、口唇形状変化データを差し引いた顔画像に基づいて表情を認識するので、発話中であっても表情を精度良く認識できる。
【００５１】
ここでは、トライグラムを例として挙げたが、変形例として、２つの連続する音素のうちの後の音素に対応する口唇形状変化データ、または、２つの連続する音素のうちの前の音素に対応する口唇形状変化データを有することとしてもよい。
【００５２】
以上、本発明の表情認識装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
【００５３】
顔画像撮影部１０にて撮影した画像に複数の顔画像が含まれることも想定される。そのような場合に、表情認識装置が認識対象のユーザの顔画像から口唇の動きの影響をキャンセルできるように、認識対象のユーザの発話音声を特定する必要がある。本発明の表情認識装置は、発話音声入力部１２として複数のマイクからなるマイクアレイを用いてもよい。マイクアレイによって音源の方位特定および発話音声分離を行うことができ、認識対象のユーザの発話音声を特定できる。これにより、上述した実施の形態と同様に、発話音声から口唇形状変化データを求め、これを顔画像からキャンセルすることで、複数のユーザがいる場合にも精度の良い表情認識を行える。
【００５４】
上記した実施の形態では、発話音声から口唇形状変化を検知したが、これに加え、表情識別のための静止画像のデータセットに対して、それぞれ発音音素および中間状態の口唇変化を加えたものを学習データとして生成し、これを利用して口唇変化を推定するモデルを生成することで、さらなる精度向上につなげても良い。
【産業上の利用可能性】
【００５５】
本発明は、顔画像からその表情を認識する装置として有用である。
【符号の説明】
【００５６】
１，２  表情認識装置、１０  顔画像撮影部、１１  顔特徴点認識部、
１２  発話音声入力部、１３  発話音素認識部、１４  データパイプライン、
１５  口唇形状変化計算部、１６  口唇形状変化ＤＢ、１７  表情識別部、
１８  補正係数ＤＢ。
【図１】
2020091559.tif 000003
【図２】
2020091559.tif 000004
【図３】
2020091559.tif 000005
【図４】
2020091559.tif 000006
【図５】
2020091559.tif 000007
【図６】
2020091559.tif 000008
【図７】
2020091559.tif 000009