(57)【要約】【課題】誤検出の低減を図ることが可能な表情判定システム、プログラム及び表情判定方法を提供する。【解決手段】表情判定システム１は検出部２０と処理部３０とを備える。検出部２０は、顔を含む入力映像から、入力映像のうち顔の部分に変化が発生している対象期間を検出する検出処理を行う。処理部３０は、対象期間での入力映像に基づいて、少なくとも微表情が表れているか否かを判定する判定処理を行う。【選択図】図１
2020057111.tif 000002
【特許請求の範囲】
【請求項１】
顔を含む入力映像から、前記入力映像のうち前記顔の部分に変化が発生している対象期間を検出する検出処理を行う検出部と、
前記対象期間での前記入力映像に基づいて、少なくとも微表情が表れているか否かを判定する判定処理を行う処理部と、を備える、
表情判定システム。
【請求項２】
前記微表情には複数の種類があり、
前記処理部は、前記判定処理において、前記微表情が表れていると判定した場合に、前記複数の種類の中から、前記対象期間に表れた前記微表情の種類を更に判定する、
請求項１に記載の表情判定システム。
【請求項３】
前記処理部は認識部と判定部とを含み、
前記認識部は、前記対象期間での前記入力映像に基づいて、前記対象期間での前記入力映像における前記顔の部分の変化が、前記複数の種類のそれぞれに該当する確度を表す確度情報を前記複数の種類ごとに求め、
前記判定部は、前記認識部が求めた前記複数の種類ごとの前記確度情報に基づいて、少なくとも前記微表情が表れているか否かを判定する、
請求項１又は２に記載の表情判定システム。
【請求項４】
前記認識部は、前記判定処理において、前記複数の種類ごとの前記確度情報に加えて、前記入力映像における前記顔の部分の変化が前記微表情ではない確度を表す確度情報を更に求める、
請求項３に記載の表情判定システム。
【請求項５】
前記処理部は、機械学習で作成された学習済みモデルを用いて前記判定処理を行う、
請求項１〜４のいずれか１項に記載の表情判定システム。
【請求項６】
前記検出処理及び前記判定処理のうち少なくとも一方の対象処理の処理内容を設定するための設定情報を受け付ける受付部を更に備え、
前記受付部が受け付けた前記設定情報に基づいて前記対象処理の処理内容が設定される、
請求項１〜５のいずれか１項に記載の表情判定システム。
【請求項７】
前記受付部が、前記設定情報として、前記表情判定システムの用途を表す用途情報を受け付けた場合、前記対象処理の処理内容が前記用途に応じた処理内容に設定される、
請求項６に記載の表情判定システム。
【請求項８】
前記受付部が、前記設定情報として、前記用途情報を受け付けた後に、前記対象処理の処理内容を変更する変更情報を受け付けた場合、前記対象処理の処理内容が、前記用途に応じた処理内容から前記変更情報に応じて変更される、
請求項７に記載の表情判定システム。
【請求項９】
コンピュータシステムに、
顔を含む入力映像から、前記入力映像のうち前記顔の部分に変化が発生している対象期間を検出する検出処理と、
前記対象期間での前記入力映像に基づいて、少なくとも微表情が表れているか否かを判定する判定処理と、を実行させるための、
プログラム。
【請求項１０】
顔を含む入力映像から、前記入力映像のうち前記顔の部分に変化が発生している対象期間を検出する検出処理と、
前記対象期間での前記入力映像に基づいて、少なくとも微表情が表れているか否かを判定する判定処理と、を含む、
表情判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、表情判定システム、プログラム及び表情判定方法に関する。より詳細には、本開示は、入力映像から表情を判定するための表情判定システム、プログラム及び表情判定方法に関する。
【背景技術】
【０００２】
従来、画像入力部が入力した画像中の表情を判断する画像処理装置（表情判定システム）があった（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−５６３８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような画像処理装置においては、微表情以外の顔の動き（例えば瞬き、痙攣、眼球の移動、及び顔全体の動き等）を微表情と誤検出することを低減することが望まれている。
【０００５】
本開示の目的は、誤検出の低減を図ることが可能な表情判定システム、プログラム及び表情判定方法を提供することにある。
【課題を解決するための手段】
【０００６】
本開示の一態様の表情判定システムは、検出部と、処理部と、を備える。前記検出部は、顔を含む入力映像から、前記入力映像のうち前記顔の部分に変化が発生している対象期間を検出する検出処理を行う。前記処理部は、前記対象期間での前記入力映像に基づいて、少なくとも微表情が表れているか否かを判定する判定処理を行う。
【０００７】
本開示の一態様のプログラムは、コンピュータシステムに、検出処理と、判定処理と、を実行させる。前記検出処理では、顔を含む入力映像から、前記入力映像のうち前記顔の部分に変化が発生している対象期間を検出する。前記判定処理では、前記対象期間での前記入力映像に基づいて、少なくとも微表情が表れているか否かを判定する。
【０００８】
本開示の一態様の表情判定方法は、検出処理と、判定処理と、を含む。前記検出処理では、顔を含む入力映像から、前記入力映像のうち前記顔の部分に変化が発生している対象期間を検出する。前記判定処理では、前記対象期間での前記入力映像に基づいて、少なくとも微表情が表れているか否かを判定する。
【発明の効果】
【０００９】
本開示によれば、誤検出の低減を図ることが可能な表情判定システム、プログラム及び表情判定方法を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本開示の一実施形態に係る表情判定システムのブロック図である。
【図２】図２は、同上の表情判定システムの検出部での検出動作を説明する説明図である。
【図３】図３は、同上の表情判定システムの検出部の動作を説明するタイムチャートである。
【図４】図４は、同上の表情判定システムの動作を説明するフローチャートである。
【図５】図５は、本開示の一実施形態の変形例１に係る表情判定システムのブロック図である。
【発明を実施するための形態】
【００１１】
以下に説明する実施形態は、本開示の種々の実施形態の一つに過ぎない。本開示の実施形態は、下記実施形態に限定されることはなく、この実施形態以外も含み得る。また、下記の実施形態は、本開示に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。
【００１２】
（実施形態）
（１）概要
本実施形態の表情判定システム１は、検出部２０と、処理部３０とを備える。検出部２０は、顔を含む入力映像から、入力映像のうち顔の部分に変化が発生している対象期間を検出する検出処理を行う。処理部３０は、対象期間での入力映像に基づいて、少なくとも微表情が表れているか否かを判定する。
【００１３】
ここにおいて、「入力映像」は、判定対象の人の顔を時系列で撮影した複数の映像を含む。「顔の部分に発生する変化」とは、微表情又はマクロ表情が表れることに起因して発生する変化に限らず、瞬き、痙攣、眼球の移動、及び顔全体の動き等に起因して発生する変化も含み得る。「微表情」とは、抑制された感情に基づいて一瞬表れて消える顔の動きである。微表情が表れる時間長は例えば１秒以下であり、一般的に０．２秒〜０．５秒程度の時間長である。したがって、瞬き、痙攣、眼球の移動、及び顔全体の動き等に起因して顔の部分に発生する変化は微表情には含まれない。なお、微表情は、感情に基づいて発生する僅かな顔の動き（微細表情）を含んでもよく、微細表情が表れる時間長は１秒以上でもよい。なお、微表情の定義はこの限りではなく、今後の微表情に関する研究によって変わり得る。微表情の種類、つまり微表情として表れる感情の種類には複数の種類があり、例えば「怒り」、「嫌悪」、「恐怖」、「悲しみ」、「軽蔑」、「喜び」及び「驚き」等の種類がある。微表情の種類によって、変化する顔の部位（目、眉、唇、頬等）と変化の仕方（変化量、変化方向、変化時間等）が異なっている。
【００１４】
上述のように、本実施形態の表情判定システム１では、検出部２０によって顔の部分に変化が発生していると検出された対象期間での入力映像に基づいて処理部３０が微表情が表れているか否かを判定している。したがって、微表情が表れていないのに微表情が表れていると誤検出する可能性を低減でき、誤検出の低減を図ることが可能な表情判定システムを提供することができる。
【００１５】
（２）詳細
本実施形態の表情判定システム１は、例えば、接客、テーマパーク、医療、介護、広告に対する受け手の反応の検出、面接、自動車等の運転手の状態監視、セキュリティ、ゲート（例えば、建物の出入口、入出国ゲート又は検問所等）を通過する人物の監視等の用途に適用される。表情判定システム１は、各種の用途において、判定対象の人の顔を撮影するカメラからの入力映像に基づいて、判定対象の人の顔に微表情が表れているか否かを少なくとも判定する。例えば、表情判定システム１が服飾店で使用される場合、カメラは、売り場内で商品を選んでいる客の顔を撮影可能な場所に配置される。表情判定システム１は、商品を選んでいるときの客の顔に表れる微表情を判定し、判定結果を店員に通知する。これにより、店員は客の感情を考慮しながら、客の好む商品を勧める等の適切な接客対応を行うことができる。
【００１６】
以下、本実施形態に係る表情判定システム１について図面を参照して詳しく説明する。
【００１７】
（２．１）構成
本実施形態の表情判定システム１は、入力部１０と、検出部２０と、処理部３０と、出力部４０と、記憶部５０と、を備える。
【００１８】
入力部１０は、カメラ２からの入力映像を受け付ける。カメラ２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等のイメージセンサを備える。カメラ２は、判定対象の人の顔を正面から撮影可能な位置に設置されている。カメラ２は、微表情を撮影可能な時間間隔、例えば２０〜１００ＦＰＳ（Frames Per Second）程度のフレームレートで撮影エリアを撮影しており、各フレームの映像のデータを入力部１０に出力する。カメラ２のフレームレートは固定値でもよいし、判定対象の人の動き又は撮影条件等に合わせて適宜変更されてもよい。入力部１０は、カメラ２から入力された映像のデータを検出部２０に出力する。本実施形態では、入力部１０には、判定対象の人の顔を撮影するカメラ２から入力映像が直接入力されているが、カメラ２の映像を蓄積するサーバなどから入力されてもよい。また、別の装置で撮影した映像を蓄積するサーバから映像を入力してもよい。
【００１９】
検出部２０は、例えば、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを主構成とする。マイクロコントローラのメモリに記録されたプログラムを、マイクロコントローラのプロセッサが実行することにより、検出部２０の各機能が実現される。プログラムは、メモリに記録されていてもよいし、インターネット等の電気通信回線を通して提供されてもよく、メモリカード等の非一時的な記録媒体に記録されて提供されてもよい。
【００２０】
検出部２０は、カメラ２が時系列で撮影した複数の入力映像から、顔の部分が変化している対象期間、つまり微表情が表れている可能性が高い対象期間を検出する。検出部２０は、対象期間の検出結果を処理部３０に出力する。
【００２１】
具体的には、検出部２０は、カメラ２から入力される各フレームの入力映像に対して顔の部分を検出する顔検出処理を実行して、顔の部分の部分画像Ｇ１（図２参照）を抽出する。検出部２０は、顔の部分の部分画像Ｇ１を、縦方向及び横方向にそれぞれ複数に分割（図２では例えば６つに分割）して、複数の画素ブロックＢ１を作成する。
【００２２】
検出部２０は、各フレームの入力映像に対して、複数の画素ブロックＢ１の各々について、ＬＢＰ（Local Binary Pattern）特徴量のヒストグラムを求め、ヒストグラムの演算結果を記憶部５０に記憶する。なお、検出部２０は、ＬＢＰ特徴量のヒストグラムを求めているが、ＬＢＰ特徴量以外のヒストグラムでもよく、例えば輝度の勾配方向の分布（ヒストグラム）を求めることによってＨＯＧ（Histogram of Oriented Gradients）特徴量を利用してもよい。
【００２３】
また、検出部２０は、記憶部５０に記憶された各フレームでの演算結果に基づいて、複数の画素ブロックＢ１の各々について、あるフレーム（以下、注目フレームともいう）でのヒストグラムと、Ｎフレーム（Ｎは１以上の整数であり、本実施形態では例えばＮ＝１１であるがＮの値は適宜変更可能である。）前のフレームでのヒストグラムとＮフレーム後のフレームでのヒストグラムとの平均値との、カイ２乗距離を計算する。ここで、Ｎフレーム分の時間長は、微表情が表れる時間長（最大値、最小値、平均値又は中央値）の約半分に設定されている。検出部２０は、複数の画素ブロックＢ１のうち、カイ２乗距離が大きいものから所定個数（例えば１２個）の画素ブロックＢ１で求めたカイ２乗距離の平均値を求める。そして、検出部２０は、Ｎフレーム前のフレームで求めたカイ２乗距離の平均値とＮフレーム後のフレームで求めたカイ２乗距離の平均値との平均を、注目フレームで求めたカイ２乗距離の平均値から減算した値（Contrasted Difference Vector）Ｃ１を求める。図３は各フレームで値Ｃ１を計算した結果を示している。検出部２０は、値Ｃ１が閾値Ｌ１以上でありかつ値Ｃ１が最大となるフレームを中央フレームとし、中央フレームのＮフレーム前を対象期間の開始フレーム、中央フレームのＮフレーム後を対象期間の終了フレームとして求める。そして、検出部２０は、開始フレームから終了フレームまでの期間を、入力映像のうち顔の部分に変化が発生している対象期間として検出する。ここで、各フレームの入力映像にはフレームを特定するためのフレーム番号が割り当てられており、検出部２０は、開始フレーム及び終了フレームのフレーム番号を対象期間の検出結果として処理部３０に出力する。なお、検出部２０は、対象期間の時間情報を検出結果として処理部３０に出力してもよい。
【００２４】
なお、検出部２０が、対象期間を検出するアルゴリズムは上記のアルゴリズムに限定されず、フレーム間で各画素の画素値（濃淡値）の差分の変化量を求め、この変化量から対象期間を検出するようなアルゴリズムでもよい。
【００２５】
処理部３０は、例えば、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを主構成とする。マイクロコントローラのメモリに記録されたプログラムを、マイクロコントローラのプロセッサが実行することにより、処理部３０の各機能が実現される。プログラムは、メモリに記録されていてもよいし、インターネット等の電気通信回線を通して提供されてもよく、メモリカード等の非一時的な記録媒体に記録されて提供されてもよい。
【００２６】
処理部３０は、検出部２０によって検出された対象期間での入力映像に基づいて、微表情が表れているか否かの判定を少なくとも行う。上述のように、微表情には複数の種類がある。本実形態の処理部３０は、対象期間での入力映像に基づいて、微表情が表れていると判定した場合に、複数の種類の中から、対象期間に表れた微表情の種類を更に判定する判定処理を行う。「（１）概要」では微表情の種類として７種類の分類を例示したが、以下の実施形態では、微表情が「Positive」、「Negative」及び「Surprise」の３種類に分類される場合について説明する。すなわち、処理部３０は、対象期間における顔の変化が微表情であるか否かを判定し、微表情であると判定した場合は微表情の種類が「Positive」、「Negative」及び「Surprise」のうちいずれの微表情に該当するを判定する。なお、処理部３０が、対象期間における顔の変化のうち微表情以外の変化を「非表情」と判定する場合、処理部３０は、対象期間における顔の変化が「Positive」、「Negative」、「Surprise」及び「非表情」のうちのいずれに該当するかを判定してもよい。
【００２７】
本実施形態では、処理部３０は認識部３１と判定部３２とを含む。認識部３１は、対象期間での入力映像に基づいて、対象期間での入力映像における顔の部分の変化が、複数の種類のそれぞれに該当する確度を表す確度情報を複数の種類ごとに求める。判定部３２は、認識部３１が求めた複数の種類ごとの確度情報に基づいて、少なくとも微表情が表れているか否かを判定する判定処理を行う。
【００２８】
以下、認識部３１及び判定部３２の機能について説明する。
【００２９】
本実施形態の認識部３１は、複数の種類ごとの確度情報に加えて、入力映像における顔の部分の変化が微表情ではない確度を表す確度情報を更に求める。また、本実施形態の認識部３１（処理部３０）は、機械学習で作成された学習済みモデルを用いて判定処理を行う。
【００３０】
ここで、機械学習の推論フェーズで使用される学習済みモデルは、例えば、処理部３０が教師データを用いて機械学習を行うことによって作成される。機械学習の学習フェーズでは、教師データとして、「Positive」、「Negative」及び「Surprise」の３種類の微表情がそれぞれ表れたときの顔映像と、各顔映像の正解データとが対応付けて用意されている。また、本実施形態では、教師データとして、感情以外の要因で顔の部分が変化した顔映像、つまり「非表情」と判定されるべき顔映像と、その正解データとが対応付けて用意されている。
【００３１】
表情判定システム１は、３種類の微表情がそれぞれ表れたときの顔映像、及び感情以外の要因で顔の部分が変化したときの顔映像についてＬＢＰ特徴量を３次元に拡張したＬＢＰ−ＴＯＰ（Three Orthogonal Planes）特徴量をそれぞれ算出し、それぞれを正解データと対応付けて機械学習を行うことで、学習済みモデルを作成する。表情判定システム１は、作成した学習済みモデルを記憶部５０に保存する。
【００３２】
表情判定システム１が行う機械学習のアルゴリズムは、例えば、教師あり学習のアルゴリズムであるサポートベクトルマシン（Support Vector Machine）を使うことができる。なお、教師データは、３種類の微表情がそれぞれ表れたときの顔映像を少なくとも含んでいればよく、感情以外の要因で顔の部分が変化したときの顔映像は必須ではない。また、教師データは、感情以外の要因で顔の部分が変化したときの顔映像であって、表情判定システム１が微表情であると誤判定したときの顔映像を含んでいてもよい。なお、処理部３０には、表情判定システム１以外のシステムで機械学習を行うことによって作成された学習済みモデルが組み込まれてもよい。
【００３３】
認識部３１は、機械学習の推論フェーズでは学習済みモデルを用いて、対象期間での入力映像（具体的には、入力映像のうち顔部分の部分映像）に対して認識処理を行う。すなわち、認識部３１は、各対象期間での入力映像に基づいてＬＢＰ−ＴＯＰ特徴量を算出する。認識部３１は、各対象期間で算出したＬＢＰ−ＴＯＰ特徴量に基づいて、学習済みモデルにより、微表情の複数の種類ごとの確度情報（スコア）と、感情以外の要因で発生した動きに該当する確度を示す確度情報とをそれぞれ求める。ここで、認識部３１は、微表情以外の顔の動きを「非表情」に分類する。表１は、検出部２０によって検出された５つの対象期間Ｔ１〜Ｔ５のそれぞれで認識部３１が求めた確度情報を示している。認識部３１は、対象期間Ｔ１〜Ｔ５のそれぞれで発生した顔の動きが、３種類の微表情及び非表情のそれぞれに該当する確度を表す確度情報を求めている。なお、対象期間Ｔ１〜Ｔ５のそれぞれで、３種類の微表情及び非表情のそれぞれに該当する確度を表す確度情報は１以下の数値であり、それらの合計は１になる。
【００３４】
【表１】
2020057111.tif 000003
【００３５】
なお、認識部３１が、対象期間における顔の部分の変化が、感情以外の要因に起因する確度（つまり「非表情」に該当する確度）を示す確度情報を求めることは必須ではない。認識部３１は、対象期間における顔の部分の変化が、微表情の複数の種類のそれぞれに該当する確度を示す確度情報のみを求めてもよい。
【００３６】
また、処理部３０は、対象期間における顔の部分の変化が３種類の微表情のどれに該当するかを判定しているが、微表情の種類は上記の３種類に限定されない。微表情の種類は１種類でも複数種類でもよく、例えばP.Ekmanが定義した「怒り」、「嫌悪」、「恐怖」、「悲しみ」、「軽蔑」、「喜び」及び「驚き」の７種類でもよい。
【００３７】
判定部３２は、微表情の複数の種類と非表情とのそれぞれについて求めた確度情報に基づいて、各対象期間で微表情が表れているか否かを少なくとも判定する。本実施形態の判定部３２は、各対象期間で微表情が表れていると判定した場合、認識部３１が求めた微表情の種類ごとの確度情報に基づいて、どの種類の微表情が表れたのかを判定する。
【００３８】
判定部３２は、各対象期間Ｔ１〜Ｔ５において、「Positive」、「Negative」、「Surprise」及び「非表情」のそれぞれの確度情報のうち、確度情報の値が最大のものが当該対象期間に表れた顔の動きであると判定する（表１参照）。例えば、「非表情」の確度情報の値が最大であれば、判定部３２は、対象期間において微表情が表れていないと判定する。また、「Positive」、「Negative」及び「Surprise」のうちいずれかの確度情報の値が最大であれば、判定部３２は、確度情報の値が最大である微表情が表れたと判定する。ここで、対象期間において「Positive」、「Negative」及び「Surprise」のうちいずれかの微表情の確度情報が最大となった場合でも、確度情報の値が所定の基準値以下である場合、判定部３２は「微表情ではない」と判定してもよい。
【００３９】
認識部３１は、各対象期間における顔の動きが「Positive」、「Negative」、「Surprise」及び「非表情」のそれぞれに該当する確度を表す確度情報を求めているが、「非表情」の確度情報は求めなくてもよい。この場合、各対象期間における「Positive」、「Negative」及び「Surprise」の確度情報のうち最大の確度情報の値が所定の基準値以下であれば、判定部３２は、「非表情」つまり微表情ではないと判定すればよい。
【００４０】
なお、本実施形態では、検出部２０と処理部３０とは互いに別々のマイクロコントローラで実現されているが、１つのマイクロコントローラで実現されてもよい。
【００４１】
なお、本実施形態では、ＬＢＰ−ＴＯＰ特徴量とＳＶＭを用いた機械学習による教師有り学習アルゴリズムを説明したが、機械学習の方法は別の方法を用いても良い。例えば、ディープラーニング（深層学習）等でもよい。例えば、ディープラーニングのアルゴリズムは、３次元カーネルを用いたネットワークを用いて学習する方法でもよい。また、ディープラーニングのアルゴリズムは、フレームごとの顔部分の部分画像に対して２次元カーネルを用いたネットワークから出力される特徴量をリカレントニューラルネットワークにより学習する方法でもよい。
【００４２】
出力部４０は、各対象期間において判定部３２が判定した判定結果を報知部３に出力する。報知部３は、例えば表情判定システム１のユーザ（例えば接客業であれば接客を行う店員）が装着した透過型のヘッドマウントディスプレイである。出力部４０は、報知部３に対して処理部３０の判定結果を無線送信する。報知部３は、出力部４０から無線送信された判定結果を受信すると、例えば、ユーザの眼前に配置される透過型スクリーンに判定結果を表示する。処理部３０の判定結果が複数種類の微表情のいずれかであれば、報知部３は、判定された微表情に対応する感情の名称を表示する。処理部３０の判定結果が「非表情」であれば、報知部３は、例えば「微表情ではない」のようなメッセージを表示する。したがって、表情判定システム１のユーザは、報知部３に表示された判定結果をもとに、判定対象の人（例えば客）の顔に表れた微表情を把握しながら接客を行うことができ、適切な接客対応を行うことができる。なお、報知部３は、例えばユーザの耳に装着されるヘッドホンを備えてもよく、処理部３０の判定結果をヘッドホンから音声等で出力してもよい。また、処理部３０の判定結果が「非表情」である場合に、報知部３は、「微表情ではない」のようなメッセージを表示しなくてもよい。
【００４３】
なお、処理部３０の判定結果が「非表情」であれば、出力部４０は「非表情」の判定結果を報知部３に出力しなくてもよい。この場合、対象期間における顔の動きが微表情のいずれかの種類に該当すると判定された場合のみ、報知部３から判定結果が報知される。
【００４４】
記憶部５０は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の電気的に書換え可能な不揮発性メモリ、及びＲＡＭ（Random Access Memory）等の揮発性メモリ等を備える。記憶部５０は、ハードディスクドライブ等の外部記憶装置を備えてもよい。記憶部５０は、機械学習により作成された学習済みモデル等を記憶する。また、記憶部５０は、カメラ２から入力部１０に入力された入力映像を記憶してもよいし、検出部２０及び処理部３０の処理途中のデータ及び処理結果等を記憶してもよい。
【００４５】
（２．２）動作
以下、本実施形態の表情判定システム１の動作を図４に基づいて説明する。
【００４６】
入力部１０は、フレーム毎にカメラ２から入力映像が入力されると、カメラ２からの入力映像に対して顔検出処理を実行し（Ｓ１）、顔の部分の部分画像Ｇ１を検出部２０に出力する。なお、検出部２０が、入力映像から人の顔を検出できなければ、Ｓ２以降の処理は行わず、次フレームの入力映像が入力されると顔検出処理を再び実行する。
【００４７】
検出部２０は、各フレームで顔の部分の部分画像Ｇ１が入力されると、部分画像Ｇ１に変化が発生している対象期間、つまり顔の部分に動きがある対象期間を検出する検出処理を行う（Ｓ２）。
【００４８】
ステップＳ２の検出処理の結果、検出部２０が対象期間を検出しなければ（Ｓ３：Ｎｏ）、ステップＳ１に戻り、カメラ２から次フレームの入力映像が入力されると、検出部２０が顔検出処理を再び行う。
【００４９】
ステップＳ２の検出処理の結果、検出部２０が対象期間を検出すると（Ｓ３：Ｙｅｓ）、認識部３１が、対象期間の入力映像（部分画像Ｇ１）について、学習済みモデルを用いて、３種類の微表情及び非表情のそれぞれの確度情報を求める認識処理を行う（Ｓ４）。
【００５０】
認識部３１が確度情報を求めると、判定部３２が、認識部３１が求めた複数の種類ごとの確度情報に基づいて、少なくとも微表情が表れているか否かを判定する判定処理を行う（Ｓ５）。例えば、判定部３２は、「Positive」、「Negative」、「Surprise」及び「非表情」のうち、確度情報の値が最大のものが当該対象期間に表れた顔の動きに該当すると判定する。
【００５１】
そして、出力部４０が、判定部３２の判定結果を報知部３に出力する出力処理を行うと（Ｓ６）、報知部３は判定部３２の判定結果をユーザに報知する。したがって、ユーザは、報知部３による報知内容に基づいて、判定対象の人の顔に微表情が表れたか否か、微表情が表れたのであればその種類を把握できる。
【００５２】
表情判定システム１は、カメラ２から１フレームの入力映像が入力されるごとに、ステップＳ１〜Ｓ６の処理を繰り返し行っており、入力映像に映っている人の顔の表情を判定する。
【００５３】
なお、いくつかのステップは同時動作してもよい。例えば、あるフレームにおけるＳ１からＳ６までの処理と、別のフレームにおけるＳ１からＳ６までの処理が同時動作してもよい。また、あるフレームにおけるＳ１からＳ３までの処理と、別のフレームにおけるＳ４からＳ６までの動作がオーバーラップしてもよい。これにより、Ｓ４の処理に多くの時間がかかっても、リアルタイム処理性能を高めることができる。
【００５４】
（３）変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、表情判定システム１と同様の機能は、表情判定方法、コンピュータプログラム、又はプログラムを記録した非一時的な記録媒体等で具現化されてもよい。一態様に係る表情判定方法は、検出処理と、判定処理とを有する。検出処理では、顔を含む入力映像から、入力映像のうち顔の部分に変化が発生している対象期間を検出する。判定処理では、対象期間での入力映像に基づいて、少なくとも微表情が表れているか否かを判定する。一態様に係る（コンピュータ）プログラムは、コンピュータシステムに、検出処理と、判定処理と、を実行させるためのプログラムである。
【００５５】
以下、上記の実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
【００５６】
本開示における表情判定システム１は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における表情判定システム１としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１ないし複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１ないし複数の電子回路で構成される。
【００５７】
また、表情判定システム１における複数の機能が、１つの筐体内に集約されていることは表情判定システム１に必須の構成ではなく、表情判定システム１の構成要素は、複数の筐体に分散して設けられていてもよい。例えば、表情判定システム１の検出部２０と処理部３０とがそれぞれ別々のシステムに備えられていてもよい。さらに、表情判定システム１の少なくとも一部の機能、例えば、検出部２０及び処理部３０の一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。
【００５８】
上記の実施形態では、表情判定システム１が判定結果を報知部３に出力しているが、表情判定システム１が報知部３を備えていてもよい。また、表情判定システム１は、カメラ２からの入力映像に基づいて判定処理を行っているが、表情判定システム１がカメラ２を備えていてもよい。
【００５９】
上記の実施形態において、測定データなどの２値の比較において、「以上」としているところは「より大きい」であってもよい。つまり、２値の比較において、２値が等しい場合を含むか否かは、基準値等の設定次第で任意に変更できるので、「以上」か「より以上」かに技術上の差異はない。同様に、「以下」としているところは「未満」であってもよい。
【００６０】
（３．１）変形例１
図５に示すように、変形例１の表情判定システム１は受付部６０を更に備える点で、上記実施形態と相違する。受付部６０は、検出部２０の検出処理及び処理部３０の判定処理のうち少なくとも一方の対象処理の処理内容を設定するための設定情報を受け付ける。受付部６０が受け付けた設定情報に基づいて対象処理の処理内容が設定される。ここにおいて、処理部３０の判定処理は、認識部３１の認識処理と判定部３２の判定処理とを含む。
【００６１】
受付部６０は、例えば、キーボード、マウス、タッチパネル、又は音声入力装置等のＨＭＩ（Human Machine Interface）を備える。例えば、ユーザは、ＨＭＩを用いて、プルダウンメニューで提示された複数の設定情報の中から所望の設定情報を選択したり、テキストボックスに設定情報を入力したりすることで、設定情報を入力する。受付部６０は、ユーザがＨＭＩを用いて入力した設定情報を受け付ける。受付部６０が設定情報を受け付けると、検出部２０及び処理部３０の少なくとも一方が、受付部６０が受け付けた設定情報に基づいて対象処理の処理内容を設定する。
【００６２】
ここで、設定情報により設定される検出処理の処理内容は、例えば、検出部２０が検出処理を行う入力映像の種類、つまりカメラ２の種類と、検出部２０の検出アルゴリズムとの少なくとも１つを含む。カメラ２の種類は、例えば、２種類のＲＧＢカメラ（例えば高性能のＲＧＢカメラと低性能のＲＧＢカメラ）及び赤外線（ＩＲ）カメラのいずれかである。検出部２０の検出アルゴリズムは、例えば高性能のＲＧＢカメラの入力映像に適合した検出アルゴリズムＸ１と、低性能のＲＧＢカメラの入力映像に適合した検出アルゴリズムＸ２と、赤外線（ＩＲ）カメラの入力映像に適合した検出アルゴリズムＸ３とを含む。例えば、表情判定システム１では、周囲が明るい場合は高性能又は低性能のＲＧＢカメラに適合した検出アルゴリズムＸ１，Ｘ２を使用し、周囲が暗い場合は赤外線カメラに適合した検出アルゴリズムＸ３を使用すればよい。
【００６３】
設定情報により設定される判定処理の処理内容は、認識部３１により認識される微表情の種類の数（例えば多、中、少）と、要求される適合率（例えば高又は低）と、認識部３１の認識アルゴリズムと、判定部３２の判定アルゴリズムとの少なくとも１つを含む。認識部３１の認識アルゴリズムは、例えば３種類の認識アルゴリズムＹ１〜Ｙ３を含む。認識アルゴリズムＹ１は、微表情であるか否かの確度情報のみを求めるアルゴリズムである。認識アルゴリズムＹ２は、「Positive」、「Negative」、「Surprise」及び「非表情」のそれぞれの確度情報を求めるアルゴリズムである。認識アルゴリズムＹ３は、P.Ekmanが定義した「怒り」、「嫌悪」、「恐怖」、「悲しみ」、「軽蔑」、「喜び」及び「驚き」の７種類と「非表情」のそれぞれの確度情報を求めるアルゴリズムである。判定部３２の判定アルゴリズムは、例えば２種類の判定アルゴリズムＺ１、Ｚ２を含む。判定アルゴリズムＺ１は、微表情であるか否かを判定する基準値を第１基準値に設定するアルゴリズムである。判定アルゴリズムＺ２は、微表情であるか否かを判定する基準値を第１基準値よりも大きい第２基準値に設定するアルゴリズムである。
【００６４】
変形例１の表情判定システム１では、検出部２０及び処理部３０の少なくとも一方が、受付部６０が受け付けた設定情報に基づいて対象処理の処理内容を設定している。したがって、表情判定システム１のユーザは、対象処理の処理内容を所望の処理内容に設定することができる。なお、設定情報は、検出部２０の検出処理、認識部３１の認識処理、及び判定部３２の判定処理のうち全ての処理内容に関する設定情報を含んでいなくてもよい。設定情報は、検出部２０の検出処理、認識部３１の認識処理、及び判定部３２の判定処理のうち少なくとも一部の対象処理に関する設定情報を含んでいればよい。
【００６５】
また、変形例１において、受付部６０が、設定情報として、表情判定システム１の用途を表す用途情報を受け付けた場合、対象処理の処理内容が用途に応じた処理内容に設定されてもよい。
【００６６】
この場合、記憶部５０には、表情判定システム１が適用される複数の用途を示す用途情報に対応付けて、検出部２０の検出処理及び処理部３０の判定処理の処理内容がそれぞれ記憶されている。表２は、複数の用途のそれぞれでの処理内容の一例である。なお、表２に示した用途ごとの処理内容は一例であり、用途の種類及び用途ごとの処理内容は適宜変更が可能である。
【００６７】
【表２】
2020057111.tif 000004
【００６８】
検出部２０及び処理部３０は、受付部６０が受け付けた用途情報をもとに、検出部２０の検出処理及び処理部３０の判定処理の処理内容を記憶部５０から読み出して、検出部２０の検出処理及び処理部３０の判定処理の処理内容を設定する。これにより、表情判定システム１のユーザがＨＭＩを用いて用途情報を入力すると、表情判定システム１は、検出部２０の検出処理及び処理部３０の判定処理の処理内容を用途情報に対応して予め設定されている処理内容に設定する。したがって、ユーザは用途情報を入力するだけで、表情判定システム１の処理内容が用途に応じた処理内容が設定されるので、ユーザの設定の手間を低減できる。
【００６９】
また、受付部６０が、設定情報として、用途情報を受け付けた後に、対象処理の処理内容を変更する変更情報を受け付けた場合、対象処理の処理内容が、用途に応じた処理内容から変更情報に応じて変更されてもよい。
【００７０】
表情判定システム１のユーザが、ＨＭＩを用いて用途情報を入力した後に変更情報を入力すると、検出部２０及び処理部３０は、変更情報に対応した対象処理の処理内容を変更情報に基づいて変更する。これにより、検出部２０の検出処理及び処理部３０の判定処理の処理内容が、用途に応じて予め設定された処理内容から変更されるので、用途に応じて予め設定された処理内容から処理内容を微調整できる。
【００７１】
例えば、表情判定システム１のユーザは、表情判定システム１の用途が同じ場合でも、表情判定システム１の利用目的に応じて処理内容を変更することができる。例えば表情判定システム１の用途が介護の場合、被介護者の何らかの感情変化をとらえることを目的として、初期設定では、認識部３１が認識アルゴリズムＹ１を使用するように設定されているが、介護内容に不満を感じている利用者を見つけるような目的では認識アルゴリズムが認識アルゴリズムＹ２に変更される。認識部３１は、認識アルゴリズムＹ２を使用することによって、微表情の種類を認識できるので、表情判定システム１のユーザは利用者の感情を把握できる。
【００７２】
また、表情判定システム１のユーザは、表情判定システム１の用途が同じでも、時間帯に応じて表情判定システム１の処理内容を変更することができる。例えば、表情判定システム１のユーザは、昼間はＲＧＢカメラ用の検出アルゴリズムＸ１又はＸ２を使用し、夜間は赤外線カメラ用の検出アルゴリズムＸ３を使用するように処理内容を設定できる。これにより、表情判定システム１のユーザは、用途に応じて予め設定された処理内容を、時間帯に応じて微調整することができる。
【００７３】
また、検出部２０及び処理部３０は、許容される処理量及び処理能力などに応じて、検出アルゴリズム、認識アルゴリズム及び判定アルゴリズムのうちの少なくとも１つを変更してもよい。例えば、処理部３０は、処理部３０の処理量及び処理能力が所定の許容値よりも低ければ認識アルゴリズムを認識アルゴリズムＹ２に設定し、処理量及び処理能力が許容値よりも高ければ認識アルゴリズムを認識アルゴリズムＹ３に設定する。
【００７４】
（３．２）その他の変形例
カメラ２は、判定対象の人の顔を正面から撮影可能な位置に設置されているとしたが、判定対象の人の顔を斜めから撮影した映像を入力しても良い。その場合、カメラ２で、人の顔を斜め方向から撮影した映像を正面方向から撮影した映像に変換する前処理を入れても良い。これにより、カメラ２に対して正面を向いていない人の顔の微表情も検出・認識できる。
【００７５】
上記実施形態の表情判定システム１では、カメラ２から入力部１０にフレーム毎の入力映像が入力されており、検出部２０は、入力部１０に入力されるフレーム毎の入力映像に基づいて検出処理を行っているが、複数フレームに１回の割合で検出処理を行ってもよい。
【００７６】
また、検出部２０は、入力部１０に入力される入力映像から顔の部分の部分映像を検出しているが、例えば表情判定システム１の用途等の条件に応じて、入力映像において顔の部分を検出する範囲が予め設定されていてもよい。例えば、表情判定システム１の用途に応じて、入力映像において判定対象の人の顔が映る範囲が決まっている場合、検出部２０は、入力映像において顔検出を行う範囲を用途に応じて決定してもよい。
【００７７】
上記実施形態において、検出部２０はクラウドによって実現されてもよい。すなわち、表情判定システム１は、入力部１０に入力されたカメラ２の入力映像をクラウド上に送信し、クラウドによって顔を検出する検出処理と対象期間を検出する検出処理との少なくとも一方を行えばよい。これにより、表情判定システム１の処理負荷を低減でき、またクラウド上のサービスで検出処理を実現できる。
【００７８】
また、顔に表れる表情の記述法として、ＦＡＣＳ（Facial Action Coding System）がある。ＦＡＣＳでは、複数の動作単位（ＡＵ：Action Unit）を要素にして顔面動作を記述する。上記実施形態において、検出部２０は、顔の表情の基本要素であるＡＵを定量化し、ＡＵの値が所定の判定値を超える期間を対象期間として検出するアルゴリズムを使用してもよい。例えば、表情判定システム１は、瞬きに対応するＡＵ４５を定量化し、ＡＵ４５の値が判定値を超える期間を対象期間外として判定するアルゴリズムを使用してもよい。
【００７９】
上記実施形態では、検出部２０は、入力映像に基づいて顔の部分に変化がある対象期間を検出しているが、入力映像だけではなく判定対象の人の生体情報（心拍、心電位、脳波等）を各種のセンサで検出した結果に基づいて対象期間を検出してもよい。検出部２０は、入力映像と生体情報とに基づいて対象期間を検出するので、対象期間の検出精度が向上するという利点がある。
【００８０】
上記実施形態では、検出部２０は、対象期間の検出結果を出力しているが、対象期間の検出結果に加えて、微表情が発生している確度を示す確度情報（スコア）を求め、この確度情報を処理部３０に出力してもよい。処理部３０は、検出部２０から確度情報が入力された場合、検出部２０から入力された確度情報を認識部３１により算出される確度情報に反映させてもよい。例えば、認識部３１は、微表情の種類ごとに求めた確度情報に、検出部２０から入力された確度情報を加算又は減算して、微表情の種類ごとの確度情報を求めてもよい。
【００８１】
また、検出部２０は、検出処理に使用した検出アルゴリズムの情報を処理部３０に出力してもよい。処理部３０は、検出部２０が使用する検出アルゴリズムに応じて微表情の種類ごとに設定されるバイアス値を、微表情の種類ごとに求めた確度情報に重畳してもよい。
【００８２】
また、検出部２０は、カメラ２の撮影情報及び撮影環境のうち少なくとも一方の情報を処理部３０に出力してもよい。カメラ２の撮影情報は、例えばカメラ２の入力映像に関する情報であり、入力映像の解像度、ホワイトバランス、フレームレート等である。カメラ２の撮影環境は、カメラ２が設置されている場所又はカメラ２の撮影範囲に関する情報である。表情判定システム１の用途が車載機器であれば、カメラ２の撮影環境は例えば車室内又は車室外であり、表情判定システム１の用途がテーマパークであれば、カメラ２の撮影環境は例えば屋内又は屋外である。処理部３０は、検出部２０から入力される、撮影情報及び撮影環境の少なくとも一方の情報に基づいて、複数の学習済みモデルの中から認識部３１が認識処理に使用する学習済みモデルを選択できる。
【００８３】
また、検出部２０は、カメラ２等から入力される撮影地点の位置情報（例えばＧＰＳ（Global Positioning System）を用いて得られる情報）を処理部３０に出力してもよい。認識部３１は、例えば、検出部２０から入力される位置情報に基づいて、撮影地点が含まれる地域（例えば、日本、北米、欧州等）に応じた学習済みモデルを使用することができ、例えば該当地域で作成された学習済みモデルを用いて認識処理を行うことができる。
【００８４】
また上記実施形態において、検出部２０は、顔の表情の基本要素であるＡＵを定量化した値を処理部３０に出力してもよい。例えば、機械学習の学習済みモデルが、入力映像に加えてＡＵを定量化した値を教師データとして作成されている場合、認識部３１は、入力映像とＡＵを定量化した値とを入力データとして認識処理を行えばよい。
【００８５】
また、認識部３１はクラウドによって実現されてもよい。すなわち、表情判定システム１は、対象期間における入力映像をクラウド上に送信し、クラウドによって認識処理を行ってもよい。これにより、表情判定システム１の処理負荷を低減でき、またクラウド上のサービスを利用して認識処理を実現できる。
【００８６】
また、認識部３１は、処理部３０が備えるプロセッサ及びネットワーク帯域の余力に応じて、認識処理の処理内容（例えば認識アルゴリズム、ディープラーニングのネットワーク構成、認識処理に使用する学習済みモデルの種類等）を変更してもよい。認識部３１は、処理部３０が備えるプロセッサ及びネットワーク帯域の余力に応じて、認識処理の処理内容を変更することで、認識処理の負荷を変更でき、認識処理によって表情判定システム１が行う他の処理に与える影響を軽減できる。
【００８７】
また、認識部３１が使用する学習済みモデルは、入力映像に加えて生体情報（心拍、心電位、脳波等）を教師データとして機械学習された学習済みモデルでもよい。このような学習済みモデルを用いて認識処理を行うことで、認識処理の精度を高めることができる。
【００８８】
また、認識部３１は、２段階で認識処理を行うように構成されてもよい。例えば、認識部３１は、１段目の認識処理では、対象期間における入力映像に基づいて、微表情であるか否かの認識処理を行い、１段目の認識処理で微表情であると認識された場合に、２段目の認識処理で微表情の種類ごとに確度情報を求める処理を行う。認識部３１が２段階で認識処理を行うように構成されている場合、１段目の認識処理と２段目の認識処理のうちの一方の認識処理をクラウドで行ってもよい。例えば、認識部３１が、２段目の認識処理をクラウドで行うように構成されていれば、微表情の種類だけを認識できるクラウドサービスを利用して微表情の種類を認識する認識処理を実行できる。
【００８９】
また、認識部３１が認識処理に使用するアルゴリズムは、ラッセルの円環モデル上で、対象期間における顔の動きが対応する点を特定することで、判定対象の人の感情を認識するアルゴリズムであってもよい。これにより、認識部３１は、判定対象の人の快・不快・覚醒度等に基づく感情を認識できる。
【００９０】
また、認識部３１は、認識処理によって求めた確度情報に加えて、認識処理の処理内容（例えば、認識アルゴリズム、ディープラーニングのネットワーク構成、学習済みモデルの種類、学習済みモデルの性能等）に関する情報を判定部３２に出力してもよい。判定部３２は、認識処理の処理内容に応じて設定された基準値を用いて判定処理を行うことができ、判定精度が向上するという利点がある。
【００９１】
また、判定部３２は、判定結果を記憶部５０に記憶しておき、比較的短い時間で複数人の顔に微表情が表れた場合に直前の数フレームでの判定結果を統合して、判定処理を行ってもよい。例えば、表情判定システム１の用途がサイネージ（Signage）である場合、判定部３２は、広告等を複数人が見た時に、複数人の顔にそれぞれ表れた感情を統合することで、複数人が平均してどのような感情を抱くかを判定できる。
【００９２】
また、判定部３２は、所定のフレーム数内での認識部３１の認識結果を統合して判定処理を行ってもよい。例えば、表情判定システム１が、演劇等を見ている観客の反応を調べるために使用される場合、観客の感情を変化させるような事象（例えば役者の台詞及び行動等）が発生してから所定時間内に観客の顔にどのような微表情が平均して表れるのかを判定できる。
【００９３】
また、上記実施形態において、出力部４０は、判定部３２による判定結果（微表情ではないとの結果、又は微表情である場合は微表情の種類）とともに、その確度情報を報知部３等の外部システムに出力してもよい。また、出力部４０は、認識部３１が求めた微表情の種類ごとの確度情報、及び微表情ではないことの確度情報を報知部３等の外部システムに出力してもよい。この場合、外部システムは、表情判定システム１から出力される判定結果及び確度情報を、判定対象の人の感情を認識する他のシステムの認識結果と組み合わせることができる。したがって、外部システムは、判定対象の人の感情をより高い精度で判定することができる。
【００９４】
なお、出力部４０は、判定部３２による判定結果のうち、最も可能性が高い認識結果１つだけでなく、可能性が高い複数の結果を出力してもよい。例えば、確度の高いＭ個（Ｍは２以上の整数）を出力してもよい。これにより、マルチモーダル処理等、他の感情認識装置と組み合わせたより複雑な感情推定に応用できる。
【００９５】
（まとめ）
以上説明したように、第１の態様に係る表情判定システム（１）は、検出部（２０）と、処理部（３０）と、を備える。検出部（２０）は、顔を含む入力映像から、入力映像のうち顔の部分に変化が発生している対象期間を検出する検出処理を行う。処理部（３０）は、対象期間での入力映像に基づいて、少なくとも微表情が表れているか否かを判定する判定処理を行う。
【００９６】
この態様によれば、検出部（２０）によって顔の部分に変化が発生していると検出された対象期間での入力映像に基づいて処理部（３０）が微表情が表れているか否かを判定している。したがって、微表情が表れていないのに微表情が表れていると誤検出する可能性を低減でき、誤検出の低減を図ることが可能な表情判定システム（１）を提供することができる。
【００９７】
第２の態様に係る表情判定システム（１）では、第１の態様において、微表情には複数の種類がある。処理部（３０）は、判定処理において、微表情が表れていると判定した場合に、複数の種類の中から、対象期間に表れた微表情の種類を更に判定する。
【００９８】
この態様によれば、微表情が表れているか否かだけでなく、微表情の種類まで判定できる。
【００９９】
第３の態様に係る表情判定システム（１）では、第１又は２の態様において、処理部（３０）は認識部（３１）と判定部（３２）とを含む。認識部（３１）は、対象期間での入力映像に基づいて、対象期間での入力映像における顔の部分の変化が、複数の種類のそれぞれに該当する確度を表す確度情報を複数の種類ごとに求める。判定部（３２）は、認識部（３１）が求めた複数の種類ごとの確度情報に基づいて、少なくとも微表情が表れているか否かを判定する。
【０１００】
この態様によれば、誤検出の低減を図ることが可能な表情判定システム（１）を提供することができる。
【０１０１】
第４の態様に係る表情判定システム（１）では、第３の態様において、認識部（３１）は、判定処理において、複数の種類ごとの確度情報に加えて、入力映像における顔の部分の変化が微表情ではないことの確度を表す確度情報を更に求める。
【０１０２】
この態様によれば、誤検出の低減を図ることが可能な表情判定システム（１）を提供することができる。
【０１０３】
第５の態様に係る表情判定システム（１）では、第１〜４のいずれかの態様において、処理部（３０）は、機械学習で作成された学習済みモデルを用いて判定処理を行う。
【０１０４】
この態様によれば、誤検出の低減を図ることが可能な表情判定システム（１）を提供することができる。
【０１０５】
第６の態様に係る表情判定システム（１）は、第１〜５のいずれかの態様において、検出処理及び判定処理のうち少なくとも一方の対象処理の処理内容を設定するための設定情報を受け付ける受付部（６０）を更に備える。受付部（６０）が受け付けた設定情報に基づいて対象処理の処理内容が設定される。
【０１０６】
この態様によれば、対象処理の処理内容を変更可能な表情判定システム（１）を提供することができる。
【０１０７】
第７の態様に係る表情判定システム（１）では、第６の態様において、受付部（６０）が、設定情報として、表情判定システム（１）の用途を表す用途情報を受け付けた場合、対象処理の処理内容が用途に応じた処理内容に設定される。
【０１０８】
この態様によれば、対象処理の処理内容を、用途に応じた処理内容に変更可能な表情判定システム（１）を提供することができる。
【０１０９】
第８の態様に係る表情判定システム（１）では、第７の態様において、受付部（６０）が、設定情報として、用途情報を受け付けた後に変更情報を受け付けた場合、対象処理の処理内容が、用途に応じた処理内容から変更情報に応じて変更される。変更情報は、対象処理の処理内容を変更するための情報である。
【０１１０】
この態様によれば、対象処理の処理内容を、用途に応じた処理内容から変更可能な表情判定システム（１）を提供することができる。
【０１１１】
第９の態様に係るプログラムは、コンピュータシステムに、検出処理と、判定処理と、を実行させる。検出処理では、顔を含む入力映像から、入力映像のうち顔の部分に変化が発生している対象期間を検出する。判定処理では、対象期間での入力映像に基づいて、少なくとも微表情が表れているか否かを判定する。
【０１１２】
この態様によれば、判定処理では、検出処理によって顔の部分に変化が発生していると検出された対象期間での入力映像に基づいて、微表情が表れているか否かを判定している。したがって、微表情が表れていないのに微表情が表れていると誤検出する可能性を低減でき、誤検出の低減を図ることが可能なプログラムを提供することができる。
【０１１３】
第１０の態様に係る表情判定方法は、検出処理と、判定処理と、を含む。検出処理では、顔を含む入力映像から、入力映像のうち顔の部分に変化が発生している対象期間を検出する。判定処理では、対象期間での入力映像に基づいて、少なくとも微表情が表れているか否かを判定する。
【０１１４】
この態様によれば、判定処理では、検出処理によって顔の部分に変化が発生していると検出された対象期間での入力映像に基づいて、微表情が表れているか否かを判定している。したがって、微表情が表れていないのに微表情が表れていると誤検出する可能性を低減でき、誤検出の低減を図ることが可能な表情判定方法を提供することができる。
【０１１５】
上記態様に限らず、上記実施形態に係る表情判定システム（１）の種々の構成（変形例を含む）は、表情判定方法、（コンピュータ）プログラム、又はプログラムを記録した非一時的記録媒体等で具現化可能である。
【０１１６】
第２〜第８の態様に係る構成については、表情判定システム（１）に必須の構成ではなく、適宜省略可能である。
【符号の説明】
【０１１７】
１  表情判定システム
２０  検出部
３０  処理部
３１  認識部
３２  判定部
６０  受付部
【図１】
2020057111.tif 000005
【図２】
2020057111.tif 000006
【図３】
2020057111.tif 000007
【図４】
2020057111.tif 000008
【図５】
2020057111.tif 000009