(57)【要約】      （修正有）【課題】ユーザが内心にもつ実際の感情を分析することができる感情分析システムを提供する。【解決手段】コンテンツを視認するユーザのコンテンツに対する感情を分析する感情分析システムにおいて、再生されるコンテンツを表示してユーザにコンテンツを提供するコンテンツ表示部と、コンテンツ表示部で提供されるコンテンツをユーザが視認する際のユーザの定常的な第１表情とユーザの定常的な第２表情との間で第１表情から第２表情に遷移する際に過渡的に表出する第１表情及び第２表情とは異なるユーザの第３表情を第３表情が有する感情的な属性を判別して抽出する第３表情抽出部と、第３表情抽出部が抽出した第３表情が発生したタイミングと第３表情が発生したタイミングにおけるコンテンツの再生のタイミングとを関連づけるタイミング同期部と、を備える。【選択図】図３
2020086559.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツを視認するユーザの該コンテンツに対する感情を分析する感情分析システムにおいて、
再生される前記コンテンツを表示して前記ユーザに前記コンテンツを提供するコンテンツ表示部と、
該コンテンツ表示部で提供される前記コンテンツを前記ユーザが視認する際の前記ユーザの定常的な第１表情と前記ユーザの定常的な第２表情との間で前記第１表情から前記第２表情に遷移する際に過渡的に表出する前記第１表情及び前記第２表情とは異なる前記ユーザの第３表情を該第３表情が有する感情的な属性を判別して抽出する第３表情抽出部と、
該第３表情抽出部が抽出した前記第３表情が発生したタイミングと該第３表情が発生したタイミングにおける前記コンテンツの再生のタイミングとを関連づけるタイミング同期部と、
を備えることを特徴とする感情分析システム。
【請求項２】
前記第３表情抽出部は、
前記ユーザの表情を撮像する撮像モジュールと、
該撮像モジュールで撮像された前記ユーザの表情から前記第３表情を検出する第３表情検出モジュールと、
該第３表情検出モジュールで検出した前記第３表情の感情的な属性を判別する属性判別モジュールと、
該属性判別モジュールにアクセスされるデータベースと、
を備えることを特徴とする請求項１に記載の感情分析システム。
【請求項３】
前記タイミング同期部は、
前記第３表情が発生した前記タイミングから遡及した任意の時間内に存在する前記コンテンツ内のイベントを抽出し、
抽出した前記イベントと前記第３表情との時間距離に基づいて前記イベントと前記第３表情とを関連づけることを特徴とする請求項１または２に記載の感情分析システム。
【請求項４】
前記タイミング同期部は、
前記第３表情が発生した前記タイミングにおける前記コンテンツ内のイベントを抽出し、
抽出した前記イベントと前記第３表情とを関連づけることを特徴とする請求項１または２に記載の感情分析システム。
【請求項５】
前記第３表情抽出部は、
前記コンテンツ表示部が前記ユーザに前記コンテンツを提供した後に前記第３表情を抽出し、
前記タイミング同期部は、
前記第３表情抽出部が抽出した前記第３表情の発生のタイミングに基づいて前記コンテンツの再生のタイミングと関連づけることを特徴とする請求項１〜４のいずれか１項に記載の感情分析システム。
【請求項６】
前記第３表情抽出部は、
前記コンテンツ表示部が前記ユーザに前記コンテンツを提供する際に前記第３表情を抽出し、
前記タイミング同期部は、
前記第３表情抽出部が抽出した前記第３表情の発生のタイミングに基づいて前記コンテンツの再生のタイミングと関連づけることを特徴とする請求項１〜４のいずれか１項に記載の感情分析システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、感情分析システム、特に、コンテンツを視認するユーザのコンテンツに対する感情を分析する感情分析システムに関する。
【背景技術】
【０００２】
近年、ユーザの顔の表情を用いて、そのユーザの感情を判定する技術が種々提案されている。例えば、特許文献１には、ユーザの表情及び生体情報を入力してユーザの感情を出力する学習モデルを用いて、ユーザの感情を推定する感情推定システムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−７２８７６公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ユーザの表情に現れる外面的な感情は、ユーザの内心の感情とは異なる場合があり、このような実際の感情は、極めて短時間に現れるユーザの瞬間的な表情から分析されることが多く、定常的な表情からはユーザが内心にもつ実際の感情を分析することが難しいと考えられている。
【０００５】
したがって、例えばある任意のコンテンツを視聴している際のユーザの定常的な表情からは、そのコンテンツに対してユーザが内心にもつ実際の感情を分析することが困難となることが想定される。
【０００６】
本発明は、上記事情に鑑みてなされたものであり、ユーザが内心にもつ実際の感情を分析することができる感情分析システムを提供することを課題とするものである。
【課題を解決するための手段】
【０００７】
上記課題を達成するための、本発明に係る感情分析システムは、コンテンツを視認するユーザのコンテンツに対する感情を分析する感情分析システムにおいて、再生されるコンテンツを表示してユーザにコンテンツを提供するコンテンツ表示部と、コンテンツ表示部で提供されるコンテンツをユーザが視認する際のユーザの定常的な第１表情とユーザの定常的な第２表情との間で第１表情から第２表情に遷移する際に過渡的に表出する第１表情及び第２表情とは異なるユーザの第３表情を第３表情が有する感情的な属性を判別して抽出する第３表情抽出部と、第３表情抽出部が抽出した第３表情が発生したタイミングと第３表情が発生したタイミングにおけるコンテンツの再生のタイミングとを関連づけるタイミング同期部と、を備えることを特徴としている。
【０００８】
この感情分析システムによれば、第３表情抽出部によって、感情的な属性が判別された第３表情が抽出されることから、抽出された第３表情が発生したタイミングとコンテンツの再生のタイミングとが関連づけられることによって、再生されるコンテンツに対してユーザが内心にもつ実際の感情を第３表情から分析することができる。
【０００９】
この感情分析システムの第３表情抽出部は、ユーザの表情を撮像する撮像モジュールと、撮像モジュールで撮像されたユーザの表情から第３表情を検出する第３表情検出モジュールと、第３表情検出モジュールで検出した第３表情の感情的な属性を判別する属性判別モジュールと、属性判別モジュールにアクセスされるデータベースと、を備えることを特徴としている。
【００１０】
さらに、感情分析システムのタイミング同期部は、第３表情が発生したタイミングから遡及した任意の時間内に存在するコンテンツ内のイベントを抽出し、抽出したイベントと第３表情との時間距離に基づいてイベントと第３表情とを関連づけることを特徴としている。
【００１１】
同様に、感情分析システムのタイミング同期部は、第３表情が発生したタイミングにおけるコンテンツ内のイベントを抽出し、抽出したイベントと第３表情とを関連づけることを特徴としている。
【００１２】
さらに、感情分析システムの第３表情抽出部は、コンテンツ表示部がユーザにコンテンツを提供した後に第３表情を抽出し、タイミング同期部は、第３表情抽出部が抽出した第３表情の発生のタイミングに基づいてコンテンツの再生のタイミングと関連づけることを特徴としている。
【００１３】
同じく、感情分析システムの第３表情抽出部は、コンテンツ表示部がユーザにコンテンツを提供する際に第３表情を抽出し、タイミング同期部は、第３表情抽出部が抽出した第３表情の発生のタイミングに基づいてコンテンツの再生のタイミングと関連づけることを特徴としている。
【発明の効果】
【００１４】
この発明によれば、ユーザが内心にもつ実際の感情を第３表情から分析することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１実施の形態に係る感情分析システムが配備されるコンピュータの概略を説明する図である。
【図２】同じく、本実施の形態に係る感情分析システムが配備されるコンピュータの構成の概略を説明する図である。
【図３】同じく、本実施の形態に係る感情分析システムの構成の概略を説明するブロック図である。
【図４】同じく、本実施の形態に係る感情分析システムの第３表情抽出部の構成の概略を説明するブロック図である。
【図５】同じく、本実施の形態に係る感情分析システムの第３表情抽出部における第３表情検出モジュールの処理の概略を説明する図である。
【図６】同じく、本実施の形態に係る感情分析システムの第３表情抽出部における第３表情検出モジュールで第３表情を検出する処理の手順を説明するフローチャートである。
【図７】同じく、本実施の形態に係る感情分析システムのタイミング同期部の処理の概略を説明する図である。
【図８】同じく、本実施の形態に係る感情分析システムのタイミング同期部の処理の概略を説明する図である。
【図９】同じく、本実施の形態に係る感情分析システムを使用する方法の概略を説明する図である。
【図１０】本発明の第２実施の形態に係る感情分析システムの第３表情抽出部における第３表情検出モジュールで第３表情を検出する処理の手順を説明するフローチャートである。
【図１１】同じく、本実施の形態に係る感情分析システムを使用する方法の概略を説明する図である。
【図１２】本発明の他の実施の形態に係る感情分析システムの第３表情抽出部で第３表情を抽出する処理の概略を説明する図である。
【図１３】同じく、本発明の他の実施の形態に係る感情分析システムの第３表情抽出部で第３表情を抽出する処理の概略を説明する図である。
【発明を実施するための形態】
【００１６】
次に、図１〜図１３に基づいて、本発明の実施の形態に係る感情分析システムについて説明する。
【００１７】
（第１実施の形態）
まず、図１〜図９に基づいて、本発明の第１実施の形態に係る感情分析システムについて説明する。
【００１８】
図１は、本実施の形態に係る感情分析システムが配備されるコンピュータの概略を説明する図である。図示のように、コンピュータ１０は、本実施の形態では、ディスプレイ２１に表示されるコンテンツＣを視認するユーザ１の表情をカメラ２２Ａで撮像する。
【００１９】
図２は、コンピュータ１０の構成の概略を説明する図である。図示のように、コンピュータ１０は、プロセッサ１１、メモリ１２、ストレージ１３、送受信部１４、及び入出力部１５を主要構成として備え、これらが互いにバス１６を介して電気的に接続される。
【００２０】
プロセッサ１１は、コンピュータ１０の動作を制御し、各要素間におけるデータの送受信の制御や、アプリケーションプログラムの実行に必要な処理等を行う演算装置である。
【００２１】
このプロセッサ１１は、本実施の形態では例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、後述するストレージ１３に格納されてメモリ１２に展開されたアプリケーションプログラムを実行して各処理を行う。
【００２２】
メモリ１２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶装置を備える。
【００２３】
このメモリ１２は、プロセッサ１１の作業領域として使用される一方、コンピュータ１０の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）、及び各種の設定情報等が格納される。
【００２４】
ストレージ１３は、プログラムや各種の処理に用いられるデータ等が格納されている。このストレージ１３に格納されるプログラムの詳細については、後述する。
【００２５】
送受信部１４は、コンピュータ１０をネットワーク網に接続する。この送受信部１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。
【００２６】
入出力部１５には、必要に応じて、キーボードやマウスといった情報入力機器やディスプレイ等の出力機器が接続される。
【００２７】
バス１６は、接続したプロセッサ１１、メモリ１２、ストレージ１３、送受信部１４及び入出力部１５の間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。
【００２８】
感情分析システムは、このようなコンピュータ１０に配備されるものである。
【００２９】
図３は、感情分析システムの構成の概略を説明するブロック図である。図示のように、感情分析システム２０は、コンテンツ表示部であるディスプレイ２１、第３表情抽出部２２及びタイミング同期部２３を主要構成として備える。
【００３０】
ディスプレイ２１は、例えば、液晶パネルにバックライト等の光源を照射してコンテンツを表示するものであって、本実施の形態では、再生されるコンテンツＣを表示してユーザ１にコンテンツＣを提供する。
【００３１】
図４は、第３表情抽出部２２の構成の概略を説明するブロック図である。図示のように、第３表情抽出部２２は、撮像モジュールであるカメラ２２Ａ及び第３表情抽出プログラム２２Ｂを備える。
【００３２】
カメラ２２Ａは、本実施の形態では、ディスプレイ２１の上部に配置されてコンピュータ１０に内蔵されるものであって、ディスプレイ２１に表示されるコンテンツＣを視認するユーザ１の表情を撮像する。
【００３３】
第３表情抽出プログラム２２Ｂは、本実施の形態では、ストレージ１３に格納されており、第３表情検出モジュール２２Ｂａ、属性判別モジュール２２Ｂｂ及びデータベース２２Ｂｃを備える。
【００３４】
第３表情検出モジュール２２Ｂａは、本実施の形態では、カメラ２２Ａで撮像されたユーザ１の表情から第３表情を検出するモジュールである。
【００３５】
図５は、第３表情検出モジュール２２Ｂａで第３表情を検出する処理の概略を説明する図である。図示のように、第３表情検出モジュール２２Ｂａは、タイムラインＴに沿って再生されるコンテンツＣを視認するユーザ１の表情が、定常的にみられる例えば微笑した表情である第１表情Ｆ１と、同じく定常的にみられる微笑した表情である第２表情Ｆ２との間で表出する第３表情Ｆ３を抽出する。
【００３６】
この第３表情Ｆ３は、例えば、コンテンツＣが街並の映像ｃ１から海の映像ｃ２に遷移する場合において、映像ｃ１から映像ｃ２への遷移に伴ってユーザ１の表情が第１表情Ｆ１から第２表情Ｆ２に遷移する際に極めて僅少な時間（例えば０．２秒以内）において過渡的に表出する表情であって、第１表情Ｆ１及び第２表情Ｆ２のいずれとも異なる、例えば喜びの表情である。
【００３７】
このような第３表情Ｆ３には、ユーザ１が内心にもつ実際の感情が現れると考えられており、本実施の形態では、第３表情Ｆ３に基づいて、コンテンツＣを視認するユーザ１の感情を分析することが可能となる。
【００３８】
図６は、第３表情検出モジュール２２Ｂａで第３表情Ｆ３を検出する処理の手順を説明するフローチャートである。図示のように、ステップＳ１において、まず、ユーザ１の表情が第１表情Ｆ１から遷移した際に、遷移によって第１表情Ｆ１から変化した表情が継続する時間を計測する。
【００３９】
続いて、ステップＳ２において、ユーザ１の表情が、変化した表情から第２表情Ｆ２に遷移した際に、変化した表情が継続した時間が予め設定されたｎ秒以内（例えば０．２秒以内）であったか否かを算出し、ｎ秒以内であれば、変化した表情を第３表情Ｆ３として検出し、ステップＳ３において、検出した第３表情Ｆ３を後述するデータベース２２Ｂｃにデータとして記憶する。
【００４０】
第３表情Ｆ３を記憶する際には、第３表情Ｆ３が発生したタイミングの時刻を第３表情Ｆ３とともに記憶する。
【００４１】
図４で示すように、属性判別モジュール２２Ｂｂは、検出した第３表情Ｆ３及び次述するデータベース２２Ｂｃに基づいて、第３表情Ｆ３が有する感情的な属性を判別するモジュールである。
【００４２】
データベース２２Ｂｃには、本実施の形態では、「喜んでいる」、「怒っている」、「悲しい」、「楽しい」、「驚いた」といった感情的な属性に従って分類された複数の表情がデータとして予め格納されている。
【００４３】
第３表情Ｆ３が検出されると、属性判別モジュール２２Ｂｂはデータベース２２Ｂｃにアクセスして、データベース２２Ｂｃに格納された表情のデータを参照して、第３表情Ｆ３の感情的な属性を判別し、判別した結果を第３表情Ｆ３に関連づける。
【００４４】
図３で示すように、タイミング同期部２３は、第３表情抽出部２２が抽出した第３表情Ｆ３が発生したタイミングと、第３表情Ｆ３が発生したタイミングにおけるコンテンツＣの再生のタイミングとを関連づけるプログラムであって、本実施の形態では、ストレージ１３に格納されている。
【００４５】
図７及び図８は、タイミング同期部２３の処理の概略を説明する図である。図７で示すように、タイミング同期部２３は、まず、第３表情Ｆ３が発生したタイミングから任意の時間（例えば５秒）を遡った際に、タイムラインＴに沿って再生されるコンテンツＣ内に存在するイベント１及びイベント２を抽出する。
【００４６】
続いて、抽出したイベント１及びイベント２と第３表情Ｆ３との時間距離に基づいて、イベント１及びイベント２と第３表情Ｆ３との関連性の程度を算出する。
【００４７】
イベントと第３表情Ｆ３との関連性の程度の算出は、具体的には、
Ｒｉ＝Ｓ／Ｔ−ｔｉ
（但し、Ｒｉ：イベントの関連性の程度、Ｓ：基準時間長、Ｔ：第３表情が発生したタイミングの時刻、ｔｉ：イベントが発生したタイミングの時刻）
に基づいて算出される。
【００４８】
なお、（Ｓ：基準時間長）は、本実施の形態では、第３表情Ｆ３とイベント１及びイベント２との時間距離の最小値であることが想定される。
【００４９】
上記の式に基づいて、本実施の形態では、イベント１に対してイベント２のほうが第３表情Ｆ３との関連性の程度が高いものであると算出し、関連性の程度が高い順に各イベントを第３表情Ｆ３と関連づけてデータベース２２Ｂｃに記憶する。
【００５０】
これにより、第３表情Ｆ３が発生したタイミングと、第３表情Ｆ３が発生したタイミングにおけるコンテンツＣの再生のタイミングとが関連づけられる。
【００５１】
一方、図８で示すように、タイミング同期部２３では、第３表情Ｆ３が発生したタイミングにおいて、コンテンツＣ内でイベントとして再生されているイベントを全て抽出し、抽出したイベントを第３表情Ｆ３と関連づけてデータベース２２Ｂｃに記憶するように構成してもよい。
【００５２】
本実施の形態では、第３表情Ｆ３が発生したタイミングにおいて再生されているコンテンツＣ内のイベント１及びイベント２を抽出して第３表情Ｆ３と関連づけてデータベース２２Ｂｃに記憶する。
【００５３】
なお、イベント３は、第３表情Ｆ３が発生したタイミングにおいて、コンテンツＣ内でイベントとして再生されていないことから、第３表情Ｆ３と関連づけられることがない。
【００５４】
次に、図９に基づいて、本実施の形態に係る感情分析システム２０を使用する方法について説明する。
【００５５】
図示のように、ステップＳ１００において、まず、コンテンツＣを再生してディスプレイ２１に表示して、コンテンツＣをユーザ１に提供するとともに、ステップＳ１０１において、ディスプレイ２１に表示されるコンテンツＣを視認するユーザ１の表情をカメラ２２Ａで撮像し、撮像した映像をデータベース２２Ｂｃに記憶する。
【００５６】
コンテンツＣの再生が終了し、これに伴ってユーザ１の表情の撮像が終了すると、ステップＳ１０２において、第３表情抽出プログラム２２Ｂの第３表情検出モジュール２２Ｂａが、カメラ２２Ａで撮像したユーザ１の表情から第３表情Ｆ３を検出する。
【００５７】
検出した第３表情Ｆ３は、第３表情Ｆ３が発生したタイミングの時刻とともに、データベース２２Ｂｃに記憶される。
【００５８】
属性判別モジュール２２Ｂｂ及びデータベース２２Ｂｃは、記憶された第３表情Ｆ３が有する感情的な属性を判別し、判別した結果を第３表情Ｆ３に関連づける。
【００５９】
これにより、カメラ２２Ａで撮像したユーザ１の表情の映像から、第３表情Ｆ３が抽出される。
続いて、ステップＳ１０３において、タイミング同期部２３が、抽出した第３表情Ｆ３が発生したタイミングと、第３表情Ｆ３が発生したタイミングにおけるコンテンツＣの再生のタイミングとを関連づける。
【００６０】
このように、第３表情抽出部２２によって、感情的な属性が判別された第３表情Ｆ３がカメラ２２Ａで撮像したユーザ１の表情の映像から抽出されることから、抽出された第３表情Ｆ３が発生したタイミングがコンテンツＣの再生のタイミングと関連づけられることによって、再生されるコンテンツＣに対してユーザ１が内心にもつ実際の感情を第３表情Ｆ３から分析することができる。
【００６１】
例えば、本実施の形態では、図５で示したように、コンテンツＣが街並の映像ｃ１から海の映像ｃ２に遷移する場合において、映像ｃ１から映像ｃ２への遷移に伴ってユーザ１の表情が第１表情Ｆ１から第２表情Ｆ２に遷移する際に抽出した第３表情Ｆ３が有する感情的な属性が喜びであるとすれば、ユーザ１は、映像ｃ１よりも映像ｃ２を好んで視認していたと分析することができる。
【００６２】
このように、本実施の形態では、ディスプレイ２１に表示されるコンテンツＣを視認するユーザ１の表情の撮像が終了した後、撮像したユーザ１の表情から第３表情Ｆ３を抽出し、この第３表情Ｆ３が発生したタイミングとコンテンツＣの再生のタイミングとを関連づけることから、撮像が終了した所望の適宜のタイミングで、ユーザ１のコンテンツＣに対する実際の感情を分析することができる。
【００６３】
この感情分析システム２０は、例えば、人材紹介等を行う事業者が、転職を検討するユーザ１に、転職候補となる職種や業界あるいは企業等を掲示したコンテンツＣを視認させて、ユーザ１が内心にもつ実際の感情を分析する際に適用することができる。
【００６４】
さらには、例えば、旅行事業者が、旅行を検討するユーザ１に、複数の旅行先の映像や写真等の情報を掲示したコンテンツＣを視認させて、ユーザ１が内心にもつ実際の感情を分析する際に適用することができる。
【００６５】
（第２実施の形態）
次に、図１０及び図１１に基づいて、本発明の第２実施の形態に係る感情分析システム２０について説明する。
【００６６】
第２実施の形態では、第３表情検出モジュール２２Ｂａで第３表情Ｆ３を検出する手順及び感情分析システム２０を使用する方法が第１実施の形態と異なり、それ以外の事項については異なることがないことから、異なる部分のみについて説明する。
【００６７】
図１０は、本実施の形態に係る第３表情検出モジュール２２Ｂａで第３表情Ｆ３を検出する処理の手順を説明するフローチャートである。図示のように、ステップＳ１０において、まず、カメラ２２ＡでコンテンツＣを視認するユーザ１の表情を撮像し、ユーザ１の表情が第１表情Ｆ１から遷移すると、ステップＳ１１において、ユーザ１の表情の変化を検出する。
【００６８】
ユーザ１の表情の変化を検知すると、ステップＳ１２において、変化したユーザ１の表情を仮の第３表情Ｆ３としてデータベース２２Ｂｃに記憶する。
【００６９】
続いて、ステップＳ１３において、予め設定されたｎ秒以内、本実施の形態では例えば０．２秒以内に、ユーザ１の表情の変化を新たに検出すると、ステップＳ１４において、仮の第３表情Ｆ３を第３表情Ｆ３として記憶する。
【００７０】
第３表情Ｆ３を記憶する際には、第３表情Ｆ３が発生したタイミングの時刻を第３表情Ｆ３とともに記憶する。
【００７１】
一方、ステップＳ１３において、予め設定された０．２秒以内にユーザ１の表情の変化を新たに検出しなかった場合は、ステップＳ１５において、記憶された仮の第３表情Ｆ３を破棄する。
【００７２】
次に、図１１に基づいて、本実施の形態に係る感情分析システム２０を使用する方法について説明する。
【００７３】
図示のように、ステップＳ１１０において、まず、コンテンツＣを再生してディスプレイ２１に表示して、コンテンツＣをユーザ１に提供するとともに、ステップＳ１１１において、ディスプレイ２１に表示されるコンテンツＣを視認するユーザ１の表情をカメラ２２Ａで撮像する。
【００７４】
ステップＳ１１２において、コンテンツＣの再生中に、第３表情抽出プログラム２２Ｂの第３表情検出モジュール２２Ｂａが、カメラ２２Ａで撮像したユーザ１の表情から第３表情Ｆ３を検出すると、検出した第３表情Ｆ３は、第３表情Ｆ３が発生したタイミングの時刻とともに、データベース２２Ｂｃに記憶される。
【００７５】
属性判別モジュール２２Ｂｂ及びデータベース２２Ｂｃは、記憶された第３表情Ｆ３が有する感情的な属性を判別し、判別した結果を第３表情Ｆ３に関連づける。
【００７６】
これにより、カメラ２２Ａで撮像したユーザ１の表情の映像から、第３表情Ｆ３が抽出される。
【００７７】
続いて、ステップＳ１１３において、コンテンツＣの再生中に、タイミング同期部２３が、抽出した第３表情Ｆ３が発生したタイミングと、第３表情Ｆ３が発生したタイミングにおけるコンテンツＣの再生のタイミングとを関連づける。
【００７８】
このように、本実施の形態では、ディスプレイ２１に表示されるコンテンツＣを視認するユーザ１の表情をカメラ２２Ａで撮像しながら、コンテンツＣの再生中にユーザ１の表情から第３表情Ｆ３を抽出し、この第３表情Ｆ３が発生したタイミングとコンテンツＣの再生のタイミングとを関連づけることから、コンテンツＣの再生と同期しながら、ユーザ１のコンテンツＣに対する実際の感情を分析することができる。
【００７９】
なお、本発明は上記各実施の形態に限定されることはなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。上記各実施の形態では、第３表情検出モジュール２２Ｂａで第３表情Ｆ３を検出する際の第１表情Ｆ１から変化した表情が継続する時間が、例えば０．２秒以内に設定されることを説明したが、要望に応じて適宜の時間（例えば０．３秒以内）に設定することができる。
【００８０】
上記各実施の形態では、タイミング同期部２３でコンテンツＣ内からイベントを抽出する際に、第３表情Ｆ３が発生したタイミングから５秒を遡ったときにコンテンツＣ内に存在するイベントを抽出することを説明したが、要望に応じて適宜の時間（例えば７秒）に設定することができる。
【００８１】
上記各実施の形態では、感情分析システム２０がコンピュータ１０に配備される場合を説明したが、コンピュータ１０に限られるものではなく、例えばスマートフォンやタブレット型端末といった携帯型情報端末に配備されるものであってもよい。
【００８２】
さらに、第３表情検出モジュール２２Ｂａで第３表情Ｆ３を検出した後、第１表情Ｆ１から第３表情Ｆ３に変化するユーザ１の表情の変化量をベクトルで把握し、把握した変化量ベクトルに基づいて、ユーザ１が内心にもつ実際の感情を分析することも可能である。
【００８３】
例えば、図１２（ａ）で示すように、第３表情抽出プログラム２２Ｂは、タイムラインＴに沿って再生されるコンテンツＣを視認するユーザ１の表情が、定常的にみられる例えば不機嫌な表情である第１表情Ｆ１から第３表情Ｆ３に変化した変化量を変化量ベクトルＶとして把握する。
【００８４】
第１表情Ｆ１にみられる不機嫌の程度が７０であるとした場合において、第３表情Ｆ３に変化した変化量ベクトルＶが３０であるとすれば、第３表情Ｆ３にみられる不機嫌の程度は４０であって、ユーザ１の不機嫌の程度が緩和されたと分析することが可能である。
【００８５】
同様に、図１２（ｂ）で示すように、第３表情抽出プログラム２２Ｂは、タイムラインＴに沿って再生されるコンテンツＣを視認するユーザ１の表情が、定常的にみられる例えば楽しい表情である第１表情Ｆ１から第３表情Ｆ３に変化した変化量を変化量ベクトルＶとして把握する。
【００８６】
第１表情Ｆ１にみられる楽しさの程度が４０であるとした場合において、第３表情Ｆ３に変化した変化量ベクトルＶが３０であるとすれば、第３表情Ｆ３にみられる楽しさの程度は７０であって、ユーザ１の楽しさの程度が増大されたと分析することが可能である。
【００８７】
一方、第３表情検出モジュール２２Ｂａで第３表情Ｆ３を検出した後、第３表情Ｆ３に変化する前の第１表情Ｆ１と第３表情Ｆ３から変化した第２表情Ｆ２とを対比して、ユーザ１が内心にもつ実際の感情を分析することも可能である。
【００８８】
例えば、図１３で示すように、第３表情抽出プログラム２２Ｂは、定常的にみられる例えば不機嫌な表情であるユーザ１の第１表情Ｆ１と定常的にみられる例えば平穏な表情であるユーザ１の第２表情Ｆ２とを対比する。
【００８９】
第１表情Ｆ１にみられる不機嫌の程度が７０であるとした場合において、第２表情Ｆ２にみられる不機嫌の程度が５０であるとすれば、これらを対比して第３表情Ｆ３にみられる不機嫌の程度を推定して、ユーザ１の不機嫌の程度が緩和されたと分析することが可能である。
【符号の説明】
【００９０】
１    ユーザ
１０    コンピュータ
２０    感情分析システム
２１    ディスプレイ（コンテンツ表示部）
２２    第３表情抽出部
２２Ａ    カメラ（撮像モジュール）
２２Ｂ    第３表情抽出プログラム
２２Ｂａ    第３表情検出モジュール
２２Ｂｂ    属性判別モジュール
２２Ｂｃ    データベース
２３    タイミング同期部
Ｃ    コンテンツ
Ｆ１    第１表情
Ｆ２    第２表情
Ｆ３    第３表情
【図１】
2020086559.tif 000003
【図２】
2020086559.tif 000004
【図３】
2020086559.tif 000005
【図４】
2020086559.tif 000006
【図５】
2020086559.tif 000007
【図６】
2020086559.tif 000008
【図７】
2020086559.tif 000009
【図８】
2020086559.tif 000010
【図９】
2020086559.tif 000011
【図１０】
2020086559.tif 000012
【図１１】
2020086559.tif 000013
【図１２】
2020086559.tif 000014
【図１３】
2020086559.tif 000015