(57)【特許請求の範囲】
【請求項１】
ユーザの発話から文脈意味を理解するようにコンピュータを機能させる発話意味分析プログラムにおいて、
前記ユーザの発話中のテキストについて、肯定意味又は否定意味それぞれの文脈信頼度を出力する文脈意味分析手段と、
前記ユーザの発話中に、デバイスによって取得した前記ユーザの生体情報から、肯定感情又は否定感情それぞれの感情信頼度を推定する感情信頼度推定手段と、
最も高い感情信頼度が否定感情である場合、前記肯定意味の文脈信頼度に、「１−否定感情の最も高い感情信頼度」を乗算した信頼度と、前記否定意味の文脈信頼度に、「否定感情の最も高い感情信頼度」を乗算した信頼度とを比較し、
又は、最も高い感情信頼度が肯定感情である場合、前記肯定意味の文脈信頼度に、「肯定感情の最も高い感情信頼度」を乗算した信頼度と、前記否定意味の文脈信頼度に、「１−肯定感情の最も高い感情信頼度」を乗算した信頼度とを比較し、
信頼度が高い方の肯定意味又は否定意味を選択する選択する発話意味補完手段と
してコンピュータを機能させることを特徴とする発話意味分析プログラム。
【請求項２】
ユーザの発話から文脈意味を理解するようにコンピュータを機能させる発話意味分析プログラムにおいて、
前記ユーザの発話中のテキストについて、肯定意味又は否定意味それぞれの文脈信頼度を出力する文脈意味分析手段と、
前記ユーザの発話中に、デバイスによって取得した前記ユーザの生体情報から、肯定感情又は否定感情それぞれの感情信頼度を推定する感情信頼度推定手段と、
前記肯定意味の文脈信頼度に、「肯定感情の感情信頼度」及び「１−否定感情の感情信頼度」の総和を乗算した信頼度と、前記否定意味の文脈信頼度に、「否定感情の感情信頼度」及び「１−肯定感情の感情信頼度」の総和を乗算した信頼度とを比較し、信頼度が高い方の肯定意味又は否定意味を選択する発話意味補完手段と
してコンピュータを機能させることを特徴とする発話意味分析プログラム。
【請求項３】
前記感情信頼度推定手段は、Paul Ekman感情分類モデルに基づくものであり、
前記肯定感情として「幸福」「驚き」に更に区分し、
前記否定感情として「怒り」「嫌悪」「恐れ」「悲しみ」に区分する
ようにコンピュータを機能させることを特徴とする請求項１又は２に記載の発話意味分析プログラム。
【請求項４】
前記ユーザの生体情報から、所定タイミング毎に感情分類を分析する感情分類分析手段と
してコンピュータを更に機能させ、
前記感情信頼度推定手段は、前記感情分類分析手段から、前記ユーザの発話中における時系列の複数の感情分類を入力し、肯定感情又は否定感情それぞれの統計値を、感情信頼度として推定する
ようにコンピュータを機能させることを特徴とする請求項１から３のいずれか１項に記載の発話意味分析プログラム。
【請求項５】
前記感情信頼度推定手段について、前記統計値とは、「平均値(mean)」、「中央値(median)」、「最頻値(mode)」、「最大値(maximum)」又は「機械学習による識別結果」である
ようにコンピュータを機能させることを特徴とする請求項４に記載の発話意味分析プログラム。
【請求項６】
前記デバイスは、ユーザの顔を撮影可能なカメラであり、
前記感情分類分析手段は、前記カメラによって取得された当該ユーザの生体情報としての顔画像から、所定タイミング毎に感情分類を分析する
ようにコンピュータを機能させることを特徴とする請求項４又は５に記載の発話意味分析プログラム。
【請求項７】
前記感情分類分析手段は、前記ユーザの顔画像の特徴量に所定以上の変化が発生した場合、前記所定タイミングに関わらず、感情分類を分析する
ようにコンピュータを機能させることを特徴とする請求項６に記載の発話意味分析プログラム。
【請求項８】
前記感情分類分析手段は、畳み込みニューラルネットワーク(Convolutional Neural Network：CNN／ConvNet)によって、前記ユーザの顔画像から、所定タイミング毎に感情分類を分析するものであり、
前記畳み込みニューラルネットワークは、予め多数の顔画像に感情分類を付与した教師データによって学習パラメータを構築したものである
ようにコンピュータを機能させることを特徴とする請求項６又は７に記載の発話意味分析プログラム。
【請求項９】
前記デバイスは、ユーザの脈拍、体温、血圧若しくは汗度を計測可能なセンサ、又は、ユーザの声から韻律特徴量（声の高低、強弱、リズム・テンポ）を計測可能なマイクであり、
前記感情分類分析手段は、前記センサによって取得された当該ユーザの生体情報から、所定タイミング毎に感情分類を分析する
ようにコンピュータを機能させることを特徴とする請求項６又は７に記載の発話意味分析プログラム。
【請求項１０】
請求項１から９のいずれか１項に記載の発話意味分析プログラムと、
前記発話意味補完手段から出力された肯定感情又は否定感情に応じて、前記ユーザに対して対話的に次のシナリオを進行する対話プログラムと
してコンピュータを機能させることを特徴とする対話プログラム。
【請求項１１】
ユーザの発話から文脈意味を理解する装置において、
前記ユーザの発話中のテキストについて、肯定意味又は否定意味それぞれの文脈信頼度を出力する文脈意味分析手段と、
前記ユーザの発話中に、デバイスによって取得した前記ユーザの生体情報から、肯定感情又は否定感情それぞれの感情信頼度を推定する感情信頼度推定手段と、
最も高い感情信頼度が否定感情である場合、前記肯定意味の文脈信頼度に、「１−否定感情の最も高い感情信頼度」を乗算した信頼度と、前記否定意味の文脈信頼度に、「否定感情の最も高い感情信頼度」を乗算した信頼度とを比較し、
又は、最も高い感情信頼度が肯定感情である場合、前記肯定意味の文脈信頼度に、「肯定感情の最も高い感情信頼度」を乗算した信頼度と、前記否定意味の文脈信頼度に、「１−肯定感情の最も高い感情信頼度」を乗算した信頼度とを比較し、
信頼度が高い方の肯定意味又は否定意味を選択する選択する発話意味補完手段と
を有することを特徴とする装置。
【請求項１２】
ユーザの発話から文脈意味を理解する装置において、
前記ユーザの発話中のテキストについて、肯定意味又は否定意味それぞれの文脈信頼度を出力する文脈意味分析手段と、
前記ユーザの発話中に、デバイスによって取得した前記ユーザの生体情報から、肯定感情又は否定感情それぞれの感情信頼度を推定する感情信頼度推定手段と、
前記肯定意味の文脈信頼度に、「肯定感情の感情信頼度」及び「１−否定感情の感情信頼度」の総和を乗算した信頼度と、前記否定意味の文脈信頼度に、「否定感情の感情信頼度」及び「１−肯定感情の感情信頼度」の総和を乗算した信頼度とを比較し、信頼度が高い方の肯定意味又は否定意味を選択する発話意味補完手段と
を有することを特徴とする装置。
【請求項１３】
ユーザの発話から文脈意味を理解する装置の発話意味分析方法において、
前記装置は、
前記ユーザの発話中のテキストについて、肯定意味又は否定意味それぞれの文脈信頼度を出力する第１のステップと、
前記ユーザの発話中に、デバイスによって取得した前記ユーザの生体情報から、肯定感情又は否定感情それぞれの感情信頼度を推定する第２のステップと、
最も高い感情信頼度が否定感情である場合、前記肯定意味の文脈信頼度に、「１−否定感情の最も高い感情信頼度」を乗算した信頼度と、前記否定意味の文脈信頼度に、「否定感情の最も高い感情信頼度」を乗算した信頼度とを比較し、
又は、最も高い感情信頼度が肯定感情である場合、前記肯定意味の文脈信頼度に、「肯定感情の最も高い感情信頼度」を乗算した信頼度と、前記否定意味の文脈信頼度に、「１−肯定感情の最も高い感情信頼度」を乗算した信頼度とを比較し、
信頼度が高い方の肯定意味又は否定意味を選択する選択する第３のステップと
を実行することを特徴とする装置の発話意味分析方法。
【請求項１４】
ユーザの発話から文脈意味を理解する装置の発話意味分析方法において、
前記装置は、
前記ユーザの発話中のテキストについて、肯定意味又は否定意味それぞれの文脈信頼度を出力する第１のステップと、
前記ユーザの発話中に、デバイスによって取得した前記ユーザの生体情報から、肯定感情又は否定感情それぞれの感情信頼度を推定する第２のステップと、
前記肯定意味の文脈信頼度に、「肯定感情の感情信頼度」及び「１−否定感情の感情信頼度」の総和を乗算した信頼度と、前記否定意味の文脈信頼度に、「否定感情の感情信頼度」及び「１−肯定感情の感情信頼度」の総和を乗算した信頼度とを比較し、信頼度が高い方の肯定意味又は否定意味を選択する第３のステップと
を実行することを特徴とする装置の発話意味分析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの発話によるテキストベースの文脈意味を理解する技術に関する。特に、対話シナリオを用いてユーザと対話する対話システムに適用する技術に関する。
【背景技術】
【０００２】
人間に対して自然な対話を実現した対話システムが、特にスマートフォンやタブレット端末で一般的に普及しつつある。その中でも、対話シナリオに従って、ユーザとの間で対話を進める技術も多い。例えば、「Siri（登録商標）」や「しゃべってコンシェル（登録商標）」のような対話システムによれば、ユーザの発話音声をテキストベースに変換し、その文脈構成から発話意味を推定する。そして、その発話意味に対応する対話シナリオに基づいて、ユーザに応答する。
【０００３】
また、発話されたテキストからユーザの感情を推定し、その感情に応じた対話シナリオでユーザに応答する技術もある（例えば特許文献１参照）。この技術によれば、感情を「ポジティブ／ネガティブ／ニュートラル」に分類する。具体的には、感情語と感情分類とを対応付けた感情語辞書を用いて、発話されたテキストの中から感情語を抽出し、その感情語に対応する感情分類に基づいて対話シナリオを進行させる。これによって、ユーザは、対話してステムが自分に共感していると感じ、信頼感を持って対話を進行することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１７８０６３号公報
【特許文献２】特開２０１４−２１９９３７号公報
【特許文献３】特許４７２２５７３号公報
【非特許文献】
【０００５】
【非特許文献１】「Caffeで画像解析を始めるための基礎知識とインストール、基本的な使い方」、[online]、［平成２８年２月２２日検索］、インターネット＜URL:http://www.atmarkit.co.jp/ait/articles/1511/09/news008.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
人間同士の現実的な対話の場合、日本語の特性上、言葉そのもの（テキストベースの文脈に基づく意味理解）から、ユーザの本来の意図を理解することが困難な場合も多い。例えば以下のような述語（文節）の場合、ユーザの意図は、Yesなのか？Noなのか？を判断することも難しい。
「結構です」、「いいです」、「大丈夫です」
「〜できないわけではない」、「〜できるわけではない」
【０００７】
例えばユーザが「バーなんて結構ですね」と発話した場合、「結構です」をYesと判断すべきと考えられる。
一方で、例えばユーザが「残業があるので、呑み会なんて結構です」と発話した場合、「結構です」をYesと判断してしまうと、対話自体が完全に崩れてしまうこととなる。
このように、ユーザに対する音声対話システムの中で、特に肯定意味／否定意味の理解は、対話シナリオの進行に大きく影響する。
【０００８】
これに対し、本願の発明者らは、これらの文脈意味を理解する上で、ユーザの生体情報（例えば顔表情や、脈拍、体温、血圧、汗度、声の韻律特徴量）を考慮することが有効ではないか？と考えた。即ち、人間同士の現実的な対話の中では、文脈に基づく意味理解以上に、ユーザの顔表情や雰囲気が優先されて、ユーザの気持ちが相手に伝わっているのではないか？と考えた。
【０００９】
そこで、本発明によれば、ユーザの発話から文脈意味を理解する際に、ユーザの感情分類によって文脈意味の理解精度を高めることができる発話意味分析プログラム、装置及び方法を提供することを目的とする。特に、ユーザに対する対話システムについて、肯定意味／否定意味の理解の誤りによって、対話シナリオの進行が崩れないようにすることができる。
【課題を解決するための手段】
【００１０】
本発明によれば、ユーザの発話から文脈意味を理解するようにコンピュータを機能させる発話意味分析プログラムにおいて、
ユーザの発話中のテキストについて、肯定意味又は否定意味それぞれの文脈信頼度を出力する文脈意味分析手段と、
ユーザの発話中に、デバイスによって取得したユーザの生体情報から、肯定感情又は否定感情それぞれの感情信頼度を推定する感情信頼度推定手段と、
最も高い感情信頼度が否定感情である場合、肯定意味の文脈信頼度に、「１−否定感情の最も高い感情信頼度」を乗算した信頼度と、否定意味の文脈信頼度に、「否定感情の最も高い感情信頼度」を乗算した信頼度とを比較し、
又は、最も高い感情信頼度が肯定感情である場合、肯定意味の文脈信頼度に、「肯定感情の最も高い感情信頼度」を乗算した信頼度と、否定意味の文脈信頼度に、「１−肯定感情の最も高い感情信頼度」を乗算した信頼度とを比較し、
信頼度が高い方の肯定意味又は否定意味を選択する選択する発話意味補完手段と
してコンピュータを機能させることを特徴とする。
又は、本発明によれば、ユーザの発話から文脈意味を理解するようにコンピュータを機能させる発話意味分析プログラムにおいて、
ユーザの発話中のテキストについて、肯定意味又は否定意味それぞれの文脈信頼度を出力する文脈意味分析手段と、
ユーザの発話中に、デバイスによって取得したユーザの生体情報から、肯定感情又は否定感情それぞれの感情信頼度を推定する感情信頼度推定手段と、
肯定意味の文脈信頼度に、「肯定感情の感情信頼度」及び「１−否定感情の感情信頼度」の総和を乗算した信頼度と、否定意味の文脈信頼度に、「否定感情の感情信頼度」及び「１−肯定感情の感情信頼度」の総和を乗算した信頼度とを比較し、信頼度が高い方の肯定意味又は否定意味を選択する発話意味補完手段と
してコンピュータを機能させることを特徴とする。
【００１３】
本発明の発話意味分析プログラムにおける他の実施形態によれば、
感情信頼度推定手段は、Paul Ekman感情分類モデルに基づくものであり、
肯定感情として「幸福」「驚き」に更に区分し、
否定感情として「怒り」「嫌悪」「恐れ」「悲しみ」に区分する
ようにコンピュータを機能させることも好ましい。
【００１５】
本発明の発話意味分析プログラムにおける他の実施形態によれば、
発話意味補完手段について、
肯定意味の文脈信頼度に、「肯定感情の感情信頼度」及び「１−否定感情の感情信頼度」の総和を乗算し、
否定意味の文脈信頼度に、「否定感情の感情信頼度」及び「１−肯定感情の感情信頼度」の総和を乗算する
ようにコンピュータを機能させることも好ましい。
【００１６】
本発明の発話意味分析プログラムにおける他の実施形態によれば、
ユーザの生体情報から、所定タイミング毎に感情分類を分析する感情分類分析手段と
してコンピュータを更に機能させ、
感情信頼度推定手段は、感情分類分析手段から、ユーザの発話中における時系列の複数の感情分類を入力し、肯定感情又は否定感情それぞれの統計値を、感情信頼度として推定する
ようにコンピュータを機能させることも好ましい。
【００１７】
本発明の発話意味分析プログラムにおける他の実施形態によれば、
感情信頼度推定手段について、統計値とは、「平均値(mean)」、「中央値(median)」、「最頻値(mode)」、「最大値(maximum)」又は「機械学習による識別結果」である
ようにコンピュータを機能させることも好ましい。
【００１８】
本発明の発話意味分析プログラムにおける他の実施形態によれば、
デバイスは、ユーザの顔を撮影可能なカメラであり、
感情分類分析手段は、カメラによって取得された当該ユーザの生体情報としての顔画像から、所定タイミング毎に感情分類を分析する
ようにコンピュータを機能させることも好ましい。
【００１９】
本発明の発話意味分析プログラムにおける他の実施形態によれば、
感情分類分析手段は、ユーザの顔画像の特徴量に所定以上の変化が発生した場合、所定タイミングに関わらず、感情分類を分析する
ようにコンピュータを機能させることも好ましい。
【００２０】
本発明の発話意味分析プログラムにおける他の実施形態によれば、
感情分類分析手段は、畳み込みニューラルネットワーク(Convolutional Neural Network：CNN／ConvNet)によって、ユーザの顔画像から、所定タイミング毎に感情分類を分析するものであり、
畳み込みニューラルネットワークは、予め多数の顔画像に感情分類を付与した教師データによって学習パラメータを構築したものである
ようにコンピュータを機能させることもこのましい。
【００２１】
本発明の発話意味分析プログラムにおける他の実施形態によれば、
デバイスは、ユーザの脈拍、体温、血圧若しくは汗度を計測可能なセンサ、又は、ユーザの声から韻律特徴量（声の高低、強弱、リズム・テンポ）を計測可能なマイクであり、
感情分類分析手段は、センサによって取得された当該ユーザの生体情報から、所定タイミング毎に感情分類を分析する
ようにコンピュータを機能させることも好ましい。
【００２２】
本発明によれば、前述した発話意味分析プログラムと、
発話意味補完手段から出力された肯定感情又は否定感情に応じて、ユーザに対して対話的に次のシナリオを進行する対話プログラムと
してコンピュータを機能させることを特徴とする。
【００２３】
本発明によれば、ユーザの発話から文脈意味を理解する装置において、
ユーザの発話中のテキストについて、肯定意味又は否定意味それぞれの文脈信頼度を出力する文脈意味分析手段と、
ユーザの発話中に、デバイスによって取得したユーザの生体情報から、肯定感情又は否定感情それぞれの感情信頼度を推定する感情信頼度推定手段と、
最も高い感情信頼度が否定感情である場合、肯定意味の文脈信頼度に、「１−否定感情の最も高い感情信頼度」を乗算した信頼度と、否定意味の文脈信頼度に、「否定感情の最も高い感情信頼度」を乗算した信頼度とを比較し、
又は、最も高い感情信頼度が肯定感情である場合、肯定意味の文脈信頼度に、「肯定感情の最も高い感情信頼度」を乗算した信頼度と、否定意味の文脈信頼度に、「１−肯定感情の最も高い感情信頼度」を乗算した信頼度とを比較し、
信頼度が高い方の肯定意味又は否定意味を選択する選択する発話意味補完手段と
を有することを特徴とする。
又は、本発明によれば、ユーザの発話から文脈意味を理解する装置において、
ユーザの発話中のテキストについて、肯定意味又は否定意味それぞれの文脈信頼度を出力する文脈意味分析手段と、
ユーザの発話中に、デバイスによって取得したユーザの生体情報から、肯定感情又は否定感情それぞれの感情信頼度を推定する感情信頼度推定手段と、
肯定意味の文脈信頼度に、「肯定感情の感情信頼度」及び「１−否定感情の感情信頼度」の総和を乗算した信頼度と、否定意味の文脈信頼度に、「否定感情の感情信頼度」及び「１−肯定感情の感情信頼度」の総和を乗算した信頼度とを比較し、信頼度が高い方の肯定意味又は否定意味を選択する発話意味補完手段と
を有することを特徴とする。
【００２４】
本発明によれば、ユーザの発話から文脈意味を理解する装置の発話意味分析方法において、
装置は、
ユーザの発話中のテキストについて、肯定意味又は否定意味それぞれの文脈信頼度を出力する第１のステップと、
ユーザの発話中に、デバイスによって取得したユーザの生体情報から、肯定感情又は否定感情それぞれの感情信頼度を推定する第２のステップと、
最も高い感情信頼度が否定感情である場合、肯定意味の文脈信頼度に、「１−否定感情の最も高い感情信頼度」を乗算した信頼度と、否定意味の文脈信頼度に、「否定感情の最も高い感情信頼度」を乗算した信頼度とを比較し、
又は、最も高い感情信頼度が肯定感情である場合、肯定意味の文脈信頼度に、「肯定感情の最も高い感情信頼度」を乗算した信頼度と、否定意味の文脈信頼度に、「１−肯定感情の最も高い感情信頼度」を乗算した信頼度とを比較し、
信頼度が高い方の肯定意味又は否定意味を選択する選択する第３のステップと
を実行することを特徴とする。
又は、本発明によれば、ユーザの発話から文脈意味を理解する装置の発話意味分析方法において、
装置は、
ユーザの発話中のテキストについて、肯定意味又は否定意味それぞれの文脈信頼度を出力する第１のステップと、
ユーザの発話中に、デバイスによって取得したユーザの生体情報から、肯定感情又は否定感情それぞれの感情信頼度を推定する第２のステップと、
肯定意味の文脈信頼度に、「肯定感情の感情信頼度」及び「１−否定感情の感情信頼度」の総和を乗算した信頼度と、否定意味の文脈信頼度に、「否定感情の感情信頼度」及び「１−肯定感情の感情信頼度」の総和を乗算した信頼度とを比較し、信頼度が高い方の肯定意味又は否定意味を選択する第３のステップと
を実行することを特徴とする。
【発明の効果】
【００２５】
本発明の発話意味分析プログラム、装置及び方法によれば、ユーザの発話から文脈意味を理解する際に、ユーザの感情分類によって文脈意味の理解精度を高めることができる発話意味分析プログラム、装置及び方法を提供することを目的とする。特に、ユーザに対する対話システムについて、肯定意味／否定意味の理解の誤りによって、対話シナリオの進行が崩れないようにすることができる。
【図面の簡単な説明】
【００２６】
【図１】本発明における発話意味分析プログラムの構成図である。
【図２】基本的な肯定感情／否定感情を用いて意味を分析する説明図である。
【図３】３つ以上の感情を用いて意味を分析する説明図である。
【図４】カメラによって撮影された顔表情の感情から意味を分析する説明図である。
【図５】畳み込みニューラルネットワークを表す説明図である。
【図６】生体センサによって取得された感情から意味を分析する説明図である。
【発明を実施するための形態】
【００２７】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２８】
図１は、本発明における発話意味分析プログラムの構成図である。
【００２９】
本発明の発話意味分析プログラムは、端末に搭載されたコンピュータで実行されることによって、ユーザの発話から文脈意味を理解するように機能する。端末としては、例えばスマートフォンやタブレット端末のようなものであって、対話システムに適用される。
【００３０】
図１によれば、端末１は、ユーザインタフェースの入力デバイス及び出力デバイスとして、マイク、スピーカ、カメラ及び生体センタを搭載している。
カメラは、ユーザの顔表情を撮影可能なものであり、その顔画像を、生体情報として取得する。
生体センサは、脈拍、体温、血圧若しくは汗度を計測可能なセンサであって、ユーザの生体情報を取得する。
マイクは、ユーザの発話音声を取得する。また、マイクは、ユーザの声における韻律特徴量（声の高低、強弱、リズム・テンポ）を、生体情報として取得するものであってもよい。
スピーカは、対話プログラムからの対話文を、音声によってユーザへ発声する。
【００３１】
本発明の発話意味分析プログラムは、ユーザ操作の端末のディスプレイに「キャラクタ・エージェント」を表示し、ユーザとエージェントとが音声による対話を進める、音声対話システムに適用することが好ましい。ユーザは、端末のディスプレイに表示されたキャラクタに向かって対話するために、ユーザの生体情報を取得しやすい。特に、インカメラによってユーザの顔表情を取得しやすく、マイクによってユーザの音声も取得しやすい。
【００３２】
端末１は、ユーザインタフェースに合わせて、入力音声変換部１０１と、出力信号変換部１０２と、生体情報入力処理部１０３とを有する。
【００３３】
入力音声変換部１０１は、入力デバイスのマイクによって取得された音声信号を入力し、その音声信号をテキストに変換し、発話意味分析プログラムへ出力する。入力音声変換部１０１は、発話の開始から終了までを検知し、その発話区間における音声信号からテキストを抽出する。
出力音声変換部１０２は、対話プログラムから、ユーザに対する対話文を入力し、その対話文を音声信号に変換し、その音声信号を出力デバイスのスピーカへ出力する。
生体情報入力処理部１０３は、カメラ、生体センサ又はマイクから、ユーザの生体情報を入力し、プログラムによって処理可能なデータに変換し、そのデータを発話意味分析プログラムへ出力する。
【００３４】
図１における本発明の発話意味分析プログラムは、文脈意味分析部１１と、感情信頼度推定部１２と、発話意味補完部１３と、感情分類分析部１４として、コンピュータを機能させるものである。発話意味分析プログラムは、端末に予めインストールされたものであってもよいし、サーバにインストールされており、端末からネットワークを介して利用されるものであってもよい。
また、端末１は、対話プログラム１５を更に実装し、ユーザに対して対話システムとして機能する。
勿論、発話意味分析プログラムの各機能構成部は、端末及びサーバに分散的に構築されたものであってもよい。本発明によれば、各機能構成部が実行される対象装置を、特定するものではない。
尚、これら各機能構成部の処理の流れは、装置の発話意味分析方法としても理解できる。
【００３５】
図２は、基本的な肯定感情／否定感情を用いて意味を分析する説明図である。
【００３６】
［文脈意味分析部１１］
文脈意味分析部１１は、ユーザの発話中のテキストについて、所定の意味分類別の文脈信頼度を出力する。文脈意味分析部１１は、テキストベースの文脈の中で、文脈信頼度が高い意味分類を選択する既存技術である。
【００３７】
自然言語処理によれば、ユーザによって発話や記述されたテキストベースの自然言語を、コンピュータによってその意味を理解する技術である。この技術は、一般に、形態素解析と、構文解析と、文脈意味解析とによって実現される。
文脈意味解析によれば、語義の曖昧性を解消するという目的がある。従来技術として前述したように、「結構です」「いいです」「大丈夫です」の文節は、ユーザの意図が、Yesなのか？Noなのか？を判断することも難しい。現在の自然言語処理では、語義の曖昧性解消には、単語の共起関係を使って解消する技術が一般的である。
【００３８】
「意味分類」として、最も簡単には、少なくとも肯定意味又は否定意味に区分するものである。肯定意味／否定意味の理解精度を高めることは、対話シナリオの進行では最も重要なことである。
図２によれば、ユーザが発話した「結構です」に対して、文脈意味分析部１１は、その文脈から、以下のような文脈信頼度を分析している。
「〜結構です」：肯定意味Yes(52%)、否定意味No(48%)
【００３９】
ユーザの発話期間のテキストについて、意味分類別それぞれの文脈信頼度は、発話意味補完部１３へ出力される。
【００４０】
［感情信頼度推定部１２］
感情信頼度推定部１２は、ユーザの発話中に、デバイスによって取得したユーザの生体情報から、所定の感情分類別の感情信頼度を推定する。
生体情報とは、ユーザの発話期間に計測されたものである。本発明によれば、生体情報として、ユーザの顔画像や、心拍等の生体計測値、発声の韻律特徴量であってもよい。
但し、本発明の本質は、いずれかの生体情報に特定されるものではなく、ユーザの生体情報から、感情分類別の感情信頼度が得られればよい。
【００４１】
感情信頼度推定部１２は、後述する感情分類分析部１４から、ユーザの発話中における時系列の複数の感情分類を入力するものであってもよい。このとき、感情分類別（肯定感情又は否定感情）それぞれの統計値を、感情信頼度として推定する。
【００４２】
図２によれば、感情信頼度推定部１２によれば、肯定感情又は否定感情それぞれの感情信頼度は、以下のように推定されている。
肯定感情Yes(35%)、否定感情No(80%)
【００４３】
ユーザの発話期間における感情分類別それぞれの感情信頼度は、発話意味補完部１３へ出力される。
【００４４】
［発話意味補完部１３］
発話意味補完部１３は、意味分類別の文脈信頼度に、当該意味分類に応じた感情分類別の感情信頼度を重み付け、当該信頼度が最も高い意味分類を選択する。
【００４５】
図２によれば、意味分類は、肯定意味／否定意味であり、感情分類は、肯定感情／否定感情である。
この場合、具体的に、発話意味補完部１３は、肯定意味の文脈信頼度に肯定感情の感情信頼度を重み付けた信頼度と、否定意味の文脈信頼度に否定感情の感情信頼度を重み付けた信頼度とを比較し、信頼度が高い方の肯定意味又は否定意味を選択する。
例えば以下のように、２つの実施形態がある。
＜感情信頼度が最も高い感情分類に基づいて発話意味を補完する第１の実施形態＞
＜感情分類全体の感情信頼度に基づいて発話意味を補完する第２の実施形態＞
【００４６】
＜感情信頼度が最も高い感情分類に基づいて発話意味を補完する第１の実施形態＞
（ケース１）感情信頼度が高い感情分類が、否定感情である場合、
肯定意味の文脈信頼度に、「１−否定感情の感情信頼度」を乗算し、
否定意味の文脈信頼度に、「否定感情の感情信頼度」を乗算する。
（ケース２）感情信頼度が高い感情分類が、肯定感情である場合、
肯定意味の文脈信頼度に、「肯定感情の感情信頼度」を乗算し、
否定意味の文脈信頼度に、「１−肯定感情の感情信頼度」を乗算する。
【００４７】
図２によれば、否定感情の感情信頼度(80%)の方が、肯定感情の感情信頼度(35%)よりも高い。この場合、ケース１を適用し、以下のように算出する。
肯定意味の文脈信頼度Yes(52%)×（１−否定感情の感情信頼度(80%)）
＝肯定意味の信頼度(10.4%)
否定意味の文脈信頼度Yes(48%)×否定感情の感情信頼度(80%)
＝否定意味の信頼度(38.4%)
肯定意味の信頼度(10.4%)＜否定意味の信頼度(38.4%)
この場合、「〜結構です」は、否定意味であると補完される。
【００４８】
＜感情分類全体の感情信頼度に基づいて発話意味を補完する第２の実施形態＞
肯定意味の文脈信頼度に、「肯定感情の感情信頼度」及び「１−否定感情の感情信頼度」の総和を乗算する。
また、否定意味の文脈信頼度に、「否定感情の感情信頼度」及び「１−肯定感情の感情信頼度」の総和を乗算する。
【００４９】
図２によれば、以下のように算出する。
肯定意味の文脈信頼度Yes(52%)×
｛肯定感情の感情信頼度(35%)＋（１−否定感情の感情信頼度(80%)｝
＝肯定意味の信頼度(28.6%)
否定意味の文脈信頼度Yes(48%)×
｛否定感情の感情信頼度(80%)＋（１−肯定感情の感情信頼度(35%)｝
＝肯定意味の信頼度(69.6%)
肯定意味の信頼度(28.6%)＜否定意味の信頼度(69.6%)
この場合、「〜結構です」は、否定意味であると補完される。
【００５０】
図３は、３つ以上の感情を用いて意味を分析する説明図である。
【００５１】
図３によれば、「感情分類」として、例えばPaul Ekman感情分類モデルに基づくものであってもよい。
具体的な感情分類として、例えば「幸福(Happy)」「驚き(Surprise)」「怒り(Angry)」「嫌悪(Disgust)」「恐れ(Fear)」「悲しみ(Sad)」に区分する。勿論、「平常(Neutral)」を含むものであってもよい。更に「面白さ」「軽蔑」「満足」「困惑」「興奮」「罪悪感」「功績に基づく自負心」「安心」「納得感」「恥」のような感情や、これら感情を複合したもの（例えば、怒り＋嫌悪、幸福+満足など）を含むものであってもよい。
【００５２】
また、肯定感情及び否定感情を、Paul Ekman感情分類モデルに対応させて、例えば以下のように区分することもできる。
肯定意味：「幸福(Happy)」「驚き(Surprise)」
否定意味：「怒り(Angry)」「嫌悪(Disgust)」「恐れ(Fear)」「悲しみ(Sad)」
【００５３】
図３によれば、感情分類別の感情信頼度（感情信頼度ベクトル(Confidence)）は、以下のように推定されている。
［感情分類］          ［感情信頼度］
（肯定感情）幸福(Happy)    ：    10%
（肯定感情）驚き(Surprise) ：     5%
（否定感情）怒り(Angry)    ：    70%
（否定感情）嫌悪(Disgust)  ：    30%
（否定感情）恐れ(Fear)     ：    40%
（否定感情）悲しみ(Sad)    ：    30%
平常(Neutral)    ：     5%
尚、各分類別の感情信頼度は、教師画像データとの類似度から直接算出した値であるが、確率分布モデルによって総和が１になるように調整してもよい。
【００５４】
＜感情信頼度が最も高い感情分類に基づいて発話意味を補完する第１の実施形態＞
（ケース１）感情信頼度が最も高い感情分類が、否定感情である場合、
肯定意味の文脈信頼度に、「１−否定感情の最も高い感情信頼度」を乗算し、
否定意味の文脈信頼度に、「否定感情の最も高い感情信頼度」を乗算する。
（ケース２）感情信頼度が最も高い感情分類が、肯定感情である場合、
肯定意味の文脈信頼度に、「肯定感情の最も高い感情信頼度」を乗算し、
否定意味の文脈信頼度に、「１−肯定感情の最も高い感情信頼度」を乗算する。
【００５５】
図３によれば、感情分類「怒り」の感情信頼度(70%)が最も高い。この場合、感情分類は否定感情であるので、ケース１を適用し、以下のように算出する。
肯定意味の文脈信頼度Yes(52%)×（１−否定感情「怒り」の感情信頼度(70%)）
＝肯定意味の信頼度(15.6%)
否定意味の文脈信頼度Yes(48%)×否定感情「怒り」の感情信頼度(70%)
＝否定意味の信頼度(33.6%)
肯定意味の信頼度(15.6%)＜否定意味の信頼度(33.6%)
この場合、「〜結構です」は、否定意味であると補完される。
【００５６】
＜感情分類全体の感情信頼度に基づいて発話意味を補完する第２の実施形態＞
肯定意味の文脈信頼度に、「肯定感情の感情信頼度」及び「１−否定感情の感情信頼度」の総和を乗算する。
否定意味の文脈信頼度に、「否定感情の感情信頼度」及び「１−肯定感情の感情信頼度」の総和を乗算する。
【００５７】
図３によれば、以下のように算出される。
肯定意味の文脈信頼度Yes(52%)×
｛  肯定感情「幸福」の感情信頼度(10%)
＋肯定感情「驚き」の感情信頼度(5%)
＋（１−否定感情「怒り」の感情信頼度(70%)）
＋（１−否定感情「嫌悪」の感情信頼度(30%)）
＋（１−否定感情「恐れ」の感情信頼度(40%)）
＋（１−否定感情「悲しみ」の感情信頼度(30%)）}
＝肯定意味の信頼度(127.4%)
否定意味の文脈信頼度Yes(48%)×
｛  否定感情「怒り」の感情信頼度(70%)）
＋否定感情「嫌悪」の感情信頼度(30%)
＋否定感情「恐れ」の感情信頼度(40%)
＋否定感情「悲しみ」の感情信頼度(30%)
＋（１−肯定感情「幸福」の感情信頼度(10%)）
＋（１−肯定感情「驚き」の感情信頼度(5%)）
＝否定意味の信頼度(170.4%)
肯定意味の信頼度(127.4%)＜否定意味の信頼度(170.4%)
この場合、「〜結構です」は、否定意味であると補完される。
【００５８】
そして、発話意味補完部１３は、信頼度が高い意味分類を、対話プログラム１５へ出力する。これによって、対話プログラム１５は、高い精度の肯定意味／否定意味を、対話シナリオの進行に利用することができる。
【００５９】
［感情分類分析部１４］
感情分類分析部１４は、ユーザの生体情報から、所定タイミング毎に感情分類を分析する。感情分類分析部１４は、本発明の本質的部分（文脈意味分析部１１、感情信頼度推定部１２、発話意味補完部１３）ではないが、ユーザの生体情報から感情信頼度推定部１２によって推定するために必要となるものである。
【００６０】
感情分類分析部１４は、大きく以下の２種類の生体情報から、所定タイミング毎に、感情信頼度推定部１２で処理可能な感情分類を分析する。
＜カメラによって撮影された顔画像からの感情分類の分析＞
＜生体センサによって取得された生体計測値からの感情分類の分析＞
【００６１】
＜カメラによって撮影された顔画像からの感情分類の分析＞
図４は、カメラによって撮影された顔表情の感情から意味を分析する説明図である。
【００６２】
図４によれば、入力音声変換部１０１は、ユーザから発話された「残業があるので、呑み会なんて結構です」をテキストに変換し、そのテキストは、文脈意味分析部１１に入力される。
一方で、その発話期間に、カメラによってユーザの顔表情が撮影され、その画像フレームは、生体情報入力処理部１０３へ入力される。生体情報入力処理部１０３は、所定タイミング毎（例えば１００ｍｓ毎）に画像フレームを抽出し、それら時系列の画像フレームを、感情分類分析部１４へ入力する。
但し、生体情報入力処理部１０３は、所定タイミング毎に画像フレームを抽出するが、その所定タイミングでなくても、画像フレームの特徴量が所定閾値以上の変化を生じた際には、その画像フレームを出力するものであってもよい。そのとき、ユーザの顔表情にも変化が生じたと判断することができる。
【００６３】
感情分類分析部１４は、畳み込みニューラルネットワーク(Convolutional Neural Network：CNN／ConvNet、以下「ＣＮＮ」と称す)によって、ユーザの顔画像から、所定タイミング毎に感情分類を分析する。ＣＮＮのエンジンとしては、具体的にはcaffe deep learning frameworkを用いることができる（例えば非特許文献１参照）。感情分類分析部１４は、撮影されたユーザの顔表情の画像フレーム毎に、ＣＮＮによって推定した感情分類を出力する。
【００６４】
図５は、畳み込みニューラルネットワークを表す説明図である。
【００６５】
ＣＮＮは、順伝播型人工ニューラルネットワークの一種であって、脳の視覚野の構造における知見に基づくものである。基本的に、画像の局所的な特徴抽出を担う畳み込み層と、局所毎に特徴をまとめあげるプーリング層（サブサンプリング層）とを繰り返した構造となっている。
ＣＮＮの各層によれば、複数のニューロン(Neuron)を所持し、個々のニューロンが視覚野と対応するような形で配置されている。それぞれのニューロンの基本的な働きは、信号の入力と出力とからなる。但し、各層のニューロン間は、相互に信号を伝達する際に、入力された信号をそのまま出力するのではなく、それぞれの入力に対して結合荷重を設定し、その重み付きの入力の総和が、各ニューロン設定されている閾値を超えた時に次の層のニューロンに信号を出力する。学習データからこれらニューロン間の結合荷重を算出しておく。これによって、リアルタイムのデータを入力することによって、出力値の推定が可能となる。
【００６６】
感情分類分析部１４のＣＮＮは、予め多数の顔表情が写る画像に、感情分類（ラベル）を付与した「教師データ」によって学習パラメータを構築したものである。教師データは、具体的には、例えば３万枚程度の画像を用意している。教師データによって、感情分類別の画像を学習し、ＣＮＮ内の学習モデル（各ニューロンの結合荷重や、ネットワーク構成のパラメータ等）を作成する。
【００６７】
他の実施形態として、学習用の教師データと、顔画像に対する生体情報入力部１０３とは、画像フレームから人の顔領域を追跡し、その顔領域を分離（トリミング）したものであってもよい。利用環境の照度などの多様性に対して認識精度を高めるため、画像フレームに対して、解像度のResizeや明るさの算術平均による正規化を実行する。例えば、その正規化された顔画像が、一定間隔／顔特徴量の変化が閾値を超えた時にのみ、生体情報入力部１０３から画像フレームを出力し、その画像フレームに対して顔表情を分析することも好ましい。
【００６８】
また、他の実施形態として、感情分類分析部１４のＣＮＮは、性別や、年齢、国籍など、そのユーザの特徴量に合わせて複数の学習パラメータを構築しておくことも好ましい。ユーザのプロファイルに応じた顔表情から、感情分類を判断することができる。
【００６９】
更に、他の実施形態として、顔画像から、特定の顔表情のみ（例えば「笑顔」）のみに着目して自動的に検出する技術もある。この技術は、カメラの自動シャッター機能として周知なものである。例えば顔画像解析に基づく「スマイルスキャン（登録商標）」（オムロン社）がある。
【００７０】
＜生体センサによって取得された生体計測値からの感情分類の分析＞
図６は、生体センサによって取得された感情から意味を分析する説明図である。
【００７１】
図６によれば、図４と同様に、ユーザから「残業があるので、呑み会なんて結構です」と発話されている。
一方で、その発話期間に、生体センサによって取得された生体計測値が、生体情報入力処理部１０３へ入力される。生体情報入力処理部１０３は、所定タイミング毎（例えば１００ｍｓ毎）に生体情報を、感情分類分析部１４へ入力する。
【００７２】
生体センサによって取得される生体計測値としては、脈拍、体温、血圧若しくは汗度、
声における韻律特徴量（声の高低、強弱、リズム・テンポ）がある。このような生体計測値の変動から、ユーザの感情分類を推定することができる。
既存技術として、生体情報（脈拍、脳波、瞳孔、視線）から、ユーザの感情を判断する技術がある（例えば特許文献２参照）。例えば簡単に、脈拍が所定以上高ければ、否定感情が高いと判定することもできる。
また、皮膚電位センサを用いて、頭皮耳介及び耳介周囲の頭皮電位の変化から、目の動きと顔の表情を抽出する顔面情報検出装置の技術もある（例えば特許文献３参照）。この技術によれば、喜怒哀楽の表情及び目の動きを検出することができる。
更に、例えば顔表情「笑い」を測定するシステムとして、喉（音）で測定する「爆笑計」（大阪電気通信大学）や「アッハ・メーター（登録商標）」（プロジェクトaH）、喉（音）と表情筋電と横隔膜筋電との３つを同時に計測する「横隔膜式笑い測定システム」（関西大学、プロジェクトaH）もある。
【００７３】
前述した図４及び図６によれば、感情信頼度推定部１２は、所定タイミング毎に、感情分類分析部１４から感情分類を入力する。感情信頼度推定部１２は、最も簡単には、ユーザの発話期間における感情分類を集計し、その比率を統計値としたものであってもよい。また、感情分類別の「平均値(mean)」であってもよい。更に、他の実施形態としては、「中央値(median)」、「最頻値(mode)」、「最大値(maximum)」又は「機械学習による識別結果」であってもよい。これによって、感情信頼度推定部１２は、感情分類別に、統計値としての感情信頼度をベクトルとして、発話意味補完部１３へ出力することができる。
【００７４】
［対話プログラム１５］
対話プログラム１５は、ユーザへ応答すべき文を対応付けた複数の対話シナリオを蓄積し、ユーザの回答に応じて次の対話シナリオを選択する。「対話シナリオ」とは、質問及び回答からなる対話ノードをツリー状に構成したものである。
本発明によれば、発話意味補完部１４から出力された、信頼度が最も高い感情分類に応じて、ユーザに対して対話的に次のシナリオを進行することができる。
【００７５】
以上、詳細に説明したように、本発明の発話意味分析プログラム、装置及び方法によれば、ユーザの発話から文脈意味を理解する際に、ユーザの感情分類によって文脈意味の理解精度を高めることができる発話意味分析プログラム、装置及び方法を提供することを目的とする。特に、ユーザに対する対話システムについて、肯定意味／否定意味の理解の誤りによって、対話シナリオの進行が崩れないようにすることができる。
【００７６】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００７７】
１  端末、装置
１０１  入力音声変換部
１０２  出力信号変換部
１０３  生体情報入力処理部
１１  文脈意味分析部
１２  感情信頼度推定部
１３  発話意味補完部
１４  感情分類分析部
１５  対話プログラム
【図１】
0006617053.tif 000002
【図２】
0006617053.tif 000003
【図３】
0006617053.tif 000004
【図４】
0006617053.tif 000005
【図５】
0006617053.tif 000006
【図６】
0006617053.tif 000007