(57)【要約】【課題】発話者の発話行為に対して影響を与えうる要因による影響を補正し、発話者の感情の識別や評価を、より正確に行うことが可能な感情識別装置、感情識別方法およびプログラムを提供する。【解決手段】本発明に係る感情識別装置に、音声特徴量またはその変化量に基づいて、所定の感情カテゴリの感情適合度を算出する感情適合度算出部と、発話者に対してストレスを与えうる要因を表す特徴量、または、その変化量を用いて、ストレスを与えうる要因が発話者の発声に与える影響度を、所定の基準に基づいて数値化する影響度算出部と、ストレスを与えうる要因と、ストレスを与えうる要因が所定の感情カテゴリに与える影響の度合いを数値化した補正値と、が互いに関連付けられた補正値データベースが予め記録された記憶部と、算出された影響度と補正値データベースとを用いて、算出された感情適合度を補正する感情適合度補正部と、を設けた。【選択図】図１
2010054568.tif 000002
【特許請求の範囲】
【請求項１】
発話者の音声から得られた音声スペクトル、音声強度、ピッチ周波数または発話速度の少なくとも何れかを含む音声特徴量または当該特徴量の変化量に基づいて、前記発話者の感情が所定の感情カテゴリに適合しているかを表す感情適合度を算出する感情識別装置であって、
前記音声特徴量または前記音声特徴量の変化量に基づいて、前記所定の感情カテゴリの前記感情適合度を算出する感情適合度算出部と、
取得した前記発話者に対してストレスを与えうる要因を表す特徴量、または、当該ストレスを与えうる要因を表す特徴量の変化量を用いて、前記ストレスを与えうる要因が前記発話者の発声に与える影響度を、所定の基準に基づいて数値化する影響度算出部と、
前記ストレスを与えうる要因と、前記ストレスを与えうる要因が前記所定の感情カテゴリに与える影響の度合いを数値化した補正値と、が互いに関連付けられた補正値データベースが予め記録された記憶部と、
算出された前記影響度と前記補正値データベースとを用いて、算出された前記感情適合度を補正する感情適合度補正部と、
を備えることを特徴とする、感情識別装置。
【請求項２】
前記影響度算出部は、前記ストレスを与えうる要因による前記感情適合度への影響度と、前記補正値データベースに記載された前記所定の感情カテゴリにおける補正値との積を、前記感情適合度の補正値とする
ことを特徴とする、請求項１に記載の感情識別装置。
【請求項３】
前記感情適合度補正部は、前記補正値データベースに記載された、前記ストレスを与えうる要因が前記所定の感情カテゴリに与える影響の度合いを数値化した補正値を、取得した前記感情適合度または前記感情適合度の補正値に基づいて修正する補正値データベース修正部を更に備える
ことを特徴とする、請求項１に記載の感情識別装置。
【請求項４】
前記補正値データベース修正部は、前記発話者から直接前記感情適合度の補正値が入力された場合に、前記補正値データベースを修正する
ことを特徴とする、請求項３に記載の感情識別装置。
【請求項５】
前記補正値データベース修正部は、算出された前記感情適合度が属する前記感情カテゴリとは異なる感情カテゴリの前記感情適合度が最大値となる前記感情適合度の補正値が、前記発話者から直接入力された場合に、前記補正値データベースを修正する
ことを特徴とする、請求項３に記載の感情識別装置。
【請求項６】
前記補正値データベース修正部は、前記発話者から直接入力された前記感情適合度の補正値と、前記感情適合度補正部が算出した前記感情適合度の補正値との差分を、前記影響度と前記補正値データベースに記載された前記所定の感情カテゴリにおける補正値との積で比例配分した値を用いて、前記影響の度合いを数値化した補正値を修正する
ことを特徴とする、請求項４に記載の感情識別装置。
【請求項７】
前記補正値データベース修正部は、前記発話者から直接入力された補正値を用いて算出された前記感情適合度と、前記感情適合度補正部により算出された前記感情適合度との差分を用いて、前記影響の度合いを数値化した補正値を修正する
ことを特徴とする、請求項５に記載の感情識別装置。
【請求項８】
前記発話者に対してストレスを与えうる要因は、前記発話者の身体的な特徴に起因する要因、前記発話者のストレス特性、前記発話者が置かれた外部環境に起因する要因および前記発話者の社会的状況に起因する要因の少なくとも何れか一つである
ことを特徴とする、請求項１〜７のいずれかに記載の感情識別装置。
【請求項９】
前記発話者の身体的な特徴に起因する要因は、前記発話者の体温、脈拍、アルコール濃度および人体の電気抵抗の少なくとも何れか一つである
ことを特徴とする、請求項８に記載の感情識別装置。
【請求項１０】
前記発話者が置かれた外部環境に起因する要因は、前記発話者が置かれた外部環境の騒音レベル、照度、温度、湿度、風圧および人体加速度の少なくとも何れか一つである
ことを特徴とする、請求項８に記載の感情識別装置。
【請求項１１】
前記発話者が置かれた社会的状況に起因する要因は、前記発話者が存在する場所に関する位置情報、時刻情報および前記発話者の就業スケジュール情報の少なくとも何れか一つである
ことを特徴とする、請求項８に記載の感情識別装置。
【請求項１２】
発話者の音声から得られた音声スペクトル、音声強度、ピッチ周波数または発話速度の少なくとも何れかを含む音声特徴量または当該特徴量の変化量に基づいて、前記発話者の感情が所定の感情カテゴリに適合しているかを表す感情適合度を算出する感情識別方法にであって、
前記音声特徴量または前記音声特徴量の変化量に基づいて、所定の感情カテゴリの前記感情適合度を算出する感情適合度算出ステップと、
取得した前記発話者に対してストレスを与えうる要因を表す特徴量、または、当該ストレスを与えうる要因を表す特徴量の変化量を用いて、前記ストレスを与えうる要因が前記発話者の発声に与える影響度を、所定の基準に基づいて数値化する影響度算出ステップと、
前記ストレスを与えうる要因と、前記ストレスを与えうる要因が前記所定の感情カテゴリに与える影響の度合いを数値化した補正値と、が互いに関連付けられた補正値データベースと、算出された前記影響度とを用いて、算出された前記感情適合度を補正する感情適合度補正ステップと、
を含むことを特徴とする、感情識別方法。
【請求項１３】
コンピュータを、発話者の音声から得られた音声スペクトル、音声強度、ピッチ周波数または発話速度の少なくとも何れかを含む音声特徴量または当該特徴量の変化量に基づいて、前記発話者の感情が所定の感情カテゴリに適合しているかを表す感情適合度を算出する感情識別装置として機能させるためのプログラムであって、
前記音声特徴量または前記音声特徴量の変化量に基づいて、所定の感情カテゴリの前記感情適合度を算出する感情適合度算出機能と、
取得した前記発話者に対してストレスを与えうる要因を表す特徴量、または、当該ストレスを与えうる要因を表す特徴量の変化量を用いて、前記ストレスを与えうる要因が前記発話者の発声に与える影響度を、所定の基準に基づいて数値化する影響度算出機能と、
前記ストレスを与えうる要因と、前記ストレスを与えうる要因が前記所定の感情カテゴリに与える影響の度合いを数値化した補正値と、が互いに関連付けられた補正値データベースと、算出された前記影響度とを用いて、算出された前記感情適合度を補正する感情適合度補正機能と、
をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、感情識別装置、感情識別方法およびプログラムに関する。
【背景技術】
【０００２】
近年、発話者が発した音声を解析することで、発話者の感情を検出したり識別したりする試みがなされている。例えば、特許文献１には、音声データのスペクトル分析等を行い、音声の強度、音声のテンポ、音声の抑揚といった特徴量またはその変化量に基づいて、感情を判断する技術が開示されている。また、特許文献２には、緊急性を表すパラメータとして、音声のパワーや、音声のピッチや、音声の発声速度を含む複数のパラメータを併用する技術が開示されている。
【０００３】
また、例えば特許文献３に示したように、人体抵抗などのバイオ信号の周期性を利用して音声パターンの修正を行い、感情の影響を軽減し音声認識精度を向上させる技術に対する試みもなされている。
【０００４】
【特許文献１】特開２００２−９１４８２号公報
【特許文献２】特開平５−１１９７９２号公報
【特許文献３】特開平７−１９９９８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述のような感情の識別処理を精度良く行う際には、外部物理環境、発話者に対する各種のストレスといった、様々な要因を総合的に考慮する必要がある。しかしながら、このような要因による影響が除外された音声特徴量を得ることは、困難であるという問題があった。
【０００６】
そこで、本発明は、このような問題に鑑みてなされたもので、その目的は、発話者の発話行為に対して影響を与えうる要因による影響を補正し、発話者の感情の識別や評価を、より正確に行うことが可能な、新規かつ改良された感情識別装置、感情識別方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、発話者の音声から得られた音声スペクトル、音声強度、ピッチ周波数または発話速度の少なくとも何れかを含む音声特徴量または当該特徴量の変化量に基づいて、前記発話者の感情が所定の感情カテゴリに適合しているかを表す感情適合度を算出する感情識別装置であって、前記音声特徴量または前記音声特徴量の変化量に基づいて、前記所定の感情カテゴリの前記感情適合度を算出する感情適合度算出部と、取得した前記発話者に対してストレスを与えうる要因を表す特徴量、または、当該ストレスを与えうる要因を表す特徴量の変化量を用いて、前記ストレスを与えうる要因が前記発話者の発声に与える影響度を、所定の基準に基づいて数値化する影響度算出部と、前記ストレスを与えうる要因と、前記ストレスを与えうる要因が前記所定の感情カテゴリに与える影響の度合いを数値化した補正値と、が互いに関連付けられた補正値データベースが予め記録された記憶部と、算出された前記影響度と前記補正値データベースとを用いて、算出された前記感情適合度を補正する感情適合度補正部と、を備える感情識別装置が提供される。
【０００８】
かかる構成によれば、感情適合度算出部は、音声特徴量または当該特徴量の変化量に基づいて、所定の感情カテゴリの前記感情適合度を算出する。また、影響度算出部は、取得した発話者に対してストレスを与えうる要因を表す特徴量、または、当該ストレスを与えうる要因の特徴量の変化量を用いて、ストレスを与えうる要因が発話者の発声に与える影響度を、所定の基準に基づいて数値化する。また、記憶部は、ストレスを与えうる要因と、前記ストレスを与えうる要因が前記所定の感情カテゴリに与える影響の度合いを数値化した補正値と、が互いに関連付けられた補正値データベースが予め記録されており、感情適合度補正部は、算出された影響度と前記補正値データベースとを用いて、算出された感情適合度を補正する。これにより、本発明に係る感情識別装置は、発話者を取り巻く様々な状況の影響を考慮して環境適合度を補正することができ、発話者の感情をより正確に識別することができる。
【０００９】
前記影響度算出部は、前記ストレスを与えうる要因による前記感情適合度への影響度と、前記補正値データベースに記載された前記所定の感情カテゴリにおける補正値との積を、前記感情適合度の補正値としてもよい。
【００１０】
前記感情適合度補正部は、前記補正値データベースに記載された、前記ストレスを与えうる要因が前記所定の感情カテゴリに与える影響の度合いを数値化した補正値を、取得した前記感情適合度または前記感情適合度の補正値に基づいて修正する補正値データベース修正部を更に備えてもよい。
【００１１】
前記補正値データベース修正部は、前記発話者から直接前記感情適合度の補正値が入力された場合に、前記補正値データベースを修正してもよい。
【００１２】
前記補正値データベース修正部は、算出された前記感情適合度が属する前記感情カテゴリとは異なる感情カテゴリの前記感情適合度が最大値となる前記感情適合度の補正値が、前記発話者から直接入力された場合に、前記補正値データベースを修正してもよい。
【００１３】
前記補正値データベース修正部は、前記発話者から直接入力された前記感情適合度の補正値と、前記感情適合度補正部が算出した前記感情適合度の補正値との差分を、前記影響度と前記補正値データベースに記載された前記所定の感情カテゴリにおける補正値との積で比例配分した値を用いて、前記影響の度合いを数値化した補正値を修正してもよい。
【００１４】
前記補正値データベース修正部は、前記発話者から直接入力された補正値を用いて算出された前記感情適合度と、前記感情適合度補正部により算出された前記感情適合度との差分を用いて、前記影響の度合いを数値化した補正値を修正してもよい。
【００１５】
前記発話者に対してストレスを与えうる要因は、前記発話者の身体的な特徴に起因する要因、前記発話者のストレス特性、前記発話者が置かれた外部環境に起因する要因および前記発話者の社会的状況に起因する要因の少なくとも何れか一つであることが好ましい。
【００１６】
前記発話者の身体的な特徴に起因する要因は、前記発話者の体温、脈拍、アルコール濃度および人体の電気抵抗の少なくとも何れか一つであることが好ましい。
【００１７】
前記発話者が置かれた外部環境に起因する要因は、前記発話者が置かれた外部環境の騒音レベル、照度、温度、湿度、風圧および人体加速度の少なくとも何れか一つであることが好ましい。
【００１８】
前記発話者が置かれた社会的状況に起因する要因は、前記発話者が存在する場所に関する位置情報、時刻情報および前記発話者の就業スケジュール情報の少なくとも何れか一つであることが好ましい。
【００１９】
上記課題を解決するために、本発明の別の観点によれば、発話者の音声から得られた音声スペクトル、音声強度、ピッチ周波数または発話速度の少なくとも何れかを含む音声特徴量または当該特徴量の変化量に基づいて、前記発話者の感情が所定の感情カテゴリに適合しているかを表す感情適合度を算出する感情識別方法にであって、前記音声特徴量または前記音声特徴量の変化量に基づいて、所定の感情カテゴリの前記感情適合度を算出する感情適合度算出ステップと、取得した前記発話者に対してストレスを与えうる要因を表す特徴量、または、当該ストレスを与えうる要因を表す特徴量の変化量を用いて、前記ストレスを与えうる要因が前記発話者の発声に与える影響度を、所定の基準に基づいて数値化する影響度算出ステップと、前記ストレスを与えうる要因と、前記ストレスを与えうる要因が前記所定の感情カテゴリに与える影響の度合いを数値化した補正値と、が互いに関連付けられた補正値データベースと、算出された前記影響度とを用いて、算出された前記感情適合度を補正する感情適合度補正ステップと、を含む感情識別方法が提供される。
【００２０】
上記課題を解決するために、本発明の更に別の観点によれば、コンピュータを、発話者の音声から得られた音声スペクトル、音声強度、ピッチ周波数または発話速度の少なくとも何れかを含む音声特徴量または当該特徴量の変化量に基づいて、前記発話者の感情が所定の感情カテゴリに適合しているかを表す感情適合度を算出する感情識別装置として機能させるためのプログラムであって、前記音声特徴量または前記音声特徴量の変化量に基づいて、所定の感情カテゴリの前記感情適合度を算出する感情適合度算出機能と、取得した前記発話者に対してストレスを与えうる要因を表す特徴量、または、当該ストレスを与えうる要因を表す特徴量の変化量を用いて、前記ストレスを与えうる要因が前記発話者の発声に与える影響度を、所定の基準に基づいて数値化する影響度算出機能と、前記ストレスを与えうる要因と、前記ストレスを与えうる要因が前記所定の感情カテゴリに与える影響の度合いを数値化した補正値と、が互いに関連付けられた補正値データベースと、算出された前記影響度とを用いて、算出された前記感情適合度を補正する感情適合度補正機能と、をコンピュータに実現させるためのプログラムが提供される。
【００２１】
かかる構成によれば、コンピュータプログラムは、コンピュータが備える記憶部に格納され、コンピュータが備えるＣＰＵに読み込まれて実行されることにより、そのコンピュータを上記の感情識別装置として機能させる。また、コンピュータプログラムが記録された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【発明の効果】
【００２２】
本発明によれば、発話者の発話行為に対して影響を与えうる要因による影響を補正し、発話者の感情の識別や評価を、より正確に行うことが可能である。
【発明を実施するための最良の形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
発話行為において、発話者の心的感情以外に、騒音レベル、照度、発話者の人体の加速度、温度、湿度、風圧などの外部物理環境の影響を受けて、音声のピッチ、発声速度、音声強度等は変化する。また、これらの外部物理環境だけでなく、身体のストレスも、音声特徴量に影響を与える要因の一つである。また、社会的な状況例えば、面接諮問時の受け答えを実施している、講演会等での発表中である、顧客先での対応中である、自宅で一人くつろいでいるなど、社会的な状況（換言すれば、社会的なストレス）が変化すると、音声特徴量に変化が生じる。
【００２５】
これらのストレスに対する耐性は個人差があり、様々なストレスが音声特徴量に与える影響や、ストレスを受けた際の音声特徴量の変化は、音響パラメータ空間で個人差を正規化する処理を行ったとしても、取り除くことは困難であり、個人差に影響されない理想的な音声特徴量（音声パラメータ）を抽出することは困難である。そのため、必要とする勘定識別精度に応じて、このような個人耐性を考慮することが必要となる。
【００２６】
そこで、本願発明者は、上述のような問題を解決するために鋭意研究を行った結果、以下で説明するような本実施形態に係る感情識別装置および感情識別方法に想到した。
【００２７】
なお、説明は、以下の順序で行うものとする。
（１）第１の実施形態
（１−１）感情識別装置の構成について
（１−２）感情識別方法について
（２）本発明の各実施形態に係る感情識別装置のハードウェア構成について
（３）まとめ
【００２８】
（第１の実施形態）
＜感情識別装置について＞
まず、図１および図２を参照しながら、本発明の第１の実施形態に係る感情識別装置について、詳細に説明する。図１は、本実施形態に係る感情識別装置の構成を説明するためのブロック図である。図２は、本実施形態に係る感情適合度補正部を説明するためのブロック図である。
【００２９】
本実施形態に係る感情識別装置は、例えば図１に示したように、音声特徴量取得部１０１と、感情適合度算出部１０３と、バイオ特徴量取得部１０５と、バイオ特徴影響度算出部１０７と、ストレス特性取得部１０９と、ストレス影響度算出部１１１と、外部環境特徴量取得部１１３と、外部環境影響度算出部１１５と、社会的状況パラメータ取得部１１７と、社会的状況影響度算出部１１９と、感情適合度補正部１２１と、記憶部１２３と、を主に備える。
【００３０】
音声特徴量取得部１０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、マイク等の入力装置などから構成されている。音声特徴量取得部１０１は、マイク等の入力装置を介して入力された発話者の音声をＡＤ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ）変換してデジタル音声情報とするとともに、デジタル音声情報の中から、音声特徴量を取得する。このような音声特徴量の例として、例えば、音声スペクトル、音声強度、音声のピッチ（ピッチ周波数）、抑揚、発話速度（テンポ）、フォルマント周波数等を挙げることができる。また、上述の音声特徴量以外にも、デジタル音声情報の中から任意の音声特徴量を取得することが可能である。また、これらの音声特徴量の取得方法は、これらの音声特徴量を取得できる方法であれば任意の方法を利用することが可能であり、特に限定されるわけではない。
【００３１】
また、音声特徴量取得部１０１は、これらの音声特徴量だけでなく、取得した音声特徴量を利用して、音声特徴量の変化量（例えば、音声特徴量の時間変化量など）を取得することも可能である。
【００３２】
音声特徴量取得部１０１は、例えば、男女差、個人差、言語属性等に応じて、取得した音声特徴量やその変化量を正規化してもよい。
【００３３】
音声特徴量取得部１０１は、取得した音声特徴量やその変化量を、後述する感情適合度算出部１０３へと出力する。また、音声特徴量取得部１０１は、取得した音声特徴量を、後述する記憶部１２３に記録してもよい。
【００３４】
感情適合度算出部１０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されており、音声特徴量取得部１０１から伝送された音声特徴量や音声特徴量の変化量に基づいて、所定の感情カテゴリの感情適合度を算出する。感情カテゴリは、例えば、喜び、悲しみ、怒りなどの感情を表す範疇である。また、本実施形態に係る感情カテゴリは、上記のものに限定されるわけではなく、任意の感情を含む。また、感情適合度は、発話者の感情が所定の感情カテゴリにどのくらい適合しているかを表す度合いであって、ある数値として表される。
【００３５】
感情適合度算出部１０３は、後述する記憶部１２３等に記録されている各種のパラメータやプログラムやデータベース等を利用しながら、所定の方法に則って感情適合度を算出する。音声特徴量やその変化量から、ある感情カテゴリの感情適合度を算出する方法は、任意の方法を利用することが可能である。このような方法の例として、例えば、音声特徴量やその変化量と、ある感情状態（すなわち、感情カテゴリ）とが関連付けられた感情パターンデータベース等を予め記憶部１２３等に保持しておき、伝送された音声特徴量やその変化量に基づいて、この感情パターンデータベースを参照することで、各感情カテゴリにおける感情適合度を算出することが可能である。また、この方法以外にも、例えば、特許文献１に記載の方法を用いることも可能である。
【００３６】
感情適合度算出部１０３は、算出した感情適合度を、後述する感情適合度補正部１２１に伝送する。また、感情適合度算出部１０３は、算出した感情適合度を、例えば算出した時刻情報等と関連付けて、後述する記憶部１２３等に記録してもよい。
【００３７】
バイオ特徴量取得部１０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力装置、通信装置、接続ポート等から構成されており、発話者の身体的な特徴であるバイオ特徴量や、その変化量を取得する。このようなバイオ特徴量の一例として、例えば、人体の電気抵抗値、微小電圧値、脈拍、体温、アルコール濃度、血圧、呼吸数などを挙げることができる。また、これらの特徴量以外にも、任意の身体的特徴量を取得することが可能である。
【００３８】
バイオ特徴量取得部１０５は、当該バイオ特徴量取得部１０５が備える、電気抵抗測定装置、微小電圧測定装置、体温計、脈拍計、血圧計、アルコール濃度の測定装置などから出力された値を取得してもよい。また、本実施形態に係る感情識別装置１０に接続された他の測定機器から出力された値を取得してもよい。また、発話者が入力装置等を介して手動で入力した値を用いることも可能である。
【００３９】
また、バイオ特徴量取得部１０５は、必要に応じて、取得したバイオ特徴量を、地域属性、季節、時刻情報などにより、正規化してもよい。
【００４０】
バイオ特徴量取得部１０５は、取得したバイオ特徴量やその変化量を、後述するバイオ特徴影響度算出部１０７に出力する。また、バイオ特徴量取得部１０５は、取得したバイオ特徴量やその変化量を、取得した時刻情報等と関連付けて、後述する記憶部１２３に記録してもよい。
【００４１】
影響度算出部の一例であるバイオ特徴影響度算出部１０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されている。バイオ特徴影響度算出部１０７は、バイオ特徴量取得部１０５から伝送されたバイオ特徴量を所定の基準や数値範囲等と比較して、発話者の身体的なストレスが感情に与える影響を数値化したものであるバイオ特徴影響度を算出する。
【００４２】
バイオ特徴影響度を含む各種の影響度は、影響の度合いに応じて所定数のレベルに区分されている。例えば、影響の度合いに応じて、以下のように３つのレベルに区分されていてもよい。また、レベル数を細かく設定する（すなわち、所定の基準や数値範囲を細かく区分する）ことで、影響度をより細かく設定することができる。
【００４３】
影響度  −１  ：  影響が減少・抑圧される
影響度  ±０  ：  影響なし・不明
影響度  ＋１  ：  影響が増加・増幅する
【００４４】
例えば、バイオ特徴影響度では、以下のような基準を設定することが可能である。
【００４５】
［体温の基準］
３７．５度以上、または、３６度以下  ：  −１
上記範囲以外、または、不明              ：  ±０
【００４６】
［脈拍の基準］
９０回／分以上          ：  −１
上記範囲以外、または、不明  ：  ±０
【００４７】
［アルコール濃度の基準］
正常、または、不明  ：  ±０
ほろ酔い以上        ：  ＋１
【００４８】
なお、これらの基準は、あくまでも一例であって、基準値は上述のものに限定されるわけではない。また、他のバイオ特徴量についても、同様に基準値（基準範囲）と、対応する影響度とを設定することが可能である。
【００４９】
バイオ特徴影響度算出部１０７は、これらの基準値と影響度とが関連付けられたデータベース等を、後述する記憶部１２３に保持していてもよく、バイオ特徴影響度算出部１０７自身に保持していてもよい。
【００５０】
バイオ特徴影響度算出部１０７は、通知された特徴量に基づいて算出した影響度の和を、バイオ特徴影響度として後述する感情適合度補正部１２１に出力する。また、通知されなかった特徴量に起因する影響度は、±０として算出処理を行う。
【００５１】
例えば、上述の基準の下で、バイオ特徴量取得部１０５から「体温、脈拍、アルコール濃度」に関する特徴量が伝送されてきた場合を考える。体温に起因する影響度が−１であり、脈拍に起因する影響度が−１であり、アルコール濃度に起因する影響度が±０である場合には、バイオ特徴影響度算出部１０７は、（−１）＋（−１）＋０＝（−２）を、バイオ特徴影響度として、後述する感情適合度補正部１２１に出力する。
【００５２】
また、バイオ特徴影響度算出部１０７は、算出したバイオ特徴影響度を、算出した時刻情報等と関連付けて、後述する記憶部１２３に記録してもよい。
【００５３】
ストレス特性取得部１０９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力装置、通信装置、接続ポート等から構成されており、発話者のストレス特性情報を取得する。ストレス特性情報の取得は、ストレス特性を判定するためのアンケートに対して発話者が回答することにより行うことができる。ストレス特性を判定するためのアンケートとアンケートの回答の解析方法は、アプリケーションとしてストレス特性取得部１０９や記憶部１２３が保持していてもよい。また、ストレス特性取得部１０９に対して、アンケートの判定結果を発話者が自身で入力してもよい。また、ストレス特性取得部１０９は、感情識別装置１０に接続されたコンピュータ等の他の装置から、ストレス特性の判定結果を取得してもよい。
【００５４】
ストレス特性取得部１０９は、取得したストレス特性に関する情報を、後述するストレス影響度算出部１１１に出力する。また、ストレス特性取得部１０９は、取得したストレス特性に関する情報を、取得した時刻情報等と関連付けて、後述する記憶部１２３に記録してもよい。
【００５５】
影響度算出部の一例であるストレス影響度算出部１１１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されている。ストレス影響度算出部１１１は、ストレス特性取得部１０９から伝送されたストレス特性に関する情報を所定の基準や数値範囲等と比較して、発話者のストレス特性が発声に与える影響を数値化したものであるストレス影響度を算出する。ストレス影響度を算出する際の基準として、例えば以下のようなものを挙げることができる。
【００５６】
［ストレスの有無］
ストレス少                  ：  −１
ストレスなし、または、不明  ：  ±０
ストレス多                  ：  ＋１
【００５７】
［ストレス耐性］
ストレスに強い      ：  −１
普通、または、不明  ：  ±０
ストレスに弱い      ：  ＋１
【００５８】
なお、これらの基準は、あくまでも一例であって、基準値は上述のものに限定されるわけではない。
【００５９】
ストレス影響度算出部１１１は、これらの基準値と影響度とが関連付けられたデータベース等を、後述する記憶部１２３に保持していてもよく、ストレス影響度算出部１１１自身に保持していてもよい。
【００６０】
ストレス影響度算出部１１１は、通知された特徴量に基づいて算出した影響度の和を、ストレス影響度として後述する感情適合度補正部１２１に出力する。また、通知されなかった特徴量に起因する影響度は、±０として算出処理を行う。また、ストレス影響度算出部１１１は、算出したストレス影響度を、算出した時刻情報等と関連付けて、後述する記憶部１２３に記録してもよい。
【００６１】
外部環境特徴量取得部１１３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力装置、通信装置、接続ポート等から構成されている。外部環境特徴量取得部１１３は、発話者が発話行為を行っている際の外部物理環境を特徴付ける特徴量である外部環境特徴量や、その変化量を取得する。このような外部環境特徴量の一例として、例えば、騒音レベル、照度、人体の加速度、温度、湿度、風圧などを挙げることができる。また、これらの特徴量以外にも、任意の外部環境特徴量を取得することが可能である。
【００６２】
外部環境特徴量取得部１１３は、当該外部環境特徴量取得部１１３が備える、騒音計、照度計、加速度センサ、温度計、湿度計、風圧計などから出力された値を取得してもよい。また、本実施形態に係る感情識別装置１０に接続された他の測定機器から出力された値を取得してもよい。また、発話者が入力装置等を介して手動で入力した値を用いることも可能である。
【００６３】
また、外部環境特徴量取得部１１３は、必要に応じて、取得した外部環境特徴量を、地域属性、季節、時刻情報などにより、正規化してもよい。
【００６４】
外部環境特徴量取得部１１３は、取得した外部環境特徴量やその変化量を、後述する外部環境影響度算出部１１５に出力する。また、外部環境特徴量取得部１１３は、取得した外部環境特徴量やその変化量を、取得した時刻情報等と関連付けて、後述する記憶部１２３に記録してもよい。
【００６５】
影響度算出部の一例である外部環境影響度算出部１１５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されている。外部環境影響度算出部１１５は、外部環境特徴量取得部１１３から伝送された外部環境特徴量やその変化量を所定の基準や数値範囲等と比較して、発話者の置かれた外部環境が発声に与える影響を数値化したものである外部環境影響度を算出する。外部環境影響度を算出する際の基準として、例えば以下のようなものを挙げることができる。
【００６６】
［温度の基準］
１０℃以下、または、３０℃以上  ：  −１
上記範囲以外、または、不明          ：  ±０
【００６７】
［湿度の基準］
８０％以上、または、２０％以上  ：  −１
上記範囲以外、または、不明          ：  ±０
【００６８】
［風圧の基準］
１５ｍ／ｓ以上          ：  −１
上記範囲以外、または、不明  ：  ±０
【００６９】
［騒音レベルの基準］
７０ｄＢ以上            ：  −１
３５ｄＢ以下            ：  ＋１
上記範囲以外、または、不明  ：  ±０
【００７０】
［照度の基準］
１万カンデラ以上、または、２００カンデラ以下  ：  −１
上記範囲以外、または、不明                        ：  ±０
【００７１】
［人体加速度の基準］
３ｍ／ｓｅｃ以上        ：  −１
上記範囲以外、または、不明  ：  ±０
【００７２】
なお、これらの基準は、あくまでも一例であって、基準値は上述のものに限定されるわけではない。
【００７３】
外部環境影響度算出部１１５は、これらの基準値と影響度とが関連付けられたデータベース等を、後述する記憶部１２３に保持していてもよく、ストレス影響度算出部１１１自身に保持していてもよい。
【００７４】
外部環境影響度算出部１１５は、通知された特徴量に基づいて算出した影響度の和を、外部環境影響度として後述する感情適合度補正部１２１に出力する。また、通知されなかった特徴量に起因する影響度は、±０として算出処理を行う。また、外部環境影響度算出部１１５は、算出したストレス影響度を、算出した時刻情報等と関連付けて、後述する記憶部１２３に記録してもよい。
【００７５】
社会的状況パラメータ取得部１１７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力装置、通信装置、接続ポート等から構成されている。社会的状況パラメータ取得部１１７は、発話者の位置情報、時刻情報、就業・作業スケジュール等から得られる社会的状況パラメータを取得する。また、これらのパラメータ以外にも、任意の社会的状況パラメータを取得することが可能である。
【００７６】
社会的状況パラメータ取得部１１７は、感情識別装置１０や、感情識別装置１０に接続されたコンピュータ等の他の情報処理装置などから出力された値を取得してもよい。より詳細には、社会的状況パラメータ取得部１１７は、感情識別装置１０や、感情識別装置１０に接続されたコンピュータ等の他の情報処理装置が保持するスケジュール管理アプリケーションからの出力や、発話者が保持している携帯電話等の携帯機器から得られるＧＰＳデータ等を取得することが可能である。また、発話者が入力装置等を介して手動で入力した結果を用いることも可能である。
【００７７】
このような社会的状況パラメータの一例として、例えば、スケジュール管理アプリケーションから得られる発話者のスケジュール状況を利用することが考えられる。スケジュール状況の例として、例えば、業務中、休み時間、会議中、移動中、警備中、商談中などの状況が考えられる。これらのスケジュール状況と、スケジュール情報に含まれるスケジュールの実施場所等に関する詳細情報とを利用することで、発話者の位置情報、時刻情報、就業・作業スケジュール等を得ることができる。
【００７８】
社会的状況パラメータ取得部１１７は、取得した社会的状況パラメータを、後述する社会的状況影響度算出部１１９に出力する。また、社会的状況パラメータ取得部１１７は、取得した社会的状況パラメータを、取得した時刻情報等と関連付けて、後述する記憶部１２３に記録してもよい。
【００７９】
影響度算出部の一例である社会的状況影響度算出部１１９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されている。社会的状況影響度算出部１１９は、社会的状況パラメータ取得部１１７から伝送された社会的状況パラメータを所定の基準や数値範囲等と比較して、発話者の置かれた社会的状況が発声に与える影響を数値化したものである社会的状況影響度を算出する。社会的状況影響度を算出する際の基準として、例えば以下のようなものを挙げることができる。
【００８０】
［発話者の就業・作業スケジュールに関する基準］
社内会議中                  ：  −１
社内重要会議中              ：  ±０
商談会議中                  ：  ＋１
移動中                      ：  ±０
プライベート、または、不明  ：  ±０
【００８１】
なお、これらの基準は、あくまでも一例であって、基準値は上述のものに限定されるわけではない。
【００８２】
社会的状況影響度算出部１１９は、これらの基準値と影響度とが関連付けられたデータベース等を、後述する記憶部１２３に保持していてもよく、社会的状況影響度算出部１１９自身に保持していてもよい。
【００８３】
社会的状況影響度算出部１１９は、通知されたパラメータに基づいて算出した影響度の和を、社会的状況影響度として後述する感情適合度補正部１２１に出力する。また、通知されなかった特徴量に起因する影響度は、±０として算出処理を行う。また、社会的状況影響度算出部１１９は、算出した社会的状況影響度を、算出した時刻情報等と関連付けて、後述する記憶部１２３に記録してもよい。
【００８４】
感情適合度補正部１２１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されている。感情適合度補正部１２１は、後述する記憶部１２３に記録されている、ストレスを与えうる要因とストレスを与えうる要因が所定の感情カテゴリに与える影響の度合いを数値化した補正値とが互いに関連付けられた補正値データベースを利用して、それぞれの影響度算出部から伝送された影響度に基づき、感情適合度を補正する。また、感情適合度補正部１２１は、補正値データベースに記載された内容を、取得した感情適合度に基づいて修正する。
【００８５】
この感情適合度補正部１２１は、例えば図２に示したように、補正処理部１２５と、補正値データベース修正部１２７と、を更に備える。
【００８６】
補正処理部１２５は、バイオ特徴影響度算出部１０７、ストレス影響度算出部１１１、外部環境影響度算出部１１５、社会的状況影響度算出部１１９から伝送された影響度に基づき、後述する記憶部１２３に記録された補正値データベースを利用して、感情適合度算出部１０３から伝送された感情適合度を補正する。
【００８７】
ここで、感情適合度算出部１０３から伝送された感情カテゴリｙの感情適合度をＥｙｖとし、１番目からｎ番目の影響度をＦｉ（ｉ＝１，２，・・・，ｎ）とし、感情カテゴリｙとｉ番目の影響度Ｆｉとの関係性を示した補正値データベースの値（補正値）をＥＡ（ｉ，ｙ）とする。補正処理部１２５は、これらの値を用いて、補正された感情適合度Ｅｙａを、以下の式１に基づいて算出する。ここで、Ｗｙは、感情カテゴリｙに対する感情補正項の重み付け係数である。
【００８８】
【数１】
2010054568.tif 000003
【００８９】
記憶部１２３に記録されている補正値データベースの例を、以下の表１に示す。補正値データベースは、以下の表１に示したように、ある特徴量と、当該特徴量に基づく所定の感情カテゴリそれぞれにおける補正量との関係が規定されたデータベースである。以下の表１では、特徴量の一例として、バイオ特徴量（Ｆｂａｉｏ）を取り上げ、このバイオ特徴量と、「喜び」、「怒り」、「哀しみ」、「楽しみ」という４つの感情カテゴリにおける補正量との関係が規定されている。また、以下の表１では、［体温の基準］に関する項目しか記載されていないが、この項目以外にも、バイオ特徴量として利用可能な基準全てに対して、補正量が設定されている。
【００９０】
【表１】
2010054568.tif 000004
【００９１】
例えば、感情カテゴリ「喜びｐ」の感情適合度をＥｐｖとし、補正後の喜びの感情適合度をＥｐａとした場合に、外部環境特徴量である温度に起因する影響度Ｆｔｅｍｐによる補正処理は、以下の式２のようになる。ここで、ＥＡ（ｔｅｍｐ，ｐ）は、喜びｐと温度影響度との関係性を表した補正値データベースの値である。
【００９２】
【数２】
2010054568.tif 000005
【００９３】
また、感情適合度補正部１２１に、温度に起因する影響度だけでなく、湿度に起因する影響度が伝送された場合には、上記式２に対して、湿度影響度に関する補正項が追加され、以下の式３のようになる。ここで、ＥＡ（ｍｏｉｓｔ，ｐ）は、喜びｐと湿度影響度との関係性を表した補正値データベースの値であり、Ｆｍｏｉｓｔは、湿度影響度である。
【００９４】
【数３】
2010054568.tif 000006
【００９５】
本実施形態に係る各影響度算出部では、各影響度の判定条件において、影響を与えない要因や影響が不明な要因は、影響度がゼロとなるように設定されている。そのため、本実施形態に係る感情適合度の補正処理では、バイオ特徴量、個人ストレス特性、外部環境特徴量、社会的状況パラメータの一部または全部が取得できない場合に、取得できなかった特徴量に起因する影響度はゼロとなる。これにより、感情適合度の補正処理になんら悪影響を及ぼすことはない。すなわち、本実施形態に係る感情適合度の補正処理は、様々な実装上の制約等により、ケースバイケースで取得することができた特徴量の種類や属性のばらつきに係らず、感情適合度の補正を行うことができる。
【００９６】
補正値データベース修正部１２７は、補正値データベースに記載された補正値を、取得した感情適合度または感情適合度の補正値に基づいて修正する。
【００９７】
記憶部１２３に記録されている補正値データベースは、多数の学習サンプルに対するＥｙａとＥｙｖとＦｉとから、多変数統計解析による統計量を利用することで設定することができる。また、先見的・経験的な知識から定性的に補正値データベースの補正値を設定することも可能である。
【００９８】
以下の説明では、それぞれの影響度には相関はないものとして定式化を行ったが、各影響度の相関を加味した修正方法を行っても良い。その場合には、各影響度の相関が十分に推定できるだけの学習サンプルが必要となる。
【００９９】
以下の説明では、まず、発話者本人から、直接的な訂正や指示が与えられ、感情適合度Ｅｙａの補正値Ｅ’ｙａが得られた場合について説明する。このような場合に、本実施形態に係る補正値データベース修正部１２７は、以下の式４で定義される差分ΔＥｙａを用いて、補正値データベースに記載されている補正値を修正する。かかる方法を用いることで、多変数統計解析を再度実行することなく、補正値データベースの内容を更新することが可能となる。
【０１００】
具体的には、補正値データベース修正部１２７は、得られた差分を｛ＥＡ（ｉ，ｙ）×Ｆｉ｝２の大きさで比例配分し、補正値データベースに記載されている補正値の修正を行う。式５に示したようにパラメータＱを定義すると、差分ΔＥｙａから補正値データベースの補正値を修正するための式は、以下の式６のように表される。
【０１０１】
【数４】
2010054568.tif 000007
【０１０２】
このような計算を行うことで、補正値データベース修正部１２７は、記憶部１２３に記録されている補正値データベースを、簡易な方法で更新することが可能となる。
【０１０３】
また、発話者が算出された感情適合度を参照すると、「現在の感情は、感情カテゴリｙではなく、ｙ’に近い」という示唆をする場合がある。そこで、本実施形態に係る補正値データベース修正部１２７は、このような発話者の直感的な訂正に対して、以下のような方法で、補正値データベースの修正を行う。
【０１０４】
発話者が上述のような直感的な訂正を行う場合には、「感情ｙの感情適合度Ｅｙａよりも、他の感情ｙ’の感情適合度Ｅｙ’ａの方が大きい」ということを意味している。換言すれば、「現在の感情識別方法では、Ｅｙａ＞Ｅｙ’ａとなっている」という指摘を意味している。そこで、補正値データベース修正部１２７は、まず、以下の式７に示すようなパラメータＰを定義する。続いて、補正値データベース修正部１２７は、パラメータＰを用いて、感情ｙおよび感情ｙ’における差分ΔＥｙａおよびΔＥｙ’ａを、以下の式８および式９のように定義する。ここで、式７における正の定数θは、逆転定数を表し、ＥｙａとＥｙ’ａとの大小関係をθ分だけ逆転させるために用いられる定数である。
【０１０５】
【数５】
2010054568.tif 000008
【０１０６】
次に、補正値データベース修正部１２７は、算出した差分ΔＥｙａおよびΔＥｙ’ａを用いて、上述の式６を実行することで、それぞれの感情カテゴリにおける補正値データベースを修正することができる。
【０１０７】
また、上記式７に替えて、以下に示す式７’を用いることも可能である。以下に示す式７’において、１より大きな定数γが、感情適合度の大小関係を逆転させるための逆転定数となる。
【０１０８】
【数６】
2010054568.tif 000009
【０１０９】
なお、以上の修正方法に関する説明では、１回の発話者の指摘のみで感情判定に反映させる（すなわち、補正値データベースの修正を行う）場合について説明したが、ｎ回の指摘を受けた後に初めて補正値データベースの修正を行うようにしてもよい。この場合には、差分ΔＥｙａを１／ｎにした値で、上記式５および式６を実行すればよい。
【０１１０】
また、以上の説明では、補正値データベースに記載されている補正値を、得られた差分に基づいて修正する場合について説明したが、発話者から得られた直接的な訂正や指示を、新たな学習サンプルと考え、多変数統計解析を再度実行してもよい。また、得られた差分ΔＥｙａを用いて、感情適合度Ｅｙｖを補正する処理を行うことも可能である。
【０１１１】
記憶部１２３には、感情適合度補正部１２１が感情適合度の補正に用いる補正値データベースが格納されている。また、記憶部１２３には、感情適合度算出部１０３が音声特徴量に基づいて感情適合度を算出する際に利用される、感情パターンデータベースが格納されていてもよい。また、記憶部１２３には、本実施形態に係る各影響度算出部が影響度の算出に利用する、判断基準等の記載されたデータベースやテーブルが格納されていてもよい。また、記憶部１２３には、本実施形態に係る感情識別装置１０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録されてもよい。この記憶部１２３は、音声特徴量取得部１０１、感情適合度算出部１０３、バイオ特徴量取得部１０５、バイオ特徴影響度算出部１０７、ストレス特性取得部１０９、ストレス影響度算出部１１１、外部環境特徴量取得部１１３、外部環境影響度算出部１１５、社会的状況パラメータ取得部１１７、社会的状況影響度算出部１１９、感情適合度補正部１２１等が、自由に読み書きを行うことが可能である。
【０１１２】
以上、本実施形態に係る感情識別装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【０１１３】
＜感情識別方法について＞
続いて、図３を参照しながら、本実施形態に係る感情識別装置が実施する感情識別方法について、詳細に説明する。図３は、本実施形態に係る感情識別方法を説明するための流れ図である。
【０１１４】
まず、本実施形態に係る感情識別装置１０の音声特徴量取得部１０１は、発話者が発した音声をデジタル音声情報に変換した上で、所定の方法を用いて音声特徴量を取得する（ステップＳ１０１）。音声特徴量取得部１０１は、取得した音声特徴量を、感情適合度算出部１０３に伝送する。
【０１１５】
続いて、感情適合度算出部１０３は、伝送された音声特徴量と、記憶部１２３に記録されている感情パターンデータベース等を利用して、所定の方法により感情適合度を算出する（ステップＳ１０３）。感情適合度算出部１０３は、算出した感情適合度を、感情適合度補正部１２１に伝送する。
【０１１６】
続いて、本実施形態に係る感情識別装置１０が備える特徴量取得部（例えば、バイオ特徴量取得部１０５、ストレス特性取得部１０９、外部環境特徴量取得部１１３、社会的状況パラメータ取得部１１７）は、それぞれの特徴量取得部で取得可能な特徴量の取得を試みる（ステップＳ１０５）。特徴量を取得できた特徴量取得部は、取得した特徴量を、対応する影響度算出部に伝送する。
【０１１７】
次に、各影響度算出部（例えば、バイオ特徴影響度算出部１０７、ストレス影響度算出部１１１、外部環境影響度算出部１１５、社会的状況影響度算出部１１９）は、伝送された特徴量と、所定の基準とを比較して、各特徴量に基づく影響度を算出する（ステップＳ１０７）。各影響度算出部は、算出した影響度を、感情適合度補正部１２１に伝送する。
【０１１８】
続いて、感情適合度補正部１２１は、各影響度算出部から伝送された影響度に基づき、記憶部１２３に記録されている補正値データベースを参照しながら、補正後の感情適合度を、式１により算出する（ステップＳ１０９）。その後、感情適合度補正部１２１は、算出した補正後の感情適合度を、出力する（ステップＳ１１１）。
【０１１９】
このような方法を経ることで、本実施形態に係る感情識別方法は、発話者の発話行為に対して影響を与えうる要因による影響を補正し、発話者の感情の識別や評価を、より正確に行うことができる。
【０１２０】
また、本実施形態に係る感情識別方法では、上述のステップＳ１１１の後に、補正値データベース修正部１２７によるデータベースの修正処理を行うことが可能である。
【０１２１】
なお、上述の説明では、音声特徴量の後に、各種の特徴量の取得が行われる場合について説明したが、音声特徴量の取得と、各種の特徴量の取得は、平行して行われてもよく、音声特徴量の取得の前に、各種の特徴量の取得が行われてもよい。
【０１２２】
＜ハードウェア構成について＞
次に、図４を参照しながら、本発明の各実施形態に係る感情識別装置１０のハードウェア構成について、詳細に説明する。図４は、本発明の各実施形態に係る感情識別装置のハードウェア構成を説明するためのブロック図である。
【０１２３】
感情識別装置１０は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
【０１２４】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブルメディア９２７に記録された各種プログラムに従って、感情識別装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。
【０１２５】
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
【０１２６】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、感情識別装置１０の操作に対応した携帯電話やＰＤＡ等の外部接続装置９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。感情識別装置１０のユーザは、この入力装置９１５を操作することにより、感情識別装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１２７】
出力装置９１７は、例えば、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置などの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなど、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、感情識別装置１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、感情識別装置１０が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
【０１２８】
ストレージ装置９１９は、感情識別装置１０の記憶部の一例として構成されたデータ格納用の装置であり、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種の特徴量やデータなどを格納する。
【０１２９】
ドライブ９２１は、記録媒体用リーダライタであり、感情識別装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブルメディア９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブルメディア９２７に記録を書き込むことも可能である。リムーバブルメディア９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、メモリースティック、または、ＳＤメモリカード（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ  ｍｅｍｏｒｙ  ｃａｒｄ）等である。また、リムーバブルメディア９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ  ｃａｒｄ）または電子機器等であってもよい。
【０１３０】
接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ｉ．Ｌｉｎｋ等のＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）ポート、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ポート等の、機器を感情識別装置１０に直接接続するためのポートである。この接続ポート９２３に外部接続装置９２９を接続することで、感情識別装置１０は、外部接続装置９２９から直接各種の特徴量やデータ等を取得したり、外部接続装置９２９に各種のデータ等を提供したりする。
【０１３１】
通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等である。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
【０１３２】
以上、本発明の各実施形態に係る感情識別装置１０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１３３】
＜まとめ＞
以上説明したように、本発明の各実施形態に係る感情識別装置は、発話者に対してストレスを与えうる要因を表す特徴量に基づいて、各要因に対応した影響度を算出する。感情識別装置は、ストレスを与えうる要因と、ストレスを与えうる要因が所定の感情カテゴリに与える影響の度合いを数値化した補正値と、が互いに関連付けられた補正値データベースを参照しながら、算出された影響度に基づいて、感情適合度の補正を適正に行う。これにより、本発明の各実施形態に係る感情識別装置は、外部物理環境、身体のストレス、社会的ストレス、個人のストレス耐性要因など感情に関係する要因を統合して補正し、発話者の感情の識別や評価を、より正確に行うことができる。
【０１３４】
本発明の各実施形態に係る感情識別装置は、識別結果を発話者にインタラクティブにフィードバックするサービス、例えば、ゲームアプリケーションや対面ロボットのサービス、受付応答サービスなどに利用することが可能である。
【０１３５】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【図面の簡単な説明】
【０１３６】
【図１】本発明の第１の実施形態に係る感情識別装置の構成を説明するためのブロック図である。
【図２】同実施形態に係る感情適合度補正部を説明するためのブロック図である。
【図３】同実施形態に係る感情識別方法を説明するための流れ図である。
【図４】本発明の各実施形態に係る感情識別装置のハードウェア構成を説明するためのブロック図である。
【符号の説明】
【０１３７】
１０    感情識別装置
１０１    音声特徴量取得部
１０３    感情適合度算出部
１０５    バイオ特徴量取得部
１０７    バイオ特徴影響度算出部
１０９    ストレス特性取得部
１１１    ストレス影響度算出部
１１３    外部環境特徴量取得部
１１５    外部環境影響度算出部
１１７    社会的状況パラメータ取得部
１１９    社会的状況影響度算出部
１２１    感情適合度補正部
１２３    記憶部
１２５    補正処理部
１２７    補正値データベース修正部
【図１】
2010054568.tif 000010
【図２】
2010054568.tif 000011
【図３】
2010054568.tif 000012
【図４】
2010054568.tif 000013