(57)【要約】【課題】複数の人間の音声情報を教師データとして学習済みの汎用的な学習モデルを利用する場合であっても、ユーザが抱く感情を高精度に推定すること。【解決手段】感情推定装置は、人間の音声に応じた複数の特徴量と当該音声を発した人間が抱く複数の感情の各々に対する強度との関係を複数の人間について学習済みの学習モデルに対して、ユーザの音声を示す音声情報に基づく複数の特徴量を入力し、前記ユーザが抱く前記複数の感情の各々に対する強度を示す音声評価値を含む音声感情情報を前記学習モデルから取得する音声評価部と、前記ユーザの音声の特徴に基づく補正情報を用いて前記音声感情情報を補正した補正感情情報を生成する補正部と、前記補正感情情報に基づいて、前記複数の感情の中から前記ユーザが抱く１以上の感情を推定する推定部と、を備える。【選択図】図５
2020201334.tif 000002
【特許請求の範囲】
【請求項１】
人間の音声に応じた複数の特徴量と当該音声を発した人間が抱く複数の感情の各々に対する強度との関係を複数の人間について学習済みの学習モデルに対して、ユーザの音声を示す音声情報に基づく複数の特徴量を入力し、前記ユーザが抱く前記複数の感情の各々に対する強度を示す音声評価値を含む音声感情情報を前記学習モデルから取得する音声評価部と、
前記ユーザの音声の特徴に基づく補正情報を用いて前記音声感情情報を補正した補正感情情報を生成する補正部と、
前記補正感情情報に基づいて、前記複数の感情の中から前記ユーザが抱く１以上の感情を推定する推定部と、
を備える感情推定装置。
【請求項２】
前記ユーザの音声を含む音を集音する集音装置が出力する音情報を取得する取得部と、
前記音情報が示す音からノイズを除去して前記音声情報を生成するノイズ除去部と、
を備える請求項１に記載の感情推定装置。
【請求項３】
前記音声評価部は、前記学習モデルに対して、前記複数の感情のうち一の感情を前記ユーザが明示的に発露させた音声を示す音声情報に基づく複数の特徴量を入力し、前記ユーザの明示的な音声感情情報を前記学習モデルから取得し、
前記ユーザが抱く感情が前記一の感情であると前記推定部が推定する可能性を高くする目的で、前記明示的な音声感情情報に基づいて前記補正情報を調整する調整部、
を備える請求項１又は２に記載の感情推定装置。
【請求項４】
前記人間が発した音声の発話内容を認識する音声認識処理を前記音情報に対して実行し、前記音声認識処理の認識結果を示す認識文字列に基づいて、前記ユーザが抱く前記複数の感情の各々に対する強度を示す文字評価値を含む文字感情情報を生成する文字評価部と、を備え、
前記推定部は、前記補正感情情報と前記文字感情情報とに基づいて、前記ユーザが抱く１以上の感情を推定する、
請求項３に記載の感情推定装置。
【請求項５】
前記ユーザの前記補正感情情報に含まれる複数の音声評価値と前記文字感情情報に含まれる複数の文字評価値との相違の程度を示す値が所定値以下である場合、前記認識文字列を特定文字列として特定する特定部と、を備え、
明示的な感情を発露させた音声を発話していない他のユーザが、前記特定文字列を発話した場合、
前記音声評価部は、前記学習モデルに対して、前記他のユーザが前記特定文字列を発話した音声に応じた複数の特徴量を入力することによって、前記他のユーザの音声感情情報を前記学習モデルから取得し、
前記文字評価部は、
前記他のユーザが前記特定文字列を発話した音声に基づく前記他のユーザの文字感情情報を生成し、
前記調整部は、前記他のユーザの補正感情情報に含まれる複数の音声評価値を、前記複数の感情の各々について、前記他のユーザの文字感情情報に含まれる複数の文字評価値に近づける目的で、前記他のユーザ用の前記補正情報を調整する、
請求項４に記載の感情推定装置。
【請求項６】
前記音情報が示す音から、所定の閾値に基づいてノイズを除去して前記音声情報を生成するノイズ除去部と、
前記ユーザの前記補正感情情報に含まれる複数の音声評価値と前記文字感情情報に含まれる複数の文字評価値との相違の程度を示す値が所定値以下である場合、前記認識文字列を特定文字列として特定する特定部と、を備え、
明示的な感情を発露させた音声を発話していない他のユーザが、前記特定文字列を発話した場合、
前記音声評価部は、前記学習モデルに対して、前記他のユーザが前記特定文字列を発話した音声に応じた複数の特徴量を入力することによって、前記他のユーザの音声感情情報を前記学習モデルから取得し、
前記文字評価部は、前記他のユーザが前記特定文字列を発話した音声に基づく前記他のユーザの文字感情情報を生成し、
前記調整部は、前記他のユーザの補正感情情報に含まれる複数の音声評価値を、前記複数の感情の各々について、前記他のユーザの文字感情情報に含まれる複数の文字評価値に近づける目的で、前記他のユーザ用の前記所定の閾値を調整する、
請求項４に記載の感情推定装置。
【請求項７】
サーバ装置と、前記サーバ装置と通信可能な端末装置とを備える感情推定システムであって、
前記サーバ装置は、
ユーザの音声を含む音を示す音情報を受信する第１通信装置と、
前記音情報が示す音からノイズを除去して、前記ユーザの音声を示す音声情報を生成するノイズ除去部と、
前記人間の音声に応じた複数の特徴量と当該音声を発した人間が抱く複数の感情の各々に対する強度との関係を複数の人間について学習済みの学習モデルに対して、前記音声情報に基づく複数の特徴量を入力し、前記ユーザの抱く前記複数の感情の各々に対する強度を示す音声評価値を含む音声感情情報を前記学習モデルから取得する音声評価部と、
人間が発した音声の発話内容を認識する音声認識処理を、前記音情報に対して実行し、前記音声認識処理の認識結果を示す認識文字列に基づいて、前記ユーザが抱く前記複数の感情の各々に対する強度を示す文字評価値を含む文字感情情報を生成する文字評価部とを備え、
前記第１通信装置は、
前記文字感情情報と前記音声感情情報とを前記端末装置に送信し、
前記端末装置は、
前記ユーザの音声を含む音を集音する集音装置と、
前記集音装置が出力する前記音情報を前記サーバ装置に送信し、前記文字感情情報と前記音声感情情報とを前記サーバ装置から受信する第２通信装置と、
前記ユーザの音声の特徴に基づく補正情報を用いて前記音声感情情報を補正した補正感情情報を生成する補正部と、
前記補正感情情報と前記文字感情情報とに基づいて、前記ユーザが抱く１以上の感情を推定する推定部とを備える、
感情推定システム。
【請求項８】
前記音声評価部は、前記学習モデルに対して、前記複数の感情のうち一の感情を前記ユーザが明示的に発露させた音声を示す音声情報に基づく複数の特徴量を入力し、前記ユーザの明示的な音声感情情報を前記学習モデルから取得し、
前記端末装置は、
前記ユーザが抱く感情が前記一の感情であると前記推定部が推定する可能性を高くする目的で、前記明示的な音声感情情報に基づいて前記補正情報を調整する調整部、
を備える請求項７に記載の感情推定システム。
【請求項９】
前記端末装置は、第１端末装置であって、
前記ユーザは、第１ユーザであって、
前記集音装置は、第１集音装置であって、
前記サーバ装置は、前記第１端末装置とは異なる第２端末装置と通信可能であって、
前記第２通信装置は、
前記第１ユーザの前記補正感情情報を前記サーバ装置に送信し、
前記サーバ装置は、
前記第１ユーザの前記補正感情情報に含まれる複数の音声評価値と前記文字感情情報に含まれる複数の文字評価値との相違の程度を示す値が所定値以下である場合、前記認識文字列を特定文字列として特定する特定部を備え、
前記第２端末装置を所持する第２ユーザが、明示的な感情を発露させた音声を発話していなく、且つ、前記特定文字列を発話した場合、
前記音声評価部は、前記学習モデルに対して、前記第２ユーザが前記特定文字列を発話した音声に応じた複数の特徴量を入力することによって、前記第２ユーザの音声感情情報を前記学習モデルから取得し、
前記文字評価部は、前記第２ユーザが前記特定文字列を発話した音声に基づく前記第２ユーザの文字感情情報を生成し、
前記第１通信装置は、
前記特定文字列と前記第２ユーザの音声感情情報と前記第２ユーザの文字感情情報とを、前記第２端末装置に送信し、
前記第２端末装置は、
前記第２ユーザの音声を含む音を集音する第２集音装置と、
前記第２集音装置が出力する音情報を前記サーバ装置に送信し、前記第２ユーザの文字感情情報と前記第２ユーザの音声感情情報とを前記サーバ装置から受信する第３通信装置と、
前記ユーザの音声の特徴に基づく補正情報を用いて前記第２ユーザの音声感情情報を補正した前記第２ユーザの補正感情情報を生成する補正部と、
前記第２ユーザの補正感情情報に含まれる複数の音声評価値を、前記複数の感情の各々について、前記第２ユーザの文字感情情報に含まれる複数の文字評価値に近づける目的で、前記第２ユーザ用の前記補正情報を調整する調整部とを備える、
請求項８に記載の感情推定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、感情推定装置、及び、感情推定システムに関する。
【背景技術】
【０００２】
近年、喜び、怒り及び悲しみ等の感情を推定するサービスが普及している。例えば、特許文献１には、ユーザの音声を示す音声情報に基づいて、ユーザが抱く感情を推定する感情推定装置が開示されている。この感情推定装置は、ある一人のユーザによって入力された複数回の音声情報から、音声認識を行うこのユーザ個人の固有データである、周波数、音量、及び、速度といった複数の特徴量のそれぞれの平均値及び標準偏差を予め算出する。そして、この感情推定装置は、このユーザが抱く感情を推定する際に入力された音声情報の特徴量を、予め算出した平均値及び標準偏差を用いて正規化し、正規化した複数の特徴量に基づいてこのユーザが抱く感情を推定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２５９６４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の技術を、音声情報に基づく複数の特徴量と感情との関係を学習済みの学習モデルを用いて、ユーザが抱く感情を推定する装置に適用する場合、学習モデルをユーザごとに用意する必要があった。多数のユーザの音声情報を教師データとして学習済みの汎用的な学習モデルを利用すると、多数のユーザの平均的な音声の特徴とユーザの音声の特徴との差分が吸収されないため、ユーザが抱く感情を精度良く推定することができなかった。
【課題を解決するための手段】
【０００５】
本発明の好適な態様にかかる感情推定装置は、人間の音声に応じた複数の特徴量と当該音声を発した人間が抱く複数の感情の各々に対する強度との関係を複数の人間について学習済みの学習モデルに対して、ユーザの音声を示す音声情報に基づく複数の特徴量を入力し、前記ユーザが抱く前記複数の感情の各々に対する強度を示す音声評価値を含む音声感情情報を前記学習モデルから取得する音声評価部と、前記ユーザの音声の特徴に基づく補正情報を用いて前記音声感情情報を補正した補正感情情報を生成する補正部と、前記補正感情情報に基づいて、前記複数の感情の中から前記ユーザが抱く１以上の感情を推定する推定部と、を備える。
【０００６】
本発明の好適な態様にかかる感情推定システムは、サーバ装置と、前記サーバ装置と通信可能な端末装置とを備える感情推定システムであって、前記サーバ装置は、ユーザの音声を含む音を示す音情報を受信する第１通信装置と、前記音情報が示す音からノイズを除去して、前記ユーザの音声を示す音声情報を生成するノイズ除去部と、前記人間の音声に応じた複数の特徴量と当該音声を発した人間が抱く複数の感情の各々に対する強度との関係を複数の人間について学習済みの学習モデルに対して、前記音声情報に基づく複数の特徴量を入力し、前記ユーザの抱く前記複数の感情の各々に対する強度を示す音声評価値を含む音声感情情報を前記学習モデルから取得する音声評価部と、人間が発した音声の発話内容を認識する音声認識処理を、前記音情報に対して実行し、前記音声認識処理の認識結果を示す認識文字列に基づいて、前記ユーザが抱く前記複数の感情の各々に対する強度を示す文字評価値を含む文字感情情報を生成する文字評価部とを備え、前記第１通信装置は、前記文字感情情報と前記音声感情情報とを前記端末装置に送信し、前記端末装置は、前記ユーザの音声を含む音を集音する集音装置と、前記集音装置が出力する前記音情報を前記サーバ装置に送信し、前記文字感情情報と前記音声感情情報とを前記サーバ装置から受信する第２通信装置と、前記ユーザの音声の特徴に基づく補正情報を用いて前記音声感情情報を補正した補正感情情報を生成する補正部と、前記補正感情情報と前記文字感情情報とに基づいて、前記ユーザが抱く１以上の感情を推定する推定部とを備える。
【発明の効果】
【０００７】
本発明によれば、複数の人間の音声情報を教師データとして学習済みの学習モデルを利用する場合であっても、ユーザが抱く感情を高精度に推定できる。
【図面の簡単な説明】
【０００８】
【図１】ユーザ装置１の機能の概要を示す図。
【図２】第１実施形態にかかるユーザ装置１の構成を示すブロック図。
【図３】解析用辞書情報３１の記憶内容の一例を示す図。
【図４】感情分類情報３３の記憶内容の一例を示す図。
【図５】ユーザ装置１の機能の概要を示す図。
【図６】ユーザ装置１の動作を示すフローチャートを示す図。
【図７】第２実施形態にかかるユーザ装置１ａを示すブロック図。
【図８】第２実施形態にかかるユーザ装置１ａの機能の概要を示す図。
【図９】キャリブレーションモード時のユーザ装置１ａの動作を示すフローチャートを示す図。
【図１０】感情推定システムＳＹＳの全体構成を示す図。
【図１１】ユーザ装置１ｂの構成を示すブロック図。
【図１２】サーバ装置１０の構成を示すブロック図。
【図１３】感情推定システムＳＹＳの機能の概要を示す図。
【図１４】非キャリブレーションユーザの補正情報ＣＩの調整機能の概要を示す図。
【図１５】感情推定モードにおける感情推定システムＳＹＳの動作を示すフローチャートを示す図（その１）。
【図１６】感情推定モードにおける感情推定システムＳＹＳの動作を示すフローチャートを示す図（その２）。
【図１７】感情推定システムＳＹＳｃの全体構成を示す図。
【図１８】サーバ装置１０Ｃの構成を示すブロック図。
【図１９】感情推定システムＳＹＳｃの機能の概要を示す図。
【図２０】非キャリブレーションユーザのパラメータ情報ＴＩの調整機能の概要を示す図。
【図２１】感情推定モードにおける感情推定システムＳＹＳｃの動作を示すフローチャートを示す図。
【図２２】感情推定システムＳＹＳｄの全体構成を示す図。
【図２３】ユーザ装置１ｄの構成を示すブロック図。
【図２４】サーバ装置１０Ｄの構成を示すブロック図。
【図２５】感情推定システムＳＹＳｄの機能の概要を示す図。
【図２６】感情推定システムＳＹＳｅの全体構成を示す図。
【図２７】ユーザ装置１ｅの構成を示すブロック図。
【図２８】感情推定システムＳＹＳｅの機能の概要を示す図。
【図２９】感情推定システムＳＹＳｆの全体構成を示す図。
【図３０】ユーザ装置１ｆの構成を示すブロック図。
【図３１】サーバ装置１０Ｆの構成を示すブロック図。
【図３２】第１感情推定部２５ｆと第２感情推定部２５Ｆとの機能の概要を示す図。
【図３３】第１変形例におけるユーザ装置１ｇの機能の概要を示す図。
【発明を実施するための形態】
【０００９】
１．第１実施形態
図１は、ユーザ装置１の機能の概要を示す図である。ユーザ装置１は、スマートフォンを想定する。ユーザ装置１が、「感情推定装置」の一例である。ただし、ユーザ装置１としては、任意の情報処理装置を採用することができ、例えば、パーソナルコンピュータ等の端末型の情報機器であってもよいし、ノートパソコン、ウェアラブル端末及びタブレット端末等の可搬型の情報端末であってもよい。
【００１０】
ユーザ装置１は、ユーザ装置１を所持するユーザＵの音声を含む音を示す音情報に対して音声認識処理を実行して得られた認識文字列を、他者が利用する装置に送信する機能、又は、ユーザＵの付近に位置する他者に聞かせるために、認識文字列を示す音を放音する機能を有する。さらに、ユーザ装置１は、ユーザＵの音声に基づいてユーザＵが抱く感情を推定し、認識文字列に対して、推定した感情に応じた図形を認識文字列に付加する、又は、推定した感情に応じた抑揚で認識文字列を示す音を放音することにより、コミュニケーションに必要な感情表現を付加できる。
図１の例では、ユーザＵが「こんにちは」と発声し、ユーザ装置１が、推定した感情に応じた図形ＰＩを付加している。
【００１１】
図２は、第１実施形態にかかるユーザ装置１の構成を示すブロック図である。ユーザ装置１は、処理装置２、記憶装置３、表示装置４、操作装置５、通信装置６、放音装置７、及び、集音装置８を具備するコンピュータシステムにより実現される。ユーザ装置１の各要素は、情報を通信するための単体又は複数のバス９で相互に接続される。なお、本明細書における「装置」という用語は、回路、デバイス又はユニット等の他の用語に読替えてもよい。また、ユーザ装置１の各要素は、単数又は複数の機器で構成され、ユーザ装置１の一部の要素は省略されてもよい。
【００１２】
処理装置２は、ユーザ装置１の全体を制御するプロセッサであり、例えば、単数又は複数のチップで構成される。処理装置２は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成される。なお、処理装置２の機能の一部又は全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによって実現してもよい。処理装置２は、各種の処理を並列的又は逐次的に実行する。
【００１３】
記憶装置３は、処理装置２が読取可能な記録媒体であり、処理装置２が実行する制御プログラムＰＲを含む複数のプログラム、解析用辞書情報３１、感情分類情報３３、及び、学習モデルＬＭを記憶する。記憶装置３は、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、ＲＡＭ（Random Access Memory）等の記憶回路の１種類以上で構成される。
【００１４】
図３は、解析用辞書情報３１の記憶内容の一例を示す図である。解析用辞書情報３１は、形態素ごとに、品詞、品詞細分類、及び、原形情報を互いに対応付けた情報である。形態素は、意味を有する表現要素の最小単位の文字列である。品詞は、文法的性質によって分類された単語の種別であり、名詞、動詞、及び形容詞等である。品詞細分類は、品詞をさらに細分類した項目である。原形情報は、該当の形態素が活用する単語である場合、単語の原形を示す文字列であり、該当の形態素が活用しない単語である場合、該当の形態素と同一の文字列である。
【００１５】
図４は、感情分類情報３３の記憶内容の一例を示す図である。感情分類情報３３は、文字列を、喜び、怒り、悲しみ、及び、平常の何れかに分類した情報である。感情分類情報３３に登録される文字列は、喜び、怒り、悲しみ、又は、平常のうちのいずれかの感情を表す。図４の例では、喜びに分類された文字列群３３１は、「嬉しい」、「合格」、「勝つ」、及び、「勝っ」等を含む。同様に、怒りに分類された文字列群３３２は、「イライラ」、及び、「むかっ腹」等を含む。同様に、悲しみに分類された文字列群３３３は、「悲しい」、及び、「敗ける」等を含む。同様に、平常に分類された文字列群３３４は、「安心」等を含む。
【００１６】
説明を図２に戻す。学習モデルＬＭは、人間の音声に応じた複数の特徴量と、複数の感情の各々に対する強度との関係を学習済みである。
【００１７】
表示装置４は、処理装置２による制御のもとで各種の画像を表示する。例えば液晶表示パネル、又は有機ＥＬ（Electro Luminescence）表示パネル等の各種の表示パネルが表示装置４として好適に利用される。
【００１８】
操作装置５は、ユーザ装置１が使用する情報を入力するための機器である。操作装置５は、ユーザＵによる操作を受け付ける。具体的には、操作装置５は、数字及び文字等の符号を入力するための操作と、表示装置４が表示するアイコンを選択するための操作とを受け付ける。例えば、表示装置４の表示面に対する接触を検出するタッチパネルが操作装置５として好適である。なお、利用者が操作可能な操作子を操作装置５が含んでもよい。操作子は、例えば、タッチペンである。
【００１９】
通信装置６は、ネットワークを介して他の装置と通信を行うためのハードウェア（送受信デバイス）である。通信装置６は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。
【００２０】
放音装置７は、例えばスピーカで構成され、処理装置２による制御のもとで、音を放音する。集音装置８は、例えばマイクロフォン及びＡＤ変換器で構成され、処理装置２による制御のもとで、ユーザＵの音声を含む音を集音する。マイクロフォンは、集音した音声を電気信号に変換する。ＡＤ変換器は、マイクロフォンが変換した電気信号をＡＤ変換して、図５に示す音情報ＳＩに変換する。音情報ＳＩが示す音には、発話者の音声に加えて、発話者の周囲から発せられた雑音が含まれ得る。
【００２１】
１．１．第１実施形態の機能
処理装置２は、記憶装置３から制御プログラムＰＲを読み取り実行することによって、取得部２１、感情推定部２５、及び、出力部２６として機能する。
図５を用いて、処理装置２によって実現される機能について説明する。
【００２２】
図５は、ユーザ装置１の機能の概要を示す図である。取得部２１は、ユーザＵの音声を含む音を集音する集音装置８が出力する音情報ＳＩを取得する。感情推定部２５は、ユーザＵが抱く複数の感情の中から、ユーザＵが抱く１以上の感情を推定する。第１実施形態において、ユーザＵが抱く複数の感情は、喜び、怒り、悲しみ、及び、平常の４つであるとして説明する。以下、喜び、怒り、悲しみ、及び、平常は複数の感情の一例である。
【００２３】
感情推定部２５は、ノイズ除去部２５１、音声評価部２５２、補正部２５３、文字評価部２５６、及び、推定部２５８を含む。
【００２４】
ノイズ除去部２５１は、音情報ＳＩが示す音からノイズを除去して音声情報ＶＩを生成する。ノイズ除去部２５１には、例えば、第１パラメータＰ１と第２パラメータＰ２とが与えられる。第１パラメータＰ１は、ノイズとみなす周波数帯を指定する。第２パラメータＰ２はノイズとみなす振幅成分の大きさを指定する。ノイズ除去部２５１は、第１処理から第４処理を実行する。第１処理では、音情報ＳＩに高速フーリエ変換処理を施すことによって、複数の周波数帯の各々について振幅成分を算出する。第２処理では、第１パラメータＰ１で指定される周波数帯の振幅成分を低減させる。人間の音声の周波数は、概ね１００Ｈｚ以上２０００Ｈｚ以下である。第１パラメータＰ１は、下限の周波数と上限の周波数を指定する。このため、ノイズ除去部２５１が第１パラメータＰ１を用いることによって、下限の周波数以下の周波数帯において、振幅成分が低減され、且つ、下限の周波数以上の周波数帯において、振幅成分が低減される。第３処理は、第２パラメータＰ２で指定される大きさ以下の振幅成分を低減させる。第４処理では、第３処理の処理結果に逆フーリエ変換処理を施して、音声情報ＶＩを生成する。音声情報ＶＩは、音情報ＳＩから環境ノイズなどが除去されたユーザＵの音声を示す。
【００２５】
音声評価部２５２は、学習モデルＬＭに対して、音声情報ＶＩに基づく複数の特徴量を入力し、複数の感情の各々に対する強度を示す音声評価値ｘを含む音声感情情報ＶＥを学習モデルＬＭから取得する。
学習モデルＬＭは、人間の音声に応じた複数の特徴量と当該音声を発した人間が抱く複数の感情の各々に対する強度との関係を複数の人間について学習済みである。学習モデルＬＭは、学習の過程において、多数の教師データを学習する。教師データは、入力データである複数の特徴量と、ラベルデータである複数の感情の各々に対する強度との組で与えられる。また、教師データは、多数のユーザの音声情報ＶＩに基づいて生成される。言い換えれば、学習モデルＬＭは、特定の個人向けに調整されていない、汎用的なモデルである。
複数の特徴量は、音の特徴量であり、例えば、MFCC（Mel-Frequency Cepstrum Coefficients）12次元、ラウドネス、基本周波数(F0)、音声確率、ゼロ交差率、HNR（Harmonics-to-Noise-Ratio）、及びこれらの一次微分、MFCC及びラウドネスの二次微分の計４７個である。ラウドネスは、音の大きさであり、人間の聴覚が感じる音の強さを示す。音声確率は、音声情報ＶＩが示す音に音声が含まれる確率を示す。ゼロ交差率は、音圧がゼロとなった回数である。
音声評価部２５２は、音声情報ＶＩに音の特徴を抽出する処理を施して複数の特徴量を生成する。
【００２６】
音声感情情報ＶＥは、喜びの音声評価値ｘ１、怒りの音声評価値ｘ２、悲しみの音声評価値ｘ３、及び、平常の音声評価値ｘ４を含む。音声評価値ｘは、０以上の実数である。以下の説明では、同種の要素を区別する場合には、喜びの音声評価値ｘ１、怒りの音声評価値ｘ２のように参照符号を使用する。一方、同種の要素を区別しない場合には、音声評価値ｘのように、参照符号のうちの共通番号だけを使用する。
【００２７】
補正部２５３は、ユーザＵの音声の特徴に基づく補正情報ＣＩを用いて音声感情情報ＶＥを補正した補正感情情報ＣＶＥを生成する。補正情報ＣＩは、例えば、喜びの音声評価値ｘ１を補正する係数ｋ１、怒りの音声評価値ｘ２を補正する係数ｋ２、悲しみの音声評価値ｘ３を補正する係数ｋ３、及び、平常の音声評価値ｘ４を補正する係数ｋ４を含む。ｋ１〜ｋ４は、０以上の実数である。補正感情情報ＣＶＥは、喜びの音声評価値Ｘ１、怒りの音声評価値Ｘ２、悲しみの音声評価値Ｘ３、及び、平常の音声評価値Ｘ４を含む。補正部２５３は、例えば、下記式に従って、補正感情情報ＣＶＥを生成する。
【００２８】
Ｘ１＝ｘ１×ｋ１
Ｘ２＝ｘ２×ｋ２
Ｘ３＝ｘ３×ｋ３
Ｘ４＝ｘ４×ｋ４
【００２９】
補正情報ＣＩの生成方法は、例えば、以下に示す２つの態様がある。第１の態様において、ユーザＵが、平常時の状態で、集音装置８に向かって発話する。処理装置２は、発話に応じた音声情報ＶＩに対して、複数の特徴量を抽出し、抽出した複数の特徴量と所定の閾値とを比較することにより、係数ｋ１〜ｋ４を生成する。例えば、抽出した基本周波数が所定の閾値より高い場合、このユーザＵは、平常時であっても基本周波数が高めであり、ユーザＵが抱く感情が喜び又は怒りであると誤判定しやすくなる。そこで、処理装置２は、喜びの音声評価値Ｘ１及び怒りの音声評価値Ｘ２を低くする目的で、喜びに対応する係数ｋ１及び怒りに対応する係数ｋ２を、０より大きく１より小さい値に設定する。
【００３０】
第２の態様において、処理装置２は、ユーザＵに自身の音声の特徴に関する情報を入力させる。例えば、処理装置２は、ユーザＵに、自身の音声の特徴に関する情報として、性別及び年齢を入力させる。性別が女性である場合、男性と比較して、一般的には基本周波数が高くなるため、処理装置２は、喜びの音声評価値Ｘ１及び怒りの音声評価値Ｘ２を低くする目的で、喜びに対応する係数ｋ１及び怒りに対応する係数ｋ２を、０より大きく１より小さい値に設定する。同様に、一般的には、年齢が低いほど声が高くなるため、入力された年齢が所定の閾値以下である場合、処理装置２は、喜びの音声評価値Ｘ１及び怒りの音声評価値Ｘ２を低くする目的で、喜びに対応する係数ｋ１及び怒りに対応する係数ｋ２を、０より大きく１より小さい値に設定する。
【００３１】
文字評価部２５６は、人間が発話した音声の発話内容を認識する音声認識処理を音情報ＳＩに対して実行し、音声認識処理の認識結果を示す認識文字列ＲＴに基づいて、複数の感情の各々に対する強度を示す文字評価値Ｙを含む文字感情情報ＴＥを生成する。文字感情情報ＴＥは、喜びの文字評価値Ｙ１、怒りの文字評価値Ｙ２、悲しみの文字評価値Ｙ３、及び、平常の文字評価値Ｙ４を含む。文字評価値Ｙは、０以上の実数である。
【００３２】
より詳細には、文字評価部２５６は、音声認識処理部２５６１、形態素解析処理部２５６３、及び、評価値算出部２５６５を含む。
音声認識処理部２５６１は、音情報ＳＩに音声認識処理を施して認識文字列ＲＴを出力する。音声認識処理部２５６１は、例えば、予め用意された音響モデル及び言語モデルを用いて、音声から文字列を認識する手法を含む、種々の手法によって、認識文字列ＲＴを出力する。
【００３３】
形態素解析処理部２５６３は、解析用辞書情報３１を参照して、認識文字列ＲＴに対して形態素解析処理を実行して、補正後認識文字列ＣＲＴを出力する。形態素解析処理は、認識文字列ＲＴを形態素ごとに分解する処理である。形態素解析処理において、解析用辞書情報３１の品詞及び品詞細分類が利用される。補正後認識文字列ＣＲＴは、フィラー等といった、ユーザＵが抱く感情を推定するためには不要な文字列を除いた文字列である。フィラーは、「ええと」、「あの」、及び、「まあ」といった、発話の合間に挟み込む言葉である。
【００３４】
評価値算出部２５６５は、感情分類情報３３に含まれる文字列と、補正後認識文字列ＣＲＴとを比較することにより各感情の文字評価値Ｙを算出し、各感情の文字評価値Ｙを含む文字感情情報ＴＥを生成する。各感情の文字評価値Ｙの算出について、評価値算出部２５６５は、補正後認識文字列ＣＲＴが、感情分類情報３３に含まれる文字列を含む場合に、この補正後認識文字列ＣＲＴに含まれる文字列に対応する感情の文字評価値Ｙを増加させる。
例えば、補正後認識文字列ＣＲＴが「今日試合に勝った」であれば、評価値算出部２５６５は、以下のような各感情の文字評価値Ｙを出力する。
【００３５】
喜びの文字評価値Ｙ１  １
怒りの文字評価値Ｙ２  ０
悲しみの文字評価値Ｙ３  ０
平常の文字評価値Ｙ４  ０
【００３６】
上述の例では、補正後認識文字列ＣＲＴに、感情分類情報３３に含まれる「勝っ」が含まれているため、評価値算出部２５６５は、「勝っ」に対応する喜びの文字評価値Ｙ１を１増加させる。増加させる文字評価値Ｙの増加量は、１に限らなく、感情分類情報３３に含まれる文字列ごとに異なってもよい。例えば、より喜びを強く示す文字列に対する文字評価値Ｙの増加量を２としてもよい。さらに、補正後認識文字列ＣＲＴに、感情分類情報３３に含まれる文字列、及び、内容を強調する文字列が含まれる場合、評価値算出部２５６５は、文字評価値Ｙの増加量を大きくしてもよい。例えば、補正後認識文字列ＣＲＴが「今日試合に勝ててとても嬉しい」であれば、補正後認識文字列ＣＲＴに感情分類情報３３に含まれる「嬉しい」が含まれており、かつ、「とても」という内容を強調する文字列が含まれるため、評価値算出部２５６５は、例えば、喜びの文字評価値Ｙ１を２増加させる。補正後認識文字列ＣＲＴのうち、どの文字列が、内容を強調する文字列であるか否かは、形態素解析処理によって得られる形態素によって判定することができる。以下の例では、説明を容易にするため、増加させる文字評価値Ｙの増加量が１であるとする。
さらに、補正後認識文字列ＣＲＴに、感情分類情報３３に含まれる文字列、及び、内容を否定する文字列が含まれる場合、評価値算出部２５６５は、この補正後認識文字列ＣＲＴに含まれる文字列に対応する文字評価値Ｙを増加させる処理とは異なる処理を実行してもよい。例えば、補正後認識文字列ＣＲＴが「今日試合に勝つことができなかった」であれば、補正後認識文字列ＣＲＴに感情分類情報３３に含まれる「勝つ」が含まれるが、「なかっ」という内容を否定する文字列が含まれるため、評価値算出部２５６５は、例えば、悲しみの文字評価値Ｙ３を１増加させる。補正後認識文字列ＣＲＴのうち、どの文字列が、内容を否定する文字列であるか否かは、形態素解析処理によって得られる形態素によって判定することができる。このように、形態素解析処理によって、補正後認識文字列ＣＲＴが肯定的な内容なのか否定的な内容かを推定することが可能である。以下の例では、説明を容易にするため、補正後認識文字列ＣＲＴに、感情分類情報３３に含まれる文字列が含まれれば、この補正後認識文字列ＣＲＴに含まれる文字列に対応する文字評価値Ｙを増加させることとして説明を行う。
【００３７】
推定部２５８は、補正感情情報ＣＶＥと文字感情情報ＴＥとに基づいて、ユーザＵが抱く１以上の感情を推定する。例えば、推定部２５８は、複数の感情の各々について、補正感情情報ＣＶＥの音声評価値Ｘ１〜Ｘ４と文字感情情報ＴＥの文字評価値Ｙ１〜Ｙ４とを感情ごとに加算して、感情ごとに加算値を算出する。推定部２５８は、感情ごとの加算値を閾値と比較し、閾値を超える加算値を特定する。推定部２５８は、特定された加算値に対応する１以上の感情を、ユーザＵが抱く１以上の感情として推定する。以下の説明では、音声評価値Ｘと文字評価値Ｙとの加算とは、感情ごとに加算して、４つの加算値を生成することを意味する。
推定部２５８は、音声評価値Ｘと文字評価値Ｙとを単に加算するのみに限らず、音声評価値Ｘと文字評価値Ｙとのいずれか一方の評価値に、所定値αを乗じた値と、他方の評価値とを加算してもよい。所定値αは、例えば、ユーザ装置１の開発者又はユーザＵなどによって設定される値である。
【００３８】
推定部２５８は、推定したユーザＵが抱く１以上の感情を示す推定感情情報ＥＩを出力する。推定感情情報ＥＩは、例えば、以下に示す２つの態様がある。推定感情情報ＥＩの第１の態様は、推定したユーザＵが抱く１以上の感情を示す識別子である。感情を示す識別子には、喜びを示す識別子、怒りを示す識別子、悲しみを示す識別子、及び、平常を示す識別子がある。推定感情情報ＥＩの第２の態様は、推定したユーザＵが抱く１以上の感情を示す識別子と、推定したユーザＵが抱く感情の評価値とである。推定したユーザＵが抱く感情の評価値は、例えば、推定したユーザＵが抱く１以上の感情について、補正感情情報ＣＶＥの音声評価値Ｘと文字評価値Ｙとを感情ごとに加算した値である。
【００３９】
出力部２６は、推定感情情報ＥＩが示す１以上の感情に応じた処理を実行して得られたデータを出力する。例えば、出力部２６は、下記に示す２つの態様がある。第１の態様における出力部２６は、音声認識処理部２５６１によって得られた認識文字列ＲＴに対して、推定感情情報ＥＩが示す１以上の感情に応じた処理を実行して得られたデータを出力する。感情に応じた処理は、例えば、下記に示す２つの態様がある。
感情に応じた処理の第１の態様は、認識文字列ＲＴに対して、感情を具象化した図形を付加する処理である。感情を具象化した図形は、例えば、感情を具象化した絵文字、及び、感情を具象化した顔文字である。絵文字は、文字コードに対応付けられた画像である。文字コードは、例えば、Unicodeである。顔文字は、記号及び文字を組み合わせて顔を表現した文字列である。以下の説明では、感情を具象化した図形は、感情を具象化した絵文字であるとして説明する。喜びを具象化した絵文字は、例えば、笑顔を示す絵文字である。怒りを具象化した絵文字は、例えば、怒りの顔を示す絵文字である。悲しみを具象化した絵文字は、例えば、泣き顔を示す絵文字である。さらに、推定感情情報ＥＩが第２の態様である場合、出力部２６は、推定感情情報ＥＩが示す感情であって、推定感情情報ＥＩに含まれる評価値に応じた強度を有する感情を具象化した絵文字を、認識文字列ＲＴに付加する絵文字として決定してもよい。例えば、推定感情情報ＥＩが示す感情が悲しみであり、かつ、推定感情情報ＥＩに含まれる評価値が所定の閾値以下である場合、出力部２６は、涙をこぼす顔を示す絵文字を認識文字列ＲＴに付加する絵文字として決定する。一方、推定感情情報ＥＩが示す感情が悲しみであり、かつ、推定感情情報ＥＩに含まれる評価値が所定の閾値より大きい場合、出力部２６は、号泣した顔を示す絵文字を認識文字列ＲＴに付加する絵文字として決定する。号泣した顔を示す絵文字は、涙をこぼす顔を示す絵文字と比較して、より高い強度の悲しみを具象化している。
出力部２６は、認識文字列ＲＴに絵文字を付加して得られた絵文字付き文字列を出力する。絵文字を付加する位置は、例えば、以下に示す２つがある。第１の位置は、認識文字列ＲＴの末尾である。第２の位置は、認識文字列ＲＴ内における、感情分類情報３３に含まれる文字列の次である。表示装置４は、出力部２６が出力した絵文字付き文字列に基づく画像を表示する。
【００４０】
感情に応じた処理の第２の態様は、感情に基づく抑揚を付加して読み上げた合成音声を生成する処理である。抑揚は、例えば、読み上げ速度を速くするもしくは遅くする、又は、音量を大きくするもしくは小さくすることである。喜びに基づく抑揚は、例えば、読み上げ速度を上げることである。怒りに基づく抑揚は、例えば、音量を大きくすることである。悲しみに基づく抑揚は、例えば、音量を小さくすることである。出力部２６は、感情に基づく抑揚を付加して読み上げた合成音声を示す情報を出力する。そして、出力部２６は、生成したデータが示す合成音声に、感情に基づく抑揚を付加して、感情に基づく抑揚を付加して読み上げた合成音声を示す情報を出力する。放音装置７は、出力部２６が出力したデータが示す合成音声を放音する。
【００４１】
第２の態様における出力部２６は、推定感情情報ＥＩが示す１以上の感情を具象化した絵文字を出力する。第２の態様における出力部２６では、認識文字列ＲＴを用いる必要がない。以下の記載では、出力部２６は、第１の態様であるとして説明する。
【００４２】
１．２．第１実施形態の動作
次に、ユーザ装置１の動作について、図６を用いて説明する。
【００４３】
図６は、ユーザ装置１の動作を示すフローチャートである。処理装置２は、上述した補正情報ＣＩの２つの生成方法のいずれか一方に従って、補正情報ＣＩを生成する（ステップＳ１）。次に、取得部２１は、音情報ＳＩを取得する（ステップＳ２）。そして、音声認識処理部２５６１は、音情報ＳＩに対して音声認識処理を実行し、認識文字列ＲＴを出力する（ステップＳ３）。次に、形態素解析処理部２５６３は、解析用辞書情報３１を参照して、認識文字列ＲＴに対して形態素解析処理を実行して、補正後認識文字列ＣＲＴを出力する（ステップＳ４）。そして、評価値算出部２５６５は、感情分類情報３３に含まれる文字列と、補正後認識文字列ＣＲＴとを比較することにより各感情の文字評価値Ｙを算出し、各感情の文字評価値Ｙを含む文字感情情報ＴＥを生成する（ステップＳ５）。
【００４４】
また、ノイズ除去部２５１は、音情報ＳＩが示す音から、第１パラメータＰ１及び第２パラメータＰ２に従ってノイズを除去して音声情報ＶＩを生成する（ステップＳ６）。そして、音声評価部２５２は、ノイズを除去した音声情報ＶＩから、音の特徴量を抽出する（ステップＳ７）。次に、音声評価部２５２は、音の特徴量を学習モデルＬＭに入力し、各感情の音声評価値ｘを含む音声感情情報ＶＥを学習モデルＬＭから取得する（ステップＳ８）。補正部２５３は、補正情報ＣＩを用いて、音声感情情報ＶＥに含まれる各感情の音声評価値ｘを補正した補正感情情報ＣＶＥを生成する（ステップＳ９）。
【００４５】
推定部２５８は、補正感情情報ＣＶＥと文字感情情報ＴＥとに基づいて、ユーザＵが抱く感情を推定し、推定感情情報ＥＩを出力する（ステップＳ１０）。出力部２６は、認識文字列ＲＴに対して、推定感情情報ＥＩが示す感情に応じた処理を実行して得られる情報を出力する（ステップＳ１１）。ステップＳ１１の処理終了後、ユーザ装置１は、図６に示す一連の処理を終了する。
【００４６】
１．３．第１実施形態の効果
以上の説明によれば、ユーザ装置１は、汎用的な学習モデルＬＭを用いてユーザＵの感情推定を実行するため、個人ごとに調整された学習モデルを生成する場合と比較して、学習モデルＬＭの生成にかかる時間を短縮できる。
汎用的な学習モデルＬＭに平均的な人間の音声に関する複数の特徴量を入力すれば、平均的な人間の抱く感情を推定できる。しかし、ユーザＵの音声は、ユーザＵの性別、年齢、及び、ユーザＵの話し方の特徴等の影響を受けるので、平均的な人間の音声と相違する。従って、単に汎用的な学習モデルＬＭを用いるだけでは、ユーザＵが抱く感情の判定精度が低下する。
上述したユーザ装置１では、ユーザＵの音声の特徴に基づく補正情報ＣＩを用いて、学習モデルＬＭから出力される音声感情情報ＶＥが補正されるため、汎用的な学習モデルＬＭを利用しつつ、ユーザＵが抱く感情を高精度に推定できる。
【００４７】
また、ユーザ装置１は、音情報ＳＩが示す音からノイズを除去して音声情報ＶＩを生成し、音声情報ＶＩに基づく音の特徴量を学習モデルＬＭに入力する。音声情報ＶＩに基づく音の特徴量を学習モデルＬＭに入力することにより、音情報ＳＩに基づく音の特徴量を学習モデルＬＭに入力する場合と比較して、より精度の高い音声感情情報ＶＥを得ることができる。
【００４８】
また、ユーザ装置１は、補正感情情報ＣＶＥと文字感情情報ＴＥとに基づいて、ユーザＵが抱く１以上の感情を推定するので、補正感情情報ＣＶＥのみに基づいてユーザＵが抱く感情を推定する場合と比較して、ユーザＵが抱く感情を高精度に推定できる。
【００４９】
２．第２実施形態
第２実施形態にかかるユーザ装置１ａは、ユーザＵに明示的に感情を発露させた音声を発話するように促し、ユーザＵの明示的な音声感情情報ＶＥａを学習モデルＬＭから取得し、ユーザＵが抱く感情が明示的な感情であると推定部２５８が推定する可能性を高くする目的で、補正情報ＣＩを調整する点で、第１実施形態にかかるユーザ装置１と相違する。第２実施形態では、ユーザ装置１ａは、ユーザＵが抱く感情を推定する感情推定モードと、補正情報ＣＩを調整するキャリブレーションモードとを取り得る。感情推定モードが、第１実施形態に相当するため、説明を省略する。以下、第２実施形態にかかるユーザ装置１ａを説明する。なお、以下に例示する第２実施形態において作用又は機能が第１実施形態と同等である要素については、以上の説明で参照の符号を流用して各々の詳細な説明を適宜に省略する。
【００５０】
２．１．第２実施形態の機能
図７は、第２実施形態にかかるユーザ装置１ａを示すブロック図である。ユーザ装置１ａは、処理装置２ａ、記憶装置３ａ、表示装置４、操作装置５、通信装置６、放音装置７、及び、集音装置８を具備するコンピュータシステムにより実現される。記憶装置３ａは、処理装置２ａが読取可能な記録媒体であり、処理装置２ａが実行する制御プログラムＰＲａを含む複数のプログラム、解析用辞書情報３１、及び、感情分類情報３３を記憶する。
【００５１】
処理装置２ａは、記憶装置３ａから制御プログラムＰＲａを読み取り実行することによって、取得部２１ａ、感情推定部２５ａ、及び、出力部２６として機能する。
【００５２】
図８は、第２実施形態にかかるユーザ装置１ａの機能の概要を示す図である。感情推定部２５ａは、ノイズ除去部２５１、音声評価部２５２、補正部２５３、調整部２５４、文字評価部２５６、及び、推定部２５８を含む。
【００５３】
取得部２１ａは、複数の感情のうち一の感情をユーザＵが明示的に発露させた音声を含む音を示す音情報ＳＩａを取得する。具体的には、ユーザＵが、操作装置５への操作によって、ユーザ装置１ａをキャリブレーションモードに設定した場合、処理装置２は、複数の感情のうち一の感情を明示的に発露して発音するように促した画面を表示装置４に表示する。「一の感情」を、以下、「明示感情」と称する。取得部２１ａは、前述の画面を表示した後に取得した音情報ＳＩを、明示感情をユーザＵが発露させた音声を含む音を示す音情報ＳＩａとして取得する。複数の感情のうち、いずれの感情を明示感情に設定するかについては、例えば、ユーザ装置１ａの開発者が予め設定してもよいし、ユーザＵが複数の感情から明示感情を選択してもよい。
【００５４】
ノイズ除去部２５１は、音情報ＳＩａが示す音からノイズを除去して音声情報ＶＩａを生成する。
【００５５】
音声評価部２５２は、学習モデルＬＭに対して、音声情報ＶＩａに基づく音の特徴量を入力し、ユーザＵの明示的な音声感情情報ＶＥａを学習モデルＬＭから取得する。
【００５６】
調整部２５４は、ユーザＵが抱く感情が明示感情であると推定部２５８が推定する可能性を高くする目的で、明示的な音声感情情報ＶＥａに基づいて補正情報ＣＩを調整する。例えば、調整部２５４は、明示感情に対応する係数ｋを増加させる処理、及び、明示感情以外の感情に対応する係数ｋを減少させる処理の一方又は両方を実行する。例えば、調整部２５４は、下記式に従って、係数ｋ１〜ｋ４を生成する。但し、感情を発露させてユーザＵが予め定められた音声を発話した場合に得られる理想的な音声評価値Ｘに関し、喜びの音声評価値をＸａ１、怒りの音声評価値をＸａ２、悲しみの音声評価値をＸａ３、平常の音声評価値をＸａ４で表す。
ｋ１＝Ｘａ１／ｘ１
ｋ２＝Ｘａ２／ｘ２
ｋ３＝Ｘａ３／ｘ３
ｋ４＝Ｘａ４／ｘ４
但し、係数ｋは、必ずしもＸａ／ｘと一致する必要はない。
【００５７】
２．２．第２実施形態の動作
次に、キャリブレーションモード時のユーザ装置１ａの動作について、図９を用いて説明する。
【００５８】
図９は、キャリブレーションモード時のユーザ装置１ａの動作を示すフローチャートである。取得部２１ａは、ユーザＵが明示感情を発露させた音声を含む音を示す音情報ＳＩａを取得する（ステップＳ２１）。次に、ノイズ除去部２５１は、第１パラメータＰ１及び第２パラメータＰ２に従ってノイズを除去して音声情報ＶＩａを生成する（ステップＳ２２）。そして、音声評価部２５２は、ノイズを除去した音声情報ＶＩａから、音の特徴量を抽出する（ステップＳ２３）。次に、音声評価部２５２は、音の特徴量を学習モデルＬＭに入力し、各感情の音声評価値ｘを含む音声感情情報ＶＥａを学習モデルＬＭから取得する（ステップＳ２４）。
【００５９】
調整部２５４は、明示的な音声感情情報ＶＥａに含まれる複数の音声評価値ｘを、補正部２５３と同様の方法により補正する（ステップＳ２５）。次に、調整部２５４は、ユーザＵが抱く感情が明示感情であると推定部２５８が推定する可能性を高くする目的で、補正情報ＣＩを調整する（ステップＳ２６）。ステップＳ２６の処理終了後、ユーザ装置１ａは、図９に示す一連の処理を終了する。
【００６０】
２．３．第２実施形態の効果
以上の説明によれば、ユーザＵが明示感情を発露させた音声を発話した場合に、ユーザ装置１ａは、ユーザＵが抱く感情が明示感情であると推定部２５８が推定する可能性を高くする目的で、明示的な音声感情情報ＶＥａに基づいて補正情報ＣＩを調整する態様を有する。この態様では、音声感情情報ＶＥａによって推定される感情の正解が判明しており、補正情報ＣＩを調整したユーザＵ用の補正感情情報ＣＶＥは、補正情報ＣＩを調整していないユーザＵ用の補正感情情報ＣＶＥと比較して、ユーザＵが抱く感情の推定精度を向上できる。
また、ユーザＵが明示感情を発露させた音声を発話したとしても、感情を音声に発露させる強度はユーザＵ間で互いに異なる。例えば、あるユーザＵは、感情を音声に発露させる強度が高い一方で、別のユーザＵは、感情を音声に発露させる強度が低い場合がある。第２実施形態における補正情報ＣＩは、感情を音声に発露させる強度の違いも反映される。例えば、感情を音声に発露させる強度が高いユーザＵは、上述の理想的な音声評価値Ｘに対して、音声評価値ｘが近い値となり、係数ｋが１に近い値となる。一方、感情を音声に発露させる強度が低いユーザＵは、上述の理想的な音声評価値Ｘに対して、音声評価値ｘが小さい値となり、係数ｋが１から離れた値となる。以上により、発露させる強度が低いユーザＵほど、係数ｋが１から離れた値になり、感情を音声に発露させる強度の違いが補正情報ＣＩに反映されるため、ユーザＵが抱く感情の推定精度を向上できる。
【００６１】
３．第３実施形態
第３実施形態にかかる感情推定システムＳＹＳは、第２実施形態で示した機能によってユーザ装置１ｂをキャリブレーションモードに設定して、明示感情を発露させたユーザＵの感情推定結果を利用して、ユーザ装置１ｂをキャリブレーションモードに設定していなく、明示感情を発露させていないユーザＵの補正情報ＣＩを調整する構成を有する点で、第２実施形態にかかるユーザ装置１ａと相違する。以下の説明において、ユーザ装置１ｂをキャリブレーションモードに設定し、明示感情を発露させたユーザＵを、「キャリブレーション済みユーザ」と称し、キャリブレーションモードに設定していなく、明示感情を発露させていないユーザＵを、「非キャリブレーションユーザ」と称する。
以下、第３実施形態にかかる感情推定システムＳＹＳを説明する。なお、以下に例示する第３実施形態において作用又は機能が第２実施形態と同等である要素については、以上の説明で参照の符号を流用して各々の詳細な説明を適宜に省略する。
【００６２】
３．１．第３実施形態の概要
図１０は、感情推定システムＳＹＳの全体構成を示す図である。感情推定システムＳＹＳは、ユーザＵが所持するユーザ装置１ｂと、ネットワークＮＷと、サーバ装置１０とを備える。感情推定システムＳＹＳに含まれるユーザ装置１は、ユーザ装置１ｂ１からユーザ装置１ｂｍまでである。ｍは２以上の整数である。ユーザ装置１ｂ１を所持するユーザＵが、ユーザＵ１であり、ユーザ装置１ｂｍを所持するユーザＵは、ユーザＵｍである。
【００６３】
以下では、説明の簡略化のため、ユーザＵ１が、キャリブレーション済みユーザであり、ユーザＵ２が、非キャリブレーションユーザであるとして、説明を行う。
【００６４】
図１１は、ユーザ装置１ｂの構成を示すブロック図である。ユーザ装置１ｂは、処理装置２ｂ、記憶装置３ｂ、表示装置４、操作装置５、通信装置６、放音装置７、及び、集音装置８を具備するコンピュータシステムにより実現される。記憶装置３ｂは、処理装置２ｂが読取可能な記録媒体であり、処理装置２ｂが実行する制御プログラムＰＲｂを含む複数のプログラムを記憶する。
【００６５】
処理装置２ｂは、記憶装置３ｂから制御プログラムＰＲｂを読み取り実行することによって、取得部２１、及び、出力部２６として機能する。
【００６６】
図１２は、サーバ装置１０の構成を示すブロック図である。サーバ装置１０は、処理装置２Ｂ、記憶装置３Ｂ、及び、通信装置６Ｂを具備するコンピュータシステムにより実現される。サーバ装置１０の各要素は、情報を通信するための単体又は複数のバス９Ｂで相互に接続される。記憶装置３Ｂは、処理装置２Ｂが読取可能な記録媒体であり、処理装置２Ｂが実行する制御プログラムＰＲＢを含む複数のプログラム、解析用辞書情報３１、感情分類情報３３、及び、学習モデルＬＭを記憶する。
【００６７】
処理装置２Ｂは、記憶装置３Ｂから制御プログラムＰＲＢを読み取り実行することによって、感情推定部２５Ｂとして機能する。図１３を用いて、感情推定システムＳＹＳの機能について説明する。
【００６８】
図１３は、感情推定システムＳＹＳの機能の概要を示す図である。感情推定部２５Ｂは、ノイズ除去部２５１、音声評価部２５２Ｂ、補正部２５３、調整部２５４、文字評価部２５６、推定部２５８、及び、特定部２５９を含む。
【００６９】
ユーザ装置１ｂ１の取得部２１は、ユーザＵ１の音声を含む音を集音する集音装置８が出力する音情報ＳＩ１を取得する。図１４を用いて、処理装置２Ｂによって実現される機能である、非キャリブレーションユーザの補正情報ＣＩの調整機能の概要を示す。
【００７０】
図１４は、非キャリブレーションユーザの補正情報ＣＩの調整機能の概要を示す図である。図１４では、キャリブレーション済みであるユーザＵ１が、「ありがとう」と発声し、ユーザ装置１ｂ１の取得部２１が、音情報ＳＩ１を取得した状態を示している。
【００７１】
説明を図１３に戻す。ユーザＵ１に関して、ノイズ除去部２５１は、音情報ＳＩ１が示す音からノイズを除去して音声情報ＶＩ１を生成する。音声評価部２５２Ｂは、学習モデルＬＭに対して、音声情報ＶＩ１から抽出した音の特徴量を入力し、音声感情情報ＶＥ１を学習モデルＬＭから取得する。補正部２５３は、ユーザＵ１の音声の特徴に基づく補正情報ＣＩ１を用いて音声感情情報ＶＥ１を補正した補正感情情報ＣＶＥ１を生成する。また、音声認識処理部２５６１は、音声認識処理を音情報ＳＩ１に対して実行し、音声認識処理の認識結果を示す認識文字列ＲＴ１を取得する。続けて、形態素解析処理部２５６３は、解析用辞書情報３１を参照して、認識文字列ＲＴ１に対して形態素解析処理を実行して、補正後認識文字列ＣＲＴ１を出力する。評価値算出部２５６５は、感情分類情報３３に含まれる文字列と、補正後認識文字列ＣＲＴ１とを比較することにより、文字感情情報ＴＥ１を生成する。
図１４では、サーバ装置１０が、音情報ＳＩ１に基づいて、補正感情情報ＣＶＥ１と文字感情情報ＴＥ１とを生成した状態を示している。
【００７２】
特定部２５９は、補正感情情報ＣＶＥ１に含まれる複数の音声評価値Ｘと、文字感情情報ＴＥ１に含まれる文字評価値Ｙとの相違の程度を示す値が所定値以下である場合、認識文字列ＲＴ１を特定文字列ＳＴとして特定する。特定文字列ＳＴとして特定されやすい文字列は、この文字列が有する本来の意味で発話されることが多い文字列であり、例えば、「ありがとう」、及び「ふざけるな」等である。
ただし、「ありがとう」といった言葉も、時に社交辞令又は皮肉として発話されることもあり、「ありがとう」が有する本来の意味である「感謝」の意味で発話されない場合がある。この場合、音声情報ＶＩ１には喜びが発露していないため、音声評価値Ｘと文字評価値Ｙとが大きく相違する。そこで、サーバ装置１０は、キャリブレーション済みユーザの認識文字列ＲＴと、音声評価値Ｘと、文字評価値Ｙと、音声情報ＶＩ１を生成した日時とを対応付けてログとして記憶し、特定部２５９は、このログを参照して、認識文字列ＲＴに対する音声評価値Ｘ及び文字評価値Ｙの相違の程度の傾向に基づいて、特定文字列ＳＴを特定してもよい。例えば、特定部２５９は、現在時刻から過去のある時刻までにおいて、音声評価値Ｘ及び文字評価値Ｙの相違の程度を示す値が所定値以下となった割合が所定の割合以上となった認識文字列ＲＴを、特定文字列ＳＴとして特定する。
相違の程度を示す値は、例えば、以下に示す２つの態様がある。第１の態様における相違の程度を示す値は、複数の感情の各々について、音声評価値Ｘと文字評価値Ｙとの差分の２乗の和ＳｕｍＸＹである。和ＳｕｍＸＹは、例えば、下記（１）式により求められる。
ＳｕｍＸＹ＝（Ｘ１−Ｙ１）２＋（Ｘ２−Ｙ２）２＋（Ｘ３−Ｙ３）２＋（Ｘ４−Ｙ４）２（１）
第２の態様における相違の程度を示す値は、補正感情情報ＣＶＥ１及び文字感情情報ＴＥ１を４次元のベクトルとみなした場合の補正感情情報ＣＶＥ１及び文字感情情報ＴＥ１の角度θである。角度θが大きい程、補正感情情報ＣＶＥ１と文字感情情報ＴＥ１とが相違すると言える。例えば、角度θは、下記（２）式により求められる。
θ＝ｃｏｓ−１（（ＣＶＥ１・ＴＥ１）／（｜ＣＶＥ１｜×｜ＴＥ１｜））  （２）
ただし、ＣＶＥ１・ＴＥ１は、補正感情情報ＣＶＥ１と文字感情情報ＴＥ１の内積を示す。｜ＣＶＥ１｜は、補正感情情報ＣＶＥ１の大きさを示す。｜ＴＥ１｜は、文字感情情報ＴＥ１の大きさを示す。
以下の説明では、相違の程度を示す値は、和ＳｕｍＸＹであるとする。
図１４では、和ＳｕｍＸＹが所定値以下である例を示す。従って、特定部２５９は、認識文字列ＲＴ１である「ありがとう」を特定文字列ＳＴとして特定する。
【００７３】
ユーザＵ２に関して、図１４に示すように、ユーザＵ２が、特定文字列ＳＴである「ありがとう」を発話したとする。ユーザ装置１ｂ２の取得部２１が、音情報ＳＩ２を取得する。ノイズ除去部２５１は、音情報ＳＩ２が示す音からノイズを除去して音声情報ＶＩ２を生成する。音声評価部２５２Ｂは、学習モデルＬＭに対して、音声情報ＶＩ２から抽出した音の特徴量を入力し、音声感情情報ＶＥ２を学習モデルＬＭから取得する。補正部２５３は、ユーザＵ２の音声の特徴に基づく補正情報ＣＩ２を用いて音声感情情報ＶＥ２を補正した補正感情情報ＣＶＥ２を生成する。また、音声認識処理部２５６１は、音声認識処理を音情報ＳＩ２に対して実行し、音声認識処理の認識結果を示す認識文字列ＲＴ２を取得する。続けて、形態素解析処理部２５６３は、解析用辞書情報３１を参照して、認識文字列ＲＴ２に対して形態素解析処理を実行して、補正後認識文字列ＣＲＴ２を出力する。評価値算出部２５６５は、感情分類情報３３に含まれる文字列と、補正後認識文字列ＣＲＴ２とを比較することにより、文字感情情報ＴＥ２を生成する。
図１４では、サーバ装置１０が、音情報ＳＩ２に基づいて、補正感情情報ＣＶＥ２と文字感情情報ＴＥ２とを生成した状態を示している。
【００７４】
非キャリブレーションユーザであるユーザＵ２が、特定文字列ＳＴを発話した場合には、調整部２５４は、ユーザＵ２の補正感情情報ＣＶＥ２に含まれる複数の音声評価値Ｘを、複数の感情の各々について、ユーザＵ２の文字感情情報ＴＥ２に含まれる複数の文字評価値Ｙに近づける目的で、ユーザＵ２用の補正情報ＣＩ２を調整する。例えば、調整部２５４は、下記式に従って、係数ｋ１〜ｋ４を生成する。
ｋ１＝Ｙ１／Ｘ１
ｋ２＝Ｙ２／Ｘ２
ｋ３＝Ｙ３／Ｘ３
ｋ４＝Ｙ４／Ｘ４
但し、係数ｋは、必ずしもＹ／Ｘと一致する必要はない。
【００７５】
３．２．第３実施形態の動作
第２実施形態と同様に、第３実施形態でも、ユーザ装置１ｂは、ユーザＵの感情を推定する感情推定モードと、補正情報ＣＩを調整するキャリブレーションモードとを取り得る。ユーザ装置１ｂがキャリブレーションモードに設定された場合、サーバ装置１０が、ステップＳ２１に示す音情報ＳＩをユーザ装置１ｂから取得して、ステップＳ２１以降の各ステップを実行すればよい。図９に示す一連の処理終了後、サーバ装置１０は、キャリブレーションモードに設定されたユーザ装置１ｂの識別情報を、キャリブレーション済みユーザが所持するユーザ装置１ｂとして記憶装置３Ｂに記憶する。ユーザ装置１ｂの識別情報は、例えば、ＵＩＤ（User IDentifier）、ＭＡＣ（Media Access Control）アドレス、加入者認証モジュール（ＳＩＭ：Subscriber Identity Module）に記録されたＩＭＳＩ（International Mobile Subscriber Identity）、又はユーザＩＤ等である。ＵＩＤは、サービスを提供する事業者が、ユーザごとに割り当てたＩＤである。感情推定モードにおける感情推定システムＳＹＳの動作について、図１５及び図１６を用いて説明する。
【００７６】
図１５及び図１６は、感情推定モードにおける感情推定システムＳＹＳの動作を示すフローチャートである。サーバ装置１０は、ユーザ装置１ｂから、補正情報ＣＩを取得する（ステップＳ３１）。具体的には、ユーザ装置１ｂが、上述した補正情報ＣＩの２つの生成方法のいずれか一方に従って、補正情報ＣＩを生成し、サーバ装置１０に補正情報ＣＩを送信する。次に、サーバ装置１０は、ユーザ装置１ｂから、音情報ＳＩを取得する（ステップＳ３２）。そして、感情推定部２５Ｂの音声認識処理部２５６１は、音情報ＳＩに対して音声認識処理を実行し、認識文字列ＲＴを出力する（ステップＳ３３）。次に、感情推定部２５Ｂの形態素解析処理部２５６３は、解析用辞書情報３１を参照して、認識文字列ＲＴに対して形態素解析処理を実行して、補正後認識文字列ＣＲＴを出力する（ステップＳ３４）。そして、感情推定部２５Ｂの評価値算出部２５６５は、感情分類情報３３に含まれる文字列と、補正後認識文字列ＣＲＴとを比較することにより各感情の文字評価値Ｙを算出し、各感情の文字評価値Ｙを含む文字感情情報ＴＥを生成する（ステップＳ３５）。
【００７７】
また、感情推定部２５Ｂのノイズ除去部２５１は、音情報ＳＩが示す音から、第１パラメータＰ１及び第２パラメータＰ２に従ってノイズを除去して音声情報ＶＩを生成する（ステップＳ４１）。そして、感情推定部２５Ｂの音声評価部２５２Ｂは、ノイズを除去した音声情報ＶＩから、音の特徴量を抽出する（ステップＳ４２）。次に、感情推定部２５Ｂの音声評価部２５２Ｂは、音の特徴量を学習モデルＬＭに入力し、各感情の音声評価値ｘを含む音声感情情報ＶＥを学習モデルＬＭから取得する（ステップＳ４３）。
【００７８】
次に、サーバ装置１０は、補正情報ＣＩ及び音情報ＳＩの送信元のユーザ装置１ｂを所持するユーザが、キャリブレーション済みユーザか否かを判定する（ステップＳ４４）。キャリブレーション済みユーザか非キャリブレーションユーザかを判定する方法として、ユーザ装置１ｂは、補正情報ＣＩの送信時及び音情報ＳＩの送信時のいずれか一方の時又は両方の時に、ユーザ装置１ｂの識別情報を送信する。サーバ装置１０は、受信したユーザ装置１ｂの識別情報が、キャリブレーション済みユーザが所持するユーザ装置１ｂとして記憶した識別情報と一致した場合、肯定である判定結果を出力し、記憶装置３Ｂに記憶した識別情報と一致しない場合、否定である判定結果を出力する。
【００７９】
ステップＳ４４の判定結果が肯定の場合、感情推定部２５Ｂの補正部２５３は、補正情報ＣＩを用いて、音声感情情報ＶＥに含まれる各感情の音声評価値ｘを補正した補正感情情報ＣＶＥを生成する（ステップＳ４５）。そして、感情推定部２５Ｂの特定部２５９は、補正感情情報ＣＶＥに含まれる音声評価値Ｘと文字感情情報ＴＥに含まれる文字評価値Ｙとの差分の２乗の和ＳｕｍＸＹが所定値以下か否かを判定する（ステップＳ４６）。
ステップＳ４４の判定結果が肯定であり、かつ、ステップＳ４６の判定結果が肯定の場合、感情推定部２５Ｂの特定部２５９は、認識文字列ＲＴを特定文字列ＳＴとして特定する（ステップＳ４７）。そして、感情推定部２５Ｂの推定部２５８は、補正感情情報ＣＶＥと文字感情情報ＴＥとに基づいて、ユーザＵが抱く感情を推定する（ステップＳ６１）。一方、ステップＳ４４の判定結果が肯定であり、ステップＳ４６の判定結果が否定の場合も、感情推定部２５Ｂの推定部２５８は、ステップＳ６１の処理を実行する。
【００８０】
ステップＳ４４の判定結果が否定の場合、すなわち、補正情報ＣＩ及び音情報ＳＩの送信元のユーザ装置１ｂを所持するユーザＵが非キャリブレーションユーザである場合、サーバ装置１０は、特定文字列ＳＴと認識文字列ＲＴとが一致するか否かを判定する（ステップＳ５０）。
ステップＳ４４の判定結果が否定であり、かつ、ステップＳ５０の判定結果が肯定の場合、感情推定部２５Ｂの特定部２５９は、補正感情情報ＣＶＥに含まれる音声評価値Ｘを文字感情情報ＴＥに含まれる複数の文字評価値Ｙに近づける目的で、非キャリブレーションユーザ用の補正情報ＣＩを調整する（ステップＳ５１）。そして、感情推定部２５Ｂの補正部２５３は、補正情報ＣＩを用いて、音声感情情報ＶＥに含まれる各感情の音声評価値ｘを補正した補正感情情報ＣＶＥを生成する（ステップＳ５２）。
ステップＳ４４の判定結果が否定であり、かつ、ステップＳ４５の判定結果が否定の場合も、感情推定部２５Ｂの補正部２５３は、ステップＳ５２の処理を実行する。
ステップＳ５２の処理終了後、感情推定部２５Ｂの推定部２５８は、ステップＳ６１の処理を実行する。
【００８１】
ステップＳ６１の処理を実行後、サーバ装置１０は、認識文字列ＲＴと、ステップＳ６１の処理結果である推定感情情報ＥＩとを、ユーザ装置１ｂに送信する。出力部２６は、認識文字列ＲＴに対して、推定感情情報ＥＩが示す感情に応じた処理を実行して得られる情報を出力する（ステップＳ６２）。ステップＳ６２の処理終了後、感情推定システムＳＹＳは、図１５及び図１６に示す一連の処理を終了する。
【００８２】
３．３．第３実施形態の効果
以上の説明によれば、サーバ装置１０は、非キャリブレーションユーザであるユーザＵ２が特定文字列ＳＴを発話した場合、補正感情情報ＣＶＥ２に含まれる複数の音声評価値Ｘを、複数の感情の各々について、文字感情情報ＴＥ２に含まれる複数の文字評価値Ｙに近づける目的で、ユーザＵ２用の補正情報ＣＩを調整する。特定文字列ＳＴは、キャリブレーションユーザであるユーザＵ１において、音声評価値Ｘと文字評価値Ｙとの相違の程度を示す値が所定値以下となった時の認識文字列ＲＴである。
ユーザＵ２が特定文字列ＳＴを発話した場合に限り、ユーザＵ２用の補正情報ＣＩを調整する理由について説明する。キャリブレーション済みユーザであっても、補正感情情報ＣＶＥと文字感情情報ＴＥとが近い値にならないことがある。例えば、キャリブレーション済みユーザが、文字列が有する本来の意味とは異なる意味でこの文字列を発話した場合、補正感情情報ＣＶＥと文字感情情報ＴＥとが近い値にならないことがある。文字列が有する本来の意味とは異なる意味でユーザＵが発話する例としては、ユーザＵが皮肉の内容を発話した場合、及び、ユーザＵが冗談を発話した場合である。ユーザＵが皮肉の内容及び冗談を発話すると、文字感情情報ＴＥの精度が低下するので、文字感情情報ＴＥのみに基づいてユーザＵが抱く感情を推定すると精度が低下する。また、ユーザＵが「今、着きました」といった事務連絡を発話すると、文字感情情報ＴＥの精度が低下するので、文字感情情報ＴＥのみに基づいてユーザＵが抱く感情を推定すると精度が低下する。発話内容が事務連絡である場合に文字感情情報ＴＥの精度が低下する理由は、事務連絡を示す発話内容には、感情分類情報３３に登録されている、感情を表す文字列が含まれる割合が一般的な発話内容と比較して低い傾向にあり、文字評価値Ｙ１〜Ｙ４が小さい値となるためである。ユーザＵが皮肉の内容を発話した場合、ユーザＵが冗談を発話した場合、及び、ユーザＵが事務連絡を発話した場合とは、文字感情情報ＴＥのみに基づいてユーザＵが抱く感情を精度良く推定できない場合の一例である。文字列が有する本来の意味で発話されている場合には、補正感情情報ＣＶＥと文字感情情報ＴＥとが近い値になりやすい傾向にある。
従って、特定文字列ＳＴは、音声評価値Ｘと文字評価値Ｙとの相違の程度を示す値が所定値以下となっているため、本来の意味で発話された可能性が高い文字列であると言える。そして、ユーザＵ２が特定文字列ＳＴを発話した場合には特定文字列ＳＴが有する本来の意味で、ユーザＵ２が発話している可能性が高いため、本来であれば、補正感情情報ＣＶＥと文字感情情報ＴＥとが近い値になるはずである。
ここで、非キャリブレーションユーザにおいて、一般的には、補正感情情報ＣＶＥの精度は、文字感情情報ＴＥの精度より低い可能性が高い。理由としては、文字感情情報ＴＥは、ユーザＵの音声の特徴からの影響が小さい一方で、音声感情情報ＶＥは、ユーザＵの音声の特徴からの影響が大きく、非キャリブレーションユーザの補正情報ＣＩが正しく調整されていないためである。
そこで、第３実施形態では、ユーザＵ２が特定文字列ＳＴを発話した場合には、文字感情情報ＴＥが正解の感情を示している可能性が高いので、サーバ装置１０は、音声評価値Ｘを文字評価値Ｙに近づける目的で、ユーザＵ２用の補正情報ＣＩを調整する。以上により、非キャリブレーションユーザについて、キャリブレーションモードを用いなくても、ユーザＵが抱く感情の推定精度を向上できる。非キャリブレーションユーザは、ユーザ装置１ｂをキャリブレーションモードに設定しなくとも感情の推定精度を向上できるので、ユーザ装置１ｂは、非キャリブレーションユーザの手間を削減できる。
【００８３】
４．第４実施形態
第４実施形態にかかる感情推定システムＳＹＳｃは、キャリブレーション済みユーザの感情推定結果を利用して、非キャリブレーションユーザ用の第１パラメータＰ１及び第２パラメータＰ２を調整する点で、第３実施形態にかかる感情推定システムＳＹＳと相違する。
以下、第４実施形態にかかる感情推定システムＳＹＳｃを説明する。なお、以下に例示する第４実施形態において作用又は機能が第３実施形態と同等である要素については、以上の説明で参照の符号を流用して各々の詳細な説明を適宜に省略する。
【００８４】
図１７は、感情推定システムＳＹＳｃの全体構成を示す図である。感情推定システムＳＹＳｃは、ユーザＵが所持するユーザ装置１ｂと、ネットワークＮＷと、サーバ装置１０Ｃとを備える。
【００８５】
図１８は、サーバ装置１０Ｃの構成を示すブロック図である。サーバ装置１０Ｃは、処理装置２Ｃ、記憶装置３Ｃ、及び、通信装置６Ｂを具備するコンピュータシステムにより実現される。記憶装置３Ｃは、処理装置２Ｃが読取可能な記録媒体であり、処理装置２Ｃが実行する制御プログラムＰＲＣを含む複数のプログラム、解析用辞書情報３１、感情分類情報３３、及び、学習モデルＬＭを記憶する。
【００８６】
処理装置２Ｃは、記憶装置３Ｃから制御プログラムＰＲを読み取り実行することによって、感情推定部２５Ｃとして機能する。図１９を用いて、感情推定システムＳＹＳｃの機能について説明する。
【００８７】
４．１．第４実施形態の機能
図１９は、感情推定システムＳＹＳｃの機能の概要を示す図である。感情推定部２５Ｃは、ノイズ除去部２５１Ｃ、音声評価部２５２Ｂ、補正部２５３、調整部２５４Ｃ、文字評価部２５６、推定部２５８、及び、特定部２５９を含む。
【００８８】
第４実施形態では、ノイズ除去部２５１Ｃで用いられる第１パラメータＰ１及び第２パラメータＰ２が、ユーザＵごとに用意される。以下の説明では、ユーザＵ１用の第１パラメータＰ１及び第２パラメータＰ２を含む情報をパラメータ情報ＴＩ１とし、ユーザＵ２用の第１パラメータＰ１及び第２パラメータＰ２を含む情報をパラメータ情報ＴＩ２として説明する。
【００８９】
図２０は、非キャリブレーションユーザのパラメータ情報ＴＩの調整機能の概要を示す図である。図２０では、キャリブレーション済みであるユーザＵ１が、「ありがとう」と発声し、ユーザ装置１ｂ１の取得部２１が、音情報ＳＩ１を取得した状態を示している。
【００９０】
説明を図１９に戻す。ユーザＵ１に関して、ノイズ除去部２５１Ｃは、音情報ＳＩ１が示す音から、パラメータ情報ＴＩ１に含まれる第１パラメータＰ１及び第２パラメータＰ２に基づいて、ノイズを除去して音声情報ＶＩ１を生成する。以降の処理について、感情推定部２５Ｃは、第３実施形態と同様に処理して、補正感情情報ＣＶＥ１と文字感情情報ＴＥ１とを生成し、認識文字列ＲＴ１である「ありがとう」を特定文字列ＳＴとして特定する。
【００９１】
ユーザＵ２に関して、図２０に示すように、ユーザＵ２が、特定文字列ＳＴである「ありがとう」を発話したとする。調整部２５４Ｃは、ユーザＵ２の補正感情情報ＣＶＥ２に含まれる複数の音声評価値Ｘを、複数の感情の各々について、ユーザＵ２の文字感情情報ＴＥ２に含まれる複数の文字評価値Ｙに近づける目的で、ユーザＵ２用のパラメータ情報ＴＩ２を調整する。具体的には、調整部２５４Ｃは、ノイズ除去部２５１Ｃに、現在のパラメータ情報ＴＩ２の第１パラメータＰ１及び第２パラメータＰ２に基づいて、音声情報ＶＩ２を生成させる。そして、調整部２５４Ｃは、音声評価部２５２Ｂ及び補正部２５３に、補正感情情報ＣＶＥ２を生成させ、文字評価部２５６に、文字感情情報ＴＥ２を生成させる。そして、調整部２５４Ｃは、補正感情情報ＣＶＥ２に含まれる音声評価値Ｘと、文字感情情報ＴＥ２に含まれる文字評価値Ｙとを比較する。例えば、調整部２５４Ｃは、パラメータ情報ＴＩ２の第１パラメータＰ１及び第２パラメータＰ２を微小量変化させる。調整部２５４Ｃは、微小量変化させた第１パラメータＰ１及び第２パラメータＰ２に基づいて、補正感情情報ＣＶＥを再度生成し、再度生成した補正感情情報ＣＶＥと文字感情情報ＴＥ２との相違の程度を示す値が、再作成する前の補正感情情報ＣＶＥと文字感情情報ＴＥ２との相違の程度を示す値より小さい場合、ユーザＵ２の複数の音声評価値Ｘを、ユーザＵ２の複数の文字評価値Ｙに近づける目的が達せられたと判定する。
【００９２】
図２０では、調整部２５４Ｃが、ユーザＵ２の複数の音声評価値Ｘを、ユーザＵ２の複数の文字評価値Ｙに近づける目的で、パラメータ情報ＴＩ２に含まれる第１パラメータＰ１及び第２パラメータＰ２を調整することを示している。
【００９３】
４．２．第４実施形態の動作
次に、感情推定モードにおける感情推定システムＳＹＳｃの動作について、図２１を用いて説明する。
【００９４】
図２１は、感情推定モードにおける感情推定システムＳＹＳｃの動作を示すフローチャートである。なお、第３実施形態で示した感情推定モードにおける感情推定システムＳＹＳｃの動作と、第４実施形態の感情推定モードにおける感情推定システムＳＹＳｃの動作において、図１５に示すステップＳ３１からステップＳ３５までの処理は共通である。従って、ステップＳ３１からステップＳ３５までの処理については図示及び説明を省略する。
【００９５】
ステップＳ３５の処理終了後、サーバ装置１０Ｃは、補正情報ＣＩ及び音情報ＳＩの送信元のユーザ装置１ｂを所持するユーザＵが、キャリブレーション済みユーザか否かを判定する（ステップＳ７１）。ステップＳ７１の判定結果が肯定の場合、感情推定部２５Ｃのノイズ除去部２５１Ｃは、音情報ＳＩが示す音から、パラメータ情報Ｔ１の第１パラメータＰ１及び第２パラメータＰ２に従ってノイズを除去して音声情報ＶＩを生成する（ステップＳ７２）。感情推定部２５Ｃの音声評価部２５２Ｂは、ノイズを除去した音声情報ＶＩから、音の特徴量を抽出する（ステップＳ７３）。次に、感情推定部２５Ｃの音声評価部２５２Ｂは、音の特徴量を学習モデルＬＭに入力し、各感情の音声評価値ｘを含む音声感情情報ＶＥを学習モデルＬＭから取得する（ステップＳ７４）。そして、感情推定部２５Ｃの補正部２５３は、補正情報ＣＩを用いて、音声感情情報ＶＥに含まれる各感情の音声評価値ｘを補正した補正感情情報ＣＶＥを生成する（ステップＳ７５）。
【００９６】
そして、感情推定部２５Ｃの特定部２５９は、補正感情情報ＣＶＥに含まれる音声評価値Ｘと文字感情情報ＴＥに含まれる文字評価値Ｙとの差分の２乗の和ＳｕｍＸＹが所定値以下か否かを判定する（ステップＳ７６）。
ステップＳ７１の判定結果が肯定であり、かつ、ステップＳ７６の判定結果が肯定の場合、感情推定部２５Ｃの特定部２５９は、認識文字列ＲＴを特定文字列ＳＴとして特定する（ステップＳ７７）。そして、感情推定部２５Ｃの推定部２５８は、補正感情情報ＣＶＥと文字感情情報ＴＥとに基づいて、ユーザＵが抱く感情を推定する（ステップＳ９１）。一方、ステップＳ７１の判定結果が肯定であり、ステップＳ７６の判定結果が否定の場合も、感情推定部２５Ｃの推定部２５８は、ステップＳ９１の処理を実行する。
【００９７】
ステップＳ７１の判定結果が否定の場合、すなわち、補正情報ＣＩ及び音情報ＳＩの送信元のユーザ装置１ｂを所持するユーザＵが非キャリブレーションユーザである場合、サーバ装置１０Ｃは、特定文字列ＳＴと認識文字列ＲＴとが一致するか否かを判定する（ステップＳ８１）。ステップＳ７１の判定結果が否定であり、かつ、ステップＳ８１の判定結果が肯定の場合、感情推定部２５Ｂの調整部２５４Ｃは、補正感情情報ＣＶＥに含まれる音声評価値Ｘを文字感情情報ＴＥに含まれる複数の文字評価値Ｙに近づける目的で、非キャリブレーションユーザ用のパラメータ情報ＴＩを調整する（ステップＳ８２）。そして、感情推定部２５Ｃのノイズ除去部２５１Ｃは、音情報ＳＩが示す音から、パラメータ情報ＴＩの第１パラメータＰ１及び第２パラメータＰ２に従ってノイズを除去して音声情報ＶＩを生成する（ステップＳ８３）。
ステップＳ７１の判定結果が否定であり、かつ、ステップＳ８１の判定結果が否定の場合も、感情推定部２５Ｃのノイズ除去部２５１Ｃは、ステップＳ８３の処理を実行する。
【００９８】
ステップＳ８３の処理終了後、感情推定部２５Ｃの音声評価部２５２Ｂは、ノイズを除去した音声情報ＶＩから、音の特徴量を抽出する（ステップＳ８４）。次に、感情推定部２５Ｃの音声評価部２５２Ｂは、音の特徴量を学習モデルＬＭに入力し、各感情の音声評価値ｘを含む音声感情情報ＶＥを学習モデルＬＭから取得する（ステップＳ８５）。そして、感情推定部２５Ｃの補正部２５３は、補正情報ＣＩを用いて、音声感情情報ＶＥに含まれる音声評価値ｘを補正した補正感情情報ＣＶＥを生成する（ステップＳ８６）。ステップＳ８６の処理終了後、感情推定部２５Ｃの推定部２５８は、ステップＳ９１の処理を実行する。
【００９９】
ステップＳ９１の処理終了後、サーバ装置１０Ｃは、認識文字列ＲＴと、ステップＳ６１の処理結果である推定感情情報ＥＩとを、ユーザ装置１ｂに送信する。出力部２６は、認識文字列ＲＴに対して、推定感情情報ＥＩが示す感情に応じた処理を実行して得られる情報を出力する（ステップＳ９２）。ステップＳ９２の処理終了後、感情推定システムＳＹＳｃは、図２１に示す一連の処理を終了する。
【０１００】
４．３．第４実施形態の効果
第４実施形態も、第３実施形態と同様に、ユーザＵ２が特定文字列ＳＴを発話した場合には、文字感情情報ＴＥが正解の感情を示している可能性が高いので、サーバ装置１０Ｃは、音声評価値Ｘを文字評価値Ｙに近づける目的で、ユーザＵ２用のパラメータ情報ＴＩを調整する。以上により、非キャリブレーションユーザについて、キャリブレーションモードを用いなくても、ユーザＵが抱く感情の推定精度を向上できる。非キャリブレーションユーザは、ユーザ装置１ｂをキャリブレーションモードに設定しなくとも感情の推定精度を向上できるで、ユーザ装置１ｂは、非キャリブレーションユーザの手間を削減できる。
集音装置８の性能は、ユーザ装置１ｂ間で互いに異なる。例えば、集音装置８の製造元が異なると、集音装置８の性能も一般的に互いに異なる。また、集音装置８は経年劣化により性能が低下する傾向にあるため、同一の製造元の集音装置８であっても、製造時点からの日数が異なる場合、集音装置８の性能も互いに異なる傾向にある。ユーザ装置１ｂ間で集音装置８の性能が互いに異なる結果、音情報ＳＩに含まれるノイズの量も異なるため、パラメータ情報ＴＩを調整することにより、ユーザＵが抱く感情を精度良く推定できる。
例えば、学習済みのパラメータ情報ＴＩを適用したノイズ処理を実行すると、集音装置８の性能の違いによって、音声情報ＶＩから感情推定に必要な情報が欠落する場合がある。従って、集音装置８の性能に応じてパラメータ情報ＴＩを調整することにより、ユーザＵが抱く感情を精度良く推定できる。
【０１０１】
５．第５実施形態
第５実施形態にかかる感情推定システムＳＹＳｄは、第１実施形態で示した感情推定部２５の処理を、サーバ装置１０Ｄとユーザ装置１ｄとで分散する点で、第１実施形態にかかるユーザ装置１と相違する。以下、第５実施形態にかかる感情推定システムＳＹＳｄを説明する。なお、以下に例示する第５実施形態において作用又は機能が第１実施形態と同等である要素については、以上の説明で参照の符号を流用して各々の詳細な説明を適宜に省略する。
【０１０２】
５．１．第５実施形態の概要
図２２は、感情推定システムＳＹＳｄの全体構成を示す図である。感情推定システムＳＹＳｄは、ユーザＵが所持するユーザ装置１ｄと、ネットワークＮＷと、サーバ装置１０Ｄとを備える。
【０１０３】
図２３は、ユーザ装置１ｄの構成を示すブロック図である。ユーザ装置１ｄは、処理装置２ｄ、記憶装置３ｄ、表示装置４、操作装置５、通信装置６、放音装置７、及び、集音装置８を具備するコンピュータシステムにより実現される。記憶装置３ｄは、処理装置２ｄが読取可能な記録媒体であり、処理装置２ｄが実行する制御プログラムＰＲｄを含む複数のプログラムを記憶する。通信装置６が、「第２通信装置」の一例である。
【０１０４】
処理装置２ｄは、記憶装置３ｄから制御プログラムＰＲｄを読み取り実行することによって、取得部２１、第１感情推定部２５ｄ、及び、出力部２６として機能する。
【０１０５】
図２４は、サーバ装置１０Ｄの構成を示すブロック図である。サーバ装置１０Ｄは、処理装置２Ｄ、記憶装置３Ｄ、及び、通信装置６Ｂを具備するコンピュータシステムにより実現される。記憶装置３Ｄは、処理装置２Ｄが読取可能な記録媒体であり、処理装置２Ｄが実行する制御プログラムＰＲＤを含む複数のプログラム、解析用辞書情報３１、感情分類情報３３、及び、学習モデルＬＭを記憶する。通信装置６Ｂが、「第１通信装置」の一例である。
【０１０６】
処理装置２Ｄは、記憶装置３Ｄから制御プログラムＰＲＤを読み取り実行することによって、第２感情推定部２５Ｄとして機能する。図２５を用いて、感情推定システムＳＹＳｄの機能について説明する。
【０１０７】
図２５は、感情推定システムＳＹＳｄの機能の概要を示す図である。第１感情推定部２５ｄは、補正部２５３、及び、推定部２５８を含む。第２感情推定部２５Ｄは、ノイズ除去部２５１、音声評価部２５２、文字評価部２５６を含む。
【０１０８】
取得部２１は、ユーザＵ１の音声を含む音を集音する集音装置８が出力する音情報ＳＩ１を取得する。通信装置６は、音情報ＳＩを、サーバ装置１０Ｄに送信する。第２感情推定部２５Ｄは、音情報ＳＩに基づいて、音声感情情報ＶＥと文字感情情報ＴＥと認識文字列ＲＴとを生成する。通信装置６Ｂは、音声感情情報ＶＥと文字感情情報ＴＥと認識文字列ＲＴとをユーザ装置１ｄに送信する。
【０１０９】
補正部２５３は、補正情報ＣＩを用いて、補正感情情報ＣＶＥを生成する。推定部２５８は、補正感情情報ＣＶＥと文字感情情報ＴＥとに基づいて、ユーザＵが抱く感情を推定する。出力部２６は、認識文字列ＲＴに対して、推定感情情報ＥＩが示す感情に応じた処理を実行して得られたデータを出力する。
【０１１０】
５．２．第５実施形態の効果
以上の説明によれば、感情推定システムＳＹＳｄにおいて、ユーザ装置１ｄは、第１実施形態におけるユーザ装置１と比較すると、負荷を軽減できる。
【０１１１】
６．第６実施形態
第６実施形態にかかる感情推定システムＳＹＳｅは、第２実施形態で示した感情推定部２５の処理を、サーバ装置１０Ｄとユーザ装置１ｅとで分散する点で、第２実施形態にかかるユーザ装置１ａと相違する。以下、第６実施形態にかかる感情推定システムＳＹＳｅを説明する。なお、以下に例示する第６実施形態において作用又は機能が第２実施形態又は第５実施形態と同等である要素については、以上の説明で参照の符号を流用して各々の詳細な説明を適宜に省略する。
【０１１２】
６．１．第６実施形態の概要
図２６は、感情推定システムＳＹＳｅの全体構成を示す図である。感情推定システムＳＹＳｅは、ユーザＵが所持するユーザ装置１ｅと、ネットワークＮＷと、サーバ装置１０Ｄとを備える。
【０１１３】
図２７は、ユーザ装置１ｅの構成を示すブロック図である。ユーザ装置１ｅは、処理装置２ｅ、記憶装置３ｅ、表示装置４、操作装置５、通信装置６、放音装置７、及び、集音装置８を具備するコンピュータシステムにより実現される。記憶装置３ｅは、処理装置２ｅが読取可能な記録媒体であり、処理装置２ｅが実行する制御プログラムＰＲｅを含む複数のプログラムを記憶する。
【０１１４】
処理装置２ｅは、記憶装置３ｅから制御プログラムＰＲｅを読み取り実行することによって、取得部２１ａ、第１感情推定部２５ｅ、及び、出力部２６として機能する。図２８を用いて、感情推定システムＳＹＳｅの機能について説明する。
【０１１５】
図２８は、感情推定システムＳＹＳｅの機能の概要を示す図である。第１感情推定部２５ｅは、補正部２５３と、調整部２５４と、推定部２５８とを含む。
【０１１６】
取得部２１ａは、ユーザＵが明示感情を発露させた音声を含む音を示す音情報ＳＩａを取得する。サーバ装置１０Ｄは、音情報ＳＩａに基づいて音声感情情報ＶＥａを生成する。そして、通信装置６Ｂが、音声感情情報ＶＥａをユーザ装置１に送信する。
【０１１７】
調整部２５４は、ユーザＵが抱く感情が明示感情であると推定部２５８が推定する可能性を高くする目的で、明示的な音声感情情報ＶＥａに基づいて補正情報ＣＩを調整する。
【０１１８】
６．２．第６実施形態の効果
以上の説明によれば、感情推定システムＳＹＳにおいて、ユーザ装置１ｄは、第２実施形態におけるユーザ装置１と比較すると、負荷を軽減できる。
【０１１９】
７．第７実施形態
第７実施形態にかかる感情推定システムＳＹＳｆは、第３実施形態で示した感情推定部２５の処理を、サーバ装置１０Ｆとユーザ装置１ｆとで分散する点で、第３実施形態にかかる感情推定システムＳＹＳと相違する。以下、第７実施形態にかかる感情推定システムＳＹＳｆを説明する。なお、以下に例示する第７実施形態において作用又は機能が第３実施形態又は第５実施形態と同等である要素については、以上の説明で参照の符号を流用して各々の詳細な説明を適宜に省略する。
【０１２０】
７．１．第７実施形態の概要
図２９は、感情推定システムＳＹＳｆの全体構成を示す図である。感情推定システムＳＹＳｆは、ユーザＵが所持するユーザ装置１ｆと、ネットワークＮＷと、サーバ装置１０Ｆとを備える。ユーザＵ１が、「第１ユーザ」の例である。ユーザＵ２が、「第２ユーザ」の例である。
【０１２１】
図３０は、ユーザ装置１ｆを示すブロック図である。ユーザ装置１ｆは、処理装置２ｆ、記憶装置３ｆ、表示装置４、操作装置５、通信装置６、放音装置７、及び、集音装置８を具備するコンピュータシステムにより実現される。記憶装置３ｆは、処理装置２ｆが読取可能な記録媒体であり、処理装置２ｆが実行する制御プログラムＰＲｆを含む複数のプログラムを記憶する。
【０１２２】
処理装置２ｆは、記憶装置３ｆから制御プログラムＰＲｆを読み取り実行することによって、取得部２１、第１感情推定部２５ｆ、及び、出力部２６として機能する。
【０１２３】
図３１は、サーバ装置１０Ｆの構成を示すブロック図である。サーバ装置１０Ｆは、処理装置２Ｆ、記憶装置３Ｆ、及び、通信装置６Ｂを具備するコンピュータシステムにより実現される。記憶装置３Ｆは、処理装置２Ｆが読取可能な記録媒体であり、処理装置２Ｆが実行する制御プログラムＰＲＦを含む複数のプログラム、解析用辞書情報３１、感情分類情報３３、及び、学習モデルＬＭを記憶する。
【０１２４】
処理装置２Ｆは、記憶装置３Ｆから制御プログラムＰＲＤを読み取り実行することによって、第２感情推定部２５Ｆとして機能する。図３２を用いて、感情推定システムＳＹＳｆの機能について説明する。
【０１２５】
図３２は、感情推定システムＳＹＳｆとの機能の概要を示す図である。第１感情推定部２５ｆは、補正部２５３、調整部２５４、及び、推定部２５８を含む。第２感情推定部２５Ｆは、ノイズ除去部２５１、音声評価部２５２、文字評価部２５６、及び、特定部２５９を含む。ユーザ装置１ｆ１が、「第１端末装置」の一例である。ユーザ装置１ｆ２が、「第２端末装置」の一例である。図面の煩雑化を防ぐため、ユーザ装置１ｆ１の処理装置２ｆが実現する機能については、図示を省略している。
【０１２６】
ユーザ装置１ｆ１の取得部２１は、ユーザ装置１ｆ１の集音装置８が出力する音情報ＳＩ１を取得する。ユーザ装置１ｆ１の集音装置８は、「第１集音装置」の一例である。ユーザ装置１ｆ１の通信装置６は、音情報ＳＩ１をサーバ装置１０Ｆに送信する。ノイズ除去部２５１は、音情報ＳＩ１が示す音からノイズを除去して音声情報ＶＩ１を生成する。ユーザＵ１に関して、以降の処理は、図１３に示す音声評価部２５２Ｂ、補正部２５３、音声認識処理部２５６１、形態素解析処理部２５６３、評価値算出部２５６５、特定部２５９と同一であるため、説明を省略する。さらに、図示を省略しているが、第２感情推定部２５Ｆは、認識文字列ＲＴ１と、ユーザＵ１の音声感情情報ＶＥ１と、ユーザＵ１の文字感情情報ＴＥ１とを、ユーザ装置１ｆ１に送信する。そして、特定部２５９が特定文字列ＳＴを特定するために、ユーザ装置１ｆ１の通信装置６は、ユーザＵ１の補正感情情報ＣＶＥ１をサーバ装置１０Ｆに送信する。
ユーザＵ２に関して、ユーザ装置１ｆ２の取得部２１は、ユーザ装置１ｆ２の集音装置８が出力する音情報ＳＩ２を取得する。ユーザ装置１ｆ２の集音装置８は、「第２集音装置」の一例である。ユーザ装置１ｆ２の通信装置６は、音情報ＳＩ２をサーバ装置１０Ｆに送信する。ユーザ装置１ｆ２の通信装置６は、「第３通信装置」の一例である。ユーザＵ２に関して、以降の処理は、図１３に示す音声評価部２５２Ｂ、補正部２５３、音声認識処理部２５６１、形態素解析処理部２５６３、評価値算出部２５６５と同一であるため、説明を省略する。通信装置６Ｂは、特定文字列ＳＴと、ユーザＵ２の音声感情情報ＶＥ２と、ユーザＵ２の文字感情情報ＴＥ２とを、ユーザ装置１ｆ２に送信する。
【０１２７】
非キャリブレーションユーザであるユーザＵ２が、特定文字列ＳＴを発話した場合には、調整部２５４は、ユーザＵ２の補正感情情報ＣＶＥ２に含まれる複数の音声評価値Ｘを、複数の感情の各々について、ユーザＵ２の文字感情情報ＴＥ２に含まれる複数の文字評価値Ｙに近づける目的で、ユーザＵ２用の補正情報ＣＩ２を調整する。
【０１２８】
７．２．第７実施形態の効果
以上の説明によれば、感情推定システムＳＹＳｆにおいて、サーバ装置１０Ｆは、第３実施形態におけるサーバ装置１０と比較すると、負荷を軽減できる。
【０１２９】
８．変形例
本発明は、以上に例示した各実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。
【０１３０】
（１）第１変形例として、推定部２５８は、補正感情情報ＣＶＥと文字感情情報ＴＥとに基づいて、ユーザＵが抱く感情を推定することを説明したが、これに限らない。推定部２５８が補正感情情報ＣＶＥに基づいて、ユーザＵが抱く１以上の感情を推定する例を、図３３を用いて説明する。
【０１３１】
図３３は、第１変形例におけるユーザ装置１ｇの機能の概要を示す図である。ユーザ装置１ｇの処理装置２は、ユーザ装置１ｇの記憶装置３から制御プログラムを読み取り実行することによって、取得部２１、感情推定部２５ｇ、及び、出力部２６ｇとして機能する。感情推定部２５ｇは、ノイズ除去部２５１、音声評価部２５２、補正部２５３、及び、推定部２５８ｇを含む。推定部２５８ｇは、補正感情情報ＣＶＥに基づいて、ユーザＵが抱く１以上の感情を推定する。例えば、推定部２５８ｇは、補正感情情報ＣＶＥの音声評価値Ｘ１〜Ｘ４を閾値と比較し、閾値を超える音声評価値Ｘを特定する。推定部２５８ｇは、特定された音声評価値Ｘに対応する１以上の感情を、ユーザＵが抱く１以上の感情として推定する。感情推定部２５ｇは、推定したユーザＵが抱く１以上の感情を示す推定感情情報ＥＩを出力する。
出力部２６ｇは、推定感情情報ＥＩを出力する。例えば、出力部２６ｇは、推定感情情報ＥＩが示す感情を示す文字列を、表示装置４に出力する。
【０１３２】
（２）第４実施形態に示した感情推定部２５Ｃの処理を、サーバ装置１０とユーザ装置１とで分散してもよい。例えば、サーバ装置１０における第２感情推定部２５は、ノイズ除去部２５１Ｃ、音声評価部２５２Ｂ、文字評価部２５６、及び、特定部２５９を有する。ユーザ装置１における第１感情推定部２５は、補正部２５３、調整部２５４、推定部２５８を有する。
【０１３３】
（３）感情推定部２５は、喜び、怒り、悲しみ、及び、平常のうち、１以上の感情を推定することとして説明したが、１つの感情を推定してもよい。例えば、推定部２５８は、補正感情情報ＣＶＥの音声評価値Ｘ１〜Ｘ４と文字感情情報ＴＥの文字評価値Ｙ１〜Ｙ４とを感情ごとに加算して、感情ごとに加算値を算出する。推定部２５８は、感情ごとの加算値のうち最も大きい値の感情を、ユーザＵが抱く感情として推定してもよい。
【０１３４】
（４）第３実施形態では、サーバ装置１０によって感情推定部２５Ｂが実現したが、１台のユーザ装置１に適用してもよい。例えば、ユーザ装置１が、複数のユーザＵによって所持される場合である。ある期間において、ユーザＵ１がユーザ装置１を所持し、ユーザ装置１をキャリブレーションモードに設定し、ある期間の後の期間において、ユーザＵ２がユーザ装置１を所持した場合に、第３実施形態を適用してもよい。
【０１３５】
（５）第５実施形態、第６実施形態、及び、第７実施形態において、通信装置６Ｂは、認識文字列ＲＴと、ユーザＵ２の音声感情情報ＶＥ２と、ユーザＵ２の文字感情情報ＴＥ２とを、ユーザ装置１ｆ２に送信するが、認識文字列ＲＴを送信しなくてもよい。例えば、ユーザ装置１ｆは、推定感情情報ＥＩが示す感情を示す文字列を、表示装置４に出力する。
【０１３６】
（６）ユーザ装置１は、集音装置８を有さなくてもよい。集音装置８を有さない場合、ユーザ装置１は、通信装置６を介して音情報ＳＩを取得してもよいし、記憶装置３に記憶された音情報ＳＩを取得してもよい。
【０１３７】
（７）ユーザ装置１は、放音装置７を有さなくてもよい。
【０１３８】
（８）ユーザ装置１は、スマートスピーカでもよい。ユーザ装置１がスマートスピーカである場合、ユーザ装置１は、表示装置４及び操作装置５を有さなくてもよい。
【０１３９】
（９）感情分類情報３３は、図４に示すように、「勝つ」、「勝っ」のように、ある単語が活用した複数の形態素のそれぞれを、喜び、怒り、悲しみ、及び、平常の何れかに分類したが、これに限らない。例えば、感情分類情報３３は、解析用辞書情報３１の原形データに登録された文字列を、喜び、怒り、悲しみ、及び、平常の何れかに分類してもよい。例えば、感情分類情報３３は、解析用辞書情報３１の原形データに登録された文字列「嬉しい」、「合格」、及び「勝つ」を、喜びに分類する。評価値算出部２５６５は、補正後認識文字列ＣＲＴを形態素ごとに分解し、分解した形態素を、解析用辞書情報３１の原形データに登録された文字列に変換する。そして、評価値算出部２５６５は、変換して得られた文字列と、感情分類情報３３に含まれる文字列とが一致する場合に、この補正後認識文字列ＣＲＴに含まれる文字列に対応する感情の文字評価値Ｙを増加させる。
【０１４０】
（１０）評価値算出部２５６５は、補正後認識文字列ＣＲＴに対して、感情ごとの文字評価値Ｙを算出したが、認識文字列ＲＴに対して感情ごとの文字評価値Ｙを算出してもよい。しかしながら、認識文字列ＲＴには、感情を推定するためには不要な文字列が含まれる。従って、補正後認識文字列ＣＲＴに対して感情ごとの文字評価値Ｙを算出することにより、認識文字列ＲＴに対して感情ごとの文字評価値Ｙを算出する場合と比較して、感情の推定精度を向上できる。
【０１４１】
（１１）第１の態様における相違の程度を示す値は、音声評価値Ｘと文字評価値Ｙとの差分の２乗の和であったが、音声評価値Ｘと文字評価値Ｙとの差分の絶対値の和等、評価値間の距離を定義する任意の評価関数によって求められる値でもよい。
【０１４２】
（１２）ユーザＵが日本語を話す例を用いたが、ユーザが如何なる言語を話しても上述の各態様を適用することが可能である。例えば、ユーザＵが、日本語以外の英語、フランス語、又は中国語等を話す場合であっても上述の各態様を適用できる。例えば、ユーザＵが英語を話す場合、解析用辞書情報３１は、英語の形態素に関する情報であり、感情分類情報３３は、英単語を喜び、怒り、悲しみ、及び、平常の何れかに分類したデータであればよい。
【０１４３】
（１３）上述した各態様の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。
【０１４４】
（１４）上述した各態様における処理手順、シーケンス、フローチャートなどは、矛盾のない限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【０１４５】
（１５）上述した各態様において、入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【０１４６】
（１６）上述した各態様において、判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
【０１４７】
（１７）上述した各態様では、スマートフォン等の可搬型の情報処理装置をユーザ装置１として例示したが、ユーザ装置１の具体的な形態は任意であり、前述の各形態の例示には限定されない。例えば、可搬型又は据置型のパーソナルコンピュータをユーザ装置１として利用してもよい。
【０１４８】
（１８）上述した各態様では、記憶装置３は、処理装置２が読取可能な記録媒体であり、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ−ＲＯＭ（Compact  Disc−ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、ネットワークから送信されても良い。また、プログラムは、電気通信回線を介して通信網から送信されても良い。
【０１４９】
（１９）上述した各態様は、ＬＴＥ（Long  Term  Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ  ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future  Radio  Access）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra  Mobile  Broadband）、ＩＥＥＥ  ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ  ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ  ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。
【０１５０】
（２０）上述した各態様において、説明した情報及び信号などは、様々な異なる技術の何れかを使用して表されてもよい。例えば、上述の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
【０１５１】
（２１）図２、図５、図７、図８、図１１、図１２、図１３、図１４、図１８、図１９、図２０、図２３、図２４、図２５、図２７、図２８、図３０、図３１、図３２、及び、図３３に例示された各機能は、ハードウェア及びソフトウェアの任意の組み合わせによって実現される。また、各機能は、単体の装置によって実現されてもよいし、相互に別体で構成された２個以上の装置によって実現されてもよい。
【０１５２】
（２２）上述した各実施形態で例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はハードウェア記述言語と呼ばれるか、他の名称によって呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順又は機能等を意味するよう広く解釈されるべきである。
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。
【０１５３】
（２３）上述した各実施形態において、情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。
【０１５４】
（２４）上述したパラメータに使用する名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。
【０１５５】
（２５）上述した各実施形態において、ユーザ装置１は、移動局である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。
【０１５６】
（２６）上述した各実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【０１５７】
（２７）本明細書で使用する「第１」、「第２」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。従って、第１及び第２の要素への参照は、２つの要素のみがそこで採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
【０１５８】
（２８）上述した各実施形態において「含む(ｉｎｃｌｕｄｉｎｇ)」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
【０１５９】
（２９）本願の全体において、例えば、英語におけるa、an及びtheのように、翻訳によって冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数を含む。
【０１６０】
（３０）本発明が本明細書中に説明した実施形態に限定されないことは当業者にとって明白である。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。従って、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら制限的な意味を有さない。また、本明細書に例示した態様から選択された複数の態様を組み合わせてもよい。
【符号の説明】
【０１６１】
１、１ａ、１ｂ、１ｄ、１ｅ、１ｆ、１ｇ…ユーザ装置、１０、１０Ｃ、１０Ｄ、１０Ｆ…サーバ装置、２１、２１ａ…取得部、２６…出力部、３１…解析用辞書情報、３３…感情分類情報、２５１、２５１Ｃ…ノイズ除去部、２５２、２５２Ｂ…音声評価部、２５３…補正部、２５４、２５４Ｃ…調整部、２５６…文字評価部、２５８…推定部、２５９…特定部、ＣＩ…補正情報、ＣＶＥ…補正感情情報、ＬＭ…学習モデル、Ｐ１…第１パラメータ、Ｐ２…第２パラメータ、ＴＥ…文字感情情報、Ｕ…ユーザ、ＶＥ…音声感情情報、ＶＩ…音声情報、Ｘ…音声評価値、Ｙ…文字評価値。
【図１】
2020201334.tif 000003
【図２】
2020201334.tif 000004
【図３】
2020201334.tif 000005
【図４】
2020201334.tif 000006
【図５】
2020201334.tif 000007
【図６】
2020201334.tif 000008
【図７】
2020201334.tif 000009
【図８】
2020201334.tif 000010
【図９】
2020201334.tif 000011
【図１０】
2020201334.tif 000012
【図１１】
2020201334.tif 000013
【図１２】
2020201334.tif 000014
【図１３】
2020201334.tif 000015
【図１４】
2020201334.tif 000016
【図１５】
2020201334.tif 000017
【図１６】
2020201334.tif 000018
【図１７】
2020201334.tif 000019
【図１８】
2020201334.tif 000020
【図１９】
2020201334.tif 000021
【図２０】
2020201334.tif 000022
【図２１】
2020201334.tif 000023
【図２２】
2020201334.tif 000024
【図２３】
2020201334.tif 000025
【図２４】
2020201334.tif 000026
【図２５】
2020201334.tif 000027
【図２６】
2020201334.tif 000028
【図２７】
2020201334.tif 000029
【図２８】
2020201334.tif 000030
【図２９】
2020201334.tif 000031
【図３０】
2020201334.tif 000032
【図３１】
2020201334.tif 000033
【図３２】
2020201334.tif 000034
【図３３】
2020201334.tif 000035