(57)【要約】【課題】対話シーンの違いによる影響を抑制した感情推定を行うこと。【解決手段】対話相手であるユーザの発話音声を認識し、ユーザに対し音声を出力する音声対話装置１は、感情推定に用いる特徴量をユーザから取得する特徴量取得部１０１と、ユーザと自装置の対話履歴に基づいて、ユーザ及び自装置のいずれが聞き手側として対話し、いずれが話し手側として対話しているかを判定する対話シーン判定部１０４と、感情を推定するための閾値を、対話シーン判定部１０４による判定結果に応じて設定する感情閾値設定部１０６と、特徴量に基づいてユーザの感情の指標値を算出し、算出した指標値と感情閾値設定部１０６により設定された閾値との比較結果に応じて、ユーザの感情を推定する感情推定部１０５とを有する。【選択図】図２
2018132624.tif 000002
【特許請求の範囲】
【請求項１】
対話相手であるユーザの発話音声を認識し、前記ユーザに対し音声を出力する音声対話装置であって、
感情推定に用いる特徴量を前記ユーザから取得する特徴量取得部と、
前記ユーザと自装置の対話履歴に基づいて、前記ユーザ及び自装置のいずれが聞き手側として対話し、いずれが話し手側として対話しているかを判定する対話シーン判定部と、
感情を推定するための閾値を、前記対話シーン判定部による判定結果に応じて設定する感情閾値設定部と、
前記特徴量に基づいて前記ユーザの感情の指標値を算出し、算出した前記指標値と前記感情閾値設定部により設定された閾値との比較結果に応じて、前記ユーザの感情を推定する感情推定部と
を有する音声対話装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声対話装置に関し、特に、感情の推定を行う音声対話装置に関する。
【背景技術】
【０００２】
ユーザと会話を行う音声対話装置が知られている。このような技術に関し、例えば、特許文献１では、ユーザの感情に合わせた応答を行う対話処理装置について開示している。この対話処理装置では、ユーザの発話内容に基づいて、ユーザの感情が、ポジティブ、ネガティブ、ニュートラルのいずれであるかを一定の判定基準に従って推定し、推定結果に応じた応答を行う。
【０００３】
このように、言語情報、音韻情報、又は画像情報などといった特徴量に基づいて、ユーザの感情を指標化して、ユーザによらず一定の判断基準で感情を推定する技術がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１７８０６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、対話シーンによって、感情推定に使用される特徴量へのユーザの感情の反映度合いが異なる場合がある。例えば、ユーザが主に話し手として対話している場合、ユーザが主に聞き手として対話している場合に比べ、特徴量への感情の反映度合いは大きい。特許文献１に記載された技術の場合、ユーザの感情が特徴量に反映されにくい対話シーンの場合には、ユーザに対しては、推定結果としてニュートラルとなることが多くなり、ユーザの感情が特徴量に反映されやすい対話シーンの場合には、推定結果としてポジティブ又はネガティブが多くなる。このように、対話シーンによって、ばらつきが多くなり適切な感情推定を行うことができない。
【０００６】
本発明は、上記した事情を背景としてなされたものであり、対話シーンの違いによる影響を抑制した感情推定を行うことができる音声対話装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するための本発明の一態様は、対話相手であるユーザの発話音声を認識し、前記ユーザに対し音声を出力する音声対話装置であって、感情推定に用いる特徴量を前記ユーザから取得する特徴量取得部と、前記ユーザと自装置の対話履歴に基づいて、前記ユーザ及び自装置のいずれが聞き手側として対話し、いずれが話し手側として対話しているかを判定する対話シーン判定部と、感情を推定するための閾値を、前記対話シーン判定部による判定結果に応じて設定する感情閾値設定部と、前記特徴量に基づいて前記ユーザの感情の指標値を算出し、算出した前記指標値と前記感情閾値設定部により設定された閾値との比較結果に応じて、前記ユーザの感情を推定する感情推定部とを有する音声対話装置である。
この音声対話装置によれば、ユーザが、聞き手側として対話しているのか話し手側として対話しているかが判定され、その判定結果に応じて感情推定のための閾値が設定される。このため、この音声対話装置によれば、対話シーンの違いによる影響を抑制した感情推定を行うことができる。
【発明の効果】
【０００８】
本発明によれば、対話シーンの違いによる影響を抑制した感情推定を行うことができる音声対話装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１にかかる音声対話装置のハードウェア構成を示す図である。
【図２】実施の形態１にかかる音声対話装置の制御装置の構成を示すブロック図である。
【図３】実施の形態１にかかる音声対話装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施の形態について説明する。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
【００１１】
図１は、実施の形態１にかかる音声対話装置１のハードウェア構成を示す図である。音声対話装置１は、ユーザと音声を用いて対話を行う。具体的には、音声対話装置１は、ユーザからの発話に応じて、ユーザに対して音声を出力することで、ユーザと対話を行う。つまり、音声対話装置１は、対話相手であるユーザの発話音声を認識し、このユーザに対し音声を出力する。音声対話装置１は、例えば、生活支援ロボット及び小型ロボット等のロボット、クラウドシステム及びスマートフォン等に搭載可能である。
【００１２】
音声対話装置１は、周辺の音声を収集するマイク２と、音声を発するスピーカ３と、制御装置１０とを有する。制御装置１０は、例えばコンピュータとしての機能を有する。制御装置１０は、マイク２及びスピーカ３と、有線又は無線で接続されている。なお、音声対話装置１が、周辺の画像を取得するカメラ（図示せず）をさらに備え、制御装置１０が、さらに、このカメラと有線又は無線で接続されていてもよい。
【００１３】
制御装置１０は、主要なハードウェア構成として、ＣＰＵ（Central Processing Unit）１２と、ＲＯＭ（Read Only Memory）１４と、ＲＡＭ（Random Access Memory）１６とを有する。ＣＰＵ１２は、制御処理及び演算処理等を行う演算装置としての機能を有する。ＲＯＭ１４は、ＣＰＵ１２によって実行される制御プログラム及び演算プログラム等を記憶するための機能を有する。ＲＡＭ１６は、処理データ等を一時的に記憶するための機能を有する。
【００１４】
制御装置１０は、マイク２によって集音されたユーザの発話を解析して、そのユーザの発話に応じて、ユーザに対する応答を生成する。そして、制御装置１０は、スピーカ３を介して、生成された応答に対応する音声（応答音声）を出力する。
【００１５】
図２は、実施の形態１にかかる音声対話装置１の制御装置１０の構成を示すブロック図である。制御装置１０は、特徴量取得部１０１と、発話行為タイプ判別部１０２と、対話履歴記憶部１０３と、対話シーン判定部１０４と、感情推定部１０５と、感情閾値設定部１０６と、応答生成部１０７と、音声合成部１０８とを有する。なお、図２に示す特徴量取得部１０１、発話行為タイプ判別部１０２、対話シーン判定部１０４、感情推定部１０５、感情閾値設定部１０６、応答生成部１０７、及び音声合成部１０８は、例えば、ＣＰＵ１２がＲＯＭ１４に記憶されたプログラムを実行することによって実現可能である。また、必要なプログラムを任意の不揮発性記録媒体に記録しておき、必要に応じてインストールするようにしてもよい。また、対話履歴記憶部１０３は、例えば、ＲＯＭ１４等の記憶装置により実現される。なお、各構成要素は、上記のようにソフトウェアによって実現されることに限定されず、何らかの回路素子等のハードウェアによって実現されてもよい。
【００１６】
特徴量取得部１０１は、感情推定に用いる特徴量を、対話相手であるユーザから取得する。本実施の形態では、特徴量取得部１０１は、マイク２により取得されたユーザの音声データに対し、音声認識処理を行うことで、特徴量としてテキストデータを生成する。したがって、特徴量取得部１０１は、音声認識部と称されてもよい。なお、本実施の形態では、特徴量取得部１０１により取得された特徴量、すなわちテキストデータは、感情推定のみならず、応答の生成にも用いられる。また、特徴量取得部１０１は、音声認識処理結果に基づいて、ユーザの発話時間を特定し、特定した発話時間を後述する対話履歴記憶部１０３に格納する。
【００１７】
発話行為タイプ判別部１０２は、ユーザの発話行為タイプを判別する。発話行為タイプ判別部１０２は、例えば、５種類の発話行為タイプ（質問、応答、挨拶、情報提供、あいづち）を判別する。ここで、発話行為タイプ「質問」は、対話相手に質問する発話である。また、発話行為タイプ「応答」は、対話相手からの質問に応答する発話である。また、発話行為タイプ「挨拶」は、対話相手に対して挨拶する発話である。また、発話行為タイプ「情報提供」は、自発的な話題の提供を行う発話であり、事象等についての説明、自身に関する情報の提供などがこれに該当する。また、発話行為タイプ「あいづち」は、対話相手の発話に対するあいづちを示す発話である。なお、発話行為タイプ判別部１０２による具体的な判別方法としては公知の種々の方法が適用可能である。例えば、発話行為タイプ判別部１０２は機械学習を用いた判別を行ってもよいが、判別方法はこれに限られない。また、発話行為タイプ判別部１０２は、判別した発話行為タイプを対話履歴記憶部１０３に格納する。
【００１８】
対話履歴記憶部１０３は、対話履歴を記憶する。本実施の形態では、対話履歴記憶部１０３は、直近のＮターン（ただし、Ｎは、所定の正整数）の対話におけるユーザと音声対話装置１の対話履歴を記憶する。すなわち、直近のＮターンにおける、ユーザの発話行為タイプ及び発話時間並び音声対話装置１の発話行為タイプ及び発話時間を記憶する。
【００１９】
対話シーン判定部１０４は、対話履歴記憶部１０３に記憶されたユーザと音声対話装置１の対話履歴に基づいて、現在、ユーザ及び音声対話装置１のいずれが聞き手側として対話し、いずれが話し手側として対話しているかを判定する。すなわち、対話シーン判定部１０４は、対話履歴記憶部１０３に記憶された発話時間又は発話行為タイプを用いて、現在の対話シーンを判定する。
【００２０】
例えば、対話シーン判定部１０４は、対話履歴記憶部１０３に記憶された直近のＮターンのユーザと音声対話装置１の発話時間から、直近のＮターンの両者の発話割合を算出し、その算出結果に基づいて、次のように対話シーンを判定する。ここで、対話シーン判定部１０４は、音声対話装置１の発話割合を０〜１００％の値で算出するものとする。すなわち、ユーザの発話割合は、１００％−（音声対話装置１の発話割合）で表される。
【００２１】
（１）音声対話装置１の発話割合が閾値Ｔ１（例えば６０％）以上１００％以下の場合、すなわちユーザの発話割合が０％以上閾値Ｔ２（例えば４０％）以下の場合：
対話シーン判定部１０４は、対話シーンが、音声対話装置１による情報提供シーンであると判定する。すなわち、対話シーン判定部１０４は、現在の対話シーンが、音声対話装置１が話し手側として対話し、ユーザが聞き手側として対話しているシーンであると判定する。
（２）音声対話装置１の発話割合が閾値Ｔ３（例えば４０％）以上閾値Ｔ１（例えば６０％）未満の場合、すなわちユーザの発話割合が閾値Ｔ２（例えば４０％）より高く、閾値Ｔ４（例えば６０％）以下の場合：
対話シーン判定部１０４は、対話シーンが、音声対話装置１とユーザによる雑談シーンであると判定する。すなわち、対話シーン判定部１０４は、現在の対話シーンが、主にいずれが話し手側として対話し、主にいずれが聞き手側として対話しているかを特定できないシーンであると判定する。
（３）音声対話装置１の発話割合が０％以上閾値Ｔ３（例えば４０％）未満の場合、すなわちユーザの発話割合が閾値Ｔ４（例えば６０％）より高く、１００％以下の場合：
対話シーン判定部１０４は、対話シーンが、音声対話装置１による傾聴シーンであると判定する。すなわち、対話シーン判定部１０４は、現在の対話シーンが、音声対話装置１が聞き手側として対話し、ユーザが話し手側として対話しているシーンであると判定する。
【００２２】
すなわち、このような判別が行われる場合、対話シーン判定部１０４は、所定回数の会話中における音声対話装置１による発話割合がユーザの発話割合よりも所定値以上大きい場合、音声対話装置１が話し手側として対話し、ユーザが聞き手側として対話しているシーンであると判定する。また、対話シーン判定部１０４は、所定回数の会話中における音声対話装置１による発話割合がユーザの発話割合よりも所定値以上小さい場合、音声対話装置１が聞き手側として対話し、ユーザが話し手側として対話しているシーンであると判定する。
【００２３】
なお、対話シーン判定部１０４は、対話履歴に基づいて対話シーンを判別すればよく、上記判別方法は一例である。したがって、例えば、対話シーン判定部１０４は、直近のＮターンの両者の発話行為タイプに基づいて、対話シーンを判定してもよい。具体的には、例えば、対話シーン判定部１０４は、直近のＮターンの対話におけるユーザの発話行為タイプにおいて、「情報提供」の割合が閾値以上である場合、音声対話装置１による傾聴シーンであると判定し、「あいづち」の割合が閾値以上である場合、音声対話装置１による情報提供シーンであると判定してもよい。なお、対話シーン判定部１０４は、対話履歴記憶部１０３に記憶された発話時間及び発話行為タイプの両方を用いて、対話シーンの判別を行ってもよい。例えば、対話シーン判定部１０４は、所定の発話行為タイプについての、音声対話装置１とユーザの発話割合に基づいて、対話シーンの判別を行ってもよい。
【００２４】
感情推定部１０５は、特徴量取得部１０１が取得した特徴量に基づいて、ユーザの感情の指標値を算出する。具体的には、感情推定部１０５は、特徴量取得部１０１により生成されたテキストデータを解析し、予め定められた算出規則に従ってユーザの感情を示す指標値を算出する。また、感情推定部１０５は、算出した指標値と閾値との比較結果に応じて、ユーザの感情を推定する。ここで、閾値は、後述する感情閾値設定部１０６により設定される値であり、対話シーンに応じた値である。
【００２５】
なお、感情推定部１０５は、感情の指標値の算出及び指標値と閾値との比較に基づいて感情の推定を行なえばよく、そのような感情推定の方法として公知の任意の手法が適用可能である。例えば、感情推定方法のひとつとして、「Ｗｅｂから獲得した感情生起要因コーパスに基づく感情推定」（徳久良子ほか，言語処理学会第１４回年次大会論文集，２００８年３月）に記載された技術が用いられてもよい。
【００２６】
本実施の形態では、感情推定部１０５は、ユーザの発話内容を示すテキストデータの解析結果から、指標値として、−１．０〜＋１．０の範囲内の数値を算出する。ここで、解析結果がネガティブな感情を示す場合、指標値はマイナスの値となり、解析結果がポジティブな感情を示す場合、指標値はプラスの値となる。
【００２７】
本実施の形態では、感情推定部１０５は、算出した指標値と閾値とを用いて、ポジティブ、ネガティブ、ニュートラルのいずれかの感情を決定する。なお、ニュートラルとは、ポジティブでもネガティブでもない感情である。例えば、ポジティブな感情と推定するための閾値を＋０．５とし、ネガティブな感情と推定するための閾値を−０．５とする。この場合、感情推定部１０５は、特徴量取得部１０１が取得した特徴量に基づいて算出した指標値が、−０．５以下である場合、ユーザの感情がネガティブであると決定する。また、感情推定部１０５は、特徴量取得部１０１が取得した特徴量に基づいて算出した指標値が、＋０．５以上である場合、ユーザの感情がポジティブであると決定する。そして、感情推定部１０５は、特徴量取得部１０１が取得した特徴量に基づいて算出した指標値が、−０．５より大きく＋０．５未満である場合、ユーザの感情がニュートラルであると決定する。
【００２８】
感情閾値設定部１０６は、感情を推定するための閾値を、対話シーン判定部１０４による判定結果に応じて設定する。例えば、対話シーン判定部１０４により、対話シーンが、音声対話装置１による情報提供シーンであると判定された場合、すなわち、現在の対話シーンが、音声対話装置１が話し手側として対話し、ユーザが聞き手側として対話しているシーンであると判定された場合、ユーザの感情が特徴量に反映されにくいと考えられる。このため、この場合、感情閾値設定部１０６は、ポジティブ又はネガティブの感情が推定されやすくなるよう、予め定められた基本閾値よりもゆるい閾値を設定する。
【００２９】
これに対し、対話シーン判定部１０４により、対話シーンが、音声対話装置１による傾聴シーンであると判定された場合、すなわち、現在の対話シーンが、音声対話装置１が聞き手側として対話し、ユーザが話し手側として対話しているシーンであると判定された場合、ユーザの感情が特徴量に反映されやすいと考えられる。このため、この場合、感情閾値設定部１０６は、ポジティブ又はネガティブの感情が推定されにくくなるよう、基本閾値よりもきつい閾値を設定する。
【００３０】
したがって、具体的には、対話シーン判定部１０４により、対話シーンが、音声対話装置１による情報提供シーンであると判定された場合、例えば、感情閾値設定部１０６は、ポジティブな感情と推定するための閾値を、その基本閾値である＋０．５より０．２だけ下げ、＋０．３とし、ネガティブな感情と推定するための閾値を、その基本閾値である−０．５より０．２だけ上げ、−０．３とする。また、対話シーン判定部１０４により、対話シーンが、音声対話装置１による傾聴シーンであると判定された場合、例えば、感情閾値設定部１０６は、ポジティブな感情と推定するための閾値を、その基本閾値である＋０．５より０．２だけ上げ、＋０．７とし、ネガティブな感情と推定するための閾値を、その基本閾値である−０．５より０．２だけ下げ、−０．７とする。また、対話シーン判定部１０４により、対話シーンが、音声対話装置１とユーザによる雑談シーンであると判定された場合、例えば、感情閾値設定部１０６は、ポジティブな感情と推定するための閾値を、その基本閾値である＋０．５とし、ネガティブな感情と推定するための閾値を、その基本閾値である−０．５とする。
【００３１】
応答生成部１０７は、対話相手であるユーザの発話に対する応答を生成する。応答は、典型的にはテキストデータである。本実施の形態では、応答生成部１０７は、感情推定部１０５により推定された感情に応じて適切な応答を生成する。応答生成部１０７は、例えば、感情の種類に対応付けられた応答文を含む応答文テーブルを参照し、応答文テーブルから適切な応答文を選択することにより、応答文の生成を行ってもよい。なお、応答生成部１０７は、生成した応答についての発話行為タイプ及び発話時間を対話履歴記憶部１０３に記憶する。応答生成部１０７が生成した応答についての発話行為タイプ及び発話時間は、予め、応答文テーブルの応答文と対応付けられてＲＯＭ１４等の記憶装置に記憶されていてもよいし、発話行為タイプ判別部１０２等による解析により得られてもよい。
【００３２】
音声合成部１０８は、応答生成部１０７が生成した応答を音声データに変換する。すなわち、音声合成部１０８は、応答生成部１０７が生成した応答文のテキストデータを音声データに変換する。テキストデータからの音声データの生成は、公知の種々の音声合成技術等により実現可能である。その後、典型的にはＤ／Ａ変換装置（図示せず）が音声データをアナログ音声信号に変換し、スピーカ３がアナログ音声信号を音声として出力する。
【００３３】
次に、音声対話装置１の動作について説明する。図３は、音声対話装置１の動作の一例を示すフローチャートである。以下、図３に沿って、音声対話装置１の動作例を説明する。
【００３４】
ステップ１００（Ｓ１００）において、特徴量取得部１０１が、マイク２により取得されたユーザの音声データに対し、音声認識処理を行い、テキストデータを生成する。例えば、ステップ１００では、ユーザの発話から「今日は晴れているよ」というテキストデータが生成される。また、特徴量取得部１０１は、ユーザの発話時間を特定し、特定した発話時間を対話履歴記憶部１０３に格納する。
【００３５】
次に、ステップ１０１（Ｓ１０１）において、発話行為タイプ判別部１０２が、ステップ１００で取得されたユーザの音声についての発話行為タイプを判別する。例えば、発話行為タイプ判別部１０２は、「今日は晴れているよ」という発話の発話行為タイプが、「情報提供」であると判別し、判別した発話行為タイプを対話履歴記憶部１０３に格納する。
【００３６】
次に、ステップ１０２（Ｓ１０２）において、対話シーン判定部１０４が、直近のＮターンの対話履歴に基づいて、現在の対話シーンを判定する。例えば、対話シーン判定部１０４は、現在の対話シーンが、音声対話装置１による傾聴シーンであると判定する。
【００３７】
次に、ステップ１０３（Ｓ１０３）において、感情閾値設定部１０６は、ステップ１０２で判定された対話シーンに応じた閾値を設定する。例えば、対話シーンが傾聴シーンである場合、感情閾値設定部１０６は、ポジティブな感情と推定するための閾値を、その基本閾値よりも０．２だけ大きい＋０．７とし、ネガティブな感情と推定するための閾値を、その基本閾値よりも０．２だけ小さい−０．７とする。
【００３８】
次に、ステップ１０４（Ｓ１０４）において、感情推定部１０５は、ステップ１００で得られたテキストデータに基づいてユーザの感情の指標値を算出し、算出した指標値とステップ１０３で設定された閾値との比較結果に応じて、ユーザの感情を推定する。例えば、ユーザの感情の指標値が＋０．６である場合、指標値は、基本閾値である＋０．５よりも大きいもののステップ１０３で修正された閾値である＋０．７未満であるため、ユーザの感情は、ポジティブとは判定されず、ニュートラルと判定される。
【００３９】
次に、ステップ１０５（Ｓ１０５）において、応答生成部１０７は、ステップ１０４において推定された感情に応じた応答を生成する。例えば、ステップ１０４で推定された感情がニュートラルである場合、ステップ１０５では、応答「そうなんだ」が生成される。
【００４０】
次に、ステップ１０６（Ｓ１０６）において、音声合成部１０８が、ステップ１０５で生成された応答のテキストデータを音声データに変換する。これにより、スピーカ３からステップ１０５で生成された応答の音声が出力される。以降、処理は、ステップ１００に戻り、対話が繰り返されることとなる。
【００４１】
以上、実施の形態にかかる音声対話装置１について説明した。音声対話装置１は、上述の通り、対話シーンを判定し、その判定結果に従って、閾値を動的に変更する。したがって、音声対話装置１によれば、対話シーンの違いによる影響を抑制した感情推定を行うことができる。つまり、例えば、ユーザの感情が特徴量に反映されにくいシーンである、ユーザが主に聞き手となるシーンにおいても、適切に感情を推定することができる。このように、感情を的確に捉えた上で、応答を生成することができるため、音声対話装置１は、より円滑にユーザとコミュニケーションをとることができる。
【００４２】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記の実施の形態では、特徴量として、ユーザの発話内容が用いられたが、これに限らず、ユーザの表情、韻律などの他の特徴量に基づいて、指標値の算出及び感情の推定が行われてもよい。すなわち、他の一例として、特徴量取得部１０１は、図示しないカメラが取得した画像に対し画像処理を行って、特徴量としてのユーザの表情を取得してもよい。また、指標値及び閾値に関する各値は、一例であり、上記の値に限られない。
【符号の説明】
【００４３】
１    音声対話装置
１０１    特徴量取得部
１０２    発話行為タイプ判別部
１０３    対話履歴記憶部
１０４    対話シーン判定部
１０５    感情推定部
１０６    感情閾値設定部
１０７    応答生成部
１０８    音声合成部
【図１】
2018132624.tif 000003
【図２】
2018132624.tif 000004
【図３】
2018132624.tif 000005