(57)【要約】【課題】母語話者による対話の内容の理解を促進する話者支援装置を提供する。【解決手段】母語話者と非母語話者とが対話をする状況において、非母語話者を支援するための話者支援装置であって、母語話者の音声を認識して、単語と該単語の認識尤度の組を得る音声認識部と、音声認識部が得た単語と該単語の認識尤度の組のうち、認識尤度が予め定めた基準を下回る単語を対象単語として得る対象単語決定部と、対象単語決定部が得た対象単語を質問する発話を生成する発話生成部と、発話生成部が得た対象単語を質問する発話をエージェントの発話として提示する提示部を含む。【選択図】図１
2019008051.tif 000002
【特許請求の範囲】
【請求項１】
母語話者と非母語話者とが対話をする状況において、非母語話者を支援するための話者支援装置であって、
母語話者の音声を認識して、単語と該単語の認識尤度の組を得る音声認識部と、
音声認識部が得た単語と該単語の認識尤度の組のうち、認識尤度が予め定めた基準を下回る単語を対象単語として得る対象単語決定部と、
対象単語決定部が得た対象単語を質問する発話を生成する発話生成部と、
発話生成部が得た対象単語を質問する発話をエージェントの発話として提示する提示部と、
を含む話者支援装置。
【請求項２】
専門分野αに属する人と専門分野βに属する人とを少なくとも含んで対話をする状況において、専門分野βに属する人を支援するための話者支援装置であって、
専門分野αに属する人の音声を少なくとも認識して、単語と該単語の認識尤度の組を得る音声認識部と、
音声認識部が得た単語と該単語の認識尤度の組のうち、認識尤度が予め定めた基準を下回る単語を対象単語として得る対象単語決定部と、
対象単語決定部が得た対象単語を質問する発話を生成する発話生成部と、
発話生成部が得た対象単語を質問する発話をエージェントの発話として提示する提示部と、
を含む話者支援装置。
【請求項３】
母語話者と非母語話者とが対話をする状況において、非母語話者を支援するための話者支援装置であって、
母語話者の音声を少なくとも認識して、単語の認識尤度を得る音声認識部と、
音声認識部が得た認識尤度が予め定めた基準を下回る場合に、発話が必要であると決定する発話要否決定部と、
発話要否決定部が発話が必要であると決定した場合に追加説明することを促す発話を生成する発話生成部と、
発話生成部が得た追加説明することを促す発話をエージェントの発話として提示する提示部と、
を含む話者支援装置。
【請求項４】
専門分野αに属する人と専門分野βに属する人とを少なくとも含んで対話をする状況において、専門分野βに属する人を支援するための話者支援装置であって、
専門分野αに属する人の音声を少なくとも認識して、単語の認識尤度を得る音声認識部と、
音声認識部が得た認識尤度が予め定めた基準を下回る場合に、発話が必要であると決定する発話要否決定部と、
発話要否決定部が発話が必要であると決定した場合に追加説明することを促す発話を生成する発話生成部と、
発話生成部が得た追加説明することを促す発話をエージェントの発話として提示する提示部と、
を含む話者支援装置。
【請求項５】
母語話者と非母語話者とが対話をする状況において、非母語話者を支援するための話者支援方法であって、
母語話者の音声を認識して、単語と該単語の認識尤度の組を得る音声認識ステップと、
音声認識ステップが得た単語と該単語の認識尤度の組のうち、認識尤度が予め定めた基準を下回る単語を対象単語として得る対象単語決定ステップと、
対象単語決定ステップが得た対象単語を質問する発話を生成する発話生成ステップと、
発話生成ステップが得た対象単語を質問する発話をエージェントの発話として提示する提示ステップと、
を含む話者支援方法。
【請求項６】
専門分野αに属する人と専門分野βに属する人とを少なくとも含んで対話をする状況において、専門分野βに属する人を支援するための話者支援方法であって、
専門分野αに属する人の音声を少なくとも認識して、単語と該単語の認識尤度の組を得る音声認識ステップと、
音声認識ステップが得た単語と該単語の認識尤度の組のうち、認識尤度が予め定めた基準を下回る単語を対象単語として得る対象単語決定ステップと、
対象単語決定ステップが得た対象単語を質問する発話を生成する発話生成ステップと、
発話生成ステップが得た対象単語を質問する発話をエージェントの発話として提示する提示ステップと、
を含む話者支援方法。
【請求項７】
母語話者と非母語話者とが対話をする状況において、非母語話者を支援するための話者支援方法であって、
母語話者の音声を少なくとも認識して、単語の認識尤度を得る音声認識ステップと、
音声認識ステップが得た認識尤度が予め定めた基準を下回る場合に、発話が必要であると決定する発話要否決定ステップと、
発話要否決定ステップが発話が必要であると決定した場合に追加説明することを促す発話を生成する発話生成ステップと、
発話生成ステップが得た追加説明することを促す発話をエージェントの発話として提示する提示ステップと、
を含む話者支援方法。
【請求項８】
専門分野αに属する人と専門分野βに属する人とを少なくとも含んで対話をする状況において、専門分野βに属する人を支援するための話者支援方法であって、
専門分野αに属する人の音声を少なくとも認識して、単語の認識尤度を得る音声認識ステップと、
音声認識ステップが得た認識尤度が予め定めた基準を下回る場合に、発話が必要であると決定する発話要否決定ステップと、
発話要否決定ステップが発話が必要であると決定した場合に追加説明することを促す発話を生成する発話生成ステップと、
発話生成ステップが得た追加説明することを促す発話をエージェントの発話として提示する提示ステップと、
を含む話者支援方法。
【請求項９】
コンピュータを請求項１から４の何れかに記載の話者支援装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、非母語話者による母語話者との円滑なコミュニケーションを実現する話者支援装置、話者支援方法、プログラムに関連する。
【背景技術】
【０００２】
近年、グローバル化や遠隔会議システムの普及により、非母語話者と母語話者とがディスカッションなどのリアルタイムな対話を行う機会が増えている。ここで、非母語話者とはコミュニケーションを自身の母語ではない言語で行う者を指し、母語話者とはコミュニケーションを自身の母語で行う者を指す。すなわち、母語が日本語である日本人と母語が英語である米国人とが英語でのディスカッションを行うケースなどが上記の対話に該当する。
【０００３】
母語話者よりも非母語話者の人数が少ない場合、非母語話者は、対話における発言の中に分からないことがあったとしても、いちいち質問をすることは難しいと感じる場合がある。その理由は多くの場合、非母語話者が後で発言の意味がわかるかもしれないと考えたり、中断させるほどのことでもないと考えたり、もう質問するには遅すぎると考えたりするからである。すなわち、こういった非母語話者を支援する技術が必要とされている。
【０００４】
非母語話者を支援する技術の１つに特許文献１に記載された技術がある。特許文献１に記載された技術は、母語話者の音声を母語話者には所定の時間遅延させて聴かせることにより、非母語話者と母語話者とによる会議において非母語話者が話し易い状態を作るものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−０８６８３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載された技術によれば、非母語話者が話し易い状態を作ることが可能ではあるが、非母語話者が分からないことを質問する機会を実際に逃してしまった場合には質問したかったことを非母語話者が理解する機会がなくなってしまうという課題がある。
【０００７】
本発明は、非母語話者による対話の内容の理解を促進する話者支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、母語話者と非母語話者とが対話をする状況において、非母語話者を支援するための話者支援装置であって、音声認識部と、対象単語決定部と、発話生成部と、提示部を含む。
【０００９】
音声認識部は、母語話者の音声を認識して、単語と該単語の認識尤度の組を得る。対象単語決定部は、音声認識部が得た単語と該単語の認識尤度の組のうち、認識尤度が予め定めた基準を下回る単語を対象単語として得る。発話生成部は、対象単語決定部が得た対象単語を質問する発話を生成する。提示部は、発話生成部が得た対象単語を質問する発話をエージェントの発話として提示する。
【発明の効果】
【００１０】
本発明によれば、非母語話者による対話の内容の理解を促進することができる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態の非母語話者支援システムの構成を示すブロック図。
【図２】第１実施形態の非母語話者支援装置の動作を示すフローチャート。
【図３】第２実施形態の非母語話者支援システムの構成を示すブロック図。
【図４】第２実施形態の非母語話者支援装置の動作の一部を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１３】
第１実施形態と第２実施形態で説明する非母語話者支援システムは、複数の母語話者と少なくとも１人の非母語話者とが対話をする状況において、非母語話者を支援するためのシステムである。例えば、英語を母語とする人Ａと、英語を母語とする人Ｂと、日本語を母語とする人Ｃと、の３人が英語で対話する状況において、日本語を母語とする人Ｃの英語での対話を支援するためのシステムである。
【００１４】
＜＜第１実施形態＞＞
図１は、第１実施形態の非母語話者支援システムの構成を示すブロック図である。第１実施形態の非母語話者支援システム１は、収音部１１ａ，１１ｂと非母語話者支援装置１２からなる。収音部１１ａ，１１ｂなどを区別せずに総称する場合には収音部１１と表記する。
【００１５】
収音部１１は、母語話者の発話を含む音響信号である母語話者音響信号を収音するものであり、例えば、母語話者が発話した音声を収音できる位置に配置されたマイクロホンである。マイクロホンは、母語話者全員が発話した音声を収音可能な位置に１個配置されていてもよいし、同図に示すように母語話者のそれぞれの前や口元に配置された複数個のマイクロホンであってもよいし、母語話者全員がいるエリアで発せられた音を収音可能なマイクロホンアレイシステムであってもよい。
【００１６】
非母語話者支援装置１２は、非母語話者支援発話生成部１２１と提示部１２２からなる。非母語話者支援装置１２は、母語話者が発話した音声に含まれる認識尤度の低い単語を含む発話をエージェントの発話として行うものである。非母語話者支援発話生成部１２１は、音声認識部１２１１と対象単語決定部１２１２と発話生成部１２１３とを備え、発話生成部１２１３は、発話文記憶部１２１３−１を備え、母語話者が発話した音声に含まれる認識尤度の低い単語を含む発話を生成するものである。各部の動作については後述する。提示部１２２は、音声合成部１２２１とエージェント部１２２２とを備え、エージェント部１２２２は、放音部１２２２−１を備え、非母語話者支援発話生成部１２１が生成した発話を放音するものである。各部の動作については後述する。
【００１７】
以下、上述した収音部１１以外の第１実施形態の各部の動作について、図２を参照して説明する。
［音声認識部１２１１］
音声認識部１２１１には、収音部１１が出力した母語話者音響信号が入力される。音声認識部１２１１は、入力された母語話者音響信号に対して音声認識を行い、認識結果として、母語話者音響信号に含まれていると判定された単語について、その単語のテキストとその単語の認識尤度との組を得て出力する（Ｓ１２１１）。音声認識部１２１１が行う音声認識には周知の手法を用いればよい。
【００１８】
音声認識部１２１１は、例えば、入力された母語話者音響信号に含まれる母語話者の発話区間よりも短い時間区間を対象として、入力された母語話者音響信号に対して音声認識を逐次行い、認識結果として、単語のテキストとその単語の認識尤度による組を時系列的に得て出力する。
【００１９】
また、音声認識部１２１１は、例えば、入力された母語話者音響信号に含まれる母語話者の発話区間を対象として、入力された発話区間の母語話者音響信号に対して音声認識を行い、認識結果として、当該発話区間の母語話者音響信号に含まれていると判定された複数の単語のそれぞれについて、その単語のテキストとその単語の認識尤度との組を得て出力する。
【００２０】
なお、音声認識部１２１１は、母語話者音響信号に含まれていると判定された全ての単語についてその単語のテキストとその単語の認識尤度との組を得てもよいし、母語話者音響信号に含まれていると判定された単語のうち、１種類以上の特定の品詞（例えば名詞）の単語について、その単語のテキストとその単語の認識尤度との組を得てもよい。
【００２１】
また、音声認識部１２１１は、単語のテキストとその単語の認識尤度による組に代えて、複数個の単語による単語列のテキストとその単語列の認識尤度による組を得てもよい。この場合は、例えば、単語列に含まれる単語の認識尤度の平均値を単語列の認識尤度とすればよい。なお、この場合は、対象単語決定部１２１２以降は、「単語」を「単語列」と読み替えて実施すればよい。
【００２２】
［対象単語決定部１２１２］
対象単語決定部１２１２には、音声認識部１２１１が出力した単語のテキストとその単語の認識尤度との組が入力される。対象単語決定部１２１２は、入力された単語のテキストとその単語の認識尤度との組について、認識尤度が予め定めた閾値以下または閾値より小さい場合に、単語のテキストを対象単語のテキストとして出力する（Ｓ１２１２）。閾値は、母語話者による１つの発話について複数個の単語が対象単語とされないように、望ましくは、母語話者による複数個の発話について１つの単語が対象単語とされるように、予め実験等を行うことにより定めておく。
【００２３】
対象単語決定部１２１２に、音声認識部１２１１が出力した発話区間ごとの単語のテキストとその単語の認識尤度との組が入力された場合には、対象単語決定部１２１２は、入力された発話区間ごとの単語のテキストとその単語の認識尤度との組のうち、認識尤度が最も低い単語について、その認識尤度が予め定めた閾値以下または閾値より小さい場合に、単語のテキストを対象単語のテキストとして出力すればよい。この場合には、母語話者による１つの発話について複数個の単語が対象単語とされることはないが、閾値は、望ましくは、母語話者による複数個の発話について１つの単語が対象単語とされるように、予め実験等を行うことにより定めておく。
【００２４】
［発話生成部１２１３］
発話生成部１２１３内には、発話文記憶部１２１３−１が備えられている。なお、発話文記憶部１２１３−１は、発話生成部１２１３の外に設けられていてもよい。発話文記憶部１２１３−１には１つ以上の発話文のテンプレートを予め記憶しておく。発話文のテンプレートは、例えば、対象単語の部分を空欄とし、空欄部分に対象単語を挿入することにより対象単語を質問する発話文、言い換えると、対象単語について追加説明を促す発話文、のテキストである。
【００２５】
発話生成部１２１３には、対象単語決定部１２１２が出力した対象単語のテキストが入力される。発話生成部１２１３は、発話文記憶部１２１３−１に記憶された発話文のテンプレートのうちの１つを選択し、選択した発話文のテンプレートの空欄部分に対象単語を挿入することにより発話文のテキストを生成し、生成した発話文のテキストを出力する（Ｓ１２１３）。なお、発話文記憶部１２１３−１に記憶された発話文のテンプレートが複数個ある場合には、発話生成部１２１３は、複数個の発話文のテンプレートから１つの発話文のテンプレートをランダムに選択するのが望ましい。
【００２６】
発話文記憶部１２１３−１に記憶しておく発話文のテンプレートは、例えば、対話が英語で行われる場合には、下記の第１例〜第４例のようなものである。下記の発話文のテンプレートにおいて、“”で示される例文中のXXXが空欄部分すなわち対象単語が挿入される部分である。
第１例：“What do you mean by XXX?”
第２例：“Did you say XXX?”
第３例：“XXX?”
第４例：“I don't understand the word XXX.”
【００２７】
第１例の例文は、「XXXって、どういうことですか？」を意味する文であり、発話の意図が分からずにもう少し説明して欲しいときに用いる発話文の例である。第２例の例文は、「XXXって言いました？」を意味する文であり、簡単な確認をしたいときに用いる発話文の例である。第３例の例文は、“XXX”と聴こえたが前後の文脈からすると意味が通らないと思われるときや、聞き間違えなのか前後の文脈からすると意味が通らない可能性がありそうなのかなどの様々な可能性が考えられるときに用いる発話文の例である。第４例の例文は、「XXXの言葉の意味がわかりません。」を意味する文であり、対象単語の言葉の意味がわからないときに用いる発話文の例である。第４例の例文は、形式的には質問文ではないが、対象単語の言葉の意味を問う場合に用いる発話文であるため、実質的には対象単語を質問する発話文といえる。また、これら何れの発話がされても、その発話を受けた人は対象単語についての補足説明を行うことになる。このため、これらの発話文は対象単語についての補足説明を促す発話文ともいえる。
【００２８】
上述したように、複数個の発話文のテンプレートが発話文記憶部１２１３−１に記憶されている場合には、対象単語についての補足説明を促す発話文のテンプレートをランダムに選択して用いることにより、エージェントによる発話にバリエーションを持たせるのが望ましい。
【００２９】
なお、発話文記憶部１２１３−１に記憶しておく発話文のテンプレートは、対話に用いられる言語に合わせたものとしておけばよい。例えば、対話が日本語で行われる場合には、下記の第１例〜第４例のようなものを発話文のテンプレートとして発話文記憶部１２１３−１に記憶しておけばよい。
第１例：「XXXって、どういうことですか？」
第２例：「XXXって言いました？」
第３例：「XXX？」
第４例：「XXXの言葉の意味がわかりません。」
【００３０】
また、複数の言語の発話文のテンプレートを発話文記憶部１２１３−１に記憶しておき、対話に用いられる言語に応じて手動または自動で１つの言語の発話文のテンプレートを選択できるようにしてもよい。手動で選択する場合には、利用者が押下可能なボタンや、利用者が表示された情報を確認しながらタッチ入力できるタッチスクリーンや、キーボードやマウスとディスプレイ装置を含む汎用ＰＣなどによる入力部（図示略）を非母語話者支援装置１２に備え、発話生成部１２１３が、入力部への入力操作に従って１つの言語の発話文のテンプレートを選択するようにすればよい。自動で選択する場合には、収音部１１が出力した母語話者音響信号に含まれる音声の言語を判定する言語判定部（図示略）を非母語話者支援装置１２に備え、発話生成部１２１３が、言語判定部が判定した言語に従って１つの言語の発話文のテンプレートを選択するようにすればよい。言語判定部には、例えば参考特許文献１に記載された技術などの周知技術を用いればよい。
（参考特許文献１：特開２００４−３４７７３２号公報）
【００３１】
［音声合成部１２２１］
音声合成部１２２１には、発話生成部１２１３が出力した発話文のテキストが入力される。音声合成部１２２１は、入力された発話文のテキストに対応する音声信号を音声合成により得て出力する（Ｓ１２２１）。音声合成部１２２１が行う音声合成には周知の手法を用いればよい。
【００３２】
［エージェント部１２２２］
エージェント部１２２２は、例えば人型ロボットであり、少なくとも放音部１２２２−１を含み、放音部１２２２−１が放音した音を母語話者が受聴可能とするものである。放音部１２２２−１は、例えば１つ以上のスピーカで構成される。エージェント部１２２２には、音声合成部１２２１が出力した音声信号が入力される。エージェント部１２２２は、入力された音声信号をエージェント部１２２２が備える放音部１２２２−１から放音する（Ｓ１２２２）。すなわち、エージェント部１２２２は、対象単語を質問する発話文を発話する。
【００３３】
なお、エージェント部１２２２は、放音部１２２２−１以外の構成を含んでもよく、母語話者や非母語話者の発話に対応する動作をしたり、本実施形態以外の発話の音声を発したりしてもよい。
【００３４】
なお、エージェント部１２２２は非母語話者の役割を担うため、音声合成部１２２１が得る発話文のテキストに対応する音声信号は、非母語話者を模するキャラクタ性を持たせた音声信号、例えば、英語での対話においては英語が母語ではない日本語を母語とする者を模するために、日本語を母語とする者が発話する特徴を有する音声信号、いわゆる「日本なまりの英語」の音声信号であってもよい。
【００３５】
＜＜第２実施形態＞＞
第１実施形態は人型ロボットなどのハードウェアでエージェントを実現する構成であったが、エージェントをテレビ会議装置などの端末装置上で仮想的に実現する構成としてもよい。この構成を第２実施形態として説明する。
【００３６】
図３は、第２実施形態の非母語話者支援システムの構成を示すブロック図である。第２実施形態の非母語話者支援システム２は、複数の端末装置２３Ａ，２３Ｂ，２３Ｃと非母語話者支援装置２２とネットワーク９とから構成される。端末装置２３Ａ，２３Ｂ，２３Ｃなどを区別せずに総称する場合には端末装置２３と表記する。
【００３７】
ネットワーク９は、非母語話者支援システム２に含まれる複数の端末装置２３と非母語話者支援装置２２が情報のやりとりをできるようにするものであればよく、例えば、遠隔地で会議を行う場合には有線や無線のインターネット回線などの遠隔地を繋ぐものとすればよい。例えばローカルな環境で会議を行う場合には、ネットワーク９は構内無線ＬＡＮ、近距離無線通信路などであってもよい。
【００３８】
端末装置２３は、例えばテレビ会議装置などであり、収音部２３−１と放音部２３−２と表示部２３−３とを少なくとも含む。収音部２３−１は例えばマイクロホンであり、放音部２３−２は例えばスピーカであり、表示部２３−３は例えば液晶ディスプレイである。図３では収音部２３−１と放音部２３−２と表示部２３−３を１つの筐体内に備える構成を例示しているが、これらの各部は複数の筐体に分けられて備えていてもよい。収音部２３−１と放音部２３−２の動作は第１実施形態と同様である。なお、端末装置２３は例えばカメラなどの映像取得部２３−４を備え、当該端末装置２３を利用する利用者の映像を取得するようにしてもよい。
【００３９】
非母語話者支援装置２２は、非母語話者支援発話生成部１２１と発話映像生成部２２２とを少なくとも含む。発話映像生成部２２２は、発話映像記憶部２２２−１を少なくとも含む。なお、発話映像記憶部２２２−１は、発話映像生成部２２２の外に設けられていてもよい。非母語話者支援発話生成部１２１が備える各部の動作は第１実施形態と同様である。なお、非母語話者支援装置２２は、第１実施形態と同様の音声合成部１２２１を含んでもよい。また端末装置２３側に音声合成部を設け、非母語話者支援装置２２から音声合成部１２２１を省略してもよい。端末装置２３に音声合成部を設ける場合、これを音声合成部２３−５と呼称する。
【００４０】
以下、図４を参照して主に第１実施形態には含まれない各部の動作について説明する。
［発話映像生成部２２２］
発話映像生成部２２２には、発話生成部１２１３が出力した発話文のテキストが入力される。発話映像生成部２２２は、入力された発話文のテキストに対応するロボットなどの擬人化されたエージェントの発話動作の映像を出力する（Ｓ２２２）。例えば、発話映像生成部２２２内の発話映像記憶部２２２−１に記憶したロボットなどの擬人化されたエージェントの発話動作の複数個の映像のうち、入力された発話文のテキストに対応する映像を選択して出力する。
【００４１】
［音声合成部１２２１］
非母語話者支援装置２２側で音声合成を行う場合、音声合成部１２２１には、発話生成部１２１３が出力した発話文のテキストが入力される。音声合成部１２２１は、入力された発話文のテキストに対応する音声信号を音声合成により得て出力する（Ｓ１２２１）。
【００４２】
［音声合成部２３−５］
端末装置２３側で音声合成を行う場合、音声合成部２３−５には発話生成部１２１３が出力した発話文のテキストが入力される。音声合成部２３−５は、入力された発話文のテキストに対応する音声信号を音声合成により得て出力する。
【００４３】
［表示部２３−３］
表示部２３−３には、発話映像生成部２２２が出力した映像が入力される。表示部２３−３は、放音部２３−２が音声信号を放音するのと同期して、入力されたロボットなどの擬人化されたエージェントの発話動作の映像を表示する。なお、表示部２３−３には、放音部２３−２が音声信号を放音するのと同期して映像を表示させるために、音声合成部１２２１（音声合成部２３−５）が出力した音声信号も入力されてもよいし、表示部２３−３と放音部２３−２とを同期させるための図示しない制御部を端末装置２３内に備えていてもよい。
【００４４】
また、表示部２３−３は、各端末装置２３の映像取得部２３−４が取得した映像を表示してもよい。図３左上の人Ａの端末装置２３Ａの表示部２３−３に表示例を図示した。同図に示すように表示部２３−３は、画面の上段には対話の相手である人Ｂと人ＣとエージェントＲの映像を横並びに表示し、画面の下段には自身の映像である人Ａの映像を表示してもよい。
【００４５】
＜＜各実施形態のシステム、装置の作用効果＞＞
各実施形態のシステム、装置によれば、母語話者が発話した音声に含まれる認識尤度の低い単語を含む発話をエージェントの発話として行うことにより、非母語話者が対話から取り残される可能性がある状況において、エージェントが質問等を行い、その質問等に対して母語話者が答えることで補足説明を行うことになるため、その補足説明を非母語話者が聞くことで対話の内容を理解できるようにすることができる。
【００４６】
また、背景雑音がある状況で母語話者が発話した場合や、母語話者の発音がクリアでなかった場合、母語話者の発音のイントネーションが正しくない場合、などには、非母語話者は母語話者の発話を聞き取りにくい。収音部（１１、２３−１）が出力した母語話者音響信号に母語話者の音声に背景雑音が重畳していた場合、母語話者の発音がクリアでなかった場合、母語話者の発音のイントネーションが正しくない場合、などには、音声認識部１２１１が得る認識尤度も低くなる。そこで、認識尤度が低い場合に、認識尤度が低かった単語を質問する発話をエージェントが行えば、非母語話者が聞き取りにくかった単語を適切なタイミングで母語話者に質問し、その結果、非母語話者が聞き取りにくかった単語について母語話者が説明を行うことになる。これにより、従来よりも、非母語話者が対話の内容を理解できるようになる。
【００４７】
音声認識部１２１１が得た単語の認識尤度が特に低い場合には、音声認識部１２１１が得たその単語のテキストが、話者が実際に発話した単語と異なるケースも生じうる。この場合、認識尤度が特に低かった単語を質問する発話をエージェントが行えば、母語話者は自身が発話していない単語を質問されることになる。このような質問をされると、母語話者は補足説明を詳細に行うことになるため、非母語話者が特に聞き取りにくかった単語について、母語話者が特に詳細に説明を行うことになる。これにより、従来よりも、非母語話者が対話の内容を理解できるようになる。
【００４８】
対話においては、母語話者は、意味を理解できなかった単語について質問しないでも、リカバリが容易である。すなわち、母語話者は、意味を理解できなかった単語が少々あったとしても、対話の文脈から単語の意味を推測する等にて、対話を理解することができる。一方、非母語話者は、意味を理解できなかった単語があった場合には、対話の文脈でリカバリできないことが多い。そこで各実施形態のシステム、装置は、この非母語話者の課題をエージェントの発話を挟むことで解決したのである。
【００４９】
各実施形態のシステム、装置によれば、従来よりも非母語話者が対話の内容を理解できるようになることから、非母語話者が議論についていきやすくなり、非母語話者自身が発言する機会が増える。すなわち、各実施形態のシステム、装置によれば、非母語話者の対話への参加の度合いやディスカッションへの貢献の度合いを高めることも可能となる。
【００５０】
＜＜各実施形態のシステム、装置と一見類似する従来技術との本質的な違い＞＞
各実施形態のシステム、装置は、人が発話した音声に含まれる認識尤度の低い単語を質問するという構成のみに着目すると、自動応答システム等に実装されている技術と一見類似する。しかし、自動応答システム等に実装されているのは、自動応答システムが人の発話内容を誤って認識して誤った応答をしてしまうことを避ける目的で、直前の発話と同じ内容の発話を人に繰り返してもらい、自動応答システムが人の発話内容を正しく認識するためのものである。これに対し、各実施形態のシステム、装置は、非母語話者などが母語話者などの発話内容を理解できないことを避ける目的で、母語話者などに直前の発話に含まれる単語の内容を詳しく説明してもらい、非母語話者などが母語話者の発話内容を正しく理解するためのものである。従って、各実施形態のシステム、装置は自動応答システム等に実装されている技術とは本質的に異なるものである。
【００５１】
＜＜その他の実施形態＞＞
［エージェントが発話をするタイミング］
上述の実施形態において認識尤度の低い単語が発見されたら、なるべく早い段階でエージェント部１２２２（エージェントＲ）がその単語を質問する発話をすることが望ましい。すなわち、対象単語決定部１２１２が対象単語のテキストとして出力したらすぐに発話生成部１２１３と音声合成部１２２１（音声合成部２３−５）とエージェント部１２２２（エージェントＲ）を動作させ、対象単語が含まれる発話が終わった瞬間にエージェント部１２２２（エージェントＲ）が単語を質問する発話をするように制御したり、対象単語が含まれる発話を発話者が続けている最中であってもエージェント部１２２２（エージェントＲ）が単語を質問する発話をするように制御したりするのがよい。すなわち、非母語話者もエージェント部１２２２（エージェントＲ）も単語を質問する発話をせずに対話が進んでしまい、質問するタイミングを失わないようにすることが重要である。
【００５２】
［母語話者と非母語話者の人数］
各実施形態のシステム、装置は、母語話者の人数よりも非母語話者の人数が少ない対話、すなわち、母語話者と非母語話者とが一対一で対話する場合よりも速い速度で対話が行われる場合に好適なものである。しかし、母語話者が複数含まれる対話であれば、母語話者の人数と非母語話者の人数が同じ場合や、母語話者の人数が非母語話者の人数より少ない場合であっても適用可能である。
【００５３】
なお、母語話者が１人だけ含まれる対話の場合、例えば、母語話者と非母語話者とが一対一で対話する場合には、母語話者は対話の相手である非母語話者を意識して遅い速度で発話したり、難しい単語や文法を避けて発話したりすることから、各実施形態のシステム、装置を用いる必要がない場合がある。しかし、母語話者が１人だけ含まれる対話においても、必要と思われる場合には、各実施形態のシステム、装置を適用してもよい。
【００５４】
［複数人の非母語話者の母語が異なるケース］
非母語話者が複数人含まれる対話においては、非母語話者の母語が全て同じとは限らない。例えば、英語を母語とする人Ａと、英語を母語とする人Ｂと、日本語を母語とする人Ｃと、ドイツ語を母語とする人Ｄと、の４人が英語で対話する状況も有り得る。この場合には、非母語話者Ｃの英語での対話を支援する場合には、非母語話者Ｄの発話についても母語話者ＡやＢの発話と同様に扱い、母語話者ＡとＢに加えて非母語話者Ｄの発話を含む音響信号を音声認識部１２１１の入力として各実施形態のシステム、装置を実施してもよい。また、非母語話者Ｄの英語での対話を支援する場合には、非母語話者Ｃの発話についても母語話者ＡやＢの発話と同様に扱ってもよい。なお、支援する対象である非母語話者を含む話者全員の発話を含む音響信号を音声認識部１２１１の入力として各実施形態のシステム、装置を実施してもよいが、支援を必要とする非母語話者の発話の音声認識の尤度は全体的に低いことが予想されることから、適切に動作しない可能性がある。ただし、このような場合には、各話者の音響信号それぞれに対して音声認識部１２１１を動作させて認識結果を得て、非母語話者の認識尤度に対する閾値が母語話者の認識尤度に対する閾値よりも小さな値となるように話者毎に予め定めた閾値を用いて対象単語決定部１２１２を動作させれば、適切に動作する可能性がある。
【００５５】
［対象単語を含まない発話をする形態］
上述の実施形態では、対象単語を質問する発話文として対象単語を含む発話文をエージェントが発話する形態について説明したが、対象単語を質問する発話文として対象単語を含まない発話文をエージェントが発話するようにしてもよい。この場合の各部の動作について、上述の実施形態と異なる点を説明する。
【００５６】
音声認識部１２１１は、単語のテキストを出力せずに、認識尤度のみを出力してもよい。
【００５７】
対象単語決定部１２１２は、音声認識部１２１１が出力した単語のテキストとその単語の認識尤度との組が入力された場合には、入力された単語のテキストとその単語の認識尤度との組について、認識尤度が予め定めた閾値以下または閾値より小さい場合に、対象単語のテキストを出力することに代えて、対象単語が存在する旨の情報を出力してもよい。対象単語決定部１２１２は、音声認識部１２１１が出力した認識尤度のみが入力された場合には、入力された認識尤度が予め定めた閾値以下または閾値より小さい場合に、対象単語が存在する旨の情報を出力する。なお、対象単語が存在する旨の情報は、発話が必要であることを表す情報であるともいえ、発話が必要であることを決定しているともいえる。よって、対象単語決定部１２１２は発話要否決定部であるともいえる。
【００５８】
発話文記憶部１２１３−１には、追加説明を促す発話文であって、対象単語の部分の空欄を含まない発話文のテキストを記憶しておく。
【００５９】
発話生成部１２１３に、対象単語決定部１２１２から対象単語のテキストまたは対象単語が存在する旨の情報が入力された場合には、発話生成部１２１３は、発話文記憶部１２１３−１に記憶された発話文のテキストのうちの１つを選択して出力する。
【００６０】
発話文記憶部１２１３−１に記憶しておく発話文は、例えば、下記の第５例と第６例のようなものである。
第５例：“Can you repeat that once again?”
第６例：“Sorry, I couldn't understand what you said.”
【００６１】
第５例の例文は、「今のをもう一度言って下さい。」を意味する文であり、少なくとも同じ内容の発話によって追加説明することを促す発話文である。第６例の例文は「すみません、あなたの言ったことが理解できませんでした。」を意味する文であり、より詳細な内容での発話によって追加説明することを促す発話文である。［エージェントが単語を質問する発話をするタイミング］の節で説明したように、対象単語が含まれる発話が終わった瞬間にエージェントが発話するように制御したり、対象単語が含まれる発話を発話者が続けている最中であってもエージェントが発話するように制御したりすれば、対象単語を質問する発話ではなく、第５例や第６例のような対象単語を含まずに追加説明することを促す発話をしたとしても、その発話を受けた人が補足説明を行えば、対象単語を含む発話について補足説明を行うことになるので、結果的には、非母語話者が聞き取りにくかった単語についても母語話者が説明を行うことになる。これにより、従来よりも、非母語話者が対話の内容を理解できるようになる。
【００６２】
なお、複数個の発話文が発話文記憶部１２１３−１に記憶されている場合には、発話文をランダムに選択して用いることにより、エージェントによる発話にバリエーションを持たせてもよいことは、第１実施形態で説明したのと同様である。
【００６３】
［母語話者と非母語話者の対話以外の対話への適用］
以上では、母語話者と非母語話者とが対話をする状況において非母語話者を支援するためのシステムについて説明したが、本発明はこのような形態に限定されない。これまでの説明のうちの「母語話者」を「研究者」と読みかえ「非母語話者」を「知財担当者」と読みかえれば、例えば、ある技術分野の研究者Ａと、研究者Ａと同じ技術分野の研究者である研究者Ｂと、その技術分野ではなく知財分野を専門とする知財担当者Ｃと、の３人が、研究者ＡとＢの技術分野の研究内容に関する対話をする状況において、知財担当者Ｃを支援するためのシステムとすることができる。すなわち、専門分野等に異なりがある人同士が対話をする状況において話者を支援するためのシステムとすることができる。すなわち、専門分野αに属する人と専門分野βに属する人とが対話をする状況において、専門分野βの人を支援するためのシステムとするのであれば、専門分野αに属する人が発話した音声に含まれる認識尤度の低い単語を含む発話をエージェントの発話として行う構成とすればよい。なお、専門分野αに属する人と専門分野βに属する人とが対話をする状況において、専門分野αに属する人を支援するためのシステムも同時に実現可能であり、専門分野βに属する人が発話した音声に含まれる認識尤度の低い単語を含む発話をエージェントの発話として行う構成も同時に機能させればよい。
【００６４】
［発話の提示］
上述の実施形態では、放音部１２２２−１、放音部２３−２から放音することにより発話文をエージェントの発話として提示する例を説明したが、これに限定されない。例えば、発話文のテキストを表示装置、表示部に表示することにより発話文をエージェントの発話として、音声によらずに提示するようにしてもよい。第１実施形態を改変する場合には、表示装置、または表示部を別途設ける必要がある。第２実施形態を改変する場合、表示部２３−３を用いればよい。このようにする場合には、第１実施形態において音声合成部１２２１と放音部１２２２−１は備えなくてよく、エージェント部１２２２である人型ロボットには表示部を備えて発話文のテキストを表示部に表示すればよいし、第２実施形態においては、音声合成部１２２１（音声合成部２３−５）と放音部２３−２は備えなくてよく、エージェントＲの映像中に発話文のテキストを表示すればよい。要するに、本発明は、発話生成部が生成した発話文をエージェントの発話として提示する提示部を備えればよい。
【００６５】
＜＜本発明の話者支援装置＞＞
本発明の話者支援装置は、以上の各実施形態で説明した内容を含むものであり、要するに、専門分野αに属する人と専門分野βに属する人とを少なくとも含んで対話をする状況において、専門分野βに属する人を支援するための話者支援装置であって、専門分野αに属する人の音声を少なくとも認識して、単語と該単語の認識尤度の組を得る音声認識部と、音声認識部が得た単語と該単語の認識尤度の組のうち、認識尤度が予め定めた基準を下回る単語を対象単語として得る対象単語決定部と、対象単語決定部が得た対象単語を質問する発話を生成する発話生成部と、発話生成部が得た対象単語を質問する発話をエージェントの発話として提示する提示部と、を含む話者支援装置、または、専門分野αに属する人の音声を少なくとも認識して、単語の認識尤度を得る音声認識部と、音声認識部が得た認識尤度が予め定めた基準を下回る場合に、発話が必要であると決定する発話要否決定部と、発話要否決定部が発話が必要であると決定した場合に追加説明することを促す発話を生成する発話生成部と、発話生成部が得た追加説明することを促す発話をエージェントの発話として提示する提示部と、を含む話者支援装置、である。
【００６６】
また、複数の母語話者と少なくとも１人の非母語話者とが対話をする状況において、非母語話者を支援するための本発明の話者支援装置は、要するに、母語話者の音声を認識して、単語と該単語の認識尤度の組を得る音声認識部と、音声認識部が得た単語と該単語の認識尤度の組のうち、認識尤度が予め定めた基準を下回る単語を対象単語として得る対象単語決定部と、対象単語決定部が得た対象単語を質問する発話を生成する発話生成部と、発話生成部が得た対象単語を質問する発話をエージェントの発話として提示する提示部と、を含む話者支援装置、または、母語話者の音声を少なくとも認識して、単語の認識尤度を得る音声認識部と、音声認識部が得た認識尤度が予め定めた基準を下回る場合に、発話が必要であると決定する発話要否決定部と、発話要否決定部が発話が必要であると決定した場合に追加説明することを促す発話を生成する発話生成部と、発話生成部が得た追加説明することを促す発話をエージェントの発話として提示する提示部と、を含む話者支援装置、である。
【００６７】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【００６８】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【００６９】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【００７０】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００７１】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【００７２】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００７３】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００７４】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００７５】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2019008051.tif 000003
【図２】
2019008051.tif 000004
【図３】
2019008051.tif 000005
【図４】
2019008051.tif 000006