(57)【要約】【課題】話者との間で適切な話速で対話を行うことが可能な音声対話装置を提供する。【解決手段】音声対話装置は、入力される話者の音声である入力発話音声を認識し、認識の結果に基づき入力発話音声に応答する内容を生成し、上記内容に基づき入力発話音声に応答する音声である出力発話音声を出力し、出力発話音声を出力した後、上記話者により次の入力発話音声が入力されるまでの時間である反応時間を検出し、上記反応時間に基づき出力発話音声の話速を制御する。音声対話装置は、特定のフレーズを記憶し、上記認識により生成される入力テキストが上記フレーズを含む場合、話速の制御に対する上記反応時間の影響度合いを制御する。【選択図】図２
2020112764.tif 000002
【特許請求の範囲】
【請求項１】
入力される話者の音声である入力発話音声を認識する音声認識部、
前記認識の結果に基づき前記入力発話音声に対する応答情報を生成する応答情報生成部、
前記応答情報に基づき出力発話音声を出力する音声合成部、
前記音声合成部が前記出力発話音声を出力した後、前記話者により次の前記入力発話音声が入力されるまでの時間である反応時間を検出する反応時間検出部、及び、
前記反応時間に基づき前記出力発話音声の話速を制御する話速制御部、
を備える、音声対話装置。
【請求項２】
請求項１に記載の音声対話装置であって、
前記音声認識部は、前記認識の結果として前記入力発話音声のテキストデータである入力テキストを生成し、
前記応答情報生成部は、前記入力テキストに基づき、テキストデータである応答テキストを前記応答情報として生成し、
前記音声合成部は、前記応答テキストに基づき前記出力発話音声を出力し、
前記話速制御部は、特定のフレーズを記憶し、前記入力テキストが前記フレーズを含む場合に前記話速の制御に対する前記反応時間の影響度合いを制御する、
音声対話装置。
【請求項３】
請求項２に記載の音声対話装置であって、
前記話速制御部は、複数のカテゴリに分離された複数の前記フレーズを記憶し、前記入力テキストが前記フレーズを含む場合、当該フレーズが属するカテゴリに応じて前記影響度合いを制御する、
音声対話装置。
【請求項４】
請求項１に記載の音声対話装置であって、
前記音声認識部は、前記認識の結果として前記入力発話音声のテキストデータである入力テキストを生成し、
前記応答情報生成部は、前記入力テキストに基づき、テキストデータである応答テキストを前記応答情報として生成し、
前記音声合成部は、前記応答テキストに基づき前記出力発話音声を出力し、
前記入力テキストに基づき前記話者との対話が成立したか否かを判定する対話成立判定部と、
前記入力テキストを入力とし、前記出力発話音声の話速を制御するパラメータである特定フレーズ変数を出力とし、前記話者との対話が成立したことを正の報酬として強化学習されるモデルと、
をさらに備え、
前記話速制御部は、前記モデルにより求めた前記特定フレーズ変数と前記反応時間とに基づき前記出力発話音声の話速を制御する、
音声対話装置。
【請求項５】
請求項４に記載の音声対話装置であって、
前記モデルはニューラルネットワークである、
音声対話装置。
【請求項６】
請求項１に記載の音声対話装置であって、
前記音声認識部は、入力される前記話者の音声である入力発話音声を音声認識したテキストデータである入力テキストを生成し、
前記応答情報生成部は、前記入力テキストに対する応答についてのテキストデータである応答テキストを生成し、
前記音声合成部は、前記応答テキストに基づく音声である出力発話音声を出力し、
前記入力テキストに基づき前記話者との対話が成立したか否かを判定する対話成立判定部と、
前記入力テキスト及び前記入力発話音声を入力とし、前記出力発話音声の話速を制御するパラメータである特定フレーズ変数を出力とし、前記話者との対話が成立したことを正の報酬として強化学習されるモデルと、
をさらに備え、
前記話速制御部は、前記モデルにより求めた前記特定フレーズ変数と前記反応時間とに基づき前記出力発話音声の話速を制御する、
音声対話装置。
【請求項７】
請求項６に記載の音声対話装置であって、
前記モデルはニューラルネットワークである、
音声対話装置。
【請求項８】
情報処理装置が、
入力される話者の音声である入力発話音声を認識するステップ、
前記認識の結果に基づき前記入力発話音声に対する応答情報を生成するステップ、
前記応答情報に基づき前記入力発話音声に応答する音声である出力発話音声を出力するステップ、
前記出力発話音声を出力した後、前記話者により次の前記入力発話音声が入力されるまでの時間である反応時間を検出するステップ、及び、
前記反応時間に基づき前記出力発話音声の話速を制御するステップ、
を実行する、音声対話方法。
【請求項９】
請求項８に記載の音声対話方法であって、
前記情報処理装置が、
前記認識の結果として前記入力発話音声のテキストデータである入力テキストを生成するステップ、
前記入力テキストに基づき、テキストデータである応答テキストを前記応答情報として生成するステップ、
前記応答テキストに基づき前記出力発話音声を出力するステップ、及び、
特定のフレーズを記憶し、前記入力テキストが前記フレーズを含む場合に前記話速の制御に対する前記反応時間の影響度合いを制御するステップ、
をさらに実行する、音声対話方法。
【請求項１０】
請求項９に記載の音声対話方法であって、
前記情報処理装置が、複数のカテゴリに分離された複数の前記フレーズを記憶し、前記入力テキストが前記フレーズを含む場合、当該フレーズが属するカテゴリに応じて前記影響度合いを制御するステップ、
をさらに実行する、音声対話方法。
【請求項１１】
請求項８に記載の音声対話方法であって、
前記認識の結果として前記入力発話音声のテキストデータである入力テキストを生成するステップ、
前記入力テキストに基づき、テキストデータである応答テキストを前記応答情報として生成するステップ、
前記応答テキストに基づき前記出力発話音声を出力するステップ、
前記入力テキストに基づき前記話者との対話が成立したか否かを判定するステップ、及び、
前記入力テキストを入力とし、前記出力発話音声の話速を制御するパラメータである特定フレーズ変数を出力とし、前記話者との対話が成立したことを正の報酬として強化学習されるモデルにより求めた前記特定フレーズ変数と前記反応時間とに基づき前記出力発話音声の話速を制御するステップ、
をさらに実行する、音声対話方法。
【請求項１２】
請求項１１に記載の音声対話方法であって、
前記モデルはニューラルネットワークである、
音声対話方法。
【請求項１３】
請求項８に記載の音声対話方法であって、
前記情報処理装置が、
入力される前記話者の音声である入力発話音声を音声認識したテキストデータである入力テキストを生成するステップ、
前記入力テキストに対する応答についてのテキストデータである応答テキストを生成するステップ、
前記応答テキストに基づく音声である出力発話音声を出力するステップ、
前記入力テキストに基づき前記話者との対話が成立したか否かを判定するステップ、及び、
前記入力テキスト及び前記入力発話音声を入力とし、前記出力発話音声の話速を制御するパラメータである特定フレーズ変数を出力とし、前記話者との対話が成立したことを正の報酬として強化学習されるモデルにより求めた前記特定フレーズ変数と前記反応時間とに基づき前記出力発話音声の話速を制御するステップ、
をさらに実行する、音声対話方法。
【請求項１４】
請求項１３に記載の音声対話方法であって、
前記モデルはニューラルネットワークである、
音声対話方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声対話装置、及び音声対話方法に関する。
【背景技術】
【０００２】
特許文献１には、コミュニケーションギャップをリアルタイムに解決し、持続的かつ自然なコミュニケーションを行うことを目的として構成された、人間との会話を行う対話システムについて記載されている。上記の対話システムは、ユーザの発話におけるインタラクション状態量を検出し、ユーザとロボットシステムとのコミュニケーション同調ずれ量を算出し、同調モデルを表す状態方程式による連続的な引き込み制御によりコミュニケーション同調ずれ量を最小化すると同時に、インタラクションルールによる離散的な引き込み制御により、ユーザのインタラクション状態量をロボットシステムのそれに近づけていく、または、ロボットシステムのインタラクション状態量をユーザのインタラクション状態量に近づけつつユーザのインタラクション状態量をロボットシステムのそれに近づけていくように機能する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１８１６９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
人工知能や音声認識技術の進展に伴い、様々な分野において人とコミュニケーションを行う対話システムの開発が進められている。こうした対話システムの利用シーンにおいて、対話システムと対話を行う際の話者（ユーザ）の心理状況は様々であり、対話をゆっくり楽しみたいと思っていることもあれば、急いでいるため対話を簡潔に済ませたいと思っていることもある。そのため、話者に違和感を抱かせず心地よく自然に感じてもらうようにするためには、話者の状態や感情を適切に汲み取りつつ話速を適切に制御して対話を進める必要がある。
【０００５】
特許文献１では、対話システムが、自身が発する話速をユーザの話速に同調させることによりユーザに心地よい対話を提供しようとしている。しかしユーザの話速は安定した検出が難しく、また発話の内容によっては必ずしも同調された話速がユーザにとって適切でないこともある。
【０００６】
本発明はこのような背景に鑑みてなされたものであり、話者との間で適切な話速で対話を行うことが可能な、音声対話装置、及び音声対話方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するための本発明のうちの一つは、音声対話装置であって、入力される話者の音声である入力発話音声を認識する音声認識部、前記認識の結果に基づき前記入力発話音声に対する応答情報を生成する応答情報生成部、前記応答情報に基づき出力発話音声を出力する音声合成部、前記音声合成部が前記出力発話音声を出力した後、前記話者により次の前記入力発話音声が入力されるまでの時間である反応時間を検出する反応時間検出部、及び、前記反応時間に基づき前記出力発話音声の話速を制御する話速制御部、を備える。
【０００８】
その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄、
及び図面により明らかにされる。
【発明の効果】
【０００９】
本発明によれば、話者との間で適切な話速で対話を行うことが可能な音声対話の仕組みを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】音声対話装置の主な構成を示す図である。
【図２】第１実施形態の音声対話装置の主な機能及び動作を示す図である。
【図３】話速の決定方法を説明する図である。
【図４】第２実施形態の音声対話装置の主な機能及び動作を示す図である。
【図５】第３実施形態の音声対話装置の主な機能及び動作を示す図である。
【図６】音声対話システムの他の構成を示す図である。
【発明を実施するための形態】
【００１１】
以下、実施形態について図面を参照しつつ説明する。以下の説明において、同一のまたは類似する構成について同一の符号を付して重複した説明を省略することがある。
【００１２】
［第１実施形態］
図１に第１実施形態として示す音声対話装置１０の主な構成を、図２に音声対話装置１０の主な機能及び動作を示している。音声対話装置１０は、入力される話者（対話相手）の音声である発話音声（以下、「入力発話音声」と称する。）に対する応答音声（以下、「出力発話音声」と称する。）を出力する情報処理装置（コンピュータ）である。音声対話装置１０は、例えば、接客、案内、通訳、介護、医療、家事、娯楽提供等の対人サービスを行うロボットに組み込まれて用いられる。
【００１３】
図１に示すように、音声対話装置１０は、プロセッサ１１、主記憶装置１２、補助記憶装置１３、音声入力装置１４、音声出力装置１５、及び通信装置１６の各構成を備える。上記の各構成は、図示しないバス等の通信手段を介して互いに通信可能に接続されている。
【００１４】
プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）、ＡＩ（Artificial Intelligence）チップ等を用いて構成される。
【００１５】
主記憶装置１２は、プログラムやデータを記憶する装置であり、例えば、ＲＯＭ（Read
Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ（ＮＶＲＡＭ（Non Volatile RAM））等である。
【００１６】
補助記憶装置１３は、例えば、ハードディスクドライブ、ＳＳＤ（Solid State Drive
）、光学式記憶装置等である。補助記憶装置１３に記憶されているプログラムやデータは主記憶装置１２に随時読み込まれる。
【００１７】
音声入力装置１４は、音声の入力を受け付けるインタフェースであり、例えば、マイクロフォン、Ａ／Ｄコンバータ、増幅器等を含む。
【００１８】
音声出力装置１５は、音声を出力するインタフェースであり、例えば、スピーカ、Ｄ／Ａコンバータ、増幅器等を含む。
【００１９】
通信装置１６は、他の装置との間の通信を実現する装置である。通信装置１６は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット等の通信手
段を介した他の装置との間の通信を実現する有線方式又は無線方式の通信インタフェースであり、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢ（Universal Serial Bus）モジュール、シリアル通信モジュール等である。音声対話装置１０は、通信装置１６によって他の装置と通信することにより、他の装置との間で各種情報（データ）の送受信、ソフトウェアのダウンロード等を行う。
【００２０】
尚、音声対話装置１０の全ての機能が共通の情報処理装置において実現されていなくてもよく、例えば、個々の機能を通信可能に接続された複数の情報処理装置に分散して実現するようにしてもよい。また例えば、一つの機能を通信可能に接続された複数の情報処理装置により実現するようにしてもよい。
【００２１】
音声対話装置１０は、上記の構成に加えて、例えば、デバイスドライバ、オペレーティングシステム、ファイルシステム、ＤＢＭＳ（DataBase Management System）等の構成をさらに備えていてもよい。音声対話装置１０は、各種の情報（データ）を、例えば、データベースにより管理されるテーブルやファイルシステムにより管理されるファイルとして管理（記憶）する。
【００２２】
図２に示すように、音声対話装置１０は、音声認識部１１０、応答情報生成部１２０、話速制御部１３０、及び音声合成部１４０の各機能を備える。これらの機能は、例えば、プロセッサ１１の機能により、もしくは、プロセッサ１１が、主記憶装置１２に記憶されているプログラムを読み出して実行することにより実現される。
【００２３】
音声認識部１１０は、音声入力装置１４から入力発話音声を音声認識したテキストデータ（以下、「入力テキスト」と称する。）を生成し、生成した入力テキストを、応答情報生成部１２０及び話速制御部１３０に入力する。音声認識部１１０は、入力発話音声を、例えば、ニューラルネットワークや隠れマルコフモデル等の音声認識手法により入力テキストに変換する。
【００２４】
応答情報生成部１２０は、入力発話音声に応答するための、入力テキストに対する応答についてのテキストデータ（以下、「応答テキスト」と称する。）を生成して音声合成部１４０に入力する。応答情報生成部１２０は、例えば、ニューラルネットワークベースやルールベース等の手法により応答テキストを生成する。
【００２５】
話速制御部１３０は、音声入力装置１４から入力される入力発話音声と音声認識部１１０から入力される入力テキストとに基づき、音声合成部１４０が出力する出力発話音声の話速を制御するための情報（以下、「話速制御情報」と称する。）を生成して音声合成部１４０に入力する。
【００２６】
同図に示すように、話速制御部１３０は、特定フレーズ検出部１３１、反応時間検出部１３２、及び話速制御情報生成部１３３の各機能を備える。また話速制御部１３０は、特定フレーズリスト１３４を記憶する。
【００２７】
特定フレーズリスト１３４は、特定のフレーズ（以下、「特定フレーズ」と称する。）のリストを含む。特定フレーズとは、反応時間により話速の制御を行うことが必ずしも適切でないフレーズ（例えば、反応時間により話速を制御することにより対話が円滑に進まないことが想定されるフレーズ）をいう。特定フレーズリスト１３４の内容は、例えば、音声対話装置１０の運用者があらかじめ設定しておく。
【００２８】
特定フレーズは複数のカテゴリ（フレーズ群）に分類される。例えば、「ちょっと待って」、「待って」、「ストップ」、「黙って」等のユーザが会話の中断を求める際に用いるフレーズのカテゴリ、「もう一回言って」「もう一回」「え？」「何て言ったの？」「わからなかった」等のユーザが言い直しを求める際に用いるフレーズのカテゴリ、「謝れ」「おかしいじゃないか」「責任者を呼べ」等のユーザからのクレームに関するフレーズのカテゴリ等である。尚、特定フレーズリスト１３４の各フレーズには各フレーズが属するカテゴリを示す情報が付帯する。
【００２９】
特定フレーズ検出部１３１は、音声認識部１１０から入力される入力テキストを特定フレーズリスト１３４の特定フレーズと対照することにより入力テキストが特定フレーズを含むか否かを判定し、その結果を示す情報（以下、「特定フレーズラベル」と称する。）を生成する。また特定フレーズ検出部１３１は、入力テキストが特定フレーズを含む場合、その特定フレーズが所属するカテゴリを特定する。
【００３０】
反応時間検出部１３２には、音声認識部１１０に入力される入力発話音声と同期して入力発話音声が入力される。反応時間検出部１３２は、音声合成部１４０が出力発話音声を出力した後、話者による次の入力発話音声が入力されるまで（出力発話音声の発話が終了した時刻から次の入力発話音声の入力が開始された時刻まで）の時間（以下、「反応時間」と称する。）を求めて話速制御情報生成部１３３に入力する。
【００３１】
例えば、音声合成部１４０が出力した出力発話音声の終了時刻をｔｅ、次の入力発話音声の入力開始時刻をｔｓとしたとき、上記の反応時間は、ｔｓ−ｔｅもしくは、ｆ（ｔｓ−ｔｅ）で表される。尚、ｆ（）は、例えば、ｌｏｇ関数、シグモイド関数、累積正規分布関数、ｅｘｐ関数（指数関数）等である。
【００３２】
話速制御情報生成部１３３は、特定フレーズ検出部１３１から入力される特定フレーズラベルと反応時間検出部１３２から入力される反応時間とに基づき話速制御情報を生成し、生成した話速制御情報を音声合成部１４０に入力する。
【００３３】
話速制御情報生成部１３３は、反応時間により話速を制御することが適切であるときは、反応時間により話速の制御を行う内容の話速制御情報を生成する。また話速制御情報生成部１３３は、反応時間により話速を制御することが適切でないときは、話速の制御に対する反応時間の影響度合いを弱めた（反応時間に従った話速の制御を行わない場合を含む）話速の制御を行う内容の話速制御情報を生成する。尚、上記の影響度合いは、例えば、特定フレーズごとに設定してもよいし、例えば、特定フレーズが属する前述のカテゴリに応じて設定してもよい。このように出力発話音声の話速の制御に反応時間を用いることで、話者の状態や感情を適切に汲み取りつつ対話を進めることができる。
【００３４】
図３は話速制御情報生成部１３３による話速の決定方法の一例を説明する図である。尚、同図における黒丸は音声合成部１４０が出力発話音声を出力するタイミングを表す。
【００３５】
ここで反応時間検出部１３２から入力される時刻ｔにおけるユーザの反応時間をｘｔ、基準の反応時間をｘ０とすると、時刻ｔ＋１における話速ｙｔ＋１は、例えば、次式から求める。
ｙｔ＋１＝ｙｔ＋ａ（ｘｔ−ｘ０）      ・・・式１
ここでａは定数であり、音声対話装置１０が運用される環境等に応じて運用者等が予め設定する。また基準の反応時間ｘ０は、音声対話装置１０が運用される環境、音声認識の方法、発話テキストの生成方法、音声合成処理に要する時間等に基づき、音声対話装置１０の運用者等が予め設定する。
【００３６】
話速制御情報生成部１３３は、例えば、特定フレーズラベルが入力テキストが特定フレーズを含まないことを示す場合は上式により話速ｙを更新する内容の話速制御情報を生成し、一方、特定フレーズラベルが入力テキストが特定フレーズを含むことを示す場合は話速ｙの更新を行わない内容の話速制御情報を生成する。
【００３７】
また話速制御情報生成部１３３は、例えば、特定フレーズラベルが入力テキストが特定フレーズを含まないことを示す場合は定数ａに「１」を設定した話速制御情報を生成し、一方、特定フレーズラベルが入力テキストが特定フレーズを含むことを示す場合は、特定フレーズの内容（カテゴリ）に応じた値を定数ａに設定（例えば、運用者等が予め設定した値を定数ａに設定）した話速制御情報を生成する。尚、話速の制御に対する反応時間の影響度合いは、定数ａにより制御（調節）することができる。
【００３８】
図２に戻り、音声合成部１４０は、話速制御部１５２から入力される話速制御情報に基づき話速の制御を行いつつ、応答情報生成部１２０から入力される応答テキストに基づき出力発話音声を生成し、生成した出力発話音声を音声出力装置１５から出力する。尚、音声合成部１４０は、例えば、ニューラルネットワーク、隠れマルコフモデル、波形接続手法等の音声合成手法を用いて出力発話音声を生成する。
【００３９】
以上のように、第１実施形態の音声対話装置１０は、反応時間により話速を制御することが適切であるときは反応時間に基づき話速の制御を行い、また反応時間により話速を制御することが適切でないとき（入力テキストが特定フレーズを含むとき）は、話速の制御に対する反応時間の影響度合いを弱めるように制御する（反応時間に従った話速の制御を行わない場合を含む）ので、話者の状態や感情を適切に汲み取りつつ対話を進めることができ、話者の対話満足度を向上させることができる。
【００４０】
［第２実施形態］
第１実施形態では、入力テキストが特定フレーズを含むか否に応じて話速の制御に対する反応時間の影響度合いを制御した。第２実施形態では、機械学習モデルを用いて、反応時間が話速に及ぼす影響度合いを制御する。尚、第２実施形態の音声対話装置１０は、図１に示した第１実施形態の音声対話装置１０と同様の構成を備える。
【００４１】
図４に第２実施形態の音声対話装置１０の主な機能及び動作を示している。第２実施形態の音声対話装置１０は、音声認識部１１０、応答情報生成部１２０、及び話速制御部１３０の各機能を備える。これらの機能は、例えば、プロセッサ１１の機能により、もしくは、プロセッサ１１が、主記憶装置１２に記憶されているプログラムを読み出して実行することにより実現される。
【００４２】
音声認識部１１０は、第１実施形態の音声認識部１１０と同様、入力発話音声を音声認識して入力テキストを生成し、生成した入力テキストを、応答情報生成部１２０及び話速
制御部１３０に入力する。
【００４３】
応答情報生成部１２０は、第１実施形態の応答情報生成部１２０と同様、入力テキストに対する応答テキストを生成して音声合成部１４０に入力する。また第２実施形態の応答情報生成部１２０は、さらに入力テキストに基づき後述する対話終了情報を生成して報酬算出部１３６に入力する。
【００４４】
同図に示すように、第２実施形態の話速制御部１３０は、反応時間検出部１３２、特定フレーズ変数算出部１３５、報酬算出部１３６、及び話速制御情報生成部１３３の各機能を備える。このうち反応時間検出部１３２及び話速制御情報生成部１３３については第１実施形態と同様である。
【００４５】
特定フレーズ変数算出部１３５は、音声認識部１１０から入力される入力テキストに基づき、話速の制御に対する反応時間の影響度合いを決める変数ａ（第１実施形態における定数ａに相当。本実施形態では特定フレーズ変数ａと称する。）を生成し、生成した特定フレーズ変数ａを話速制御情報生成部１３３に入力する。
【００４６】
ここで特定フレーズ変数算出部１３５による特定フレーズ変数ａの生成は、強化学習により学習した機械学習モデル（以下、「モデル」と称する。）を用いて行われる。上記モデルは、例えば、ニューラルネットワークを用いて構成され、その場合、入力は入力テキストもしくは入力テキストに基づく言語特徴量であり、出力は特定フレーズ変数ａである。
【００４７】
上記モデルの学習は、報酬算出部１３６から入力される報酬に基づき、例えば、音声対話装置１０の運用中に行われる。上記報酬は、応答情報生成部１２０から入力される対話終了情報に基づき報酬算出部１３６が生成する。上記の対話終了情報は、応答情報生成部１２０が入力テキストに基づき生成する、対話が正常に終了したことを示す情報である。報酬算出部１３６は、対話終了情報が入力されると、そのときの特定フレーズ変数ａについて高い報酬を与える。尚、応答情報生成部１２０（対話成立判定部）が「対話が正常に終了したか否か」を判定するアルゴリズムは、例えば、音声対話装置１０の運用者等が音声対話装置１０に予め設定しておく。上記アルゴリズムとして、例えば、人工知能や機械学習を利用したものがある。
【００４８】
尚、上記モデルが最適化された後は、報酬算出部１３６の機能を停止させてもよい。また学習済の上記モデルを予め音声対話装置１０に実装するようにしてもよい。その場合、応答情報生成部１２０による対話終了情報の生成機能や報酬算出部１３６の機能は、停止させるか、もしくは音声対話装置１０に実装しないようにしてもよい。
【００４９】
話速制御情報生成部１３３は、反応時間検出部１３２から入力される反応時間と特定フレーズ変数算出部１３５から入力される特定フレーズ変数ａとに基づき、第１実施形態における式１を用いて話速制御情報を生成し、生成した話速制御情報を音声合成部１４０に入力する。
【００５０】
以上のように、第２実施形態の音声対話装置１０は、機械学習モデル（入力テキストを入力とし、特定フレーズ変数ａを出力とし、話者との対話が成立したことを正の報酬として強化学習されるモデル）を用いて特定フレーズ変数ａを求め、求めた特定フレーズ変数ａにより話速の制御を行うので、音声合成部１４０が出力する出力発話音声の話速を入力テキストの内容に応じて適切に制御することができ、話者との間で適切な話速で対話を行うことができる。
【００５１】
また第１実施形態の場合は特定フレーズリスト１３４を予め用意する必要があり、また話速制御の精度は特定フレーズリスト１３４の内容に左右されるが、第２実施形態の場合は特定フレーズリスト１３４を予め用意する必要がなく、話速制御の精度は音声対話装置１０の運用を続けていくうちに強化学習により自動的に向上して（最適化されて）ゆく。
【００５２】
［第３実施形態］
第２実施形態では、入力テキスト（入力テキストもしくは入力テキストに基づく言語特徴量）をモデルに入力して強化学習による学習を行った。第３実施形態では、入力テキストに加え、音声入力装置１４からの入力発話音声についてもモデルに入力してモデルの学習を行う。これにより、例えば、環境雑音等の影響により入力テキストの内容が正常でない（崩れている等）場合でも、特定フレーズ変数ａを適切に算出することができる。また例えば、韻律情報（韻律パターン、声量パターン等）のように入力テキストからは切り落とされているが話速の制御に有効な情報（以下、「非言語情報」と称する。）についてもモデルの学習に反映することができるため、精度の高い話速制御を行うことが可能になる。
【００５３】
図５に第３実施形態の音声対話装置１０の主な機能及び動作を示す。同図に示すように、第３実施形態の音声対話装置１０は、音声認識部１１０、応答情報生成部１２０、及び話速制御部１３０の各機能を備える。これらの機能は、例えば、プロセッサ１１の機能により、もしくは、プロセッサ１１が、主記憶装置１２に記憶されているプログラムを読み出して実行することにより実現される。
【００５４】
音声認識部１１０は、第１実施形態または第２実施形態の音声認識部１１０と同様、入力発話音声を音声認識して入力テキストを生成し、生成した入力テキストを、応答情報生成部１２０及び話速制御部１３０に入力する。
【００５５】
応答情報生成部１２０は、第２実施形態の応答情報生成部１２０と同様、入力テキストに対する応答テキストを生成して音声合成部１４０に入力し、さらに入力テキストに基づき対話終了情報を生成して報酬算出部１３６に入力する。
【００５６】
第３実施形態の話速制御部１３０は、第２実施形態の音声対話装置１０と同様、反応時間検出部１３２、特定フレーズ変数算出部１３５、報酬算出部１３６、及び話速制御情報生成部１３３の各機能を備える。
【００５７】
第２実施形態と異なり、第３実施形態の特定フレーズ変数算出部１３５のモデルには、音声認識部１１０から入力される入力テキストとともに、音声入力装置１４から入力発話音声が入力される。特定フレーズ変数算出部１３５は、音声認識部１１０から入力される入力テキストと音声入力装置１４から入力される入力発話音声とに基づき上記モデルにより特定フレーズ変数ａを求め、生成した特定フレーズ変数ａを話速制御情報生成部１３３に入力する。
【００５８】
尚、上記モデルは、第２実施形態と同様、例えば、ニューラルネットワークを用いて構成され、その場合の入力は、入力テキストもしくは入力テキストに基づく言語特徴量と入力発話音声の音声波形や音声波形から抽出されるパラメータであり、出力は特定フレーズ変数ａである。
【００５９】
第２実施形態と同様、上記モデルの学習は、報酬算出部１３６から入力される報酬に基づき、例えば、音声対話装置１０の運用中に行われる。第２実施形態と同様、上記報酬は、応答情報生成部１２０から入力される対話終了情報に基づき報酬算出部１３６が生成する。
【００６０】
尚、第２実施形態と同様、上記モデルが最適化された後は報酬算出部１３６の機能を停止させてもよい。また学習済の上記モデルを予め音声対話装置１０に実装するようにしてもよい。その場合、応答情報生成部１２０による対話終了情報の生成機能や報酬算出部１３６の機能は、停止させるか、もしくは音声対話装置１０に実装しないようにしてもよい。
【００６１】
また第２実施形態と同様、話速制御情報生成部１３３は、反応時間検出部１３２から入力される反応時間と特定フレーズ変数算出部１３５から入力される特定フレーズ変数ａとに基づき、第１実施形態における式１を用いて話速制御情報を生成し、生成した話速制御情報を音声合成部１４０に入力する。
【００６２】
以上のように、第３実施形態の音声対話装置１０は、入力テキストの内容及び入力発話音声に基づき学習されるモデルを用いて特定フレーズ変数ａを求め、求めた特定フレーズ変数ａにより話速の制御を行うので、音声合成部１４０が出力する出力発話音声の話速を入力テキストの内容及び入力発話音声（非言語情報を含む。）に応じて適切に制御することができ、話者との間で適切な話速で対話を行うことができる。
【００６３】
また第２実施形態の場合と同様に、第３実施形態の場合も特定フレーズリスト１３４を予め用意する必要がなく、また話速制御の精度は特定フレーズリスト１３４の内容に左右されず、音声対話装置１０の運用を続けていくうちに強化学習により自動的に向上して（最適化されて）ゆく。
【００６４】
ところで、本発明は前述した実施形態（第１〜第３実施形態）に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。またある実施形態の構成の一部を他の実施形態の構成に置き換えてもよい。またある実施形態の構成に他の実施形態の構成を加えてもよい。また各実施形態の構成の一部について、他の構成の追加、削除、又は置換をしてもよい。
【００６５】
前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
【００６６】
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、又は、ＩＣ（Integrated Circuit）カ
ード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）の記録媒体に格納することができる。
【００６７】
制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
【００６８】
例えば、前述した強化学習の種類は特定のものに限定されず、例えば、Ｑ−ラーニング、Ｑ−ネットワーク、ディープＱネットワーク（ＤＱＮ）、深層強化学習等、様々な種類のものを用いることができる。
【００６９】
また例えば、話速制御情報により音声合成部１４０が行う話速の制御は、発話速度の調節に限らず、フィラーや相槌の挿入、人工知能や機械学習等を用いた発話内容の簡潔化や
詳細化等、様々な方法で行ってよい。
【００７０】
また例えば、音声対話装置１０の構成は、必ずしも図１に示したものに限定されず、例えば、図１における音声入力装置１４や音声出力装置１５を、第１〜第３実施形態の夫々における、音声認識部１１０、応答情報生成部１２０、話速制御部１３０、及び音声合成部１４０の各機能を実現する情報処理装置から独立させてもよい。
【００７１】
図６にそのような構成とした情報処理システム（以下、「音声対話システム１」と称する。）の例を示す。同図に示すように、例示する音声対話システム１は、通信ネットワーク５を介して通信可能に接続する、サーバ装置２０とクライアント装置３０とを含む。
【００７２】
同図に示すように、サーバ装置２０は、プロセッサ２１、主記憶装置２２、補助記憶装置２３、及び通信装置２６の各構成を備える。これらの各構成は、図１の音声対話装置１０における同名の構成と同様である。またクライアント装置３０は、プロセッサ３１、主記憶装置３２、補助記憶装置３３、音声入力装置３４、音声出力装置３５、及び通信装置３６の各構成を備える。これらの各構成は、図１の音声対話装置１０における同名の構成と同様である。
【００７３】
サーバ装置２０には、例えば、第１〜第３実施形態の夫々における、音声認識部１１０、応答情報生成部１２０、話速制御部１３０、及び音声合成部１４０の各機能が実装される。クライアント装置３０は、音声入力装置３４から出力される入力発話音声を、通信ネットワーク５を介してサーバ装置２０に送信する。またサーバ装置２０は、音声合成部１４０が生成する出力発話音声に基づく信号を通信ネットワーク５を介してクライアント装置３０に送信し、クライアント装置３０は上記信号に基づき音声出力装置３５から出力発話音声を出力する。
【００７４】
尚、この音声対話システム１において、サーバ装置２０は、例えば、データセンタやクラウド等に存在する情報処理装置であり、クライアント装置３０は、例えば、現場に配置されたロボット等に組み込まれる装置である。
【符号の説明】
【００７５】
１０  音声対話装置
１１０  音声認識部
１２０  応答情報生成部
１３０  話速制御部
１３１  特定フレーズ検出部
１３２  反応時間検出部
１３３  話速制御情報生成部
１３４  特定フレーズリスト
１３５  特定フレーズ変数算出部
１３６  報酬算出部
１４０  音声合成部
【図１】
2020112764.tif 000003
【図２】
2020112764.tif 000004
【図３】
2020112764.tif 000005
【図４】
2020112764.tif 000006
【図５】
2020112764.tif 000007
【図６】
2020112764.tif 000008