(57)【要約】【課題】音声データを受信しながら再生する際に、音声データ受信のための時間を安定して確保することが可能な情報処理装置を提供する。【解決手段】他の装置から伝送路を介して受信した第１の音声データのうち未再生の前記第１の音声データを保持する音声バッファ部と、前記音声バッファ部に保持されている前記第１の音声データの状態又は前記伝送路の状態の少なくともいずれかに基づいて、前記第１の音声データの再生中に挿入して再生すべき第２の音声データの再生時間を計算する再生時間計算部と、前記第１の音声データにおける前記第２の音声データの挿入位置を決定する位置決定部と、前記第１の音声データにおける前記位置決定部により決定された前記挿入位置に、前記再生時間計算部により計算された前記再生時間に対応する前記第２の音声データを挿入する処理を制御する挿入部と、を備える、情報処理装置。【選択図】図２
2019106902.tif 000002
【特許請求の範囲】
【請求項１】
他の装置から伝送路を介して受信した第１の音声データのうち未再生の前記第１の音声データを保持する音声バッファ部と、
前記音声バッファ部に保持されている前記第１の音声データの状態又は前記伝送路の状態の少なくともいずれかに基づいて、前記第１の音声データの再生中に挿入して再生すべき第２の音声データの再生時間を計算する再生時間計算部と、
前記第１の音声データにおける前記第２の音声データの挿入位置を決定する位置決定部と、
前記第１の音声データにおける前記位置決定部により決定された前記挿入位置に、前記再生時間計算部により計算された前記再生時間に対応する前記第２の音声データを挿入する処理を制御する挿入部と、
を備える、情報処理装置。
【請求項２】
前記位置決定部は、無音区間を前記挿入位置として決定する、請求項１に記載の情報処理装置。
【請求項３】
前記情報処理装置は、前記第１の音声データに含まれる前記無音区間を検出する無音区間検出部をさらに備える、請求項２に記載の情報処理装置。
【請求項４】
前記位置決定部は、文章情報に基づき前記挿入位置を決定する、請求項１に記載の情報処理装置。
【請求項５】
前記情報処理装置は、前記第１の音声データの前記文章情報を取得する文章解析部をさらに備える、請求項４に記載の情報処理装置。
【請求項６】
前記位置決定部は、前記文章情報に基づき、前記第１の音声データに含まれる文節の区切れを前記挿入位置として決定し、
前記挿入部は、前記挿入位置に前記第２の音声データを挿入する、請求項５に記載の情報処理装置。
【請求項７】
前記位置決定部は、前記文章情報に基づき、前記第１の音声データに含まれる語句を前記挿入位置として決定し、
前記挿入部は、前記挿入位置として決定された語句を削除し、削除した語句に代えて前記第２の音声データを挿入する、請求項５に記載の情報処理装置。
【請求項８】
前記第２の音声データは、過去の前記第１の音声データである、請求項７に記載の情報処理装置。
【請求項９】
前記第２の音声データは、削除対象の語句と同様の意味を有する語句であって、前記削除対象の語句よりも長い再生時間を有する語句を含む、過去の前記第１の音声データである、請求項８に記載の情報処理装置。
【請求項１０】
前記情報処理装置は、前記第１の音声データに前記第２の音声データを挿入するか否かを判定する判定部をさらに備え、
前記判定部は、前記再生時間が所定の条件を満たすか否かにより、前記第１の音声データに前記第２の音声データを挿入するか否かを判定する、請求項１に記載の情報処理装置。
【請求項１１】
前記位置決定部は、前記挿入位置を決定できなかった場合、第２の音声データの挿入位置の決定方法を切り替える、請求項１に記載の情報処理装置。
【請求項１２】
前記位置決定部は、無音区間を前記挿入位置として決定できなかった場合、前記無音区間を前記挿入位置として決定する方法から、文節の区切れを前記挿入位置として決定する方法に切り替える、請求項１１に記載の情報処理装置。
【請求項１３】
前記音声バッファ部に保持されている前記第１の音声データの状態は、前記音声バッファ部に保持されている前記第１の音声データの量又は増減量の少なくともいずれかを含む、請求項１に記載の情報処理装置。
【請求項１４】
前記情報処理装置は、前記挿入部が前記第１の音声データに挿入する前記第２の音声データを記憶する記憶部をさらに備える、請求項１に記載の情報処理装置。
【請求項１５】
他の装置から伝送路を介して受信した第１の音声データのうち未再生の前記第１の音声データを保持することと、
音声バッファ部に保持されている前記第１の音声データの状態又は前記伝送路の状態の少なくともいずれかに基づいて、前記第１の音声データの再生中に挿入して再生すべき第２の音声データの再生時間を計算することと、
前記第１の音声データにおける前記第２の音声データの挿入位置を決定することと、
前記第１の音声データにおける位置決定部により決定された前記挿入位置に、再生時間計算部により計算された前記再生時間に対応する前記第２の音声データを挿入する処理を制御することと、
を含む、プロセッサにより実行される、情報処理方法。
【請求項１６】
コンピュータを、
他の装置から伝送路を介して受信した第１の音声データのうち未再生の前記第１の音声データを保持する音声バッファ部と、
前記音声バッファ部に保持されている前記第１の音声データの状態又は前記伝送路の状態の少なくともいずれかに基づいて、前記第１の音声データの再生中に挿入して再生すべき第２の音声データの再生時間を計算する再生時間計算部と、
前記第１の音声データにおける前記第２の音声データの挿入位置を決定する位置決定部と、
前記第１の音声データにおける前記位置決定部により決定された前記挿入位置に、前記再生時間計算部により計算された前記再生時間に対応する前記第２の音声データを挿入する処理を制御する挿入部と、
として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、ネットワークを介してサーバから受信した音声データを再生するための手法が各種提案されている。例えば、サーバは、サーバ側で生成された音声データをクライアント端末へネットワークを介して送信する。そして、クライアント端末は、サーバ側から送信される音声データを全て受信してから再生を開始するという手法がある。しかし、受信する音声データの再生時間が長い場合、クライアント端末が音声データの再生を開始するまでに時間を要してしまう。【０００３】
これに関連し、下記の特許文献１には、クライアント端末が音声データを受信しながら逐次的に再生するという手法が開示されている。詳しくは、サーバは、サーバ側で生成された音声データをクライアント端末へネットワークを介して送信する。そして、クライアント端末は、受信した音声データを一時的にバッファに蓄積し、音声データを受信しながら、バッファに蓄積した音声データを取り出して逐次的に再生する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２０５０６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上述の手法では、ネットワークの状態が不安定な場合に、音声データを受信する速度が、音声データを再生する速度に間に合わず、音声バッファに蓄積された音声データを再生し切ってしまい（音声バッファが枯渇するとも称される）音声データの再生が途切れてしまう場合がある。【０００６】
そこで、本開示では、音声データを受信しながら再生する際に、音声データ受信のための時間を安定して確保することが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラム提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、他の装置から伝送路を介して受信した第１の音声データのうち未再生の前記第１の音声データを保持する音声バッファ部と、前記音声バッファ部に保持されている前記第１の音声データの状態又は前記伝送路の状態の少なくともいずれかに基づいて、前記第１の音声データの再生中に挿入して再生すべき第２の音声データの再生時間を計算する再生時間計算部と、前記第１の音声データにおける前記第２の音声データの挿入位置を決定する位置決定部と、前記第１の音声データにおける前記位置決定部により決定された前記挿入位置に、前記再生時間計算部により計算された前記再生時間に対応する前記第２の音声データを挿入する処理を制御する挿入部と、を備える、情報処理装置が提供される。【０００８】
また、本開示によれば、他の装置から伝送路を介して受信した第１の音声データのうち未再生の前記第１の音声データを保持することと、音声バッファ部に保持されている前記第１の音声データの状態又は前記伝送路の状態の少なくともいずれかに基づいて、前記第１の音声データの再生中に挿入して再生すべき第２の音声データの再生時間を計算することと、前記第１の音声データにおける前記第２の音声データの挿入位置を決定することと、前記第１の音声データにおける位置決定部により決定された前記挿入位置に、再生時間計算部により計算された前記再生時間に対応する前記第２の音声データを挿入する処理を制御することと、を含む、プロセッサにより実行される、情報処理方法が提供される。【０００９】
本開示によれば、コンピュータを、他の装置から伝送路を介して受信した第１の音声データのうち未再生の前記第１の音声データを保持する音声バッファ部と、前記音声バッファ部に保持されている前記第１の音声データの状態又は前記伝送路の状態の少なくともいずれかに基づいて、前記第１の音声データの再生中に挿入して再生すべき第２の音声データの再生時間を計算する再生時間計算部と、前記第１の音声データにおける前記第２の音声データの挿入位置を決定する位置決定部と、前記第１の音声データにおける前記位置決定部により決定された前記挿入位置に、前記再生時間計算部により計算された前記再生時間に対応する前記第２の音声データを挿入する処理を制御する挿入部と、として機能させるための、プログラム。
【発明の効果】
【００１０】
以上説明したように本開示によれば、音声データを受信しながら再生する際に、音声データ受信のための時間を確保することが可能である。【００１１】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施形態に係る情報処理システムの概要を示す説明図である。
【図２】本開示の第１の実施形態に係るクライアント端末の構成例を示すブロック図である。
【図３】音声データへの語句の挿入例を示す説明図である。
【図４】同実施形態に係るサーバの構成例を示すブロック図である。
【図５】比較例に係るクライアント端末の構成例を示すブロック図である。
【図６】本開示の第１の実施形態に係る語句の挿入処理を示すフローチャートである。
【図７】本開示の第２の実施形態に係るクライアント端末の構成例を示すブロック図である。
【図８】本開示の第２の実施形態に係るサーバの構成例を示すブロック図である。
【図９】本開示の第２の実施形態に係る語句の挿入処理を示すフローチャートである。
【図１０】本開示の第３の実施形態に係るクライアント端末の構成例を示すブロック図である。
【図１１】本開示の第３の実施形態に係るサーバの構成例を示すブロック図である。
【図１２】本開示の第３の実施形態に係る語句の挿入処理を示すフローチャートである
【図１３】本開示の第４の実施形態に係るクライアント端末の構成例を示すブロック図である。
【図１４】本開示の第４の実施形態に係るサーバの構成例を示すブロック図である。
【図１５】本開示の第４の実施形態に係る語句の挿入処理を示すフローチャートである
【図１６】本開示の第５の実施形態に係るクライアント端末の構成例を示すブロック図である。
【図１７】音声データの語句の置換例を示す説明図である。
【図１８】本開示の第５の実施形態に係る語句の置換処理を示すフローチャートである。
【図１９】本開示の一実施形態に係るクライアント端末のハードウェア構成例を示すブロック図である
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
なお、説明は以下の順序で行うものとする。
１．本開示の概要 
２．第１の実施形態
３．第２の実施形態
４．第３の実施形態
５．第４の実施形態
６．第５の実施形態
７．変形例
８．応用例
９．ハードウェア構成
１０．まとめ
【００１５】
＜＜１．本開示の概要 ＞＞
以下では、音声データ等を生成するサーバ、及びサーバから受信した音声データ等に基づき音声データに語句を挿入するクライアント端末を例に、本開示の一実施形態に係る情報処理システムについて説明する。以下では、図１を参照しながら、本開示の一実施形態に係る情報処理システムの概要を説明する。
【００１６】
図１は、本開示の一実施形態に係る情報処理システムの概要を示す説明図である。図１に示すように、クライアント端末１０は、ネットワーク１４（伝送路）を介してサーバ３０と接続している。
【００１７】
（１）クライアント端末１０
クライアント端末１０は、サーバ３０から受信した音声データ（第１の音声データ）を再生する情報処理装置である。例えば、クライアント端末１０は、ネットワーク１４を介してサーバ３０から音声データを受信し、受信した音声データを再生することで音声データの内容をユーザへ伝える。
【００１８】
また、クライアント端末１０は、音声データに語句を挿入する機能を有する。なお、以下では、音声データに挿入する語句は、挿入語句（第２の音声データ）とも称される。挿入語句は、音声データの再生が途切れないようにするために、音声データに挿入される語句である。また、本開示の実施形態における挿入の処理には、語句と語句の間に語句を挿入する処理に加え、ある語句を削除し、削除された当該語句の位置に別の語句を挿入する処理も含む。上述した語句を削除し、削除された当該語句の位置に別の語句を挿入する処理は、以下では、置換とも称される。
【００１９】
また、クライアント端末１０は、音声データの再生が途切れないようにするために必要な挿入語句の再生時間を計算する機能を有する。例えば、クライアント端末１０は、再生している音声データの状態、またはネットワーク１４の状態の少なくともいずれかに基づき、再生中の音声データに挿入して再生すべき挿入語句の再生時間を算出する。
【００２０】
また、クライアント端末１０は、挿入語句を挿入する挿入位置を決定する機能を有してもよい。例えば、クライアント端末１０は、サーバ３０から受信した音声データを解析することで、挿入語句を挿入する挿入位置を決定する。また、例えば、クライアント端末１０は、音声データに対応する文章データ（テキストデータ）をサーバ３０から受信し、当該文章データを解析することで、挿入語句を挿入する挿入位置を決定してもよい。なお、上述した挿入語句を挿入する挿入位置を決定する機能を、クライアント端末１０ではなくサーバ３０が有してもよい。
【００２１】
なお、クライアント端末１０は、典型的には、物理的に独立した装置として実現される。その他に、クライアント端末１０としての機能は、アプリケーションとして実装されて、スマートフォン、タブレット端末、ＰＣ、ウェアラブル端末、又はエージェントデバイス等の端末装置に搭載されてもよい。すなわち、クライアント端末１０は、任意の端末装置として実現され得る。
【００２２】
（２）サーバ３０
サーバ３０は、音声データ、及び音声データに関する情報をクライアント端末１０へ提供する情報処理装置であり、クライアント端末１０へ提供する音声データを生成する機能を有する。例えば、サーバ３０は、音声データを生成し、ネットワーク１４を介してクライアント端末１０へ生成した音声データを送信する。
【００２３】
また、サーバ３０は、クライアント端末１０へ提供する文章データを生成する機能を有してもよい。例えば、サーバ３０は、サーバ３０が生成した音声データを解析することで、音声データをテキストに変換して文章データを生成する。なお、上述した例では、サーバ３０が音声データを生成してから文章データを生成する例を説明したが、サーバ３０は、先に文章データを生成し、生成した文章データを解析することで音声データを生成してもよい。
【００２４】
また、サーバ３０は、音声データに挿入語句を挿入する挿入位置を決定する機能を有してもよい。例えば、サーバ３０は、音声データを解析することで、挿入語句を挿入する挿入位置を決定する。なお、以下では、音声データを解析することで決定した挿入語句を挿入する挿入位置に関する情報は、無音区間情報とも称される。無音区間情報は、例えば、音声データに含まれる無音区間に関する情報である。また、サーバ３０は、文章データを解析することで、挿入語句を挿入する挿入位置を決定してもよい。なお、以下では、文章データを解析することで決定した挿入語句を挿入する挿入位置に関する情報は、文章情報とも称される。文章情報は、例えば、文章データの文節の区切れに関する情報である。
【００２５】
（３）ネットワーク１４
ネットワーク１４は、情報の有線又は無線の伝送路である。ネットワーク１４は、例えば、インターネット、セルラー通信網、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＡＮ、又は電話回線等により構成される。ネットワーク１４における情報の伝送は、双方向に行われてもよいし、ラジオ放送のように単一方向に行われてもよい。
【００２６】
以上、図１を参照しながら、本開示の一実施形態に係る情報処理システムの概要を説明した。続いて、本開示の第１の実施形態に係る情報処理システムについて説明する。
【００２７】
＜＜２．第１の実施形態＞＞
本開示の第１の実施形態に係る情報処理システムでは、サーバ３０は、音声データを生成し、生成した音声データをクライアント端末１０へ送信する。そして、音声データを受信したクライアント端末１０は、音声データに語句を挿入するか否かの判定、音声データに挿入する語句の挿入位置の決定、及び挿入位置への語句の挿入に関する処理を行う。
【００２８】
＜２．１．構成例＞
（２．１．１．クライアント端末１０−１）
以下では、図２、図３を参照しながら、本開示の第１の実施形態に係るクライアント端末１０−１の構成例について説明する。図２に示すように、クライアント端末１０−１は、通信部１２１、音声バッファ部１２６、再生時間決定部１２８、無音区間検出部１３２、記憶部１３６、語句挿入部１４０、音声データ再生部１４４で構成されている。
【００２９】
（１）通信部１２１
通信部１２１は、クライアント端末１０−１とサーバ３０−１を接続するインタフェースであり、クライアント端末１０−１がサーバ３０−１と情報を通信するための機能を有する。例えば、通信部１２１は、サーバ３０−１との通信において、サーバ３０−１にて生成された音声データを受信する。そして、通信部１２１は、受信した音声データを音声バッファ部１２６へ出力する。
【００３０】
（２）音声バッファ部１２６
音声バッファ部１２６は、音声データを一時的に保持する機能を有する。例えば、音声バッファ部１２６は、通信部１２１から音声データを受信すると、受信した音声データを保持する。そして、音声バッファ部１２６に保持された音声データは、以下で説明する語句の挿入に関する処理を経由し、最終的に音声データ再生部１４４にて再生される。なお、音声データは、音声データ再生部１４４にて再生された分だけ、音声バッファ部１２６にて保持される残量が減る。すなわち、音声バッファ部１２６は、サーバ３０から受信した音声データのうち未再生の音声データを保持することとなる。また、音声バッファ部１２６は、語句の挿入に関する処理のために、音声データを再生時間決定部１２８、及び語句挿入部１４０へ送信する。
【００３１】
（３）再生時間決定部１２８
再生時間決定部１２８は、挿入語句の再生時間を計算する機能を有する。例えば、再生時間決定部１２８は、音声バッファ部１２６から受信した音声データの状態、またはネットワーク１４の状態の少なくともいずれかに基づき、挿入語句の再生時間を計算する。音声データの状態とは、音声バッファ部１２６に保持されている音声データの量、音声データの増減量等のうちの少なくともいずれかである。また、ネットワーク１４の状態とは、ネットワーク１４の接続状態、ネットワーク１４の通信速度等のうちの少なくともいずれかである。音声データの量は、音声バッファ部１２６に保持された未再生の音声データであり、通信部１２１から音声データを受信することで増加し、音声データが再生されることにより減少する。再生時間決定部１２８は、音声データの量に基づき再生時間を算出する場合、例えば、音声データの量が所定の閾値をどれだけ下回るかに基づき、再生時間を算出してもよい。基本的な方針として、再生時間決定部１２８は、音声バッファが枯渇する可能性が高いほど長い再生時間を決定し、音声バッファが枯渇する可能性が低いほど短い再生時間を決定する。これにより、音声バッファが枯渇する可能性が高い場合には、長い再生時間を決定することで音声バッファが枯渇する可能性を軽減することが可能となる。一方で、音声バッファが枯渇する可能性が低い場合には、短い再生時間を決定することで語句の挿入に起因する再生音声の不自然さを軽減することができる。なお、音声バッファが枯渇する可能性は、音声バッファ部１２６から受信した音声データの状態、またはネットワーク１４の状態の少なくともいずれかに基づいて判断される。
【００３２】
また、ネットワークの通信速度が速い場合、音声データの受信量が増えるため、音声データの増減量は増加傾向を示す。ネットワークの通信速度が遅い場合、音声データの受信量が減るため、音声データの増減量は減少傾向を示す。再生時間決定部１２８は、音声データの増減量に基づき再生時間を算出する場合、例えば、単位時間あたりに減少している音声データの量に基づき、再生時間を算出してもよい。
【００３３】
なお、再生時間決定部１２８は、音声データの状態、及びネットワーク１４の状態を監視しており、各状態の変化が音声データの再生に影響する可能性があると判定した場合、上述の再生時間を計算する処理を開始する。再生時間決定部１２８は、判定の基準として、音声データの状態、またはネットワークの状態を用いてもよい。例えば、音声データの量とバッファ容量との相対値が閾値を下回る場合、音声バッファが枯渇する可能性があるため、再生時間決定部１２８は、音声データの状態の変化が音声データの再生に影響する可能性があると判定してもよい。また、例えば、音声データの通信速度が遅くなり、単位時間あたりの音声データの受信量が単位時間あたりの音声データの再生量を下回っている場合、音声データの増減量が減少傾向にあるため、再生時間決定部１２８は、音声データの受信速度の変化が音声データの再生に影響する可能性があると判定する。
【００３４】
また、再生時間決定部１２８は、計算した再生時間が所定の条件を満たすか否かにより、音声データに挿入語句を挿入するか否かを判定する判定部としての機能も有する。例えば、「再生時間が所定の時間より長い」という条件を所定の条件とした場合について説明する。例えば、挿入する語句の再生時間が長いということは、音声が途切れないようにするために確保すべき音声データの受信時間も長いということである。再生時間が長いのに語句を挿入しない場合、音声データの受信時間を確保することができず、音声バッファが枯渇する可能性が高くなる。音声バッファが枯渇すると音声が途切れてしまうため、再生中の音声が途切れたとユーザが感じてしまう。よって、再生時間が所定の時間より長い場合、再生時間決定部１２８は、音声データへ挿入語句の挿入が必要と判定する。そして、再生時間決定部１２８は、再生時間、及び音声データへ挿入語句の挿入が必要である旨を判定結果として無音区間検出部１３２へ送信する。
【００３５】
また、例えば、挿入する語句の再生時間が短いということは、音声が途切れないようにするために確保すべき音声データの受信時間も短いということである。確保すべき音声データの受信時間が短ければ、再生中の音声が途切れる前に音声データを受信することができる可能性が高く、音声バッファが枯渇する可能性は低くなる。音声バッファが枯渇しなければ、再生中の音声が途切れたとユーザが感じることはない。よって、再生時間が所定の時間より短い場合、再生時間決定部１２８は、音声データへ挿入語句の挿入が不要と判定する。そして、再生時間決定部１２８は、音声データへ挿入語句の挿入が不要である旨を判定結果として無音区間検出部１３２へ送信する。
【００３６】
なお、上記所定の時間は、静的に決められてもよい。例えば、所定の時間は、音声バッファの大きさに応じて静的に決められてもよい。
【００３７】
また、所定の時間は、動的に決められてもよい。例えば、所定の時間は、無音区間の出現率に応じて動的に決められてもよい。無音区間の出現率（単位時間当たりの無音区間の数）が低い場合には、挿入可能な機会が少ない。そこで、所定の時間は、無音区間の出現率が低ければ小さく決定されてもよい。これにより、再生時間決定部１２８は、無音区間が出現しないまま音声バッファが枯渇する事態に備える保険として、頻繁に語句を挿入することが可能となる。一方で、無音区間の出現率が高い場合には、挿入可能な機会が多い。そこで、所定の時間は、無音区間の出現率が低ければ大きく決定されてもよい。これにより、再生時間決定部１２８は、上記保険としての語句挿入を行わずに済み、必要なタイミングで語句を挿入すればよくなるので、語句の挿入頻度を減らして語句の挿入に起因する再生音声の不自然さを軽減することができる。
【００３８】
（４）無音区間検出部１３２
無音区間検出部１３２は、音声データの無音区間を検出する機能を有する。無音区間検出部１３２は、音声データのうち音量が所定値以下となる区間を、無音区間として検出する。なお、無音区間とは、音声データの中で音声（例えば、話声）を含まない、または音量が所定値以下の区間である。無音区間検出部１３２は、検出した無音区間を挿入位置として決定し、挿入位置に関する情報を含む無音区間情報を語句挿入部１４０へ送信する。同時に、無音区間検出部１３２は、再生時間決定部１２８から受信した再生時間も語句挿入部１４０へ送信する。なお、無音区間検出部１３２は、例えば、音声データの文章と文章の間等の、音声データを再生中であっても音声が無音となる区間を無音区間として検出する。
【００３９】
また、無音区間検出部１３２は、再生時間決定部１２８から受信した判定結果に基づき、上述の無音区間の検出処理の要否を判定する。例えば、判定結果が挿入語句の挿入が必要な旨を示す場合、無音区間検出部１３２は、無音区間の検出処理を行う。また、例えば、判定結果が挿入語句の挿入が不要な旨を示す場合、無音区間検出部１３２は、無音区間の検出処理を行わず、挿入語句の挿入が不要な旨を語句挿入部１４０へ送信する。
【００４０】
（５）記憶部１３６
記憶部１３６は、挿入語句に関する情報を記憶する機能を有する。例えば、記憶部１３６は、以下の表１に示すように、「挿入語句」、「長さ」、「音声データ」に関する情報を記憶する。「挿入語句」とは、音声データに挿入する語句である。例えば、「あのー」、及び「えーっと」等の間投詞が挿入語句として記憶される。また、「長さ」とは、挿入語句の再生時間である。例えば、「あのー」という挿入語句の再生時間は「２．０秒」である。また、「えーっと」の再生時間は「３．０秒」である。また、「音声データ」とは、挿入語句の音声ファイルである。例えば、「あのー」という挿入語句の音声データは、「０００１．ｗａｖ」という音声ファイルとして記憶される。また、「えーっと」という挿入語句の音声データは、「０００２．ｗａｖ」という音声ファイルとして記憶される。ここで、音声ファイル名中の「．ｗａｖ」とは、音声データのファイル形式を示す拡張子の１つである。なお、記憶部１３６が記憶する音声データのファイル形式は特に限定されず、任意のファイル形式の音声データが記憶されてもよい。また、挿入語句の長さも特に限定されず、任意の長さの挿入語句が記憶されてもよい。
【００４１】
【表１】
2019106902.tif 000003
【００４２】
（６）語句挿入部１４０
語句挿入部１４０は、音声データに挿入語句を挿入する機能を有する。例えば、語句挿入部１４０は、無音区間検出部１３２から無音区間情報を受信すると、同時に無音区間検出部１３２から受信した再生時間に対応する挿入語句を記憶部１３６から取得する。ここで、語句挿入部１４０は、再生時間決定部１２８により決定された再生時間と対応する「長さ」を有する挿入語句を、記憶部１３６から取得する。具体的には、語句挿入部１４０は、再生時間決定部１２８により決定された再生時間と同一の又はそれ以上の「長さ」を有する挿入語句を、記憶部１３６から取得する。例えば、再生時間が１．０秒の場合、語句挿入部１４０は、表１に示す「長さ」が２．０秒の「あのー」を記憶部１３６から取得する。この時、語句挿入部１４０は、表１に示す「長さ」が３．０秒の「えーっと」を記憶部１３６から取得してもよい。また、例えば、再生時間が２．５秒の場合、語句挿入部１４０は、表１に示す「長さ」が３．０秒の「えーっと」を記憶部１３６から取得する。
【００４３】
そして、語句挿入部１４０は、記憶部１３６から取得した挿入語句を、無音区間検出部１３２から取得した無音区間情報に基づき、音声バッファ部１２６から受信した音声データの挿入位置に挿入する。挿入語句の挿入後、語句挿入部１４０は、挿入語句が挿入された音声データを音声データ再生部１４４へ送信する。
【００４４】
ここで、図３を参照しながら、語句挿入部１４０が音声データに挿入語句を挿入する際の具体例について説明する。語句挿入部１４０は、図３に示す音声バッファ部１２６に保持されている音声データ４０に対して挿入語句を挿入する。図３に示した音声データ４０の波形のグラフの横軸は時間であり、縦軸は振幅である。語句挿入前の音声データ４０は、音声４００と音声４０２で構成されており、音声４００と音声４０２の間が無音区間である。語句挿入部１４０は、無音区間検出部１３２が検出した当該無音区間に対して挿入語句５００を挿入する。語句挿入部１４０が音声データ４０に挿入語句を挿入すると、音声データ５０が生成される。音声データ５０は、音声４００と音声４０２の間に挿入語句５００が挿入された構成となる。そして、音声データ４０と音声データ５０を比較すると、語句挿入後の音声データ５０の再生時間の方が長くなっていることから、クライアント端末１０は、挿入した挿入語句５００の再生時間の分だけ、音声データを受信する時間を確保できる。
【００４５】
なお、語句挿入部１４０が１つの挿入位置に挿入する挿入語句の数は１つに限定されず、語句挿入部１４０は任意の数の挿入語句を挿入してもよい。複数の挿入語句を挿入する場合、語句挿入部１４０は、複数の語句の「長さ」の合計が再生時間決定部１２８により決定された再生時間と同一の又はそれ以上の「長さ」となるように、記憶部１３６から取得する。
【００４６】
また、語句挿入部１４０は、１つの挿入位置に複数の語句を挿入する場合、複数の語句を連続して挿入してもよい。具体的に、再生時間が４．０秒の場合、語句挿入部１４０は、表１に示す「あのー」、または「えーっと」のいずれかのみを取得しても、挿入語句の長さが再生時間を超えない。よって、クライアント端末１０が音声データを受信するために確保した時間が十分ではない。そこで、語句挿入部１４０は、「あのー」と「えーっと」の両方を取得し、「あのー、えーっと」のように連続して挿入することで、挿入語句の長さの合計が５．０秒となり再生時間より長くすることができる。上述のように、語句挿入部１４０が複数の挿入語句を連続して挿入することで、クライアント端末１０は、音声データを受信する時間を十分に確保することができる。
【００４７】
（７）音声データ再生部１４４
音声データ再生部１４４は、音声データを再生する機能を有する。例えば、音声データ再生部１４４は、語句挿入部１４０から受信した音声データを再生することで、音声データの内容をユーザへ伝える。なお、語句挿入部１４０から受信する音声データには、挿入語句が挿入されている場合もあれば、挿入語句が挿入されていない場合もある。
【００４８】
以上、図２、図３を参照しながら、本開示の第１の実施形態に係るクライアント端末１０−１の構成例について説明した。続いて、本開示の第１の実施形態に係るサーバ３０−１の構成例について説明する。
【００４９】
（２．１．２．サーバ３０−１）
以下では、図４を参照しながら、本開示の第１の実施形態に係るサーバ３０−１の構成例について説明する。図４に示すように、サーバ３０−１は、通信部３２１、音声データ生成部３４８で構成されている。
【００５０】
（１）通信部３２１
通信部３２１は、サーバ３０−１とクライアント端末１０−１を接続するインタフェースであり、サーバ３０−１がクライアント端末１０−１と情報を通信するための機能を有する。例えば、通信部３２１は、クライアント端末１０−１との通信において、音声データ生成部３４８が生成した音声データを送信する。
【００５１】
（２）音声データ生成部３４８
音声データ生成部３４８は、音声データを生成する機能を有する。例えば、音声データ生成部３４８は、ユーザに伝える情報を含む音声データを生成する。具体的には、ニュースに関する情報、ユーザのスケジュールに関する情報、またはユーザのリクエストに応じた情報等を含む音声データである。なお、音声データ生成部３４８が生成する音声データのファイル形式は特に限定されず、任意の形式の音声データが生成されてもよい。
【００５２】
以上、図４を参照しながら、本開示の第１の実施形態に係るサーバ３０−１の構成例について説明した。続いて、比較例にかかる情報処理システムの構成例について説明する。
【００５３】
（２．１．３．比較例）
以下では、図５を参照しながら、比較例に係る情報処理システムの構成例について説明する。図５に示すように、比較例のクライアント端末２０は、通信部２２１、音声バッファ部２２６、音声データ再生部２４４で構成されている。なお、比較例に係る情報処理システムは、（２．１．２．サーバ３０−１）にて説明した第１の実施形態に係る情報処理システムと同一の構成、及び機能のサーバを有する。よって、本章における比較例のサーバの構成例の説明は省略する。
【００５４】
（１）通信部２２１
通信部２２１は、クライアント端末２０とサーバを接続するインタフェースであり、クライアント端末２０がサーバと情報を通信するための機能を有する。例えば、通信部２２１は、サーバとの通信において、サーバにて生成された音声データを受信する。そして、通信部２２１は、受信した音声データを音声バッファ部２２６へ出力する。
【００５５】
（２）音声バッファ部２２６
音声バッファ部２２６の機能は、（２．１．１．クライアント端末１０−１）の（２）音声バッファ部１２６にて説明した内容と同一の機能であるため、本章での説明を省略する。ただし、音声バッファ部２２６が音声データを音声データ再生部２４４へ送信する点は異なる。
【００５６】
（３）音声データ再生部２４４
音声データ再生部２４４の機能は、（２．１．１．クライアント端末１０−１）の（７）音声データ再生部１４４にて説明した内容と同一の機能であるため、本章での説明を省略する。ただし、音声データ再生部２４４が音声データを音声バッファ部２２６から受信する点は異なる。
【００５７】
比較例における情報処理システムは、上述した構成のように、サーバから受信した音声データを音声バッファ部２２６に保持し、当該音声データを音声データ再生部２４４にて再生する構成となっている。また、上述の構成が示すように、比較例における情報処理システムは、挿入語句の再生時間を計算する再生時間計算部、音声データに挿入語句を挿入する挿入位置を決定する位置決定部、及び挿入語句を挿入する挿入部を備えていない。よって、比較例の情報処理システムは、音声データを受信する速度が音声データを再生する速度に間に合わない場合であっても、挿入語句の挿入による音声データの再生時間の調整をすることができず、音声データの再生が途切れてしまう。
【００５８】
以上、図５を参照しながら、比較例に係る情報処理システムの構成例について説明した。続いて、本開示の第１の実施形態にかかる情報処理システムの動作例について説明する。
【００５９】
＜２．２．動作例＞
以下では、図６を参照しながら、本開示の第１の実施形態に係る情報処理システムの動作例について説明する。図６は、本開示の第１の実施形態に係る語句の挿入処理を示すフローチャートである。
【００６０】
図６に示すように、クライアント端末１０―１は、音声データの再生が終了するまで、当該フローチャートの処理を繰り返す（ステップＳ１０００）。まず、クライアント端末１０―１の通信部１２１は、サーバ３０−１の通信部３２１から音声データを受信する（ステップＳ１００４）。通信部１２１が受信した音声データは、一時的に音声バッファ部へ保持される。クライアント端末１０―１の再生時間決定部１２８は、音声バッファ部１２６の音声データの状態、及びネットワークの状態の少なくともいずれかに基づき、挿入する語句の再生時間を決定する（ステップＳ１００８）。再生時間を決定後、再生時間決定部１２８は、再生時間が所定の条件を満たすか否かに基づき、語句を挿入するか否かを確認する（ステップＳ１０１２）。ここで、所定の条件とは、例えば、再生時間があらかじめ設定された所定の時間より短いか否かである。再生時間が所定の時間より短い場合、再生時間決定部１２８は、語句の挿入が不要であると判定し（ステップＳ１０１２／ＮＯ）、音声データに語句を挿入せずに、音声データを再生する（ステップＳ１０２４）。
【００６１】
再生時間が所定の時間より長い場合、再生時間決定部１２８は、語句の挿入が必要であると判定し（ステップＳ１０１２／ＹＥＳ）、ステップＳ１０１６へ進む。再生時間決定部１２８が語句の挿入が必要であると判定すると、無音区間検出部１３２は、音声データの無音区間を検出する（ステップＳ１０１６）。無音区間検出部１３２が無音区間を検出すると、語句挿入部１４０は、記憶部１３６から取得した語句を、当該無音区間に挿入する（ステップＳ１０２０）。語句挿入後、音声データ再生部１４４は、音声データを再生する（ステップＳ１０２４）。
【００６２】
以上、図６を参照しながら、本開示の第１の実施形態に係る情報処理システムの動作例について説明した。
【００６３】
以上、図２〜６を参照しながら、本開示の第１の実施形態にかかる情報処理システムについて説明した。続いて、本開示の第２の実施形態に係る情報処理システムについて説明する。
【００６４】
＜＜３．第２の実施形態＞＞
第１の実施形態に係る情報処理システムでは、音声データに挿入する語句の挿入位置の決定に関する処理をクライアント端末１０が行っていたが、第２の実施形態に係る情報処理システムでは、上述の処理をサーバ３０が行う。
【００６５】
＜３．１．構成例＞
（３．１．１．クライアント端末１０−２）
以下では、図７を参照しながら、本開示の第２の実施形態に係るクライアント端末１０−２の構成例について説明する。図７に示すように、クライアント端末１０−２は、通信部１２２、音声バッファ部１２６、再生時間決定部１２８、記憶部１３６、語句挿入部１４０、音声データ再生部１４４で構成されている。クライアント端末１０―２の構成は、図２に示す第１の実施形態におけるクライアント端末１０―１の構成から、無音区間検出部１３２を除いた構成となっている。
【００６６】
（１）通信部１２２
通信部１２２は、クライアント端末１０−２とサーバ３０−２を接続するインタフェースであり、クライアント端末１０−２がサーバ３０−２と情報を通信するための機能を有する。例えば、通信部１２２は、サーバ３０−２との通信において、サーバ３０−２にて生成された音声データを受信する。そして、通信部１２２は、受信した音声データを音声バッファ部１２６へ出力する。また、例えば、通信部１２２は、サーバ３０−２との通信において、サーバ３０−２にて検出した無音区間情報を受信する。そして、通信部１２２は、受信した無音区間情報を語句挿入部１４０へ出力する。
【００６７】
（２）音声バッファ部１２６
音声バッファ部１２６の機能は、＜２．１．構成例＞にて説明した内容と同一の機能であるため、本章での説明を省略する。
【００６８】
（３）再生時間決定部１２８
再生時間決定部１２８の機能は、＜２．１．構成例＞にて説明した内容と同一の機能であるため、本章での説明を省略する。ただし、再生時間決定部１２８が再生時間、及び判定結果を語句挿入部１４０へ送信する点は異なる。
【００６９】
（４）記憶部１３６
記憶部１３６の機能は、＜２．１．構成例＞にて説明した内容と同一の機能であるため、本章での説明を省略する。
【００７０】
（５）語句挿入部１４０
語句挿入部１４０の機能は、＜２．１．構成例＞にて説明した内容と同一の機能であるため、本章での説明を省略する。ただし、語句挿入部１４０が通信部１２２から無音区間情報を受信する点、及び語句挿入部１４０が再生時間決定部１２８から再生時間を受信する点は異なる。
【００７１】
（６）音声データ再生部１４４
音声データ再生部１４４の機能は、＜２．１．構成例＞にて説明した内容と同一の機能であるため、本章での説明を省略する。
【００７２】
以上、図７を参照しながら、本開示の第２の実施形態に係るクライアント端末１０−２の構成例について説明した。続いて、本開示の第２の実施形態に係るサーバ３０−２の構成例について説明する。
【００７３】
（３．１．２．サーバ３０−２）
以下では、図８を参照しながら、本開示の第２の実施形態に係るサーバ３０−２の構成例について説明する。図８に示すように、サーバ３０−２は、通信部３２２、無音区間検出部３３２、音声データ生成部３４８で構成されている。サーバ３０―２の構成は、図４に示す第１の実施形態におけるサーバ３０―１の構成に、無音区間検出部３３２を加えた構成となっている。
【００７４】
（１）通信部３２２
通信部３２２は、サーバ３０−２とクライアント端末１０−２を接続するインタフェースであり、サーバ３０−２がクライアント端末１０−２と情報を通信するための機能を有する。例えば、通信部３２２は、クライアント端末１０−２との通信において、音声データ生成部３４８が生成した音声データを送信する。また、例えば、通信部３２２は、クライアント端末１０−２との通信において、無音区間検出部３３２が検出した無音区間情報を送信する。
【００７５】
（２）無音区間検出部３３２
無音区間検出部３３２の機能は、（２．１．１．クライアント端末１０−１）の（４）無音区間検出部１３２にて説明した内容と同一の機能であるため、本章での説明を省略する。ただし、無音区間検出部３３２が音声データを音声データ生成部３４８から受信する点、及び無音区間検出部３３２が無音区間情報を通信部３２２へ送信する点は異なる。
【００７６】
（３）音声データ生成部３４８
音声データ生成部３４８の機能は、＜２．１．構成例＞にて説明した内容と同一の機能であるため、本章での説明を省略する。ただし、音声データ生成部３４８が音声データを無音区間検出部３３２へ送信する点は異なる。
【００７７】
以上、図８を参照しながら、本開示の第２の実施形態に係るサーバ３０−２の構成例について説明した。続いて、本開示の第２の実施形態にかかる情報処理システムの動作例について説明する。
【００７８】
＜３．２．動作例＞
以下では、図９を参照しながら、本開示の第２の実施形態に係る情報処理システムの動作例について説明する。図９は、本開示の第２の実施形態に係る語句の挿入処理を示すフローチャートである。
【００７９】
図９に示すように、クライアント端末１０―２は、音声データの再生が終了するまで、当該フローチャートの処理を繰り返す（ステップＳ２０００）。まず、クライアント端末１０―２の通信部１２２は、サーバ３０−２の通信部３２２から音声データ、及び無音区間情報を受信する（ステップＳ２００４）。通信部１２２が受信した音声データは、一時的に音声バッファ部へ保持される。また、通信部１２２が受信した無音区間情報は、クライアント端末１０―２の語句挿入部１４０へ出力される。クライアント端末１０―２の再生時間決定部１２８は、音声バッファ部１２６の音声データの状態、及びネットワークの状態の少なくともいずれかに基づき、挿入する語句の再生時間を決定する（ステップＳ２００８）。再生時間を決定後、再生時間決定部１２８は、再生時間が所定の条件を満たすか否かに基づき、語句を挿入するか否かを確認する（ステップＳ２０１２）。ここで、所定の条件とは、例えば、再生時間があらかじめ設定された所定の時間より短いか否かである。再生時間が所定の時間より短い場合、再生時間決定部１２８は、語句の挿入が不要であると判定し（ステップＳ２０１２／ＮＯ）、音声データに語句を挿入せずに、音声データを再生する（ステップＳ２０２０）。
【００８０】
再生時間が所定の時間より長い場合、再生時間決定部１２８は、語句の挿入が必要であると判定し（ステップＳ２０１２／ＹＥＳ）、ステップＳ２０１６へ進む。語句挿入部１４０は、記憶部１３６から取得した語句を、通信部１２２から受信した無音区間情報に基づき、当該無音区間に挿入する（ステップＳ２０１６）。語句挿入後、音声データ再生部１４４は、音声データを再生する（ステップＳ２０２０）。
【００８１】
以上、図９を参照しながら、本開示の第２の実施形態に係る情報処理システムの動作例について説明した。
【００８２】
以上、図７〜９を参照しながら、本開示の第２の実施形態にかかる情報処理システムについて説明した。続いて、本開示の第３の実施形態に係る情報処理システムについて説明する。
【００８３】
＜＜４．第３の実施形態＞＞
本開示の第３の実施形態に係る情報処理システムでは、サーバ３０は、音声データ、及び文章データを生成し、生成した音声データ、及び文章データをクライアント端末１０へ送信する。そして、音声データ、及び文章データを受信したクライアント端末１０は、音声データに語句を挿入するか否かの判定、音声データに挿入する語句の挿入位置の決定、及び挿入位置への語句の挿入に関する処理を行う。
【００８４】
＜４．１．構成例＞
（４．１．１．クライアント端末１０−３）
以下では、図１０を参照しながら、本開示の第３の実施形態に係るクライアント端末１０−３の構成例について説明する。図１０に示すように、クライアント端末１０−３は、通信部１２３、音声バッファ部１２６、再生時間決定部１２８、文章解析部１５２、記憶部１３６、語句挿入部１４０、音声データ再生部１４４で構成されている。
【００８５】
（１）通信部１２３
通信部１２３は、クライアント端末１０−３とサーバ３０−３を接続するインタフェースであり、クライアント端末１０−３がサーバ３０−３と情報を通信するための機能を有する。例えば、通信部１２３は、サーバ３０−３との通信において、サーバ３０−３にて生成された音声データを受信する。そして、通信部１２３は、受信した音声データを音声バッファ部１２６へ出力する。また、例えば、通信部１２３は、サーバ３０−３との通信において、サーバ３０−３にて生成した文章データを受信する。そして、通信部１２３は、受信した文章データを文章解析部１５２へ出力する。
【００８６】
（２）音声バッファ部１２６
音声バッファ部１２６の機能は、＜２．１．構成例＞にて説明した内容と同一の機能であるため、本章での説明を省略する。
【００８７】
（３）再生時間決定部１２８
再生時間決定部１２８の機能は、＜２．１．構成例＞にて説明した内容と同一の機能であるため、本章での説明を省略する。ただし、再生時間決定部１２８は、音声データへ挿入語句の挿入が不要である旨、または再生時間、及び判定結果を文章解析部１５２へ送信する。
【００８８】
（４）文章解析部１５２
文章解析部１５２は、文章データの文章情報を検出する機能を有する。文章情報には、文節の区切れの他に、句読点、話題の転換点等も含まれる。文章解析部１５２は、通信部１２３から受信した文章データを解析することで、文章データの文章情報を検出する。そして、文章解析部１５２は、検出した文章情報に基づき語句の挿入位置を決定し、挿入位置に関する情報を含む文章情報を語句挿入部１４０へ送信する。同時に、文章解析部１５２は、再生時間決定部１２８から受信した再生時間を語句挿入部１４０へ送信する。
【００８９】
また、文章解析部１５２は、再生時間決定部１２８から受信した判定結果に基づき、上述の文章情報の検出処理の要否を判定する。例えば、判定結果が挿入語句の挿入が必要な旨を示す場合、文章解析部１５２は、文章情報の検出処理を行う。また、例えば、判定結果が挿入語句の挿入が不要な旨を示す場合、文章解析部１５２は、文章情報の検出処理を行わず、挿入語句の挿入が不要な旨を語句挿入部１４０へ送信する。
【００９０】
（５）記憶部１３６
記憶部１３６の機能は、＜２．１．構成例＞にて説明した内容と同一の機能であるため、本章での説明を省略する。
【００９１】
（６）語句挿入部１４０
語句挿入部１４０の機能は、＜２．１．構成例＞にて説明した内容と同一の機能であるため、本章での説明を省略する。ただし、語句挿入部１４０が文章解析部１５２から受信した文章情報に基づき、音声バッファ部１２６から受信した音声データの文節の区切れに挿入語句を挿入する点は異なる。なお、語句挿入部１４０が挿入語句を挿入する挿入位置は文節の区切れに限定されず、例えば、句読点、話題の転換点等であってもよい。
【００９２】
（７）音声データ再生部１４４
音声データ再生部１４４の機能は、＜２．１．構成例＞にて説明した内容と同一の機能であるため、本章での説明を省略する。
【００９３】
以上、図１０を参照しながら、本開示の第３の実施形態に係るクライアント端末１０−３の構成例について説明した。続いて、本開示の第３の実施形態に係るサーバ３０−３の構成例について説明する。
【００９４】
（４．１．２．サーバ３０−３）
以下では、図１１を参照しながら、本開示の第３の実施形態に係るサーバ３０−３の構成例について説明する。図１１に示すように、サーバ３０−３は、通信部３２３、文章データ生成部３５６、音声データ生成部３４８で構成されている。
【００９５】
（１）通信部３２３
通信部３２３は、サーバ３０−３とクライアント端末１０−３を接続するインタフェースであり、サーバ３０−３がクライアント端末１０−３と情報を通信するための機能を有する。例えば、通信部３２３は、クライアント端末１０−３との通信において、音声データ生成部３４８が生成した音声データを送信する。また、例えば、通信部３２３は、クライアント端末１０−３との通信において、文章データ生成部３５６が生成した文章データを送信する。
【００９６】
（２）文章データ生成部３５６
文章データ生成部３５６は、文章データを生成する機能を有する。また、文章データ生成部３５６は、音声認識機能も有する。例えば、文章データ生成部３５６は、音声データ生成部３４８が生成した音声データを受信すると、音声認識機能により音声データを解析し、解析結果に基づき音声データの内容をテキストに変換することで、文章データを生成する。
【００９７】
（３）音声データ生成部３４８
音声データ生成部３４８の機能は、＜２．１．構成例＞にて説明した内容と同一の機能であるため、本章での説明を省略する。ただし、音声データ生成部３４８は、生成した音声データを文章データ生成部３５６へ送信する。
【００９８】
以上、図１１を参照しながら、本開示の第３の実施形態に係るサーバ３０−３の構成例について説明した。なお、上述の構成例では、音声データ生成部３４８が音声データを生成し、当該音声データから文章データ生成部３５６が文章データを生成する例を説明したが、音声データ、及び文章データを生成するプロセスは上述の例に限定されない。例えば、文章データ生成部３５６が文章データを生成し、当該文章データから音声データ生成部３４８が音声データを生成するプロセスとしてもよい。当該プロセスは、ＴＴＳ（Ｔｅｘｔ−ｔｏ−ｓｐｅｅｃｈ）を音声データ生成部３４８に搭載することで実現可能である。音声データ生成部３４８は、ＴＴＳの機能により、テキストを読み上げることで音声データを生成することができるようになる。よって、先に文章データ生成部３５６が文章データを生成し、当該文章データを音声データ生成部３４８がＴＴＳにより読み上げることで、音声データ生成部３４８は音声データを生成することができる。
【００９９】
続いて、本開示の第３の実施形態にかかる情報処理システムの動作例について説明する。
【０１００】
＜４．２．動作例＞
以下では、図１２を参照しながら、本開示の第３の実施形態に係る情報処理システムの動作例について説明する。図１２は、本開示の第３の実施形態に係る語句の挿入処理を示すフローチャートである。
【０１０１】
図１２に示すように、クライアント端末１０―３は、音声データの再生が終了するまで、当該フローチャートの処理を繰り返す（ステップＳ３０００）。まず、クライアント端末１０―３の通信部１２３は、サーバ３０−３の通信部３２３から音声データ、及び文章データを受信する（ステップＳ３００４）。通信部１２３が受信した音声データは、一時的に音声バッファ部へ保持される。また、通信部１２３が受信した文章データは、文章解析部１５２へ出力される。クライアント端末１０―３の再生時間決定部１２８は、音声バッファ部１２６の音声データの状態、及びネットワークの状態に基づき、挿入する語句の再生時間を決定する（ステップＳ３００８）。再生時間を決定後、再生時間決定部１２８は、再生時間が所定の条件を満たすか否かに基づき、語句を挿入するか否かを確認する（ステップＳ３０１２）。ここで、所定の条件とは、例えば、再生時間があらかじめ設定された所定の時間より短いか否かである。再生時間が所定の時間より短い場合、再生時間決定部１２８は、語句の挿入が不要であると判定し（ステップＳ３０１２／ＮＯ）、音声データに語句を挿入せずに、音声データを再生する（ステップＳ３０２４）。
【０１０２】
再生時間が所定の時間より長い場合、再生時間決定部１２８は、語句の挿入が必要であると判定し（ステップＳ３０１２／ＹＥＳ）、ステップＳ３０１６へ進む。再生時間決定部１２８が語句の挿入が必要であると判定すると、文章解析部１５２は、通信部１２３から受信した文章データを解析する（ステップＳ３０１６）。文章データの解析結果を示す文章情報を取得すると、語句挿入部１４０は、文章情報に基づき、記憶部１３６から取得した語句を音声データの文節の区切れに挿入する（ステップＳ３０２０）。語句挿入後、音声データ再生部１４４は、音声データを再生する（ステップＳ３０２４）。
【０１０３】
以上、図１２を参照しながら、本開示の第３の実施形態に係る情報処理システムの動作例について説明した。
【０１０４】
以上、図１０〜１２を参照しながら、本開示の第３の実施形態にかかる情報処理システムについて説明した。続いて、本開示の第４の実施形態に係る情報処理システムについて説明する。
【０１０５】
＜＜５．第４の実施形態＞＞
第３の実施形態に係る情報処理システムでは、音声データに挿入する語句の挿入位置の決定に関する処理をクライアント端末１０が行っていたが、第４の実施形態に係る情報処理システムでは、上述の処理をサーバ３０が行う。
【０１０６】
＜５．１．構成例＞
（５．１．１．クライアント端末１０−４）
以下では、図１３を参照しながら、本開示の第４の実施形態に係るクライアント端末１０−４の構成例について説明する。図１３に示すように、クライアント端末１０−４は、通信部１２４、音声バッファ部１２６、再生時間決定部１２８、記憶部１３６、語句挿入部１４０、音声データ再生部１４４で構成されている。
【０１０７】
（１）通信部１２４
通信部１２４は、クライアント端末１０−４とサーバ３０−４を接続するインタフェースであり、クライアント端末１０−４がサーバ３０−４と情報を通信するための機能を有する。例えば、通信部１２４は、サーバ３０−４との通信において、サーバ３０−４にて生成された音声データを受信する。そして、通信部１２４は、受信した音声データを音声バッファ部１２６へ出力する。また、例えば、通信部１２４は、サーバ３０−４との通信において、サーバ３０−４にて音声データが解析された結果を示す文章情報を受信する。そして、通信部１２４は、受信した文章情報を語句挿入部１４０へ出力する。
【０１０８】
（２）音声バッファ部１２６
音声バッファ部１２６の機能は、＜２．１．構成例＞にて説明した内容と同一の機能であるため、本章での説明を省略する。
【０１０９】
（３）再生時間決定部１２８
再生時間決定部１２８の機能は、＜２．１．構成例＞にて説明した内容と同一の機能であるため、本章での説明を省略する。ただし、再生時間決定部１２８が再生時間、及び判定結果を語句挿入部１４０へ送信する点は異なる。
【０１１０】
（４）記憶部１３６
記憶部１３６の機能は、＜２．１．構成例＞にて説明した内容と同一の機能であるため、本章での説明を省略する。
【０１１１】
（５）語句挿入部１４０
語句挿入部１４０の機能は、＜２．１．構成例＞にて説明した内容と同一の機能であるため、本章での説明を省略する。ただし、語句挿入部１４０が通信部１２４から文章情報を受信する点、及び語句挿入部１４０が再生時間を再生時間決定部１２８から受信する点は異なる。
【０１１２】
（６）音声データ再生部１４４
音声データ再生部１４４の機能は、＜２．１．構成例＞にて説明した内容と同一の機能であるため、本章での説明を省略する。
【０１１３】
以上、図１３を参照しながら、本開示の第４の実施形態に係るクライアント端末１０−４の構成例について説明した。続いて、本開示の第４の実施形態に係るサーバ３０−４の構成例について説明する。
【０１１４】
（５．１．２．サーバ３０−４）
以下では、図１４を参照しながら、本開示の第４の実施形態に係るサーバ３０−４の構成例について説明する。図１４に示すように、サーバ３０−４は、通信部３２４、文章解析部３５２、音声データ生成部３４８で構成されている。
【０１１５】
（１）通信部３２４
通信部３２４は、サーバ３０−４とクライアント端末１０−４を接続するインタフェースであり、サーバ３０−４がクライアント端末１０−４と情報を通信するための機能を有する。例えば、通信部３２４は、クライアント端末１０−４との通信において、音声データ生成部３４８が生成した音声データを送信する。また、例えば、通信部３２４は、クライアント端末１０−４との通信において、文章解析部３５２が音声データを解析した結果を示す文章情報を送信する。
【０１１６】
（２）文章解析部３５２
文章解析部３５２の機能は、（４．１．１．クライアント端末１０−３）の（４）文章解析部１５２にて説明した内容と同一の機能であるため、本章での説明を省略する。ただし、文章解析部３５２が音声データを音声データ生成部３４８から受信する点、及び文章解析部３５２が文章情報を通信部３２４へ送信する点は異なる。
【０１１７】
（３）音声データ生成部３４８
音声データ生成部３４８の機能は、＜２．１．構成例＞にて説明した内容と同一の機能であるため、本章での説明を省略する。
【０１１８】
以上、図１４を参照しながら、本開示の第４の実施形態に係るサーバ３０−４の構成例について説明した。続いて、本開示の第４の実施形態にかかる情報処理システムの動作例について説明する。
【０１１９】
＜５．２．動作例＞
以下では、図１５を参照しながら、本開示の第４の実施形態に係る情報処理システムの動作例について説明する。図１５は、本開示の第４の実施形態に係る語句の挿入処理を示すフローチャートである。
【０１２０】
図１５に示すように、クライアント端末１０―４は、音声データの再生が終了するまで、当該フローチャートの処理を繰り返す（ステップＳ４０００）。まず、クライアント端末１０―４の通信部１２４は、サーバ３０−４の通信部３２４から音声データ、及び文章情報を受信する（ステップＳ４００４）。通信部１２４が受信した音声データは、一時的に音声バッファ部へ保持される。また、通信部１２４が受信した文章情報は、クライアント端末１０―４の語句挿入部１４０へ出力される。クライアント端末１０―４の再生時間決定部１２８は、音声バッファ部１２６の音声データの状態、及びネットワークの状態に基づき、挿入する語句の再生時間を決定する（ステップＳ４００８）。再生時間を決定後、再生時間決定部１２８は、再生時間が所定の条件を満たすか否かに基づき、語句を挿入するか否かを確認する（ステップＳ４０１２）。ここで、所定の条件とは、例えば、再生時間があらかじめ設定された所定の時間より短いか否かである。再生時間が所定の時間より短い場合、再生時間決定部１２８は、語句の挿入が不要であると判定し（ステップＳ４０１２／ＮＯ）、音声データに語句を挿入せずに、音声データを再生する（ステップＳ４０２０）。
【０１２１】
再生時間が所定の時間より長い場合、再生時間決定部１２８は、語句の挿入が必要であると判定し（ステップＳ４０１２／ＹＥＳ）、ステップＳ４０１６へ進む。語句挿入部１４０は、記憶部１３６から取得した語句を、通信部１２４から受信した文章情報に基づき、音声データに挿入する（ステップＳ４０１６）。語句挿入後、音声データ再生部１４４は、音声データを再生する（ステップＳ４０２０）。
【０１２２】
以上、図１５を参照しながら、本開示の第４の実施形態に係る情報処理システムの動作例について説明した。
【０１２３】
以上、図１３〜１５を参照しながら、本開示の第４の実施形態にかかる情報処理システムについて説明した。続いて、本開示の第５の実施形態に係る情報処理システムについて説明する。
【０１２４】
＜＜６．第５の実施形態＞＞
第１〜４の実施形態に係る情報処理システムでは、音声データに語句を挿入する例を説明したが、第５の実施形態に係る情報処理システムでは、音声データの語句を置換する例を説明する。
【０１２５】
＜６．１．構成例＞
（６．１．１．クライアント端末１０−５）
以下では、図１６、図１７を参照しながら、本開示の第５の実施形態に係るクライアント端末１０−５の構成例について説明する。図１６に示すように、クライアント端末１０−５は、通信部１２５、音声データ保存部１６０、音声バッファ部１２６、再生時間決定部１２８、文章解析部１５２、記憶部１３６、語句置換部１６４、音声データ再生部１４４で構成されている。
【０１２６】
（１）通信部１２５
通信部１２５は、クライアント端末１０−５とサーバ３０−５を接続するインタフェースであり、クライアント端末１０−５がサーバ３０−５と情報を通信するための機能を有する。例えば、通信部１２５は、サーバ３０−５との通信において、サーバ３０−５にて生成された音声データを受信する。そして、通信部１２５は、受信した音声データを音声バッファ部１２６へ出力する。また、例えば、通信部１２５は、サーバ３０−５との通信において、サーバ３０−５にて生成した文章データを受信する。そして、通信部１２５は、受信した文章データを文章解析部１５２へ出力する。
【０１２７】
（２）音声データ保存部１６０
音声データ保存部１６０は、音声データを一時的に保存し、保存した音声データから挿入語句を取得する機能を有する。例えば、音声データ保存部１６０は、通信部１２５から受信した文章データを一時的に保存して解析し、語句の置換に用いるための挿入語句として使用可能な語句を検出する。具体的に、文章データに「それ」、「そこ」等の指示語が含まれている場合、音声データ保存部１６０は、文章データの中で当該指示語よりも前に存在する当該指示語が指す語句を検索する。検索して見つけた語句の再生時間が対応する指示語よりも長い場合、当該語句を挿入語句として使用可能な語句として検出する。そして、音声データ保存部１６０は、使用可能であると判定した語句の音声を音声データから抽出し、抽出した音声を音声データキャッシュとして記憶部１３６に保存する。なお、音声データキャッシュは、一時的に保存されたキャッシュデータであるため、音声バッファ部１２６の音声データの再生終了後に削除されてもよい。
【０１２８】
（３）音声バッファ部１２６
音声バッファ部の機能は、＜２．１．構成例＞にて説明した内容と同一の機能であるため、本章での説明を省略する。ただし、音声バッファ部１２６が音声データを音声データ保存部１６０から受信する点は異なる。また、音声バッファ部１２６が音声データを再生時間決定部１２８、及び語句置換部１６４へ送信する点も異なる。
【０１２９】
（４）再生時間決定部１２８
再生時間決定部の機能は、＜２．１．構成例＞にて説明した内容と同一の機能であるため、本章での説明を省略する。ただし、再生時間決定部１２８が再生時間、及び判定結果を文章解析部１５２へ送信する点は異なる。
【０１３０】
（５）文章解析部１５２
文章解析部１５２は、文章データに基づき置換対象の語句を検出し、検出した置換対象の中から置換する語句を決定する機能を有する。置換対象の語句とは、例えば、文章データに含まれる指示語である。また、置換する語句とは、置換することで音声データを受信する時間を確保することが可能な語句である。例えば、文章解析部１５２は、通信部１２５から受信した文章データを解析することで、置換が可能な語句を置換対象として検出する。そして、文章解析部１５２は、再生時間決定部１２８から受信した再生時間、及び記憶部１３６に保存された音声データキャッシュの長さに基づき、置換対象の中から置換する語句を決定する。置換する語句の決定後、文章解析部１５２は、置換する語句に関する情報である置換情報を語句置換部１６４に送信する。
【０１３１】
また、文章解析部１５２は、再生時間決定部１２８から受信した判定結果に基づき、上述の置換対象となる語句の検出処理の要否を判定する。例えば、挿入語句の挿入が必要な旨を示す判定結果である場合、文章解析部１５２は、置換対象となる語句の検出処理を行う。また、例えば、挿入語句の挿入が不要な旨を示す判定結果である場合、文章解析部１５２は、置換対象となる語句の検出処理を行わず、挿入語句の挿入が不要な旨を語句挿入部１４０へ送信する。
【０１３２】
（６）記憶部１３６
記憶部１３６は、音声データの語句を置換するための挿入語句に関する情報を記憶する機能を有する。例えば、記憶部１３６は、以下の表２に示すように、「挿入語句」、「長さ」、「音声データ」に関する情報を記憶する。「挿入語句」とは、音声データの語句の置換に用いる語句である。例えば、「ＡＡＡドラッグストアＢＢＢ店」、及び「ＣＣＣ県ＤＤＤ区」等の語句が挿入語句として記憶される。また、「長さ」とは、挿入語句の再生時間である。例えば、「ＡＡＡドラッグストアＢＢＢ店」という挿入語句の再生時間は「３．０秒」である。また、「ＣＣＣ県ＤＤＤ区」の再生時間は「２．０秒」である。また、「音声データ」とは、挿入語句の音声ファイルである。例えば、「ＡＡＡドラッグストアＢＢＢ店」という挿入語句の音声データは、「２０１７１０２３１０３５１６．ｗａｖ」という音声ファイルとして記憶される。また、「ＣＣＣ県ＤＤＤ区」という挿入語句の音声データは、「２０１７１０２３１０３６０２．ｗａｖ」という音声ファイルとして記憶される。なお、上述の例では、音声データのファイル名として、音声データ保存部１６０が音声データを取得した日時が設定されているが、音声データのファイル名は音声データの取得日時に限定されず、任意のファイル名が設定されてよい。また、記憶部１３６が記憶する音声データのファイル形式は特に限定されず、任意のファイル形式の音声データが記憶されてもよい。また、挿入語句の長さも特に限定されず、任意の長さの挿入語句が記憶されてもよい。
【０１３３】
【表２】
2019106902.tif 000004
【０１３４】
（７）語句置換部１６４
語句置換部１６４は、音声データの語句を置換する機能を有する。例えば、語句置換部１６４は、文章解析部１５２から置換情報を受信すると、置換情報に対応する挿入語句を記憶部１３６から取得する。そして、語句置換部１６４は、置換情報に基づき、音声データの語句を置換する。
【０１３５】
ここで、図１７を参照しながら、語句置換部１６４が音声データの語句を置換する際の具体例について説明する。語句置換部１６４は、図１７に示す音声バッファ部１２６に保持されている音声データ６０の語句を置換する。図１７に示した音声データ６０の波形のグラフの横軸は時間であり、縦軸は振幅である。語句置換前の音声データ６０は、音声６００と音声６０２で構成されている。語句置換部１６４は、文章解析部１５２が決定した置換対象の語句を置換する。図１７に示す例では、置換対象の語句が音声６０２に含まれていたとすると、語句置換部１６４は、音声６０２に含まれる置換対象の語句を置換し、音声７００を生成する。語句置換後の音声データ７０は、音声６００と音声７００で構成される。そして、音声データ６０と音声データ７０を比較すると、語句置換後の音声データ７０の再生時間の方が長くなっていることから、クライアント端末１０は、置換対象の語句と置換に用いた語句の再生時間の差分だけ、音声データを受信する時間を確保できている。
【０１３６】
（８）音声データ再生部１４４
音声データ再生部の機能は、＜２．１．構成例＞にて説明した内容と同一の機能であるため、本章での説明を省略する。
【０１３７】
以上、図１６、図１７を参照しながら、本開示の第５の実施形態に係るクライアント端末１０−５の構成例について説明した。続いて、本開示の第５の実施形態に係るサーバ３０−５の構成例について説明する。
【０１３８】
（６．１．２．サーバ３０−５）
本開示の第５の実施形態に係るサーバ３０−５の構成例は、（４．１．２．サーバ３０−３）にて説明したサーバ３０−３の構成例と同一のため、本章での説明を省略する。
【０１３９】
以上、本開示の第５の実施形態に係るサーバ３０−５の構成例について説明した。続いて、本開示の第５の実施形態にかかる情報処理システムの動作例について説明する。
【０１４０】
＜６．２．動作例＞
以下では、図１８を参照しながら、本開示の第５の実施形態に係る情報処理システムの動作例について説明する。図１８は、本開示の第５の実施形態に係る語句の置換処理を示すフローチャートである。
【０１４１】
図１８に示すように、クライアント端末１０―５は、音声データの再生が終了するまで、当該フローチャートの処理を繰り返す（ステップＳ５０００）。まず、クライアント端末１０―５の通信部１２５は、サーバ３０−５の通信部３２５から音声データ、及び文章データを受信する（ステップＳ５００４）。通信部１２５が受信した音声データは、音声データ保存部１６０に一時的保存されてから、音声バッファ部１２６へ保持される。また、通信部１２５が受信した文章データは、文章解析部１５２へ出力される。クライアント端末１０―５の再生時間決定部１２８は、音声バッファ部１２６の音声データの状態、及びネットワークの状態に基づき、挿入語句の再生時間を決定する（ステップＳ５００８）。再生時間を決定後、再生時間決定部１２８は、再生時間が所定の条件を満たすか否かに基づき、挿入語句で置換するか否かを確認する（ステップＳ５０１２）。ここで、所定の条件とは、例えば、再生時間があらかじめ設定された所定の時間より短いか否かである。再生時間が所定の時間より短い場合、再生時間決定部１２８は、語句の置換が不要であると判定し（ステップＳ５０１２／ＮＯ）、音声データの語句を置換せずに、音声データを再生する（ステップＳ５０２４）。
【０１４２】
再生時間が所定の時間より長い場合、再生時間決定部１２８は、語句の置換が必要であると判定し（ステップＳ５０１２／ＹＥＳ）、ステップＳ５０１６へ進む。再生時間決定部１２８が語句の置換が必要であると判定すると、文章解析部１５２は、通信部１２５から受信した文章データを解析する（ステップＳ５０１６）。文章データの解析により文章情報を取得すると、語句置換部１６４は、文章情報に基づき、記憶部１３６から取得した語句で、音声データに含まれる対象の語句を置換する（ステップ５０２０）。語句置換後、音声データ再生部１４４は、音声データを再生する（ステップＳ５０２４）。
【０１４３】
以上、図１８を参照しながら、本開示の第５の実施形態に係る情報処理システムの動作例について説明した。
【０１４４】
以上、図１６〜１８を参照しながら、本開示の第５の実施形態に係る情報処理システムについて説明した。続いて、本開示の一実施形態に係る変形例について説明する。
【０１４５】
＜＜７．変形例＞＞
以下では、本開示の一実施形態の変形例を説明する。なお、以下に説明する変形例は、単独で本開示の実施形態に適用されてもよいし、組み合わせで本開示の実施形態に適用されてもよい。また、変形例は、本開示の実施形態で説明した構成に代えて適用されてもよいし、本開示の実施形態で説明した構成に対して追加的に適用されてもよい。
【０１４６】
上述の各実施形態では、音声データの無音区間を挿入位置として決定する方法、音声データの文節の区切れを挿入位置として決定する方法、及び音声データの置換可能な語句の位置を挿入位置として決定する方法について説明した。クライアント端末１０は、上述の複数の方法を実施可能な構成要素を備えることで、挿入位置を決定する方法を切り替えられるようにしてもよい。例えば、クライアント端末１０は、無音区間を挿入位置として決定する機能を処理モード１、文節の区切れを挿入位置として決定する機能を処理モード２、置換可能な語句の位置を挿入位置として決定する機能を処理モード３として備えていたとする。処理モード１が設定されている際に、無音区間検出部１３２が無音区間を検出できず、挿入位置を決定できなかった場合、クライアント端末１０は、処理モード１から処理モード２に切り替えることで、語句を挿入する方法を切り替える。そして、処理モード２にて、文章解析部１５２が語句文節の区切れを挿入位置として決定できた場合、語句挿入部１４０は、当該文節の区切れに語句を挿入する。また、処理モード２にて、文章解析部１５２が文節の区切れを挿入位置として決定できなかった場合、クライアント端末１０は、処理モード２から処理モード３に切り替えてもよい。
【０１４７】
上述のように、クライアント端末１０は、挿入位置の決定方法を切り替えられることによって、ある挿入位置の決定方法で挿入位置を決定できなかった場合に、他の挿入位置の決定方法に切り替えることで、他の挿入位置の決定方法により挿入位置を決定することができる。
【０１４８】
なお、処理モードを切り替える順番は上述の例に限定されない。例えば、各処理モードは、語句の挿入位置の検出状況に応じて任意の順番で切り替えられてもよい。また、複数のモードの処理を同時に実行し、複数の挿入位置を検出した上で、より最適な挿入位置に語句を挿入してもよい。
【０１４９】
以上、本開示の一実施形態に係る変形例について説明した。続いて、本開示の一実施形態にかかる情報処理システムの応用例について説明する。
【０１５０】
＜＜８．応用例＞＞
以下では、本開示の一施形態にかかる情報処理システムの応用例について説明する。
【０１５１】
＜８．１．第１の実施形態、及び第２の実施形態の応用例＞
以下では、第１の実施形態、及び第２の実施形態にて説明した音声データの無音区間に語句を挿入する場合の応用例について説明する。
【０１５２】
（８．１．１．通信状況に応じて間投詞を挿入するエージェントデバイス）
以下では、対話エージェントシステムに第１の実施形態、または第２の実施形態を適用した例について説明する。ここで、対話エージェントシステムとは、ユーザの入力に対して、適切な情報を含む応答をするシステムのことである。対話エージェントシステムは、クライアント端末１０として、クライアント端末１０としての機能がアプリケーションとして実装されたエージェントデバイスを用いる。当該エージェントデバイスは、ユーザの入力に対して音声により応答することができる。また、当該エージェントデバイスは、サーバ３０と同一の機能を有するサーバとネットワークを介して接続されていることとする。なお、対話エージェントシステムでは、エージェントデバイスがユーザの入力に応答する際の音声データをサーバが生成し、ネットワークを介してエージェントデバイスに音声データを送信し、エージェントデバイスが音声データを再生する。
【０１５３】
具体的な応用例として、エージェントデバイスがユーザに応答している際に、通信状況が悪くなり、音声データの再生が途切れてしまいそうな場合について説明する。上述の場合、対話エージェントシステムは、第１の実施形態、または第２の実施形態と同様にして、音声データ中の適切な無音区間に語句を挿入する。
【０１５４】
例えば、対話エージェントシステムは、「今日の東京の天気は晴れです。明日の東京の天気は雨になるでしょう。」という音声データを、「今日の東京の天気は晴れです。えーっと、明日の東京の天気は雨になるでしょう。」という音声データに変更する。上述のように、対話エージェントシステムは、音声データ中の適切な無音区間に語句を挿入することができる。よって、対話エージェントシステムは、エージェントデバイスと対話しているユーザに音声が途切れたことを感じさせることなく、音声データを受信するための時間を安定して確保することができる。
【０１５５】
（８．１．２．語句を繰り返し挿入するエージェントデバイス）
以下では、上述のエージェントデバイスが繰り返し語句を挿入する例について説明する。例えば、エージェントデバイスは、「今日の東京の天気は晴れです。明日の東京の天気は雨になるでしょう。」という音声データに挿入語句を挿入して、「今日の東京の天気は晴れです。えーっと、明日の東京の天気は雨になるでしょう。」と変更する。しかし、音声データに一度挿入語句を挿入しても、まだデータの受信が間に合わないと判断された場合、エージェントデバイスは、さらに挿入語句を挿入してもよい。例えば、「えーっと」の後に、さらに「少々お待ちください」を続けて挿入し、「今日の東京の天気は晴れです。えーっと、少々お待ちください。明日の東京の天気は雨になるでしょう。」と変更してもよい。上述のように、エージェントデバイスは、挿入語句を繰り返し挿入することができる。よって、エージェントデバイスは、一度語句を挿入した後にまだ再生時間が足りないと判定されても、語句を連続して挿入することにより、ユーザに音声が途切れたことを感じさせることなく、音声データを受信するための時間を安定して確保することができる。
【０１５６】
（８．１．３．通信状況が悪いことを音声で知らせてくれるニュース読み上げ装置）
以下では、ニュースを読み上げて音声で出力するニュース読み上げ装置に本開示の一実施形態を適用した例について説明する。本応用例では、ニュース読み上げ装置がクライアント端末１０に該当する。また、ニュース読み上げ装置は、サーバ３０と同一の機能を有するサーバとネットワークを介して接続されていることとする。なお、ニュース読み上げ装置は、サーバが生成した音声データを受信して再生することで、ユーザへニュースを伝える。
【０１５７】
具体的な応用例として、ニュース読み上げ装置が音声データを再生している際に、通信状況が悪くなり、音声データの再生が途切れてしまいそうな場合について説明する。上述の場合、ニュース読み上げ装置は、第１の実施形態、及び第２の実施形態と同様にして、音声データ中の適切な無音区間に語句を挿入する。通常であれば、ニュース読み上げ装置は、音声データに間投詞を挿入する。しかし、本応用例の場合、ニュース読み上げ装置は、音声の再生が途切れてしまう旨を示す音声を挿入してもよい。例えば、ニュース読み上げ装置は、音声データの受信が間に合わないタイミングで、「通信状況が悪くて音声の読み上げが止まっています。少々お待ちください。」という音声を挿入し、通信状況が悪い旨をユーザに伝えてもよい。上述のように、ニュース読み上げ装置は、音声データの再生が途切れてしまう理由を音声データに挿入することができる。よって、ニュース読み上げ装置は、ユーザに音声が途切れている理由を知らせることができ、音声が途切れたことによりユーザが感じるストレスを軽減することができる。
【０１５８】
＜８．２．第３の実施形態、及び第４の実施形態の応用例＞
以下では、第３の実施形態、及び第４の実施形態にて説明した音声データの文節の区切れに語句を挿入する場合の応用例について説明する。
【０１５９】
（８．２．１．通信状況に応じて間投詞を挿入するエージェントデバイス）
以下では、上述の対話エージェントシステムに第３の実施形態または第４の実施形態を適用した例について説明する。具体的な応用例として、エージェントデバイスがユーザに応答している際に、通信状況が悪くなり、音声データの再生が途切れてしまいそうな場合について説明する。上述の場合、対話エージェントシステムは、第３の実施形態、または第４の実施形態と同様にして、音声データ中の適切な文節の区切れに語句を挿入する。なお、音声データ中の文節の区切れは、無音区間よりも多く存在する。よって、エージェントデバイスが文節の区切れに語句を挿入する場合、（８．１．１．通信状況に応じて間投詞を挿入する対話エージェント）の無音区間に語句を挿入する場合と比較し、より自然な位置に語句を挿入することができる。例えば、エージェントデバイスは、「今日の東京の天気は晴れです。」という音声データの文節の区切れに「えーっと」という間投詞を挿入し、「今日の東京の天気は、えーっと、晴れです。」という音声データに変更することができる。上述のように、対話エージェントシステムは、音声データ中の適切な文節の区切れに語句を挿入することができる。よって、対話エージェントシステムは、エージェントデバイスと対話しているユーザに音声が途切れたことを感じさせることなく、音声データを受信するための時間を安定して確保することができる。
【０１６０】
＜８．３．第５の実施形態の応用例＞
以下では、第５の実施形態にて説明した音声データの語句を置換する場合の応用例について説明する。
【０１６１】
（８．３．１．通信状況に応じて語句を置換する対話エージェント）
以下では、上述の対話エージェントシステムに第５の実施形態を適用した例について説明する。具体的な応用例として、エージェントデバイスがユーザに応答している際に、通信状況が悪くなり、音声データの再生が途切れてしまいそうな場合について説明する。上述の場合、対話エージェントシステムは、第５の実施形態と同様にして、音声データ中の語句を別な語句に置換する。例えば、エージェントデバイスは、「一番近い薬局はＥＥＥドラッグストアＦＦＦ店です。そこへ行くには１０分かかります。」という音声データの「そこ」を「ＥＥＥドラッグストアＦＦＦ店」に置換する。そして、エージェントデバイスは、「一番近い薬局は、ＥＥＥドラッグストアＦＦＦ店です。ＥＥＥドラッグストアＦＦＦ店へ行くには１０分かかります。」という音声データを再生する。上述のように、対話エージェントシステムは、音声データ中の語句を別な語句に置換することができる。よって、対話エージェントシステムは、エージェントデバイスと対話しているユーザに音声が途切れたことを感じさせることなく、音声データを受信するための時間を安定して確保することができる。
【０１６２】
＜８．４．ユーザとエージェントデバイスの会話例＞
以下には、ユーザの入力に対する応答として、エージェントデバイスがニュースを読み上げる際の具体的な会話例を示す。例えば、ユーザが「エージェント、ニュースを教えて。」と発話すると、エージェントデバイスが「はい。どのジャンルのニュースにしましょうか。」と応答する。続けて、ユーザが「じゃあ、経済のニュースで。」と発話すると、エージェントデバイスが「かしこまりました。経済の最新のニュースです。」と応答し、経済に関するニュースを読み上げる。ニュースを読み上げている途中で音声データの受信が再生に間に合わなくなってくると、エージェントデバイスは、音声データに語句を挿入する。そして、エージェントデバイスは、「大手電機８社の決算が出そろいました。ただ今データの受信中です。少々お待ちください。ＧＧＧ社の決算は・・・です。」とニュースの読み上げを続ける。この時、エージェントデバイスは、音声データに「ただ今データの受信中です。」という語句を挿入することで、音声データを受信するための時間を確保することができている。
【０１６３】
また、以下には、ユーザの入力に対する応答として、エージェントデバイスがスケジュールを読み上げる際の具体的な会話例を示す。例えば、ユーザが「エージェント、明日のスケジュールを教えて。」と発話すると、エージェントデバイスはスケジュールの読み上げを行う。スケジュールを読み上げている途中で音声データの受信が再生に間に合わなくなってくると、エージェントデバイスは、音声データに語句を挿入する。そして、エージェントデバイスは、「かしこまりました。明日は１０時からＨＨＨビルでＩＩＩ社様と打合せ、その後ＪＪＪビルへ移動して１３時から会議、そして、えーっと、少々お待ちください。その後は１８時から会食となっています。」と応答する。この時、エージェントデバイスは、音声データに「えーっと、少々お待ちください。」という語句を挿入することで、音声データを受信するための時間を確保することができている。
【０１６４】
以上、本開示の一実施形態に係る情報処理システムの応用例について説明した。続いて、本開示の一実施形態にかかるハードウェア構成について説明する。
【０１６５】
＜＜９．ハードウェア構成＞＞
上述した情報処理装置の語句の挿入処理、語句の置換処理などの情報処理は、ソフトウェアと、以下に説明するクライアント端末１０のハードウェアとの協働により実現される。
【０１６６】
図１９は、クライアント端末１０のハードウェア構成を示したブロック図である。クライアント端末１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０３と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０５を備える。また、クライアント端末１０は、入力装置１０７と、表示装置１０９と、音声出力装置１１１と、ストレージ装置１１３と、通信装置１１５とを備える。
【０１６７】
ＣＰＵ１０１は、演算処理装置及び制御装置として機能し、各種プログラムに従ってクライアント端末１０内の動作全般を制御する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＯＭ１０３は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１０５は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。ＣＰＵ１０１、ＲＯＭ１０３及びＲＡＭ１０５は、ソフトウェアとの協働により図２を参照して説明したクライアント端末１０の機能を実現し得る。
【０１６８】
入力装置１０７は、タッチパネル、ボタン、カメラ、マイクロフォン、センサ、スイッチ及びレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。クライアント端末１０のユーザは、該入力装置１０７を操作することにより、クライアント端末１０に対して各種のデータを入力したり処理動作を指示したりする。
【０１６９】
表示装置１０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、プロジェクター装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置及びランプなどの表示部を含む。また、音声出力装置１１１は、スピーカ及びヘッドホンなどの音声出力装置を含む。
【０１７０】
ストレージ装置１１３は、データ格納用の装置である。ストレージ装置１１３は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置１１３は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ  Ｓｔｒａｇｅ  Ｄｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置１１３は、ストレージを駆動し、ＣＰＵ１０１が実行するプログラムや各種データを格納する。
【０１７１】
通信装置１１５は、例えば、ネットワーク１４に接続するための通信デバイス等で構成された通信インタフェースである。かかる通信インタフェースは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＺｉｇＢｅｅ（登録商標）等の近距離無線通信インタフェースや、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｗｉ−Ｆｉ（登録商標）、または携帯通信網（ＬＴＥ、３Ｇ）等の通信インタフェースである。また、通信装置１１５は、有線による通信を行う有線通信装置であってもよい。
【０１７２】
以上、図１９を参照しながら、クライアント端末１０のハードウェア構成について説明した。
【０１７３】
＜＜１０．まとめ＞＞
上述の説明より、本開示に係る情報処理装置は、サーバからネットワークを介して受信した音声データを一時的に保持することができる。また、情報処理装置は、保持している音声データの状態、及びネットワークの状態の少なくともいずれかに基づき、再生中の音声データに挿入して再生する挿入語句の再生時間を算出することができる。また、情報処理装置は、音声データに挿入語句を挿入する挿入位置を決定し、計算した再生時間に対応する挿入語句を挿入位置に挿入することができる。以上より、音声データを受信しながら再生する際に、音声データ受信のための時間を安定して確保することが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提供することが可能である。
【０１７４】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１７５】
また、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記録媒体（非一時的な媒体：ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｍｅｄｉａ）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。
【０１７６】
また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
【０１７７】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１７８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
他の装置から伝送路を介して受信した第１の音声データのうち未再生の前記第１の音声データを保持する音声バッファ部と、
前記音声バッファ部に保持されている前記第１の音声データの状態又は前記伝送路の状態の少なくともいずれかに基づいて、前記第１の音声データの再生中に挿入して再生すべき第２の音声データの再生時間を計算する再生時間計算部と、
前記第１の音声データにおける前記第２の音声データの挿入位置を決定する位置決定部と、
前記第１の音声データにおける前記位置決定部により決定された前記挿入位置に、前記再生時間計算部により計算された前記再生時間に対応する前記第２の音声データを挿入する処理を制御する挿入部と、
を備える、情報処理装置。
（２）
前記位置決定部は、無音区間を前記挿入位置として決定する、前記（１）に記載の情報処理装置。
（３）
前記情報処理装置は、前記第１の音声データに含まれる前記無音区間を検出する無音区間検出部をさらに備える、前記（２）に記載の情報処理装置。
（４）
前記位置決定部は、文章情報に基づき前記挿入位置を決定する、前記（１）に記載の情報処理装置。
（５）
前記情報処理装置は、前記第１の音声データの前記文章情報を取得する文章解析部をさらに備える、前記（４）に記載の情報処理装置。
（６）
前記位置決定部は、前記文章情報に基づき、前記第１の音声データに含まれる文節の区切れを前記挿入位置として決定し、
前記挿入部は、前記挿入位置に前記第２の音声データを挿入する、前記（５）に記載の情報処理装置。
（７）
前記位置決定部は、前記文章情報に基づき、前記第１の音声データに含まれる語句を前記挿入位置として決定し、
前記挿入部は、前記挿入位置として決定された語句を削除し、削除した語句に代えて前記第２の音声データを挿入する、前記（５）に記載の情報処理装置。
（８）
前記第２の音声データは、過去の前記第１の音声データである、前記（７）に記載の情報処理装置。
（９）
前記第２の音声データは、削除対象の語句と同様の意味を有する語句であって、前記削除対象の語句よりも長い再生時間を有する語句を含む、過去の前記第１の音声データである、前記（８）に記載の情報処理装置。
（１０）
前記情報処理装置は、前記第１の音声データに前記第２の音声データを挿入するか否かを判定する判定部をさらに備え、
前記判定部は、前記再生時間が所定の条件を満たすか否かにより、前記第１の音声データに前記第２の音声データを挿入するか否かを判定する、前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記位置決定部は、前記挿入位置を決定できなかった場合、第２の音声データの挿入位置の決定方法を切り替える、前記（１）に記載の情報処理装置。
（１２）
前記位置決定部は、無音区間を前記挿入位置として決定できなかった場合、前記無音区間を前記挿入位置として決定する方法から、文節の区切れを前記挿入位置として決定する方法に切り替える、前記（１１）に記載の情報処理装置。
（１３）
前記音声バッファ部に保持されている前記第１の音声データの状態は、前記音声バッファ部に保持されている前記第１の音声データの量又は増減量の少なくともいずれかを含む、前記（１）に記載の情報処理装置。
（１４）
前記情報処理装置は、前記挿入部が前記第１の音声データに挿入する前記第２の音声データを記憶する記憶部をさらに備える、前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１５）
他の装置から伝送路を介して受信した第１の音声データのうち未再生の前記第１の音声データを保持することと、
音声バッファ部に保持されている前記第１の音声データの状態又は前記伝送路の状態の少なくともいずれかに基づいて、前記第１の音声データの再生中に挿入して再生すべき第２の音声データの再生時間を計算することと、
前記第１の音声データにおける前記第２の音声データの挿入位置を決定することと、
前記第１の音声データにおける位置決定部により決定された前記挿入位置に、再生時間計算部により計算された前記再生時間に対応する前記第２の音声データを挿入する処理を制御することと、
を含む、プロセッサにより実行される、情報処理方法。
（１６）
コンピュータを、
他の装置から伝送路を介して受信した第１の音声データのうち未再生の前記第１の音声データを保持する音声バッファ部と、
前記音声バッファ部に保持されている前記第１の音声データの状態又は前記伝送路の状態の少なくともいずれかに基づいて、前記第１の音声データの再生中に挿入して再生すべき第２の音声データの再生時間を計算する再生時間計算部と、
前記第１の音声データにおける前記第２の音声データの挿入位置を決定する位置決定部と、
前記第１の音声データにおける前記位置決定部により決定された前記挿入位置に、前記再生時間計算部により計算された前記再生時間に対応する前記第２の音声データを挿入する処理を制御する挿入部と、
として機能させるための、プログラム。
【符号の説明】
【０１７９】
１０    クライアント端末
１４    ネットワーク
３０    サーバ
１２１  通信部
１２２  通信部
１２３  通信部
１２４  通信部
１２５  通信部
１２６  音声バッファ部
１２８  再生時間決定部
１３２  無音区間検出部
１３６  記憶部
１４０  語句挿入部
１４４  音声データ再生部
１５２  文章解析部
１６０  音声データ保存部
１６４  語句置換部
２２１  通信部
２２６  音声バッファ部
２４４  音声データ再生部
３２１  通信部
３２２  通信部
３２３  通信部
３２４  通信部
３２５  通信部
３３２  無音区間検出部
３４８  音声データ生成部
３５２  文章解析部
３５６  文章データ生成部
【図１】
2019106902.tif 000005
【図２】
2019106902.tif 000006
【図３】
2019106902.tif 000007
【図４】
2019106902.tif 000008
【図５】
2019106902.tif 000009
【図６】
2019106902.tif 000010
【図７】
2019106902.tif 000011
【図８】
2019106902.tif 000012
【図９】
2019106902.tif 000013
【図１０】
2019106902.tif 000014
【図１１】
2019106902.tif 000015
【図１２】
2019106902.tif 000016
【図１３】
2019106902.tif 000017
【図１４】
2019106902.tif 000018
【図１５】
2019106902.tif 000019
【図１６】
2019106902.tif 000020
【図１７】
2019106902.tif 000021
【図１８】
2019106902.tif 000022
【図１９】
2019106902.tif 000023
【国際調査報告】
2019106902.tif 000024
2019106902.tif 000025