(57)【要約】  本技術は、ユーザの意識が合成音声に向かう確率を高くすることができるようにする情報処理装置及び情報処理方法に関する。情報処理装置は、テキストを音声に変換した合成音声を出力するときのコンテキストに基づいて、前記合成音声の出力態様を制御する音声出力制御部を備える。或いは、情報処理装置は、テキストを音声に変換した合成音声を出力するときのコンテキストに関するコンテキストデータを他の情報処理装置に送信し、前記コンテキストデータに基づいて出力態様が制御された前記合成音声の生成に用いる音声制御データを前記他の情報処理装置から受信する通信部と、前記音声制御データに基づいて前記合成音声を生成する音声合成部とを備える。本技術は、例えば、合成音声の出力制御又は出力を行うサーバ又はクライアントに適用できる。
2018030149.tif 000002
【特許請求の範囲】
【請求項１】
テキストを音声に変換した合成音声を出力するときのコンテキストに基づいて、前記合成音声の出力態様を制御する音声出力制御部を
備える情報処理装置。
【請求項２】
前記音声出力制御部は、前記コンテキストが所定の条件を満たした場合、前記合成音声の出力態様を変更する
請求項１に記載の情報処理装置。
【請求項３】
前記合成音声の出力態様の変更は、前記合成音声の特性、前記合成音声に対する効果、前記合成音声の背景のＢＧＭ（Back Ground Music）、前記合成音声により出力される前記テキスト、及び、前記合成音声を出力する装置の動作のうち少なくとも１つの変更を含む
請求項２に記載の情報処理装置。
【請求項４】
前記合成音声の特性は、速度、ピッチ、音量、及び、抑揚のうち少なくとも１つを含み、
前記合成音声に対する効果は、前記テキスト内の特定の言葉の繰り返し、及び、前記合成音声への間の挿入のうち少なくとも１つを含む
請求項３に記載の情報処理装置。
【請求項５】
前記音声出力制御部は、ユーザの意識が前記合成音声に向いていない状態が検出された場合、前記合成音声の出力態様を変更する
請求項２に記載の情報処理装置。
【請求項６】
前記音声出力制御部は、前記合成音声の出力態様を変更した後、ユーザの意識が前記合成音声に向いている状態が検出された場合、前記合成音声の出力態様を元に戻す
請求項２に記載の情報処理装置。
【請求項７】
前記音声出力制御部は、前記合成音声の特性の変化量が所定の範囲内である状態が所定の時間以上継続した場合、前記合成音声の出力態様を変更する
請求項２に記載の情報処理装置。
【請求項８】
前記音声出力制御部は、前記コンテキストに基づいて、前記合成音声の出力態様の変更方法を選択する
請求項２に記載の情報処理装置。
【請求項９】
前記合成音声の出力態様の変更方法に対するユーザの反応を学習する学習部を
さらに備え、
前記音声出力制御部は、前記ユーザの反応の学習結果に基づいて、前記合成音声の出力態様の変更方法を選択する
請求項２に記載の情報処理装置。
【請求項１０】
前記音声出力制御部は、さらに前記テキストの特性に基づいて、前記合成音声の出力態様を制御する
請求項１に記載の情報処理装置。
【請求項１１】
前記音声出力制御部は、前記テキストの特徴量が第１の閾値以上である場合、又は、前記テキストの特徴量が第２の閾値未満である場合、前記合成音声の出力態様を変更する
請求項１０に記載の情報処理装置。
【請求項１２】
前記音声出力制御部は、前記合成音声の生成に用いる音声制御データを他の情報処理装置に供給することにより、前記他の情報処理装置における前記合成音声の出力態様を制御する
請求項１に記載の情報処理装置。
【請求項１３】
前記音声出力制御部は、前記他の情報処理装置から取得した前記コンテキストに関するコンテキストデータに基づいて、前記音声制御データを生成する
請求項１２に記載の情報処理装置。
【請求項１４】
前記コンテキストデータは、ユーザの周囲を撮影した画像に基づくデータ、前記ユーザの周囲の音声に基づくデータ、及び、前記ユーザの生体情報に基づくデータのうち少なくとも１つを含む
請求項１３に記載の情報処理装置。
【請求項１５】
前記コンテキストデータに基づいて、前記コンテキストを解析するコンテキスト解析部を
さらに含む請求項１３に記載の情報処理装置。
【請求項１６】
前記コンテキストは、ユーザの状態、前記ユーザの特性、前記合成音声が出力される環境、及び、前記合成音声の特性のうち少なくとも１つを含む
請求項１に記載の情報処理装置。
【請求項１７】
前記合成音声が出力される環境は、前記ユーザの周囲の環境、前記合成音声を出力する装置、及び、前記合成音声を出力するアプリケーションプログラムのうち少なくとも１つを含む
請求項１６に記載の情報処理装置。
【請求項１８】
テキストを音声に変換した合成音声を出力するときのコンテキストに基づいて、前記合成音声の出力態様を制御する音声出力制御ステップを
含む情報処理方法。
【請求項１９】
テキストを音声に変換した合成音声を出力するときのコンテキストに関するコンテキストデータを他の情報処理装置に送信し、前記コンテキストデータに基づいて出力態様が制御された前記合成音声の生成に用いる音声制御データを前記他の情報処理装置から受信する通信部と、
前記音声制御データに基づいて前記合成音声を生成する音声合成部と
を備える情報処理装置。
【請求項２０】
テキストを音声に変換した合成音声を出力するときのコンテキストに関するコンテキストデータを他の情報処理装置に送信し、前記コンテキストデータに基づいて出力態様が制御された前記合成音声の生成に用いる音声制御データを前記他の情報処理装置から受信する通信ステップと、
前記音声制御データに基づいて前記合成音声を生成する音声合成ステップと
を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置及び情報処理方法に関し、特に、テキストを音声に変換して出力する場合に用いて好適な情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
ＴＴＳ（Text to Speech）によりテキストを音声に変換して出力する場合、声色や抑揚等が単調なため、ユーザの注意力が散漫になりテキストの内容が伝わらなくなることがある。【０００３】
これに対して、従来、発声開始からの経過時間に応じて、発声速度を段階的に上げるとともに、発声速度以外のピッチ、音量、声質などの各種のパラメータをランダムに変更することにより、ユーザが合成音声に飽きるのを防ぐことが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１６１２９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、経過時間のみに応じて合成音声のパラメータが変更されるため、必ずしもパラメータの変更がいつも有効であるとは言えず、ユーザの意識が合成音声に向かうとは限らない。【０００６】
そこで、本技術は、ユーザの意識が合成音声に向かう確率を高くすることができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の第１の側面の情報処理装置は、テキストを音声に変換した合成音声を出力するときのコンテキストに基づいて、前記合成音声の出力態様を制御する音声出力制御部を備える。【０００８】
前記音声出力制御部には、前記コンテキストが所定の条件を満たした場合、前記合成音声の出力態様を変更させることができる。【０００９】
前記合成音声の出力態様の変更には、前記合成音声の特性、前記合成音声に対する効果、前記合成音声の背景のＢＧＭ（Back Ground Music）、前記合成音声により出力される前記テキスト、及び、前記合成音声を出力する装置の動作のうち少なくとも１つの変更を含ませることができる。【００１０】
前記合成音声の特性には、速度、ピッチ、音量、及び、抑揚のうち少なくとも１つを含ませ、前記合成音声に対する効果には、前記テキスト内の特定の言葉の繰り返し、及び、前記合成音声への間の挿入のうち少なくとも１つを含ませることができる。【００１１】
前記音声出力制御部には、ユーザの意識が前記合成音声に向いていない状態が検出された場合、前記合成音声の出力態様を変更させることができる。【００１２】
前記音声出力制御部には、前記合成音声の出力態様を変更した後、ユーザの意識が前記合成音声に向いている状態が検出された場合、前記合成音声の出力態様を元に戻させることができる。【００１３】
前記音声出力制御部には、前記合成音声の特性の変化量が所定の範囲内である状態が所定の時間以上継続した場合、前記合成音声の出力態様を変更させることができる。【００１４】
前記音声出力制御部には、前記コンテキストに基づいて、前記合成音声の出力態様の変更方法を選択させることができる。【００１５】
前記合成音声の出力態様の変更方法に対するユーザの反応を学習する学習部をさらに設け、前記音声出力制御部には、前記ユーザの反応の学習結果に基づいて、前記合成音声の出力態様の変更方法を選択させることができる。【００１６】
前記音声出力制御部には、さらに前記テキストの特性に基づいて、前記合成音声の出力態様を制御させることができる。【００１７】
前記音声出力制御部には、前記テキストの特徴量が第１の閾値以上である場合、又は、前記テキストの特徴量が第２の閾値未満である場合、前記合成音声の出力態様を変更させることができる。【００１８】
前記音声出力制御部には、前記合成音声の生成に用いる音声制御データを他の情報処理装置に供給することにより、前記他の情報処理装置における前記合成音声の出力態様を制御させることができる。【００１９】
前記音声出力制御部には、前記他の情報処理装置から取得した前記コンテキストに関するコンテキストデータに基づいて、前記音声制御データを生成させることができる。【００２０】
前記コンテキストデータには、ユーザの周囲を撮影した画像に基づくデータ、前記ユーザの周囲の音声に基づくデータ、及び、前記ユーザの生体情報に基づくデータのうち少なくとも１つを含ませることができる。【００２１】
前記コンテキストデータに基づいて、前記コンテキストを解析するコンテキスト解析部をさらに設けることができる。【００２２】
前記コンテキストには、ユーザの状態、前記ユーザの特性、前記合成音声が出力される環境、及び、前記合成音声の特性のうち少なくとも１つを含ませることができる。【００２３】
前記合成音声が出力される環境には、前記ユーザの周囲の環境、前記合成音声を出力する装置、及び、前記合成音声を出力するアプリケーションプログラムのうち少なくとも１つを含ませることができる。【００２４】
本技術の第１の側面の情報処理方法は、テキストを音声に変換した合成音声を出力するときのコンテキストに基づいて、前記合成音声の出力態様を制御する音声出力制御ステップを含む。【００２５】
本技術の第２の側面の情報処理装置は、テキストを音声に変換した合成音声を出力するときのコンテキストに関するコンテキストデータを他の情報処理装置に送信し、前記コンテキストデータに基づいて出力態様が制御された前記合成音声の生成に用いる音声制御データを前記他の情報処理装置から受信する通信部と、前記音声制御データに基づいて前記合成音声を生成する音声合成部とを備える。【００２６】
本技術の第２の側面の情報処理方法は、テキストを音声に変換した合成音声を出力するときのコンテキストに関するコンテキストデータを他の情報処理装置に送信し、前記コンテキストデータに基づいて出力態様が制御された前記合成音声の生成に用いる音声制御データを前記他の情報処理装置から受信する通信ステップと、前記音声制御データに基づいて前記合成音声を生成する音声合成ステップとを含む。【００２７】
本技術の第１の側面においては、テキストを音声に変換した合成音声を出力するときのコンテキストに基づいて、前記合成音声の出力態様が制御される。【００２８】
本技術の第２の側面においては、テキストを音声に変換した合成音声を出力するときのコンテキストに関するコンテキストデータが他の情報処理装置に送信され、前記コンテキストデータに基づいて出力態様が制御された前記合成音声の生成に用いる音声制御データが前記他の情報処理装置から受信され、前記音声制御データに基づいて前記合成音声が生成される。
【発明の効果】
【００２９】
本技術の第１又は第２の側面によれば、ユーザの意識を合成音声に向けさせることができる。特に、本技術の第１又は第２の側面によれば、ユーザの意識が合成音声に向かう確率が高くなる。【００３０】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００３１】
【図１】本技術を適用した情報処理システムの一実施の形態を示すブロック図である。
【図２】クライアントのプロセッサにより実現される機能の構成例の一部を示すブロック図である。
【図３】合成音声により出力するテキストの例を示す図である。
【図４】合成音声出力処理を説明するためのフローチャートである。
【図５】合成音声出力制御処理を説明するためのフローチャートである。
【図６】ＴＴＳデータ生成処理の詳細を説明するためのフローチャートである。
【図７】通常モード時とアテンションモード時のＴＴＳデータの具体例を示す図である。
【図８】アテンションモードの具体例を説明するための図である。
【図９】アテンションモードの具体例を説明するための図である。
【図１０】アテンションモードの具体例を説明するための図である。
【図１１】アテンションモードの具体例を説明するための図である。
【図１２】アテンションモードの具体例を説明するための図である。
【図１３】アテンションモードの具体例を説明するための図である。
【図１４】アテンションモードの具体例を説明するための図である。
【図１５】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３２】
以下、発明を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００３３】
＜＜１．実施の形態＞＞
＜１−１．情報処理システムの構成例＞
まず、図１を参照して、本技術を適用した情報処理システム１０の構成例について説明する。
【００３４】
情報処理システム１０は、ＴＴＳによりテキストを音声に変換して出力するシステムである。情報処理システム１０は、クライアント１１、サーバ１２、及び、ネットワーク１３により構成される。クライアント１１とサーバ１２は、ネットワーク１３を介して相互に接続されている。
【００３５】
なお、図中、クライアント１１が１つのみ示されているが、実際には複数のクライアント１１がネットワーク１３に接続され、複数のユーザがクライアント１１を介して情報処理システム１０を利用する。
【００３６】
クライアント１１は、サーバ１２から提供されるＴＴＳデータに基づいて、テキストを音声に変換して出力する。ここで、ＴＴＳデータとは、合成音声の生成に用いられる音声制御データである。
【００３７】
例えば、クライアント１１は、スマートフォン、タブレット、携帯電話機、ノート型のパーソナルコンピュータ等の携帯情報端末、ウエアラブルデバイス、デスクトップ型のパーソナルコンピュータ、ゲーム機、動画再生装置、音楽再生装置等により構成される。また、ウエアラブルデバイスには、例えば、眼鏡型、腕時計型、ブレスレット型、ネックレス型、ネックバンド型、イヤフォン型、ヘッドセット型、ヘッドマウント型等の各種の方式を採用することができる。
【００３８】
クライアント１１は、音声出力部３１、音声入力部３２、撮影部３３、表示部３４、生体情報取得部３５、操作部３６、通信部３７、プロセッサ３８、及び、記憶部３９を備える。音声出力部３１、音声入力部３２、撮影部３３、表示部３４、生体情報取得部３５、操作部３６、通信部３７、プロセッサ３８、及び、記憶部３９は、バス４０を介して相互に接続されている。
【００３９】
音声出力部３１は、例えばスピーカにより構成される。スピーカの数は、任意に設定することができる。音声出力部３１は、プロセッサ３８から供給される音声データに基づく音声を出力する。
【００４０】
音声入力部３２は、例えばマイクロフォンにより構成される。マイクロフォンの数は、任意に設定することができる。音声入力部３２は、ユーザの周囲の音声（ユーザが発する音声を含む）を収集する。音声入力部３２は、収集した音声を示す音声データをプロセッサ３８に供給したり、記憶部３９に記憶させたりする。
【００４１】
撮影部３３は、例えばカメラにより構成される。カメラの数は、任意に設定することができる。撮影部３３は、ユーザの周囲（ユーザを含む）を撮影し、撮影の結果得られる画像を示す画像データをプロセッサ３８に供給したり、記憶部３９に記憶させたりする。
【００４２】
表示部３４は、例えばディスプレイにより構成される。ディスプレイの数は、任意に設定することができる。表示部３４は、プロセッサ３８から供給される画像データに基づく画像を表示する。
【００４３】
生体情報取得部３５は、各種の人の生体情報を取得するデバイスやセンサ等により構成される。生体情報取得部３５が取得する生体情報には、例えば、ユーザの体調、集中度及び緊張度等を検出するのに用いられるデータ（例えば、心拍、脈拍、発汗量、脳波、体温等）が含まれる。生体情報取得部３５は、取得した生体情報をプロセッサ３８に供給したり、記憶部３９に記憶させたりする。
【００４４】
操作部３６は、各種の操作部材により構成され、クライアント１１の操作に用いられる。
【００４５】
通信部３７は、各種の通信デバイスにより構成される。通信部３７の通信方式は特に限定されるものではなく、無線通信又は有線通信のいずれでもよい。また、通信部３７が、複数の通信方式に対応していてもよい。通信部３７は、ネットワーク１３を介してサーバ１２と通信を行う。通信部３７は、サーバ１２から受信したデータをプロセッサ３８に供給したり、記憶部３９に記憶させたりする。
【００４６】
プロセッサ３８は、クライアント１１の各部の制御を行ったり、通信部３７及びネットワーク１３を介して、サーバ１２とデータの送受信を行ったりする。また、プロセッサ３８は、サーバ１２から取得したＴＴＳデータに基づいて音声合成を行い（ＴＴＳデータの再生処理を行い）、得られた合成音声を示す音声データを生成し、音声出力部３１に供給する。
【００４７】
記憶部３９は、クライアント１１の処理に必要なプログラム、データ等を記憶する。
【００４８】
サーバ１２は、クライアント１１からの要求に従ってＴＴＳデータを生成し、生成したＴＴＳデータを、ネットワーク１３を介してクライアント１１に送信する。サーバ１２は、通信部５１、知識データベース５２、言語データベース５３、記憶部５４、コンテキスト解析部５５、言語解析部５６、音声出力制御部５７、及び、学習部５８を備える。
【００４９】
通信部５１は、各種の通信デバイスにより構成される。通信部５１の通信方式は特に限定されるものではなく、無線通信又は有線通信のいずれでもよい。また、通信部５１が、複数の通信方式に対応していてもよい。通信部５１は、ネットワーク１３を介してクライアント１１と通信を行う。通信部５１は、クライアント１１から受信したデータをサーバ１２内の各部に供給したり、記憶部５４に記憶させたりする。
【００５０】
知識データベース５２は、各種の知識に関するデータを格納する。例えば、知識データベース５２は、ＴＴＳデータに基づく合成音声の背景で流すＢＧＭに使用可能な楽曲に関するデータを格納する。
【００５１】
言語データベース５３は、各種の言語に関するデータを格納する。例えば、言語データベース５３は、言葉の言い回しに関するデータ等を格納する。
【００５２】
記憶部５４は、サーバ１２の処理に必要なプログラム、データ等を記憶する。例えば、記憶部５４は、クライアント１１に提供するＴＴＳデータにより再生される対象となるテキストを記憶する。
【００５３】
コンテキスト解析部５５は、クライアント１１から取得したデータ等に基づいて、視線認識処理、画像認識処理、音声認識処理等を行い、クライアント１１において合成音声を出力するときのコンテキストの解析を行う。コンテキスト解析部５５は、解析結果を音声出力制御部５７及び学習部５８に供給したり、記憶部５４に記憶させたりする。
【００５４】
なお、合成音声を出力するときのコンテキストには、例えば、合成音声を出力する対象となるユーザの状態、ユーザの特性、合成音声が出力される環境、合成音声の特性等が含まれる。
【００５５】
言語解析部５６は、合成音声により出力するテキストの言語解析を行い、テキストの特性等を検出する。言語解析部５６は、解析結果を音声出力制御部５７及び学習部５８に供給したり、記憶部５４に記憶させたりする。
【００５６】
音声出力制御部５７は、知識データベース５２及び言語データベース５３に記憶されているデータ、コンテキスト解析部５５による解析結果、言語解析部５６による解析結果、並びに、学習部５８による学習結果等に基づいて、クライアント１１で使用するＴＴＳデータを生成する。音声出力制御部５７は、生成したＴＴＳデータを、通信部５１を介してクライアント１１に送信する。
【００５７】
また、音声出力制御部５７は、コンテキスト及びテキストの特性に基づいて、合成音声の出力モードを通常モード又はアテンションモードに設定する。通常モードとは、標準的な出力態様で合成音声を出力するモードである。アテンションモードとは、通常モードとは異なる出力態様で合成音声を出力し、ユーザの意識を合成音声に向けるように促すモードである。音声出力制御部５７は、各出力モードに対応したＴＴＳデータを生成し、クライアント１１に提供することにより、各出力モードで合成音声が出力されるようにクライアント１１を制御する。
【００５８】
学習部５８は、コンテキスト解析部５５による解析結果、及び、言語解析部５６による解析結果等に基づいて、各ユーザの特性等を学習する。学習部５８は、学習結果を記憶部５４に記憶させる。
【００５９】
なお、以下、クライアント１１（通信部３７）とサーバ１２（通信部５１）がネットワーク１３を介して通信を行う場合の”ネットワーク１３を介して”の記載は省略する。
【００６０】
＜１−２．クライアントのプロセッサにより実現される機能の一部の例＞
図２は、クライアント１１のプロセッサ３８により実現される機能の一部の例を示している。例えば、プロセッサ３８が所定の制御プログラムを実行することにより、音声合成部１０１及びコンテキストデータ取得部１０２を含む機能が実現される。
【００６１】
音声合成部１０１は、サーバ１２から取得したＴＴＳデータに基づいて音声合成を行い、得られた合成音声を示す音声データを音声出力部３１に供給する。
【００６２】
コンテキストデータ取得部１０２は、合成音声を出力するときのコンテキストに関するデータを取得し、取得したデータに基づいて、コンテキストデータを生成する。コンテキストデータには、例えば、音声入力部３２により収集される音声に基づくデータ、撮影部３３により撮影される画像に基づくデータ、及び、生体情報取得部３５により取得される生体情報に基づくデータが含まれる。
【００６３】
ここで、音声に基づくデータには、例えば、音声データ自身、音声データから抽出される特徴量を表すデータ、及び、音声データの解析結果を示すデータのうちいくつかが含まれる。画像に基づくデータには、例えば、画像データ自身、画像データから抽出される特徴量を表すデータ、及び、画像データの解析結果を示すデータのうちいくつかが含まれる。生体情報に基づくデータには、例えば、生体情報自身、生体情報から抽出される特徴量を表すデータ、及び、生体情報の解析結果を示すデータのうちいくつかが含まれる。
【００６４】
コンテキストデータ取得部１０２は、生成したコンテキストデータを、通信部３７を介してサーバ１２に送信する。
【００６５】
＜１−３．情報処理システム１０の処理＞
次に、図３乃至図１４を参照して、情報処理システム１０の処理について説明する。なお、以下、適宜、図３に示されるテキストを音声に変換して出力する場合を例に挙げながら説明する。このテキストは、２００８年１１月４日にアメリカのイリノイ州シカゴで行われたオバマ大統領のスピーチの一部である。
【００６６】
（合成音声出力処理）
まず、図４のフローチャートを参照して、クライアント１１により実行される合成音声出力処理について説明する。この処理は、例えば、ユーザがクライアント１１の操作部３６を介して、合成音声の出力を開始する操作を行ったとき開始される。
【００６７】
ステップＳ１において、音声合成部１０１は、ＴＴＳデータの送信を要求する。具体的には、音声合成部１０１は、ＴＴＳデータの送信を要求するためのコマンドであるＴＴＳデータ送信要求を生成し、通信部３７を介してサーバ１２に送信する。
【００６８】
ＴＴＳデータ送信要求には、例えば、ＴＴＳデータの再生に用いるクライアント１１の種類及びアプリケーションプログラム（以下、ＡＰＰと称する）の種類、ユーザ属性情報等が含まれる。ユーザ属性情報には、例えば、ユーザの年齢、性別、住所、職業、国籍等が含まれる。或いは、ユーザ属性情報には、例えば、ユーザを一意に識別し、サーバ１２が保持するユーザの属性情報と関連付けることが可能なユーザＩＤが含まれる。
【００６９】
サーバ１２は、後述する図５のステップＳ５１において、ＴＴＳデータ送信要求を受信し、ステップＳ５９において、ＴＴＳデータを送信する。
【００７０】
ステップＳ２において、クライアント１１は、コンテキストに関するデータの取得を開始する。具体的には、音声入力部３２は、ユーザの周囲の音声を収集し、得られた音声データをコンテキストデータ取得部１０２に供給する処理を開始する。撮影部３３は、ユーザの周囲を撮影し、得られた画像データをコンテキストデータ取得部１０２に供給する処理を開始する。生体情報取得部３５は、ユーザの生体情報を取得し、コンテキストデータ取得部１０２に供給する処理を開始する。
【００７１】
コンテキストデータ取得部１０２は、取得した音声データ、画像データ、及び、生体情報に基づいてコンテキストデータを生成し、通信部３７を介してサーバ１２に送信する処理を開始する。
【００７２】
サーバ１２は、後述する図５のステップＳ５２において、コンテキストデータを受信する。
【００７３】
ステップＳ３において、音声合成部１０１は、ＴＴＳデータを受信したか否かを判定する。音声合成部１０１は、サーバ１２から送信されたＴＴＳデータを、通信部３７を介して受信した場合、ＴＴＳデータを受信したと判定し、処理はステップＳ４に進む。
【００７４】
ステップＳ４において、クライアント１１は、ＴＴＳデータに基づいて合成音声を出力する。具体的には、音声合成部１０１は、ＴＴＳデータに基づいて音声合成を行い、得られた合成音声を示す音声データを音声出力部３１に供給する。音声出力部３１は、音声データに基づいて合成音声を出力する。
【００７５】
ステップＳ５において、音声合成部１０１は、合成音声の出力の停止が指令されたか否かを判定する。合成音声の出力の停止が指令されていないと判定された場合、処理はステップＳ３に戻る。
【００７６】
その後、ステップＳ３において、ＴＴＳデータを受信しなかったと判定されるか、ステップＳ５において、合成音声の出力の停止が指令されたと判定されるまで、ステップＳ３乃至Ｓ５の処理が繰り返し実行される。
【００７７】
一方、ステップＳ５において、音声合成部１０１は、例えば、ユーザがクライアント１１の操作部３６を介して、合成音声の出力を停止する操作を行ったとき、合成音声の出力の停止が指令されたと判定し、処理はステップＳ６に進む。
【００７８】
ステップＳ６において、音声合成部１０１は、ＴＴＳデータの送信の停止を要求する。具体的には、音声合成部１０１は、ＴＴＳデータの送信の停止を要求するコマンドであるＴＴＳデータ送信停止要求を生成し、通信部３７を介してサーバ１２に送信する。
【００７９】
サーバ１２は、後述する図５のステップＳ６２において、クライアント１１からＴＴＳデータ送信停止要求を受信する。
【００８０】
その後、合成音声出力処理は終了する。
【００８１】
一方、ステップＳ３において、ＴＴＳデータを受信しなかったと判定された場合、合成音声出力処理は終了する。
【００８２】
（合成音声出力制御処理）
次に、図５のフローチャートを参照して、図４の合成音声出力処理に対応して、サーバ１２により実行される合成音声出力制御処理について説明する。
【００８３】
ステップＳ５１において、通信部５１は、ＴＴＳデータの送信の要求を受ける。すなわち、通信部５１は、クライアント１１から送信されたＴＴＳデータ送信要求を受信する。通信部５１は、ＴＴＳデータ送信要求をコンテキスト解析部５５及び音声出力制御部５７に供給する。
【００８４】
ステップＳ５２において、サーバ１２は、コンテキストの解析を開始する。具体的には、通信部５１は、クライアント１１からコンテキストデータを受信し、コンテキスト解析部５５に供給する処理を開始する。
【００８５】
コンテキスト解析部５５は、ＴＴＳデータ送信要求及びコンテキストデータに基づいて、コンテキストの解析を開始する。
【００８６】
例えば、コンテキスト解析部５５は、ＴＴＳデータ送信要求に含まれるユーザ属性情報、並びに、コンテキストデータに含まれる音声データ及び画像データに基づいて、ユーザの特性の解析を開始する。ユーザの特性には、例えば、ユーザの属性、嗜好、能力、集中力等が含まれる。ユーザの属性には、例えば、性別、年齢、住所、職業、国籍等が含まれる。
【００８７】
また、コンテキスト解析部５５は、コンテキストデータに含まれる音声データ、画像データ、及び、生体情報に基づいて、ユーザの状態の解析を開始する。ユーザの状態には、例えば、視線の方向、行動、表情、緊張度、集中度、発話内容、体調等が含まれる。
【００８８】
さらに、コンテキスト解析部５５は、ＴＴＳデータ送信要求に含まれるクライアント１１の種類及びＡＰＰの種類に関する情報、並びに、コンテキストデータに含まれる音声データ及び画像データに基づいて、合成音声が出力される環境の解析を開始する。合成音声が出力される環境には、例えば、ユーザの周囲の環境、合成音声を出力するクライアント１１、合成音声を出力するＡＰＰ等が含まれる。ユーザの周囲の環境には、例えば、ユーザの現在位置、ユーザの周囲の人物や物体の状態、ユーザの周囲の明るさ、ユーザの周囲の音声等が含まれる。
【００８９】
また、コンテキスト解析部５５は、解析結果を音声出力制御部５７及び学習部５８に供給したり、記憶部５４に記憶させたりする処理を開始する。
【００９０】
ステップＳ５３において、音声出力制御部５７は、通常モードに設定する。
【００９１】
ステップＳ５４において、サーバ１２は、アテンションモードへの移行条件を設定する。具体的には、コンテキスト解析部５５は、例えば、ユーザの集中力、及び、必要とされる集中力を推定する。
【００９２】
例えば、コンテキスト解析部５５は、ユーザの集中力に対する学習結果が記憶部５４に記憶されている場合、その学習結果に基づいて、ユーザの集中力を推定する。
【００９３】
一方、コンテキスト解析部５５は、ユーザの集中力に対する学習結果が記憶部５４に記憶されていない場合、ユーザの属性等に基づいて、ユーザの集中力を推定する。例えば、コンテキスト解析部５５は、ユーザの年齢に基づいて、ユーザの集中力を推定する。例えば、ユーザが子供である場合、集中力は低く推定される。また、例えば、コンテキスト解析部５５は、ユーザの職業に基づいて、ユーザの集中力を推定する。例えば、ユーザが集中力を要する仕事に従事している場合、集中力は高く推定される。
【００９４】
さらに、コンテキスト解析部５５は、コンテキストの解析結果等に基づいて、集中力の推定結果を補正する。例えば、コンテキスト解析部５５は、ユーザの体調が良好である場合、集中力を高く補正し、ユーザの体調が悪い場合、集中力を低く補正する。また、例えば、コンテキスト解析部５５は、ユーザの周囲が集中しやすい環境（例えば、静かな場所、周囲に人がいない場所等）である場合、集中力を高く補正する。一方、コンテキスト解析部５５は、ユーザの周囲が集中しづらい環境（例えば、騒々しい場所、周囲に人がいる場所等）である場合、集中力を低く補正する。さらに、例えば、コンテキスト解析部５５は、ユーザが使用しているＡＰＰがユーザの嗜好度が高いコンテンツを扱う場合（例えば、ユーザの趣味のコンテンツを扱うＡＰＰの場合）、集中力を高く補正する。一方、コンテキスト解析部５５は、ユーザが使用しているＡＰＰがユーザの嗜好度が低いコンテンツを扱う場合（例えば、各種の資格や教科の学習用のＡＰＰである場合）、集中力を低く補正する。
【００９５】
また、例えば、コンテキスト解析部５５は、ユーザが使用しているＡＰＰに基づいて、必要とされる集中力を推定する。例えば、ユーザが天気予報のＡＰＰを使用している場合、天気予報は内容を把握するのにそれほど集中力を要さず、一部を聞き逃してもあまり影響がない。従って、この場合、必要とされる集中力は低く推定される。一方、ユーザが各種の資格や教科の学習用のＡＰＰを使用している場合、学習には集中力が必要とされ、一部を聞き逃すと内容を理解できなくなる可能性が高い。従って、この場合、必要とされる集中力は高く推定される。
【００９６】
コンテキスト解析部５５は、ユーザの集中力、及び、必要とされる集中力の推定結果を音声出力制御部５７に供給する。
【００９７】
音声出力制御部５７は、ユーザの集中力、及び、必要とされる集中力の推定結果に基づいて、アテンションモードへの移行条件を設定する。例えば、音声出力制御部５７は、ユーザの集中力が高いほど、又は、必要とされる集中力が低いほど、アテンションモードへの移行条件を厳しくして、アテンションモードに移行しにくくする。一方、音声出力制御部５７は、ユーザの集中力が低いほど、又は、必要とされる集中力が高いほど、アテンションモードへの移行条件を緩くして、アテンションモードに移行しやすくする。
【００９８】
なお、ステップＳ５４において、音声出力制御部５７は、ユーザやコンテキスト等によらずに、一律に標準的な移行条件に設定するようにしてもよい。
【００９９】
ステップＳ５５において、音声出力制御部５７は、出力するテキストがあるか否かを判定する。例えば、音声出力制御部５７は、１回目のステップＳ５５の処理において、合成音声により出力されるテキスト（以下、出力対象テキストと称する）を、記憶部５４に記憶されているテキストの中から検索する。音声出力制御部５７は、出力対象テキストが見つかった場合、出力するテキストがあると判定し、処理はステップＳ５６に進む。
【０１００】
また、例えば、音声出力制御部５７は、２回目以降のステップＳ５５の処理において、出力対象テキストのうち未出力の部分が残っている場合、出力するテキストがあると判定し、処理はステップＳ５６に進む。
【０１０１】
ステップＳ５６において、音声出力制御部５７は、新たに出力する部分を設定する。具体的には、音声出力制御部５７は、出力対象テキストの未出力の部分の先頭から所定の位置までの部分を新たに出力する部分（以下、新規出力部分と称する）に設定する。なお、新規出力部分は、例えば、文章単位、節単位、又は、単語単位で設定される。
【０１０２】
ステップＳ５７において、言語解析部５６は、テキストの解析を行う。具体的には、音声出力制御部５７は、出力対象テキストの新規出力部分を言語解析部５６に供給する。言語解析部５６は、新規出力部分の言語解析を行う。例えば、言語解析部５６は、形態素解析、自立語解析、複合語解析、句解析、係り受け解析、意味解析等を行う。このとき、言語解析部５６は、必要に応じて出力対象テキストの出力済みの部分や、新規出力部分の後の部分を参照してもよい。これにより、言語解析部５６は、出力対象テキストの内容や特徴量等を把握する。
【０１０３】
また、言語解析部５６は、解析結果に基づいて、出力対象テキストの難易度の解析を行う。出力対象テキストの難易度には、内容の難易度、及び、使用している単語や文章の長さ等に基づく文章の難易度が含まれる。
【０１０４】
なお、言語解析部５６は、出力対象テキストの難易度について、ユーザの能力等に応じて相対的な評価を行うようにしてもよいし、ユーザの能力等に関わらず絶対的な評価を行うようにしてもよい。
【０１０５】
例えば、前者の場合、ユーザの専門分野やユーザの好きな分野に関するテキストの難易度は低くなり、ユーザの専門以外の分野やユーザの嫌いな分野に関するテキストの難易度は高くなる。また、例えば、ユーザの年齢や学歴等に応じて、テキストの難易度は変化する。さらに、例えば、ユーザの母国語と同じ言語のテキストの難易度は低くなり、ユーザの母国語と異なる言語のテキストの難易度は高くなる。
【０１０６】
言語解析部５６は、解析結果を音声出力制御部５７及び学習部５８に供給する。
【０１０７】
ステップＳ５８において、音声出力制御部５７は、ＴＴＳデータ生成処理を行う。ここで、図６のフローチャートを参照して、ＴＴＳデータ生成処理の詳細について説明する。
【０１０８】
ステップＳ１０１において、音声出力制御部５７は、アテンションモードに設定されているか否かを判定する。アテンションモードに設定されていないと判定された場合、処理はステップＳ１０２に進む。
【０１０９】
ステップＳ１０２において、音声出力制御部５７は、アテンションモードに移行するか否かを判定する。音声出力制御部５７は、アテンションモードへの移行条件が満たされている場合、アテンションモードに移行すると判定し、処理はステップＳ１０３に進む。
【０１１０】
なお、アテンションモードへの移行条件は、例えば、コンテキスト及びテキストの特性のうち少なくとも一方に基づいて設定される。例えば、以下は、アテンションモードへの移行条件の例である。
【０１１１】
・ユーザの意識が合成音声に向いていない。
・合成音声の変化が少ない。これは、合成音声の変化が少なく単調である場合、ユーザの注意が散漫になる可能性が高いためである。
・テキストの特徴量が大きい。これは、テキストの特徴量が大きい部分は、情報量が多かったり、重要度が高かったりする可能性が高く、ユーザが合成音声に注意を向ける必要性が高いからである。
・テキストの特徴量が小さい状態が継続している。これは、テキストの特徴量が小さい部分は、情報量が少なかったり、重要度が低かったりする可能性が高く、ユーザの注意が散漫になる可能性が高いためである。
【０１１２】
例えば、音声出力制御部５７は、ユーザの集中度又は緊張度が所定の閾値以下の状態が所定の規定時間以上継続している場合、ユーザの意識が合成音声に向いていないと判定する。或いは、音声出力制御部５７は、ユーザの視線がクライアント１１の方向を向いていない状態が所定の規定時間以上継続している場合、ユーザの意識が合成音声に向いていないと判定する。或いは、音声出力制御部５７は、ユーザの居眠りが検出された場合、ユーザの意識が合成音声に向いていないと判定する。
【０１１３】
また、例えば、音声出力制御部５７は、ＴＴＳデータにより生成される合成音声の特性（例えば、速度、ピッチ、抑揚、音量等）を表す各パラメータ（以下、特性パラメータと称する）の変化量がそれぞれ所定の範囲内である状態が所定の規定時間以上継続している場合、合成音声の変化が少ないと判定する。或いは、音声出力制御部５７は、単純に通常モードが所定の規定時間以上継続している場合、合成音声の変化が少ないと判定する。
【０１１４】
さらに、例えば、音声出力制御部５７は、出力対象テキストの新規出力部分の特徴量が所定の第１の閾値以上である場合、テキストの特徴量が大きいと判定する。
【０１１５】
なお、テキストの特徴量は、例えば、以下の場合に高くなる。
【０１１６】
・"The glistering snow covered the field."の"The glistering snow"のような名詞句が含まれる場合
・"What are those birds?"のように、５Ｗ１Ｈを表す単語が含まれる疑問文である場合
・"The Thames is the river which flows through London"の"river"と"which flows through London"のように係り受けの関係がある場合
・話している内容に対する話し手の判断や感じ方を表す言語表現（モダリティ）を含む場合
【０１１７】
また、例えば、音声出力制御部５７は、出力対象テキストの新規出力部分の特徴量が所定の第２の閾値未満である場合、テキストの特徴量が小さいと判定する。なお、この第２の閾値は、上述した第１の閾値より小さい値に設定される。また、音声出力制御部５７は、出力対象テキストの特徴量が第２の閾値未満である状態が所定の時間以上継続した場合に、テキストの特徴量が小さいと判定するようにしてもよい。
【０１１８】
なお、上記の判定条件の閾値、規定時間、変動範囲が、例えば、上述したステップＳ５４、及び、後述するステップＳ６１において調整される。
【０１１９】
また、以上のアテンションモードへの移行条件は、その一例であり、他の移行条件を追加したり、いくつかを削除したりすることも可能である。また、複数の移行条件を用いる場合、そのうちのいくつかの移行条件が満たされた場合に、アテンションモードに移行するようにしてもよいし、少なくとも１つの移行条件が満たされた場合に、アテンションモードに移行するようにしてもよい。
【０１２０】
ステップＳ１０３において、音声出力制御部５７は、アテンションモードに設定する。
【０１２１】
その後、処理はステップＳ１０６に進む。
【０１２２】
一方、ステップＳ１０２において、音声出力制御部５７は、アテンションモードへの移行条件が満たされていない場合、アテンションモードに移行しないと判定し、ステップＳ１０３の処理はスキップされ、通常モードのまま、処理はステップＳ１０６に進む。
【０１２３】
また、ステップＳ１０１において、アテンションモードに設定されていると判定された場合、処理はステップＳ１０４に進む。
【０１２４】
ステップＳ１０４において、音声出力制御部５７は、アテンションモードを解除するか否かを判定する。例えば、音声出力制御部５７は、コンテキスト解析部５５による解析結果に基づいて、ユーザの意識が合成音声に向いている状態が検出された場合、アテンションモードを解除すると判定し、処理はステップＳ１０５に進む。
【０１２５】
例えば、ユーザの意識が合成音声に向いている状態として、以下の例が挙げられる。
【０１２６】
・ユーザが、「ん？」や「何だ？」のようなアテンションモードに対する反応を示す音声を発した場合
・ユーザの視線がクライアント１１（例えば、音声出力部３１や表示部３４）の方向に向いた場合
【０１２７】
なお、音声出力制御部５７は、ユーザの意識が合成音声に向いている状態が検出されなくても、アテンションモードが所定の規定時間以上継続した場合、アテンションモードを解除すると判定し、処理はステップＳ１０５に進む。
【０１２８】
ステップＳ１０５において、音声出力制御部５７は、通常モードに設定する。これにより、アテンションモードが解除される。
【０１２９】
その後、処理はステップＳ１０６に進む。
【０１３０】
一方、ステップＳ１０４において、音声出力制御部５７は、ユーザの意識が合成音声に向いている状態が検出されておらず、かつ、アテンションモードがまだ所定の規定時間以上継続していない場合、アテンションモードを解除しないと判定する。そして、ステップＳ１０５の処理はスキップされ、アテンションモードに設定されたまま、処理はステップＳ１０６に進む。
【０１３１】
ステップＳ１０６において、音声出力制御部５７は、アテンションモードに設定されているか否かを判定する。アテンションモードに設定されていないと判定された場合、処理はステップＳ１０７に進む。
【０１３２】
ステップＳ１０７において、音声出力制御部５７は、通常モードに従ってＴＴＳデータを生成する。具体的には、音声出力制御部５７は、出力対象テキストの新規出力部分の合成音声を生成するためのＴＴＳデータを生成する。このとき、音声出力制御部５７は、速度、ピッチ、抑揚、音量等の特性パラメータを所定の標準値に設定する。
【０１３３】
その後、処理はステップＳ１０９に進む。
【０１３４】
一方、ステップＳ１０６において、アテンションモードに設定されていると判定された場合、処理はステップＳ１０８に進む。
【０１３５】
ステップＳ１０８において、音声出力制御部５７は、アテンションモードに従ってＴＴＳデータを生成する。具体的には、音声出力制御部５７は、出力対象テキストの新規出力部分の合成音声を生成するためのＴＴＳデータを生成する。このとき、音声出力制御部５７は、通常モードとは異なる出力態様で合成音声が出力されるようにＴＴＳデータを生成する。これにより、アテンションモードにおける合成音声の出力態様が通常モードから変化し、ユーザの注意を引くことができる。
【０１３６】
ここで、合成音声の出力態様の変更方法の例を示す。合成音声の出力態様の変更方法には、例えば、合成音声の特性を変更する方法、合成音声に対する効果を変更する方法、合成音声の背景のＢＧＭを変更する方法、合成音声により出力されるテキストを変更する方法、合成音声を出力するクライアントの動作を変更する方法等がある。
【０１３７】
以下は、合成音声の特性の変更方法の例である。
【０１３８】
・合成音声の速度、ピッチ、音量、抑揚等の特性を変更する。
【０１３９】
以下は、合成音声に対する効果の変更方法の例である。
【０１４０】
・合成音声にエコーをかける。
・合成音声を不協和音で出力する。
・合成音声の話者の設定（例えば、性別、年齢、声質等）を変更する。
・合成音声に間（ポーズ）を挿入する。例えば、名詞句の途中や接続詞の後に、一定時間の間を挿入する。
・合成音声により出力されるテキスト内の特定の言葉を繰り返す。
【０１４１】
なお、特定の言葉を繰り返す場合、出力対象テキストの新規出力部分において繰り返す言葉の数の上限値（以下、最大リピート対象数と称する）、繰り返す言葉（以下、リピート対象と称する）、リピート対象を繰り返す回数（以下、リピート回数と称する）、リピート対象を繰り返す方法（以下、リピート方法と称する）等が設定される。
【０１４２】
最大リピート対象数は、例えば、ユーザ、出力対象テキストの言語解析の結果、合成音声の出力時間等に基づいて設定される。例えば、最大リピート対象数は、３個を上限として、出力対象テキストの新規出力部分の主要品詞の数に応じて設定される。或いは、最大リピート対象数は、出力対象テキストの新規出力部分の合成音声の出力時間が３０秒以上である場合、３個に設定される。或いは、最大リピート対象数は、出力対象テキストの新規出力部分において、１０秒に１個の頻度で設定される。
【０１４３】
或いは、ユーザが所定の年齢以下の子供である場合、最大リピート対象数は無制限に設定され、出力対象テキストの新規出力部分の全ての名詞がリピート対象に設定される。また、ユーザが所定の年齢以上の老人である場合、最大リピート対象数は、１個に設定される。さらに、ユーザが子供及び老人以外である場合、最大リピート対象数は３個に設定される。
【０１４４】
リピート対象は、例えば、名詞、固有名詞、動詞、自立語等の中から設定される。或いは、リピート対象は、合成音声に間が挿入される場合、間の直後の言葉に設定される。
【０１４５】
リピート回数は、例えば、リピート対象の品詞等に基づいて設定される。例えば、リピート対象が名詞句又は固有名詞を含む場合、リピート回数は３回に設定される。或いは、リピート回数は、例えば、ユーザが子供の場合、２回に設定され、ユーザが老人の場合、３回に設定され、ユーザが子供及び老人以外の場合、１回に設定される。
【０１４６】
リピート方法は、例えば、以下のように設定される。
【０１４７】
・リピート対象の前に間を挿入する。
・リピート対象の後に言葉を付加する。例えば、”山田さん”がリピート対象である場合、”山田さんだよ”、”山田さんね”のように、”山田さん”の後に、助詞、助動詞、感嘆詞等が付加される。
・リピート対象を前後の言葉と異なる特性で出力する。例えば、リピート対象の音量が大きくされたり、ピッチが高くされたり、速度が遅くされたりする。
【０１４８】
以下は、ＢＧＭの変更方法の例である。
【０１４９】
・ＢＧＭを開始又は停止する。
・ＢＧＭを変更する。
【０１５０】
なお、ＢＧＭを開始又は変更する場合、例えば、ユーザの嗜好や属性等に応じてＢＧＭが選択される。例えば、ユーザの好きなアーティストの楽曲や、ユーザが良く聴く楽曲がＢＧＭに選択される。或いは、ユーザの年代に応じた楽曲がＢＧＭに選択される。或いは、ユーザの青春時代の流行歌がＢＧＭに選択される。或いは、ユーザが子供の場合、流行している番組のテーマソングがＢＧＭに選択される。
【０１５１】
以下は、合成音声により出力されるテキストの変更方法の例である。
【０１５２】
・ユーザに応じた言い回しを付加する。例えば、ユーザが子供であれば、名詞に擬声語や擬態語が付加される。例えば、”かわいい犬がいます。”というテキストに対して、”かわいいぷよぷよの犬がいます。”といったように、”ぷよぷよの”という擬態語が付加される。なお、例えば、付加した擬態語や擬声語の音量を上げるようにしてもよい。
【０１５３】
以下は、合成音声を出力するクライアント１１の動作の変更方法の例である。
【０１５４】
・合成音声を出力するクライアント１１の本体又は付属物（例えば、コントローラ等）を振動させる。
【０１５５】
なお、上述した合成音声の出力態様の変更方法は、個別に実施してもよいし、複数の変更方法を組み合わせて実施してもよい。また、１回のアテンションモードにおいて、変更方法を切り替えたり、各変更方法におけるパラメータ（例えば、特性パラメータ）を変化させたりしてもよい。
【０１５６】
また、実施する出力態様の変更方法は、例えば、コンテキストに基づいて選択される。
【０１５７】
例えば、ユーザの周囲がざわついている場合、合成音声の音量を大きくする方法が選択される。例えば、ユーザの周囲がざわついていて、ユーザが他の人と話している場合、クライアント１１を振動させる方法が選択される。例えば、ユーザの周囲が静かであるが、ユーザがクライアント１１の方向を向いていない場合、出力対象テキストの新規出力部分の名詞句の途中まで出力した時点で一定時間の間を挿入する方法が選択される。例えば、ユーザが小学生である場合、出力対象テキストの新規出力部分の名詞を含む部分をリピート対象に設定し、リピート対象の発話速度を遅くする方法が選択される。
【０１５８】
或いは、実施する出力態様の変更方法は、各変更方法に対するユーザの反応の学習結果に基づいて選択される。例えば、過去の学習処理によりユーザの反応が高い変更方法ほど、優先して選択される。これにより、各ユーザに対してより効果的な変更方法が選択される。
【０１５９】
或いは、実施する出力態様の変更方法は、アテンションモードの移行回数や移行頻度に基づいて選択される。例えば、アテンションモードの移行回数や移行頻度が大きく、ユーザの意識がなかなか合成音声に向かない場合、出力態様の変化がより大きく、ユーザがより気付きやすい方法が選択される。
【０１６０】
図７は、図３のテキストのうちの"I miss them tonight. I know that my debt to them is beyond measure."の部分の通常モード時とアテンションモード時のＳＳＬＭ（Speech Synthesis Markup Language）形式のＴＴＳデータの具体例を示している。図内の上側が通常モード時のＴＴＳデータを示し、下側がアテンションモード時のＴＴＳデータを示している。
【０１６１】
prosody rate（速さ）は、通常モード時に１に設定されているのに対し、アテンションモード時に０．８に設定され、遅くなっている。pitchは、通常モード時に１００に設定されているのに対し、アテンションモード時に１３０に設定され、高くなっている。volume（音量）は、通常モード時に４８に設定されているのに対し、アテンションモード時に２０に設定され、低くなっている。また、アテンションモード時に、"I miss them"と"tonight"の間に３０００ｍｓのbreak timeが設定され、３秒の間が挿入されている。さらに、"tonight"にphonemeが設定され、抑揚が付けられている。
【０１６２】
なお、アテンションモード時の合成音声の出力態様の変更は、ユーザの意識を合成音声に向けさせることが目的であるので、合成音声が不自然であったり、ユーザが聞き取りにくかったりしても構わない。
【０１６３】
その後、処理はステップＳ１０９に進む。
【０１６４】
ステップＳ１０９において、音声出力制御部５７は、ＴＴＳデータの特性パラメータを記憶する。すなわち、音声出力制御部５７は、生成したＴＴＳデータの新規出力部分の速度、ピッチ、抑揚、音量を含む特性パラメータの値を記憶部５４に記憶させる。
【０１６５】
その後、ＴＴＳデータ生成処理は終了する。
【０１６６】
図５に戻り、ステップＳ５９において、音声出力制御部５７は、ＴＴＳデータを送信する。すなわち、音声出力制御部５７は、出力対象テキストの新規出力部分のＴＴＳデータを、通信部５１を介して、クライアント１１に送信する。
【０１６７】
ステップＳ６０において、音声出力制御部５７は、アテンションモードへの移行条件を変更するか否かを判定する。
【０１６８】
例えば、音声出力制御部５７は、上述したステップＳ５４において推定したユーザの集中力と、現在のユーザの集中力との間の誤差が所定の閾値以上である場合、アテンションモードへの移行条件を変更すると判定する。ユーザの集中力の推定誤差が大きくなる要因としては、例えば、ユーザの体調や、時間の経過によるユーザの集中力の低下等が想定される。また、例えば、出力対象テキストの内容に対するユーザの嗜好度が想定される。例えば、出力対象テキストの内容に対するユーザの嗜好度が高いほど、ユーザの集中力は高くなり、ユーザの嗜好度が低いほど、ユーザの集中力は低くなる。
【０１６９】
また、例えば、音声出力制御部５７は、上述したステップＳ５４において推定した必要とされる集中力と、実際に必要とされる集中力との間の誤差が所定の閾値以上である場合、アテンションモードへの移行条件を変更すると判定する。必要とされる集中力の推定誤差が大きくなる要因としては、例えば、出力対象テキストの難易度等が想定される。例えば、出力対象テキストの難易度が高いほど、必要とされる集中力は高くなり、出力対象テキストの難易度が低いほど、必要とされる集中力は低くなる。
【０１７０】
また、例えば、音声出力制御部５７は、アテンションモードへの移行回数又は移行頻度が所定の閾値を超えた場合、アテンションモードへの移行条件を変更すると判定し、処理はステップＳ６１に進む。すなわち、アテンションモードへの移行が頻繁に行われると、ユーザに不快感を与えてしまうおそれがある。そのため、例えば、アテンションモードへの移行回数の上限値を設定し、アテンションモードに移行しないようにしたり、時間の経過につれてアテンションモードへの移行条件を緩くし、移行頻度を下げたりすることが考えられる。
【０１７１】
そして、アテンションモードの移行条件を変更すると判定された場合、処理はステップＳ６１に進む。
【０１７２】
ステップＳ６１において、音声出力制御部５７は、アテンションモードへの移行条件を変更する。例えば、音声出力制御部５７は、ユーザの集中力、及び、必要とされる集中力の再推定を行い、その推定結果に基づいて、アテンションモードへの移行条件を再設定する。
【０１７３】
また、例えば、音声出力制御部５７は、アテンションモードへの移行回数又は移行頻度に基づいて、アテンションモードへの移行条件を変更する。例えば、アテンションモードへの移行回数が所定の閾値（例えば、５０回／日）を超えている場合、以降、アテンションモードへの移行が禁止される。
【０１７４】
その後、処理はステップＳ６２に進む。
【０１７５】
一方、ステップＳ６０において、アテンションモードへの移行条件を変更しないと判定された場合、ステップＳ６１の処理はスキップされ、処理はステップＳ６２に進む。
【０１７６】
ステップＳ６２において、音声出力制御部５７は、ＴＴＳデータの送信の停止が要求されたか否かを判定する。ＴＴＳデータの送信の停止が要求されていないと判定された場合、処理はステップＳ５５に戻る。
【０１７７】
その後、ステップＳ５５において、出力するテキストがないと判定されるか、ステップＳ６１において、ＴＴＳデータの送信の停止が要求されたと判定されるまで、ステップＳ５５乃至Ｓ６１の処理が繰り返し実行される。
【０１７８】
これにより、ＴＴＳデータを生成し、クライアント１１に送信する処理が継続される。また、アテンションモードへの移行条件が満たされたとき、アテンションモードに移行し、アテンションモードの解除条件が満たされとき、通常モードに移行しながら、ＴＴＳデータが生成される。
【０１７９】
一方、１回目のステップＳ５５の処理において、音声出力制御部５７は、出力対象テキストが見つからなかった場合、出力するテキストがないと判定し、処理はステップＳ６３に進む。また、例えば、音声出力制御部５７は、２回目以降のステップＳ５５の処理において、出力対象テキストのうち未出力の部分が残っていない場合、出力するテキストがないと判定し、処理はステップＳ６３に進む。
【０１８０】
また、ステップＳ６２において、音声出力制御部５７は、クライアント１１から送信されたＴＴＳデータ送信停止要求を、通信部５１を介して受信した場合、ＴＴＳデータの送信の停止が要求されたと判定し、処理はステップＳ６３に進む。
【０１８１】
ステップＳ６３において、学習部５８は、学習処理を行う。例えば、学習部５８は、合成音声出力中のユーザの視線の方向、行動、緊張度及び集中度の履歴等に基づいて、ユーザの集中力の学習を行う。ユーザの集中力は、例えば、集中力の高さや継続時間等により表される。
【０１８２】
また、例えば、学習部５８は、出力対象テキストの特性、並びに、合成音声出力中のユーザの視線の方向、表情、行動、緊張度及び集中度の履歴等に基づいて、ユーザの嗜好の学習を行う。例えば、ユーザの集中力が高かった場合、そのときの出力対象テキストのコンテンツに対するユーザの嗜好度は高いと推定される。一方、ユーザの集中力が低かった場合、そのときの出力対象テキストのコンテンツに対するユーザの嗜好度は低いと推定される。
【０１８３】
さらに、例えば、学習部５８は、アテンションモード移行時のユーザの反応の有無や反応時間等に基づいて、合成音声の出力態様の各変更方法に対するユーザの反応の学習を行う。例えば、各変更方法に対して、ユーザがどの程度の確率及び時間で反応するかが学習される。
【０１８４】
学習部５８は、学習結果を記憶部５４に記憶させる。
【０１８５】
その後、ＴＴＳデータ提供処理は終了する。
【０１８６】
ここで、図８乃至図１４を参照して、アテンションモードの具体的なイメージについて説明する。
【０１８７】
まず、図８に示されるように、音声出力部３１から図３に示されるテキストの初めから合成音声が出力される。
【０１８８】
次に、図９に示されるように、"who I am"の部分までの合成音声が出力されたとき、ユーザ２０１が、ＴＶ２０２に映っているＴＶプログラムに興味が移り、ＴＶ２０１の方向を向いたとする。このとき、サーバ１２のコンテキスト解析部５５は、撮影部３３からの画像データに基づいて、ユーザ２０１の視線がＴＶ２０１の方向を向いていることを検出する。これにより、音声出力制御部５７は、出力モードを通常モードからアテンションモードに移行させる。
【０１８９】
そして、図１０に示されるように、次に音声出力部３１から出力される"I miss them tonight."の" I miss them"の部分の合成音声の音量が小さくなる。さらに、名詞句"them"が出力されてから次の"tonight"が出力されるまでの間に、所定の間隔が設けられる。このように合成音声の出力態様が変化することにより、ユーザ２０１が違和感を覚える。
【０１９０】
そして、次の"tonight"が引き続き小さな音で出力されたとき、ユーザ２０１が"what?"と呟いたとする。このとき、サーバ１２のコンテキスト解析部５５は、音声入力部３２からの音声データに基づいて、ユーザ２０１がアテンションモードに対して反応したことを検出する。その結果、音声出力制御部５７は、出力モードをアテンションモードから通常モードに戻す。
【０１９１】
次に、"I know that my debt to them is beyond measure."の部分までの合成音声が通常モードにより出力されたとき、再びユーザ２０１がＴＶプログラムに興味が移り、ＴＶ２０２の方向を向いたとする。その結果、再び出力モードが通常モードからアテンションモードに移行する。
【０１９２】
そして、次に、図１１に示されるように、出力されるテキストが変更されるとともに、テキスト内の特定の言葉が繰り返される。具体的には、"Maya"の前に"Mrs"が付加され、"Alma"の前に"Miss"が付加される。また、"Mrs Maya"及び"Miss Alma"の部分が２回繰り返される。さらに、繰り返される部分の音量が大きくなる。また、図１２に示されるように、１回目の"Mrs Maya"を出力してから２回目の"Mrs Maya"を出力するまでの間に、所定の間隔が設けられる。同様に、図１３に示されるように、１回目の"Miss Alma"を出力してから２回目の"Miss Alma"を出力するまでの間に、所定の間隔が設けられる。このように合成音声の出力態様が変化することにより、ユーザ２０１が再び違和感を覚える。
【０１９３】
そして、図１４に示されるように、"all my other brothers and sisters"が出力されたとき、ユーザ２０１の視線がＴＶ２０１からクライアント１１（音声出力部３１）の方向に向いたとする。このとき、サーバ１２のコンテキスト解析部５５は、撮影部３３からの画像データに基づいて、ユーザ２０１の視線がクライアント１１の方向を向いたことを検出する。これにより、音声出力制御部５７は、出力モードをアテンションモードから通常モードに戻す。
【０１９４】
そして、次のテキストの合成音声が通常モードで出力される。
【０１９５】
このように、コンテンツやテキストの特性等に基づいて、アテンションモードに移行し、通常モードと異なる出力態様で合成音声を出力することにより、ユーザの注意が喚起され、ユーザの意識が合成音声に向かう確率が高くなる。
【０１９６】
＜＜２．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。
【０１９７】
＜２−１．システムの構成例に関する変形例＞
図１の情報処理システム１０の構成例は、その一例であり、必要に応じて変更することが可能である。
【０１９８】
例えば、クライアント１１の機能の一部をサーバ１２に設けたり、サーバ１２の機能の一部をクライアント１１に設けたりすることが可能である。
【０１９９】
また、例えば、クライアント１１とサーバ１２を一体化し、１つの装置で上記の処理を行うことも可能である。
【０２００】
＜２−２．その他の変形例＞
例えば、音声出力制御部５７が、記憶部５４又は外部からＴＴＬデータを取得し、通常モードの場合、取得したＴＴＬデータを加工せずにクライアント１２に送信し、アテンションモードの場合、合成音声の出力態様を変更するように、取得したＴＴＬデータを加工して、クライアント１２に送信するようにしてもよい。
【０２０１】
＜２−３．コンピュータの構成例＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２０２】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２０３】
コンピュータにおいて、ＣＰＵ（Central Processing Unit）４０１，ＲＯＭ（Read Only Memory）４０２，ＲＡＭ（Random Access Memory）４０３は、バス４０４により相互に接続されている。
【０２０４】
バス４０４には、さらに、入出力インタフェース４０５が接続されている。入出力インタフェース４０５には、入力部４０６、出力部４０７、記憶部４０８、通信部４０９、及びドライブ４１０が接続されている。
【０２０５】
入力部４０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部４０７は、ディスプレイ、スピーカなどよりなる。記憶部４０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４０９は、ネットワークインタフェースなどよりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア４１１を駆動する。
【０２０６】
以上のように構成されるコンピュータでは、ＣＰＵ４０１が、例えば、記憶部４０８に記憶されているプログラムを、入出力インタフェース４０５及びバス４０４を介して、ＲＡＭ４０３にロードして実行することにより、上述した一連の処理が行われる。
【０２０７】
コンピュータ（ＣＰＵ４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２０８】
コンピュータでは、プログラムは、リムーバブルメディア４１１をドライブ４１０に装着することにより、入出力インタフェース４０５を介して、記憶部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記憶部４０８にインストールすることができる。その他、プログラムは、ＲＯＭ４０２や記憶部４０８に、あらかじめインストールしておくことができる。
【０２０９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２１０】
また、複数のコンピュータが連携して上述した処理を行うようにしてもよい。そして、上述した処理を行う単数又は複数のコンピュータにより、コンピュータシステムが構成される。
【０２１１】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２１２】
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２１３】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２１４】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２１５】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２１６】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０２１７】
また、例えば、本技術は以下のような構成も取ることができる。
（１）
テキストを音声に変換した合成音声を出力するときのコンテキストに基づいて、前記合成音声の出力態様を制御する音声出力制御部を
備える情報処理装置。
（２）
前記音声出力制御部は、前記コンテキストが所定の条件を満たした場合、前記合成音声の出力態様を変更する
前記（１）に記載の情報処理装置。
（３）
前記合成音声の出力態様の変更は、前記合成音声の特性、前記合成音声に対する効果、前記合成音声の背景のＢＧＭ（Back Ground Music）、前記合成音声により出力される前記テキスト、及び、前記合成音声を出力する装置の動作のうち少なくとも１つの変更を含む
前記（２）に記載の情報処理装置。
（４）
前記合成音声の特性は、速度、ピッチ、音量、及び、抑揚のうち少なくとも１つを含み、
前記合成音声に対する効果は、前記テキスト内の特定の言葉の繰り返し、及び、前記合成音声への間の挿入のうち少なくとも１つを含む
前記（３）に記載の情報処理装置。
（５）
前記音声出力制御部は、ユーザの意識が前記合成音声に向いていない状態が検出された場合、前記合成音声の出力態様を変更する
前記（２）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記音声出力制御部は、前記合成音声の出力態様を変更した後、ユーザの意識が前記合成音声に向いている状態が検出された場合、前記合成音声の出力態様を元に戻す
前記（２）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記音声出力制御部は、前記合成音声の特性の変化量が所定の範囲内である状態が所定の時間以上継続した場合、前記合成音声の出力態様を変更する
前記（２）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記音声出力制御部は、前記コンテキストに基づいて、前記合成音声の出力態様の変更方法を選択する
前記（２）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記合成音声の出力態様の変更方法に対するユーザの反応を学習する学習部を
さらに備え、
前記音声出力制御部は、前記ユーザの反応の学習結果に基づいて、前記合成音声の出力態様の変更方法を選択する
前記（２）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記音声出力制御部は、さらに前記テキストの特性に基づいて、前記合成音声の出力態様を制御する
前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記音声出力制御部は、前記テキストの特徴量が第１の閾値以上である場合、又は、前記テキストの特徴量が第２の閾値未満である場合、前記合成音声の出力態様を変更する
前記（１０）に記載の情報処理装置。
（１２）
前記音声出力制御部は、前記合成音声の生成に用いる音声制御データを他の情報処理装置に供給することにより、前記他の情報処理装置における前記合成音声の出力態様を制御する
前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記音声出力制御部は、前記他の情報処理装置から取得した前記コンテキストに関するコンテキストデータに基づいて、前記音声制御データを生成する
前記（１２）に記載の情報処理装置。
（１４）
前記コンテキストデータは、ユーザの周囲を撮影した画像に基づくデータ、前記ユーザの周囲の音声に基づくデータ、及び、前記ユーザの生体情報に基づくデータのうち少なくとも１つを含む
前記（１３）に記載の情報処理装置。
（１５）
前記コンテキストデータに基づいて、前記コンテキストを解析するコンテキスト解析部を
さらに含む前記（１３）又は（１４）に記載の情報処理装置。
（１６）
前記コンテキストは、ユーザの状態、前記ユーザの特性、前記合成音声が出力される環境、及び、前記合成音声の特性のうち少なくとも１つを含む
前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
前記合成音声が出力される環境は、前記ユーザの周囲の環境、前記合成音声を出力する装置、及び、前記合成音声を出力するアプリケーションプログラムのうち少なくとも１つを含む
前記（１６）に記載の情報処理装置。
（１８）
テキストを音声に変換した合成音声を出力するときのコンテキストに基づいて、前記合成音声の出力態様を制御する音声出力制御ステップを
含む情報処理方法。
（１９）
テキストを音声に変換した合成音声を出力するときのコンテキストに関するコンテキストデータを他の情報処理装置に送信し、前記コンテキストデータに基づいて出力態様が制御された前記合成音声の生成に用いる音声制御データを前記他の情報処理装置から受信する通信部と、
前記音声制御データに基づいて前記合成音声を生成する音声合成部と
を備える情報処理装置。
（２０）
テキストを音声に変換した合成音声を出力するときのコンテキストに関するコンテキストデータを他の情報処理装置に送信し、前記コンテキストデータに基づいて出力態様が制御された前記合成音声の生成に用いる音声制御データを前記他の情報処理装置から受信する通信ステップと、
前記音声制御データに基づいて前記合成音声を生成する音声合成ステップと
を含む情報処理方法。
【符号の説明】
【０２１８】
１０  情報処理システム，  １１  クライアント，  １２  サーバ，  ３１  音声出力部，  ３２  音声入力部，  ３３  撮影部，  ３４  表示部，  ３５  生体情報取得部，  ３８  プロセッサ，  ５５  コンテキスト解析部，  ５６  言語解析部，  ５７  音声出力制御部，  ５８  学習部，  １０１  音声合成部，  １０２  コンテキストデータ取得部
【図１】
2018030149.tif 000003
【図２】
2018030149.tif 000004
【図３】
2018030149.tif 000005
【図４】
2018030149.tif 000006
【図５】
2018030149.tif 000007
【図６】
2018030149.tif 000008
【図７】
2018030149.tif 000009
【図８】
2018030149.tif 000010
【図９】
2018030149.tif 000011
【図１０】
2018030149.tif 000012
【図１１】
2018030149.tif 000013
【図１２】
2018030149.tif 000014
【図１３】
2018030149.tif 000015
【図１４】
2018030149.tif 000016
【図１５】
2018030149.tif 000017
【国際調査報告】
2018030149.tif 000018
2018030149.tif 000019
2018030149.tif 000020
2018030149.tif 000021