(57)【要約】【課題】音声要素情報の収集におけるユーザの負担を軽減することが可能な仕組みを提供する。【解決手段】発話の際に取得される情報に基づいて話者を識別する話者識別部と、識別された前記話者と前記話者の音声に基づいて生成される音声要素情報との対応関係情報を生成する情報生成部と、を備える情報処理装置。プロセッサを用いて、発話の際に取得される情報に基づいて話者を識別することと、識別された前記話者と前記話者の音声に基づいて生成される音声要素情報との対応関係情報を生成することと、を含む情報処理方法。発話の際に取得される情報に基づいて話者を識別する話者識別機能と、識別された前記話者と前記話者の音声に基づいて生成される音声要素情報との対応関係情報を生成する情報生成機能と、をコンピュータに実現させるためのプログラム。【選択図】図４
2017156392.tif 000002
【特許請求の範囲】
【請求項１】
発話の際に取得される情報に基づいて話者を識別する話者識別部と、
識別された前記話者と前記話者の音声に基づいて生成される音声要素情報との対応関係情報を生成する情報生成部と、
を備える情報処理装置。
【請求項２】
前記発話の際に取得される情報は、発話の際の撮像により得られる第１の画像情報を含み、
前記話者識別部は、前記第１の画像情報に係る画像に映る前記話者を識別する、
請求項１に記載の情報処理装置。
【請求項３】
前記第１の画像情報に係る画像は、前記話者の音声を取得する音声取得部に向けて発話する前記話者が映る画像を含む、
請求項２に記載の情報処理装置。
【請求項４】
前記話者の発話内容は、前記情報処理装置への動作指示を含む、
請求項２に記載の情報処理装置。
【請求項５】
前記画像は、他者に向けて発話する前記話者が映る画像を含む、
請求項２に記載の情報処理装置。
【請求項６】
前記発話の際に取得される情報は、通話情報を含み、
前記話者識別部は、前記通話情報に基づいて前記話者を識別する、
請求項１に記載の情報処理装置。
【請求項７】
前記通話情報は、通話の発信情報または着信情報を含む、
請求項６に記載の情報処理装置。
【請求項８】
前記通話情報は、通話の音声情報を含む、
請求項６に記載の情報処理装置。
【請求項９】
前記情報生成部は、複数の前記話者と、前記複数の前記話者の各々の音声について生成される前記音声要素情報と、の前記対応関係情報をそれぞれ生成する、
請求項１に記載の情報処理装置。
【請求項１０】
前記情報生成部は、識別された前記話者の属性情報を取得し、
取得される前記属性情報に基づいて前記複数の前記話者の各々の音声を判別する、
請求項９に記載の情報処理装置。
【請求項１１】
前記属性情報は、通信を介して取得される、
請求項１０に記載の情報処理装置。
【請求項１２】
前記話者識別部は、前記話者の映る画像に基づいて前記話者の発話区間を推定する、
請求項１に記載の情報処理装置。
【請求項１３】
音声出力の対象データを取得するデータ取得部と、
前記対象データに基づいて前記話者を選択する話者選択部と、
選択される前記話者と前記対応関係情報とに基づいて、出力される合成音声に係る合成音声情報を生成する音声生成部と、
をさらに備える、
請求項１に記載の情報処理装置。
【請求項１４】
前記対象データは、テキスト情報を含み、
前記話者選択部は、前記テキスト情報に基づいて前記話者を選択し、
前記音声生成部は、選択された前記話者の前記音声要素情報を前記対応関係情報に基づいて取得し、取得される前記音声要素情報を用いて前記テキスト情報についての前記合成音声情報を生成する、
請求項１３に記載の情報処理装置。
【請求項１５】
前記対象データは、第２の画像情報を含み、
前記話者選択部は、前記第２の画像情報に基づいて前記話者を選択し、
前記音声生成部は、選択された前記話者の前記音声要素情報を前記対応関係情報に基づいて取得し、取得される前記音声要素情報を用いて前記第２の画像情報についての前記合成音声情報を生成する、
請求項１３に記載の情報処理装置。
【請求項１６】
前記音声生成部は、前記第２の画像情報から生成されるテキスト情報についての前記合成音声情報を生成する、
請求項１５に記載の情報処理装置。
【請求項１７】
前記音声生成部は、前記対象データに基づいて複数の前記話者が選択される場合、選択された前記複数の前記話者の各々について、対応する前記対象データの部分に係る前記合成音声情報をそれぞれ生成する、
請求項１３に記載の情報処理装置。
【請求項１８】
前記音声生成部は、前記対象データに基づいて推定される前記話者の特徴と類似する特徴を有する前記話者の前記対応関係情報に基づいて前記合成音声情報を生成する、
請求項１３に記載の情報処理装置。
【請求項１９】
プロセッサを用いて、
発話の際に取得される情報に基づいて話者を識別することと、
識別された前記話者と前記話者の音声に基づいて生成される音声要素情報との対応関係情報を生成することと、
を含む情報処理方法。
【請求項２０】
発話の際に取得される情報に基づいて話者を識別する話者識別機能と、
識別された前記話者と前記話者の音声に基づいて生成される音声要素情報との対応関係情報を生成する情報生成機能と、
をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、音声解析技術の発展に伴い、人間の音声により近い人工的な音声（以下、合成音声とも称する。）を再生する技術が研究開発されている。具体的には、入力される音声を解析することにより音声の要素の１つである音素を取得し、当該音素を合成することにより合成音声を生成する技術がある。合成音声を人間の音声により近づけるためのアプローチの１つとして、合成に利用可能な音素を増やすことが考えられる。
【０００３】
音素の収集については、例えば特許文献１のような技術がある。特許文献１では、特定の人物により入力される音声の発音波形からＰＣＭ（Pulse  Code  Modulation）データを生成し、当該ＰＣＭデータを複数のＭＩＤＩ（Musical  Instrument  Digital  Interface）データに変換する音声合成装置に係る発明が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−９５７９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来技術では、音素のような音声の要素に係る情報（以下、音声要素情報または音素情報とも称する。）の収集がユーザの負担となることがある。例えば、特許文献１で開示されるように、音素の収集においては概して、特定の人が予め決められた音長および音程で指定される音声入力装置に向かって発音することが要求される。このように、従来では、音声要素情報の収集のための作業がユーザに課せられることになる。
【０００６】
そこで、本開示では、音声要素情報の収集におけるユーザの負担を軽減することが可能な仕組みを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、発話の際に取得される情報に基づいて話者を識別する話者識別部と、識別された前記話者と前記話者の音声に基づいて生成される音声要素情報との対応関係情報を生成する情報生成部と、を備える情報処理装置が提供される。
【０００８】
また、本開示によれば、プロセッサを用いて、発話の際に取得される情報に基づいて話者を識別することと、識別された前記話者と前記話者の音声に基づいて生成される音声要素情報との対応関係情報を生成することと、を含む情報処理方法が提供される。
【０００９】
また、本開示によれば、発話の際に取得される情報に基づいて話者を識別する話者識別機能と、識別された前記話者と前記話者の音声に基づいて生成される音声要素情報との対応関係情報を生成する情報生成機能と、をコンピュータに実現させるためのプログラムが提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、音声要素情報の収集におけるユーザの負担を軽減することが可能な仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の第１の実施形態に係る情報処理システムの概略的な構成の例を示す図である。
【図２】同実施形態に係る情報処理システムの概略的な機能構成の例を示すブロック図である。
【図３】同実施形態に係る情報処理システムにおける動作例を説明するための図である。
【図４】同実施形態に係る情報処理システムの処理の例を概念的に示すシーケンス図である。
【図５】同実施形態の第１の変形例に係る情報処理システムの動作例を説明するための図である。
【図６】同実施形態の第２の変形例に係る情報処理システムの動作例を説明するための図である。
【図７】本開示の第２の実施形態に係る情報処理システムの概略的な機能構成の例を示すブロック図である。
【図８】同実施形態に係る情報処理システムにおける動作例を説明するための図である。
【図９】同実施形態に係る情報処理システムにおける動作例を説明するための図である。
【図１０】同実施形態に係る情報処理システムにおける動作例を説明するための図である。
【図１１】同実施形態に係る情報処理システムにおける動作例を説明するための図である。
【図１２】同実施形態に係る情報処理システムの処理の例を概念的に示すシーケンス図である。
【図１３】同実施形態の第１の変形例に係る情報処理システムの動作例を説明するための図である。
【図１４】同実施形態の第１の変形例に係る情報処理システムの動作の他の例を説明するための図である。
【図１５】本開示の一実施形態に係る情報処理装置のハードウェア構成を示した説明図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、説明の便宜上、第１および第２の実施形態に係る情報処理装置１００を、情報処理装置１００−１および情報処理装置１００−２のように、末尾に実施形態に対応する番号を付することにより区別する。なお、これはユーザインタフェース（以下、ＵＩ（User  Interface）とも称する。）装置２００についても同様である。
【００１４】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態（音素情報の収集と対応関係情報の生成）
１−１．システムの概略構成
１−２．システムの機能構成
１−３．システムの処理
１−４．第１の実施形態のまとめ
１−５．変形例
２．第２の実施形態（対応関係情報を用いた合成音声の生成）
２−１．システムの機能構成
２−２．システムの処理
２−３．第２の実施形態のまとめ
２−４．変形例
３．一実施形態に係るハードウェア構成
４．むすび
【００１５】
＜１．第１の実施形態（音素情報の収集と対応関係情報の生成）＞
まず、本開示の第１の実施形態について説明する。第１の実施形態では、ユーザの音声から音素を抽出すると共に、当該ユーザを識別することによりユーザと対応付けられた音素情報が自動的に収集される。
【００１６】
＜１−１．システムの概略構成＞
図１を参照して、本開示の第１の実施形態に係る情報処理システムの概略的な構成について説明する。図１は、本開示の第１の実施形態に係る情報処理システムの概略的な構成の例を示す図である。
【００１７】
図１に示したように、本実施形態に係る情報処理システムは、情報処理装置１００−１およびＵＩ装置２００−１を備える。情報処理装置１００−１は、通信機能、音声認識機能および動作制御機能を有する。また、ＵＩ装置２００−１は、通信機能および音声入力機能を有する。具体的には、ＵＩ装置２００−１は、ユーザの発する音声を集音し、集音される音声に係る音声情報を生成する。そして、ＵＩ装置２００−１は、当該音声情報を情報処理装置１００−１に送信する。また、情報処理装置１００−１は、当該音声情報を受信し、受信される当該音声情報について音声認識を行うことにより、ユーザの指示を把握する。そして、情報処理装置１００−１は、把握される指示に基づいて動作を実行する。
【００１８】
例えば、ＵＩ装置２００−１は、図１に示したようなユーザの「９時にＡＢＣ社、とスケジューラに登録して。」という音声を集音し、集音される音声に係る音声情報を生成する。そして、生成される音声情報は、インターネットなどのネットワーク１を介して情報処理装置１００−１に送信される。情報処理装置１００−１は、受信される音声情報について音声認識処理を行うことにより、ユーザの指示「９時にＡＢＣ社、とスケジューラに登録」を把握する。そして、情報処理装置１００−１は、スケジューラに「９時にＡＢＣ社」を登録させる。
【００１９】
ここで、音素に係る情報（以下、音素情報とも称する。）の収集のために、上述したような音声入力が利用される。しかし、当該音素情報の収集は、ユーザの負担となることがある。例えば、従来では、音素の収集においては概して、予め決められた音長および音程で指定の音声入力装置に向かって発音することが要求される。これは、収集される音素の入力者すなわち話者の識別を容易にするためである。例えば、音声情報のみが取得されても、当該音声情報に係る音素の話者を識別することは困難である。また、仮に音声情報とともに話者の情報が取得されたとしても、当該音声情報に係る音素と話者とを紐付ける作業が追加的に行われることになる。そのため、このような音素情報の収集のための作業がユーザの負担となっていた。
【００２０】
そこで、本開示の第１の実施形態では、音素情報の収集におけるユーザの負担を軽減することが可能な情報処理システムを提案する。以下、当該情報処理システムの詳細について説明する。
【００２１】
＜１−２．システムの機能構成＞
図２を参照して、本開示の第１の実施形態に係る情報処理システムの機能構成について説明する。図２は、本実施形態に係る情報処理システムの概略的な機能構成の例を示すブロック図である。
【００２２】
図２に示したように、本実施形態に係る情報処理システムは、情報処理装置１００−１およびＵＩ装置２００−１を備える。以下、図３も参照しながら、情報処理装置１００−１およびＵＩ装置２００−１の各々の機能構成についてそれぞれ詳細に説明する。図３は、本実施形態に係る情報処理システムにおける動作例を説明するための図である。
【００２３】
（情報処理装置）
情報処理装置１００−１は、通信部１０２、音声認識部１０４、音素抽出部１０６、話者識別部１０８、辞書生成部１１０、記憶部１１２、意図解析部１１４および動作制御部１１６を備える。
【００２４】
（通信部）
通信部１０２は、ＵＩ装置２００−１と通信する。具体的には、通信部１０２は、音声情報および画像情報をＵＩ装置２００−１から受信し、動作指示情報をＵＩ装置２００−１へ送信する。例えば、通信部１０２は、有線通信方式を用いてインターネットなどのネットワーク１を介してＵＩ装置２００−１と通信する。
【００２５】
（音声認識部）
音声認識部１０４は、音声情報に係る音声を認識する。具体的には、音声認識部１０４は、入力される音声情報に基づいてテキスト情報を生成する。例えば、音声認識部１０４は、図３に示したようにＵＩ装置２００−１から受信される音声情報が入力されると、当該音声情報に係る音声をテキスト「次郎さんに、明日の会議に参加します、とメールして。」に変換し、変換されるテキストに係るテキスト情報を生成する。
【００２６】
（音素抽出部）
音素抽出部１０６は、音声情報および音声認識結果に基づいて音声要素情報としての音素情報を生成する。具体的には、音素抽出部１０６は、音声情報に係るテキスト情報が入力されると、音声に係るテキストの形態素を解析する。そして、音素抽出部１０６は、解析された形態素に基づいて音声情報から音素を抽出し、抽出される音素に係る音素情報を生成する。なお、形態素解析および音素抽出には既存の技術が利用されてよい。また、生成される音素情報は記憶部１１２に記憶される。
【００２７】
（話者識別部）
話者識別部１０８は、発話の際に取得される情報に基づいて話者を識別する。具体的には、話者識別部１０８は、発話の際の撮像により得られる画像情報（第１の画像情報）に係る画像に映る話者を識別する。当該画像は、話者の音声を取得する音声入力部２０２を備えるＵＩ装置２００−１に向けて発話している話者が映る撮像画像であってよい。
【００２８】
例えば、話者識別部１０８は、図３に示したようにＵＩ装置２００−１から受信される画像情報が取得されると、当該画像情報に係る画像に映るユーザの顔を抽出する。当該画像は、ＵＩ装置２００−１に向かって情報処理装置１００−１（ユーザにとってはＵＩ装置２００−１）への動作指示などを発話している間の撮像により得られる。次に、話者識別部１０８は、抽出される顔と予め記憶されている顔情報に係る顔との一致性を判定する。そして、話者識別部１０８は、一致すると判定された顔に紐づくユーザの識別情報（以下、話者識別情報とも称する。）を取得する。なお、話者識別情報としては、例えばユーザの氏名またはＩＤ（Identifier）などが挙げられるが、これらに限定されず、ユーザが一意に識別される他の情報であってもよい。また、話者識別部１０８は、画像に映るユーザが発話している場合にのみ顔認識処理を行ってもよい。また、複数のユーザが画像に映っている場合は、話者識別部１０８は、ＵＩ装置２００−１に他のいずれのユーザよりも近いユーザについてのみ顔認識処理を行ってもよい。
【００２９】
（辞書生成部）
辞書生成部１１０は、情報生成部として、識別された話者と当該話者の音声に基づいて生成される音素情報との対応関係情報を生成する。具体的には、辞書生成部１１０は、話者識別部１０８の識別処理により得られる話者識別情報と音素抽出部１０６により生成される音素情報との対応関係を示す対応関係情報を生成する。生成される対応関係情報は記憶部１１２に記憶される。例えば、辞書生成部１１０は、話者識別情報と音素情報とを紐付ける辞書データを記憶部１１２に記憶させる。なお、当該辞書データが合成音声の生成に用いられる場合には、当該辞書データはＴＴＳ（Text−To−Speech）辞書データとも称される。
【００３０】
（記憶部）
記憶部１１２は、情報処理装置１００−１の処理に係る情報を記憶する。具体的には、記憶部１１２は、音素抽出部１０６により生成される音素情報、話者識別部１０８で取得される話者識別情報および辞書生成部１１０により生成される対応関係情報を記憶する。例えば、記憶部１１２は、音素情報、話者識別情報および対応関係情報をデータベース形式で記憶するデータベースマネジメントシステム（ＤＢＭＳ：Data  Base  Management  System）を含んでよい。なお、記憶される情報のデータ構造は、上述したデータベース形式に限られず、利用可能な範囲で他の形式が採用されてもよい。
【００３１】
（意図解析部）
意図解析部１１４は、音声認識結果に基づいて音声に係るユーザの意図を解析する。具体的には、意図解析部１１４は、音声情報に係るテキスト情報が入力されると、当該テキスト情報に係るテキストからユーザの情報処理装置１００−１（ユーザにとってはＵＩ装置２００−１）への動作指示を示す動作指示情報を生成する。例えば、意図解析部１１４は、入力されるテキスト情報に係るテキスト「次郎さんに、明日の会議に参加します、とメールして。」から、「明日の会議に参加します。」という内容の次郎宛てのメールの送信指示を把握する。
【００３２】
（動作制御部）
動作制御部１１６は、動作指示情報に基づいて情報処理装置１００−１の動作を制御する。具体的には、動作制御部１１６は、動作指示情報が入力されると、動作指示情報の示す動作のための情報処理装置１００−１の制御を行う。例えば、動作制御部１１６は、通信部１０２に「明日の会議に参加します。」という内容のメールを次郎宛てに送信させる。
【００３３】
（ＵＩ装置）
ＵＩ装置２００−１は、音声入力部２０２、撮像部２０４、制御部２０６および通信部２０８を備える。
【００３４】
（音声入力部）
音声入力部２０２は、音声取得部として、ＵＩ装置２００−１周辺の音声を集音する。具体的には、音声入力部２０２は、ＵＩ装置２００−１周辺の音声を集音し、集音される音声に係る音声情報を生成する。例えば、音声入力部２０２は、図３に示したようなユーザＡの発する音声を集音し、集音される音声に係る音声情報を生成する。
【００３５】
（撮像部）
撮像部２０４は、ＵＩ装置２００−１周辺を撮像する。具体的には、撮像部２０４は、ＵＩ装置２００−１周辺を撮像し、撮像により得られる画像に係る画像情報を生成する。例えば、撮像部２０４は、図３に示したようなＵＩ装置２００−１に向かって発話するユーザＡを撮像し、撮像により得られる画像に係る画像情報（第１の画像情報）を生成する。なお、撮像部２０４は、ＵＩ装置２００−１に向かって発話するユーザの顔が正面を向いて画像に映るように配置されてよい。
【００３６】
（制御部）
制御部２０６は、ＵＩ装置２００−１の動作を全体的に制御する。具体的には、制御部２０６は、音声入力部２０２および撮像部２０４の動作を制御する。例えば、制御部２０６は、ユーザ操作または情報処理装置１００−１からの動作指示情報に基づいて音声入力部２０２および撮像部２０４の動作有無または動作パラメタを制御する。
【００３７】
（通信部）
通信部２０８は、情報処理装置１００−１と通信する。具体的には、通信部２０８は、音声情報および画像情報を情報処理装置１００−１に送信し、動作指示情報を情報処理装置１００−１から受信する。
【００３８】
＜１−３．システムの処理＞
次に、図４を参照して、本実施形態に係る情報処理システムの処理について説明する。図４は、本実施形態に係る情報処理システムの処理の例を概念的に示すシーケンス図である。
【００３９】
ＵＩ装置２００−１は、音声情報を生成する（ステップＳ５０２）。具体的には、音声入力部２０２は、発話するユーザの音声を集音し、集音された音声に係る音声情報を生成する。
【００４０】
また、ＵＩ装置２００−１は、画像情報を生成する（ステップＳ５０４）。具体的には、撮像部２０４は、音声入力部２０２により音声の集音が開始されると、発話するユーザを撮像し、撮像により得られた画像に係る画像情報を生成する。なお、撮像部２０４は、所定の時間間隔でＵＩ装置２００−１周辺を撮像し、音声入力部２０２により音声が集音されている間の撮像により得られた画像について画像情報を生成してもよい。
【００４１】
次に、ＵＩ装置２００−１は、音声情報および画像情報を情報処理装置１００−１に送信する（ステップＳ５０６）。具体的には、制御部２０６は、生成される音声情報および画像情報を通信部２０８に情報処理装置１００−１へ送信させる。
【００４２】
音声情報および画像情報を受信した情報処理装置１００−１は、当該画像情報に基づいて話者を識別する（ステップＳ５０８）。具体的には、話者識別部１０８は、入力された画像情報と予め記憶される顔情報とに基づいて顔認識処理を行う。そして、話者識別部１０８は、認識された顔に係る話者識別情報を取得する。
【００４３】
次に、情報処理装置１００−１は、音声情報に基づいて音声を認識する（ステップＳ５１０）。具体的には、音声認識部１０４は、入力された音声情報をテキスト情報に変換する。
【００４４】
次に、情報処理装置１００−１は、音声認識結果に基づいて形態素解析を行う（ステップＳ５１２）。具体的には、音素抽出部１０６は、音声認識部１０４の変換処理により得られたテキスト情報に基づいて当該テキスト情報に係るテキストの形態素を解析する。
【００４５】
次に、情報処理装置１００−１は、形態素解析結果に基づいて音素を抽出する（ステップＳ５１４）。具体的には、音素抽出部１０６は、解析されたテキストの形態素に基づいて音声情報に係る音声から音素を抽出する。そして、音素抽出部１０６は、抽出される音素に係る音素情報を生成する。
【００４６】
次に、情報処理装置１００−１は、識別された話者と抽出された音素との対応関係を記憶する（ステップＳ５１６）。具体的には、辞書生成部１１０は、話者識別部１０８から入力される話者識別情報と音素抽出部１０６から入力される音素情報との対応関係を示す対応関係情報を生成し、生成される対応関係情報を記憶部１１２に記憶させる。
【００４７】
＜１−４．第１の実施形態のまとめ＞
このように、本開示の第１の実施形態によれば、情報処理装置１００−１は、発話の際に取得される情報に基づいて話者を識別し、識別された話者（話者識別情報）と当該話者の音声に基づいて生成される音声要素情報（音素情報）との対応関係情報を生成する。従来では、音素情報を登録するために登録対象者である話者が音声入力装置などに向かって予め用意された文章などを発声することが要求されていた。そのため、音素情報の登録のために話者が時間的にも行動的にも拘束され、話者にとって不便であった。これに対し、本実施形態によれば、収集される話者の音声に係る音素情報と当該話者とが自動的に対応付けられることにより、音素情報の登録のための話者の作業を省略することができる。従って、音素情報の収集におけるユーザの負担を軽減することが可能となる。
【００４８】
また、上記発話の際に取得される情報は、発話の際の撮像により得られる第１の画像情報を含み、情報処理装置１００−１は、当該第１の画像情報に係る画像に映る話者を識別する。このため、話者を識別するための作業を話者が行うことなく、自動的に音素情報を登録することができる。従って、話者の負担を低減することが可能となる。また、話者の識別に画像が利用されることにより、取得される音声に係る話者として識別される話者の正確性を向上させることができる。従って、音素情報と話者との対応付けの失敗を抑制することが可能となる。
【００４９】
また、上記第１の画像情報に係る画像は、上記話者の音声を取得する音声取得部（音声入力部２０２）に向けて発話する話者が映る画像を含む。概して、人は発話対象に向かって発声する。そのため、本構成によれば、識別される話者と取得される音声に係る話者とが一致する可能性を高めることができる。従って、音素情報と話者との対応付けの失敗をさらに抑制することが可能となる。
【００５０】
また、上記話者の発話内容は、情報処理装置１００−１への動作指示を含む。概して、人は物事を他人に依頼したり命令したりする場合には日常の会話よりも明確に発音する。そのため、本構成によれば、より明瞭な音声を取得することができる。従って、音声情報から得られる音素情報の正確性を向上させることが可能となる。
【００５１】
＜１−５．変形例＞
以上、本開示の第１の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第１および第２の変形例について説明する。
【００５２】
（第１の変形例）
本実施形態の第１の変形例として、情報処理装置１００−１は、通話情報に基づいて話者を識別してもよい。具体的には、話者識別部１０８は、入力される通話情報に基づいて話者を識別し、識別された話者に係る話者識別情報を取得する。さらに、図５を参照して、本変形例の処理について説明する。図５は、本実施形態の第１の変形例に係る情報処理システムの動作例を説明するための図である。
【００５３】
まず、情報処理装置１００−１は、動作指示に係る音声情報から通話情報を取得する。例えば、図５に示したようなユーザＡによる通話の指示に係る音声情報が通信部１０２を介して受信されると、音声認識部１０４により当該音声情報がテキスト情報に変換される。そして、意図解析部１１４は、当該テキスト情報から通話情報として発信情報を取得する。発信情報は、発信元または発信先が識別される情報、例えば電話番号またはＩＤであってよい。なお、ＵＩ装置２００−１に着信があった場合には、着信情報が取得されてもよい。
【００５４】
次に、情報処理装置１００−１は、通話情報に基づいて話者を識別する。例えば、記憶部１１２には、発信情報と話者識別情報とが含まれるアドレス情報（属性情報）が記憶され、話者識別部１０８は、記憶されるアドレス情報から入力される発信情報を用いて発信元の話者および発信先の話者に係る話者識別情報を取得する。なお、アドレス情報には、話者識別情報のほか、氏名、年齢または性別などの個人情報が含まれてよい。
【００５５】
次に、情報処理装置１００−１は、通話に係る音声情報から音素情報を生成する。具体的には、ＵＩ装置２００−１から受信される通話に係る音声情報が入力されると、音声認識部１０４は、取得された話者識別情報に紐づくアドレス情報に基づいて音声情報から発信元のユーザの発話に係る音声情報および発信先のユーザの発話に係る音声情報をそれぞれ取得する。詳細には、音声認識部１０４は、アドレス情報から推測される音声に類似する音声を分離し、分離される音声に係る音声情報を取得する。次に、取得された音声情報の各々について、音素抽出部１０６により音素情報がそれぞれ生成される。
【００５６】
次に、情報処理装置１００−１は、生成された音素情報と識別された話者との対応関係情報を記憶する。例えば、辞書生成部１１０は、発信元のユーザおよび発信先のユーザの各々について、生成された音素情報と話者識別情報との対応関係情報を生成し、生成される対応関係情報を記憶部１１２に記憶させる。なお、生成された音素情報の各々についても記憶部１１２に記憶される。
【００５７】
このように、本実施形態の第１の変形例によれば、上記発話の際に取得される情報は、通話情報を含み、情報処理装置１００−１は、当該通話情報に基づいて話者を識別する。このため、通話を利用して音素情報を登録することができる。従って、話者に音素情報の登録のための作業させることなく、自動的に音素情報が登録されることにより、話者の負担を低減することが可能となる。
【００５８】
また、上記通話情報は、通話の発信情報または着信情報を含む。このため、話者と直接的に紐づきやすい情報に基づいて話者を識別することができる。従って、識別される話者が音声に係る話者である確実性を向上させることが可能となる。
【００５９】
また、情報処理装置１００−１は、複数の話者と、複数の話者の各々の音声について生成される音声要素情報と、の対応関係情報をそれぞれ生成する。このため、音声情報に複数の話者の音声が含まれる場合であっても、それぞれの話者の音素情報を登録することができる。従って、音素情報を収集できる機会が増加し、音素情報を充実させることが可能となる。また、それにより、後述する生成可能な合成音声のパターンを増加させることができ、合成音声をより人の音声に近づけることが可能となる。
【００６０】
また、情報処理装置１００−１は、識別された話者の属性情報を取得し、取得される属性情報に基づいて複数の話者の各々の音声を判別する。このため、複数の話者の音声をより正確に分離することができる。従って、登録される音素情報の質を向上させることが可能となる。
【００６１】
なお、上記では、通話情報が発信情報または着信情報である例を説明したが、通話情報は通話に係る音声情報であってもよい。例えば、通話に係る音声情報は、音声の波形パターン（時間、周波数、強度など）に相当する声紋などの音声特徴情報であってよい。当該音声特徴情報は、通話に係る音声情報に基づいて生成される。このため、発信情報または着信情報が取得されない場合であっても、音声情報のみから話者を識別することができる。従って、処理に要される情報を低減することが可能となる。また、それにより通信量を低減することも可能となる。
【００６２】
また、上記では、通話に係る音声には発信元および発信先の話者の両方の音声が含まれる例を説明したが、通話に係る音声は、発信元の音声のみおよび発信先の音声のみを含んでいてもよい。例えば、発信元の音声のみが含まれる音声情報が発信元であるＵＩ装置２００−１から情報処理装置１００−１に送信され、発信先の音声のみが含まれる音声情報が発信先である装置から情報処理装置１００−１に送信される。この場合、上述したような音声分離処理を省略することができる。
【００６３】
また、上記では、単なる通話が利用される例を説明したが、利用される通話はビデオ通話などの画像付通話であってもよい。また、この場合、話者識別部１０８は、話者の映る画像に基づいて話者の発話区間を推定してもよい。なお、発話区間の推定処理については後述する。
【００６４】
（第２の変形例）
本実施形態の第２の変形例として、情報処理装置１００−１は、映像に基づいて音素情報を登録してもよい。具体的には、話者識別部１０８は、話者が映る映像に係る画像情報に基づいて話者を識別する。さらに、図６を参照して、本変形例の処理について説明する。図６は、本実施形態の第２の変形例に係る情報処理システムの動作例を説明するための図である。
【００６５】
まず、情報処理装置１００−１は、映像から生成された音声情報および画像情報を受信する。例えば、図６に示したような映像に映るユーザＡおよびユーザＢによる会話に係る音声情報および当該映像の撮像により得られた画像に係る画像情報がＵＩ装置２００−１から受信される。
【００６６】
次に、情報処理装置１００−１は、映像に係る画像情報に基づいて話者の顔を認識する。当該画像情報に係る画像は、他者に向けて発話する話者が映る。例えば、話者識別部１０８は、図６に示したような表示装置２０に表示される映像に映る会話するユーザＡおよびユーザＢの顔を抽出し、予め記憶される顔情報に係る顔との一致を判定する。また、話者識別部１０８は、映像に係る画像情報に基づいて話者の発話区間を推定する。詳細には、話者識別部１０８は、画像情報に基づいて画像に映る話者の口が動いているかを判定する。そして、話者識別部１０８は、話者の口が動いている期間を当該話者の発話区間として記録する。
【００６７】
次に、情報処理装置１００−１は、認識された話者の顔についての属性情報を取得する例えば、話者識別部１０８は、通信を介してインターネット３０上の装置などから、認識された話者の顔に紐づく属性情報を取得する。なお、属性情報には音声の特徴、例えば声の高さなどに係る情報が含まれてもよい。また、属性情報には上述したアドレス情報が含まれてもよい。
【００６８】
次に、情報処理装置１００−１は、映像に係る音声情報から音素情報を生成する。例えば、ＵＩ装置２００−１から受信される映像に係る音声情報が入力されると、音声認識部１０４は、取得された属性情報および記録された発話区間に基づいて音声情報から映像に映る各話者の音声情報をそれぞれ取得する。例えば、話者Ａについて「こんにちは。」、話者Ｂについて「やあ、久しぶり。」という音声に係る音声情報が取得される。そして、取得された音声情報の各々について、音素抽出部１０６により音素情報がそれぞれ生成される。
【００６９】
次に、情報処理装置１００−１は、生成された音素情報と識別された話者との対応関係情報を記憶する。例えば、辞書生成部１１０は、話者Ａおよび話者Ｂの各々について、生成された音素情報と話者識別情報との対応関係情報を生成し、生成される対応関係情報を記憶部１１２に記憶させる。
【００７０】
このように、本実施形態の第２の変形例によれば、情報処理装置１００−１は、映像に基づいて音素情報と話者との対応関係情報を生成する。このため、ＵＩ装置２００−１の周辺に実際に存在する人のみならず映像に映る人も音素情報の収集対象とすることができる。従って、音素情報を収集できる機会が増加し、音素情報を充実させることが可能となる。
【００７１】
また、上記画像情報に係る画像は、他者に向けて発話する話者が映る画像を含む。このため、ＵＩ装置２００−１への発話のみならず日常の会話を音素情報の収集対象とすることができる。従って、音素情報を収集できる機会が増加し、音素情報を充実させることが可能となる。
【００７２】
また、上記属性情報は、通信を介して取得される。このため、より多くの属性情報を用意することができる。従って、話者の識別処理に失敗するおそれを低下させることが可能となる。
【００７３】
また、情報処理装置１００−１は、話者の映る画像に基づいて話者の発話区間を推定する。このため、音声情報に係る音声に複数の話者の音声が含まれる場合、当該複数の話者の各々の発話をより正確に区別することができる。従って、音素情報の質を向上させることが可能となる。
【００７４】
＜２．第２の実施形態（対応関係情報を用いた合成音声の生成）＞
以上、本開示の第１の実施形態について説明した。次に、本開示の第２の実施形態について説明する。第２の実施形態では、対応関係情報を用いて音素情報から合成音声が生成される。
【００７５】
＜２−１．システムの機能構成＞
まず、図７を参照して、本開示の第２の実施形態に係る情報処理システムの機能構成について説明する。図７は、本開示の第２の実施形態に係る情報処理システムの概略的な機能構成の例を示すブロック図である。以下、図８〜図１１も参照しながら、情報処理装置１００−２およびＵＩ装置２００−２の各々の機能構成についてそれぞれ詳細に説明する。図８〜図１１は、本実施形態に係る情報処理システムにおける動作例を説明するための図である。なお、第１の実施形態における機能と実質的に同一の機能については説明を省略する。
【００７６】
（情報処理装置）
情報処理装置１００−２は、通信部１０２、音声認識部１０４、記憶部１１２、意図解析部１１４および動作制御部１１６に加えて、出力内容決定部１２０、話者選択部１２２および音声生成部１２４を備える。
【００７７】
（出力内容決定部）
出力内容決定部１２０は、音声出力の内容を決定する。具体的には、出力内容決定部１２０は、データ取得部としての通信部１０２により音声出力の対象データが取得されると、当該対象データに基づいて音声で出力される文字、単語または文章などのテキストを決定する。より具体的には、当該対象データは、テキスト情報であってよい。例えば、当該テキスト情報は、電子メールに含まれる文字情報であってよい。詳細には、出力内容決定部１２０は、図８に示したような差出人「一郎」から受信される電子メールの本文「飲みに行きませんか？」を出力テキストとして抽出する。
【００７８】
また、例えば、当該テキスト情報は、スケジュール情報に含まれる文字情報であってもよい。詳細には、出力内容決定部１２０は、図９に示したような開催者が次郎である予定についてのスケジュール情報の本文「ＡＢＣ会としてランチしましょう」を出力テキストとして抽出する。
【００７９】
また、例えば、当該テキスト情報は、ニュース情報に含まれる文字情報であってもよい。詳細には、出力内容決定部１２０は、図１０に示したような配信元がＸＹＺ放送であるニュース情報のタイトル「日本、野球で金メダル」と本文「日本が野球で金メダルを取りました（以下略）」とを出力テキストとして抽出する。なお、抽出元が異なる出力テキストが１つに併合されてもよい。また、ニュース情報は、ユーザの要求に基づいて取得されてよい。
【００８０】
また、例えば、当該テキスト情報は、ＳＮＳ（Social  Networking  Site）の投稿情報であってもよい。詳細には、出力内容決定部１２０は、図１１に示したようなＸＹＺというＳＮＳにおける三郎の投稿「次郎さんから「ＡＢＣ会としてランチしませんか」と誘われて（以下略）」を出力テキストとして抽出する。なお、ＳＮＳの投稿情報は、ユーザの要求に基づいて取得されてよい。
【００８１】
なお、対象データであるテキスト情報は、ＵＩ装置２００−２により取得されてもよく、情報処理装置１００−２により取得されてもよい。
【００８２】
（話者選択部）
話者選択部１２２は、上記対象データに基づいて話者を選択する。具体的には、話者選択部１２２は、テキスト情報に基づいて話者を選択する。より具体的には、話者選択部１２２は、通信部１０２により音声出力の対象データが取得されると、テキスト情報に基づいて話者識別情報を取得する。例えば、話者選択部１２２は、電子メールに含まれる文字情報に基づいて話者識別情報を取得する。詳細には、話者選択部１２２は、記憶部１１２に記憶される属性情報またはインターネット３０上から得られる属性情報を用いて、図８に示したような電子メールの差出人「一郎」に紐づく話者識別情報を取得する。
【００８３】
また、例えば、話者選択部１２２は、スケジュール情報に含まれる文字情報に基づいて話者識別情報を取得してもよい。詳細には、話者選択部１２２は、属性情報を用いて、図９に示したようなスケジュール情報に係る開催者「次郎」に紐づく話者識別情報を取得する。
【００８４】
また、例えば、話者選択部１２２は、ニュース情報に含まれる文字情報に基づいて話者識別情報を取得してもよい。詳細には、話者選択部１２２は、属性情報を用いて、図１０に示したようなニュース情報に係るニュースキャスター（アナウンサー）およびニュース情報の本文に含まれる「山田選手」に紐づく話者識別情報を取得する。ここでは、テキストに含まれる発言の主体の推定する処理が用いられる。
【００８５】
また、例えば、話者選択部１２２は、ＳＮＳについての投稿情報に含まれる文字情報に基づいて話者識別情報を取得してもよい。詳細には、話者選択部１２２は、属性情報を用いて、図１１に示したようなＳＮＳの投稿情報に係る投稿者「三郎」および投稿情報の本文に含まれる「次郎」に紐づく話者識別情報を取得する。ここでも、テキストに含まれる発言の主体の推定する処理が用いられる。
【００８６】
（音声生成部）
音声生成部１２４は、音素情報を用いて合成音声を生成する。具体的には、音声生成部１２４は、話者選択部１２２により選択される話者と記憶部１１２に記憶される対応関係情報とに基づいて、出力される合成音声に係る合成音声情報を生成する。より具体的には、音声生成部１２４は、選択された話者の音素情報を対応関係情報に基づいて取得し、取得される音素情報を用いてテキスト情報についての合成音声情報を生成する。例えば、音声生成部１２４は、選択される話者が１人である場合、出力内容決定部１２０から入力されるテキストを、選択された話者の話者識別情報と対応する音素情報を用いて合成音声情報に変換する。詳細には、音声生成部１２４は、図８に示したような電子メールの本文を読み上げる「一郎」の合成音声に係る合成音声情報を生成する。また、音声生成部１２４は、図９に示したようなスケジュール情報の本文を読み上げる「次郎」の合成音声に係る合成音声情報を生成する。
【００８７】
また、例えば、音声生成部１２４は、選択される話者が複数である場合、選択された複数の話者の話者識別情報の各々について、対応するテキスト情報の部分に係る合成音声情報をそれぞれ生成してもよい。詳細には、音声生成部１２４は、図１０に示したようなニュース情報のタイトル「日本、野球で金メダル」および本文における発言部分以外の部分「日本が野球で金メダルを取りました。山田選手によると」についてはニュースキャスターの合成音声に係る合成音声情報を生成する。そして、音声生成部１２４は、ニュース情報の本文における発言部分「皆の努力のおかげだと思います。・・・」については発言者として記載される「山田選手」の合成音声に係る合成音声情報を生成する。また、音声生成部１２４は、図１１に示したようなＳＮＳの投稿情報の本文における発言部分以外の部分「次郎さんから」および「と誘われて、一緒にランチしました。・・・」については投稿者「三郎」の合成音声に係る合成音声情報を生成する。そして、音声生成部１２４は、ＳＮＳの投稿情報の本文における発言部分「ＡＢＣ会としてランチしませんか」については発言者として記載される「次郎」の合成音声に係る合成音声情報を生成する。
【００８８】
なお、予め決定される音素情報を用いて合成音声情報を生成してもよい。具体的には、音声生成部１２４は、上記対象データの存在をユーザに通知する場合に、予め決定される音素情報を用いて合成音声情報を生成する。例えば、音声生成部１２４は、図８に示したように電子メールの受信をユーザに通知する合成音声に係る合成音声情報を生成する。なお、対象データに基づいて話者が選択されない場合に、予め決定される音素情報を用いた合成音声情報が生成されてもよい。
【００８９】
（ＵＩ装置）
ＵＩ装置２００−２は、音声入力部２０２、撮像部２０４、制御部２０６および通信部２０８に加えて、音声出力部２２０を備える。
【００９０】
（音声出力部）
音声出力部２２０は、音声情報に基づいて音声を出力する。具体的には、音声出力部２２０は、通信部２０８を介して情報処理装置１００−２から受信された音声情報が制御部２０６から入力されると、当該音声情報に基づいて音声を出力する。なお、音声出力部２２０から出力される音は、音楽、効果音またはＵＩ装置２００−２の作動音であってもよい。また、音声情報は、動作指示情報に含まれてもよい。
【００９１】
＜２−２．システムの処理＞
次に、図１２を参照して、本実施形態に係る情報処理システムの処理について説明する。図１２は、本実施形態に係る情報処理システムの処理の例を概念的に示すシーケンス図である。
【００９２】
まず、ＵＩ装置２００−２は、対象データを取得する（ステップＳ６０２）。具体的には、通信部２０８は、電子メールなどのテキスト情報を外部装置から受信する。
【００９３】
次に、ＵＩ装置２００−２は、対象データを情報処理装置１００−２へ送信する（ステップＳ６０４）。具体的には、制御部２０６は、テキスト情報が受信されると、通信部２０８に当該テキスト情報を情報処理装置１００−２へ送信させる。
【００９４】
対象データを受信した情報処理装置１００−２は、対象データに基づいて話者を選択する（ステップＳ６０６）。具体的には、話者選択部１２２は、受信されたテキスト情報が入力されると、当該テキスト情報から発言の主体として推定される人物を示す文字情報を抽出し、抽出される文字情報と属性情報とに基づいて話者識別情報を生成する。
【００９５】
次に、情報処理装置１００−２は、対象データに基づいて出力内容を決定する（ステップＳ６０８）。具体的には、出力内容決定部１２０は、受信されたテキスト情報が入力されると、当該テキスト情報から音声出力対象となるテキストを抽出する。
【００９６】
次に、情報処理装置１００−２は、取得された音素情報を用いて合成音声情報を生成する（ステップＳ６１０）。具体的には、音声生成部１２４は、話者選択部１２２により生成された話者識別情報と記憶部１１２に記憶される対応関係情報とに基づいて当該話者識別情報に対応する音素情報を取得し、取得される音素情報を用いて抽出されたテキストを合成音声情報に変換する。
【００９７】
次に、情報処理装置１００−２は、合成音声情報をＵＩ装置２００−２へ送信する（ステップＳ６１２）。具体的には、通信部１０２は、生成された合成音声情報をＵＩ装置２００−２へ送信する。
【００９８】
次に、情報処理装置１００−２は、合成音声情報に基づいて音声を出力する（ステップＳ６１４）。具体的には、制御部２０６は、通信部２０８により合成音声情報が受信されると、音声出力部２２０に当該合成音声情報に係る合成音声を出力させる。
【００９９】
＜２−３．第２の実施形態のまとめ＞
このように、本開示の第２の実施形態によれば、情報処理装置１００−２は、音声出力の対象データを取得し、当該対象データに基づいて話者を選択する。そして、情報処理装置１００−２は、選択される話者と対応関係情報とに基づいて、出力される合成音声に係る合成音声情報を生成する。従来では概して、対象データと合成音声情報とが予め対応付けられており、当該対応付けを示す情報がなければ合成音声を再生することが困難であった。これに対し、本実施形態によれば、対象データに基づいて合成音声情報が自動的に生成されることにより、従来のような対応付けの情報なしで対象データに即した合成音声を再生することができる。さらに、本実施形態によれば、音声出力に適した話者の音素情報を合成音声の生成に用いることができる。従って、再生される合成音声を人の音声に近づけることができ、合成音声の不自然さを抑制することが可能となる。
【０１００】
また、上記対象データは、テキスト情報を含み、情報処理装置１００−２は、当該テキスト情報に基づいて話者を選択する。また、情報処理装置１００−２は、選択された話者の音声要素情報を対応関係情報に基づいて取得し、取得される音声要素情報を用いてテキスト情報についての合成音声情報を生成する。このため、ユーザはテキスト情報を、当該テキスト情報に係るテキストを読み上げる話者として適切な話者の合成音声で把握することができる。従って、テキスト情報から想像される情景についての現実感または臨場感を高めることが可能となる。
【０１０１】
また、情報処理装置１００−２は、上記対象データに基づいて複数の話者が選択される場合、選択された当該複数の話者の各々について、対応する対象データの部分に係る合成音声情報をそれぞれ生成する。このため、あたかも複数の話者の各々がそれぞれ発話しているかのように対象データについての音声を出力することができる。従って、対象データについての現実感または臨場感をより向上させることが可能となる。
【０１０２】
＜２−４．変形例＞
以上、本開示の第２の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第１および第２の変形例について説明する。
【０１０３】
（第１の変形例）
本実施形態の第１の変形例として、情報処理装置１００−２は、画像情報（第２の画像情報）に基づいて合成音声をＵＩ装置２００−２に出力させてもよい。具体的には、話者選択部１２２は、画像情報に基づいて話者を選択する。そして、音声生成部１２４は、選択された話者の音素情報を対応関係情報に基づいて取得し、取得される音素情報を用いて当該画像情報についての合成音声情報を生成する。さらに、図１３を参照して、本変形例の処理について詳細に説明する。図１３は、本実施形態の第１の変形例に係る情報処理システムの動作例を説明するための図である。
【０１０４】
ＵＩ装置２００−２は、ユーザの要求に応じて画像情報を取得し、取得される画像情報を情報処理装置１００−２に送信する。例えば、図１３に示したようにユーザから漫画の読上げが音声で指示されると、音声入力部２０２により得られる当該指示に係る音声情報を用いて動作指示情報が情報処理装置１００−２にて生成される。次に、制御部２０６は、情報処理装置１００−２から受信される当該動作指示情報に基づいて撮像部２０４に漫画を撮像させる。そして、制御部２０６は、撮像部２０４の撮像により得られる当該漫画に係る画像情報を通信部２０８に情報処理装置１００−２へ送信させる。
【０１０５】
画像情報を受信した情報処理装置１００−２は、当該画像情報に基づいてテキスト情報を生成する。例えば、出力内容決定部１２０は、漫画に係る画像情報が入力されると、当該画像情報に係る画像に映る漫画の人物の発言と推定される文字から出力用のテキストを生成する。詳細には、出力内容決定部１２０は、図１３に示したような吹き出し内の文字を出力用のテキストとして抽出する。
【０１０６】
また、情報処理装置１００−２は、画像情報に基づいて話者を選択する。例えば、話者選択部１２２は、漫画に係る画像情報が入力されると、当該画像情報に係る画像に映る人物の特徴部分（例えば顔）を抽出する。詳細には、図１３に示したような人物ＤおよびＥの顔が抽出されてよい。次に、話者選択部１２２は、抽出される人物の特徴部分と記憶される人物の特徴部分とが一致する場合、当該人物の特徴部分と紐付けられる話者識別情報を取得する。
【０１０７】
次に、情報処理装置１００−２は、選択された話者の音素情報を用いて、生成されるテキスト情報に係るテキストについての合成音声情報を生成し、生成される合成音声情報をＵＩ装置２００−２に送信する。例えば、音声生成部１２４は、記憶部１１２に辞書情報として記憶される対応関係情報を用いて話者選択部１２２により取得された人物ＤおよびＥに係る話者識別情報と対応する音素情報をそれぞれ取得する。音声生成部１２４は、出力内容決定部１２０により生成される出力用のテキストを取得される音素情報を用いて合成音声情報に変換する。詳細には、図１３に示したような人物Ｄである「四郎」の合成音声「明日はテニス大会だ。頑張るぞ。五郎さん、応援して下さい。」に係る合成音声情報が生成され、人物Ｅである「五郎」の合成音声「四郎さん、頑張れ。」に係る合成音声情報が生成される。そして、変換された合成音声情報が通信部１０２を介してＵＩ装置２００−２に送信される。
【０１０８】
合成音声情報を受信したＵＩ装置２００−２は、当該合成音声情報に基づいて音声を出力する。例えば、通信部２０８により合成音声情報が受信されると、制御部２０６は、音声出力部２２０に当該合成音声情報に基づく音声を出力させる。
【０１０９】
なお、上記では、対象データとしての画像情報が漫画に係る画像情報である例について説明したが、対象データとしての画像情報は絵本またはポスターなどの発言として表現される文字を含む他のいずれの媒体に係る画像情報であってもよい。
【０１１０】
また、対象データとしての画像情報は、活字に係る画像情報であってもよい。具体的には、話者選択部１２２は、出力内容決定部１２０により画像情報に基づいて生成されるテキスト情報を用いて話者を選択する。さらに、図１４を参照して、活字に係る画像情報を用いた処理について説明する。図１４は、本実施形態の第１の変形例に係る情報処理システムの動作の他の例を説明するための図である。なお、上述した処理と実質的に同一である処理については説明を省略する。
【０１１１】
ＵＩ装置２００−２は、ユーザの要求に応じて画像情報を取得し、取得される画像情報を情報処理装置１００−２に送信する。例えば、図１３に示したようなユーザから活字本の読上げの指示に基づいて当該動作指示情報が得られる。制御部２０６は、当該動作指示情報に基づいて撮像部２０４に活字本を撮像させ、撮像により得られる当該活字本に係る画像情報を通信部２０８に情報処理装置１００−２へ送信させる。
【０１１２】
画像情報を受信した情報処理装置１００−２は、当該画像情報に基づいてテキスト情報を生成する。例えば、出力内容決定部１２０は、活字本に係る画像情報が入力されると、まず画像情報に係る画像に映る文字をテキスト情報として抽出する。そして、出力内容決定部１２０は、当該テキスト情報に係るテキストにおける発言部分および発言以外の部分について出力用のテキストを生成する。詳細には、出力内容決定部１２０は、図１４に示したような発言部分「鈴木さんの好きにすればいい」ならびに発言以外の部分「自分がそのとき佐藤さんから言われた言葉は」および「でした。」をそれぞれ出力用のテキストとして抽出する。
【０１１３】
また、情報処理装置１００−２は、画像情報から生成されるテキスト情報に基づいて話者を選択する。例えば、話者選択部１２２は、出力内容決定部１２０からテキスト情報が入力されると、当該テキスト情報に係るテキストから発言者として記載される人物名など、例えば図１４の例では人物名「佐藤」および「鈴木」を抽出する。次に、話者選択部１２２は、属性情報を用いて抽出される人物名から話者識別情報を取得する。
【０１１４】
次に、情報処理装置１００−２は、選択された話者の音素情報を用いて、生成されるテキスト情報に係るテキストについての合成音声情報を生成し、生成される合成音声情報をＵＩ装置２００−２に送信する。例えば、音声生成部１２４は、記憶部１１２に辞書情報として記憶される対応関係情報を用いて話者選択部１２２により取得された人物名「佐藤」および「鈴木」に係る話者識別情報と対応する音素情報をそれぞれ取得する。音声生成部１２４は、出力内容決定部１２０により生成される出力用のテキストを取得される音素情報を用いて合成音声情報に変換する。詳細には、図１４に示したような人物「鈴木」の合成音声「自分がそのとき佐藤さんから言われた言葉は」および「でした。」に係る合成音声情報がそれぞれ生成され、人物「佐藤」の合成音声「鈴木さんの好きにすればいい」に係る合成音声情報が生成される。そして、変換された合成音声情報が通信部１０２を介してＵＩ装置２００−２に送信される。
【０１１５】
そして、合成音声情報を受信したＵＩ装置２００−２は、当該合成音声情報に基づいて音声を出力する。
【０１１６】
このように、本実施形態の第１の変形例によれば、上記対象データは、画像情報を含み、情報処理装置１００−２は、当該画像情報に基づいて前記話者を選択する。そして、情報処理装置１００−２は、選択された話者の音声要素情報を対応関係情報に基づいて取得し、取得される音声要素情報を用いて当該画像情報についての合成音声情報を生成する。このため、ユーザは画像に映る文字情報を、当該文字情報に係る文字を読み上げる話者として適切な話者の合成音声で把握することができる。従って、画像に映る情景についてユーザに現実感または臨場感を与えることが可能となる。
【０１１７】
また、情報処理装置１００−２は、上記画像情報から生成されるテキスト情報についての合成音声情報を生成する。このため、画像情報と別個のテキスト情報を省略することができる。従って、情報管理の簡易化および情報量の低減が可能となる。なお、上記では、画像情報に係る画像に映る文字が抽出される例を説明したが、当該画像に映る文字以外の情報からテキスト情報が生成されてもよい。例えば、画像に映る人物の表情もしくは動きまたは人物以外の物体の動きなどから推定される文章または擬音に係るテキストが生成されてもよい。
【０１１８】
なお、対象データが電子書籍である場合は、上述した第２の実施形態のテキスト情報として当該対象データについての合成音声情報生成処理が行われてよい。
【０１１９】
（第２の変形例）
本実施形態の第２の変形例として、情報処理装置１００−２は、音素情報が登録されていない話者に類似する話者の対応関係情報を用いて合成音声情報を生成してもよい。具体的には、話者選択部１２２は、対象データに基づいて推定される話者の特徴と類似する特徴を有する話者を選択する。そして、音声生成部１２４は、選択される話者に係る対応関係情報に基づいて合成音声情報を生成する。
【０１２０】
例えば、話者選択部１２２は、画像情報に係る画像に映る話者の顔を抽出し、抽出された顔と予め記憶される顔情報に係る顔との一致性を判定する。一致しないと判定されると、話者選択部１２２は、抽出された顔と類似する顔を検索する。なお、検索は、記憶される顔情報について行われてもよく、外部装置に記憶される顔情報について通信を介して行われてもよい。そして、類似する顔が発見されると、話者選択部１２２は、当該類似する顔に係る話者の話者識別情報を取得する。そして、音声生成部１２４は、対応関係情報を用いて、取得される話者識別情報に対応する音素情報を取得し、上記画像に映る話者に係る合成音声情報を生成する。
【０１２１】
なお、上記では、対象データが画像情報である例を説明したが、対象データは上述したようなテキスト情報であってもよい。また、話者の特徴が話者の顔である例を説明したが、話者の特徴は声に関する他の特徴であってもよい。例えば、話者の特徴は、話者の年齢、性別、国籍、人種、骨格または職業などであってもよい。
【０１２２】
このように、本実施形態の第２の変形例によれば、情報処理装置１００−２は、対象データに基づいて推定される話者の特徴と類似する特徴を有する話者の対応関係情報に基づいて合成音声情報を生成する。このため、音素情報が登録されていない、すなわち対応関係情報または音素情報が存在しない話者についても、当該話者により近い合成音声を出力することができる。従って、合成音声の聞き手に違和感を与えにくくすることが可能となる。
【０１２３】
＜３．一実施形態に係るハードウェア構成＞
以上、本開示の各実施形態に係る情報処理装置１００について説明した。上述した情報処理装置１００の処理は、ソフトウェアと、以下に説明する情報処理装置１００のハードウェアとの協働により実現される。
【０１２４】
図１５は、本開示の一実施形態に係る情報処理装置１００のハードウェア構成を示した説明図である。図１５に示したように、情報処理装置１００は、プロセッサ１３２、メモリ１３４、ブリッジ１３６、バス１３８、入力装置１４０、出力装置１４２、接続ポート１４４および通信装置１４６を備える。
【０１２５】
（プロセッサ）
プロセッサ１３２は、演算処理装置として機能し、各種プログラムと協働して情報処理装置１００内の音声認識部１０４、音素抽出部１０６、話者識別部１０８、辞書生成部１１０、意図解析部１１４、動作制御部１１６、出力内容決定部１２０、話者選択部１２２および音声生成部１２４の機能を実現する。プロセッサ１３２は、制御回路を用いてメモリ１３４または他の記憶媒体に記憶されるプログラムを実行することにより、情報処理装置１００の様々な論理的機能を動作させる。例えば、プロセッサ１３２は、ＣＰＵ（Central  Processing  Unit）、ＧＰＵ（Graphics  Processing  Unit）、ＤＳＰ（Digital  Signal  Processor）またはＳｏＣ（System-on-a-Chip）であり得る。
【０１２６】
（メモリ）
メモリ１３４は、プロセッサ１３２が使用するプログラムまたは演算パラメタなどを記憶する。例えば、メモリ１３４は、ＲＡＭ（Random  Access  Memory）を含み、プロセッサ１３２の実行において使用するプログラムまたは実行において適宜変化するパラメタなどを一時記憶する。また、メモリ１３４は、ＲＯＭ（Read  Only  Memory）を含み、ＲＡＭおよびＲＯＭにより記憶部１１２の機能を実現する。なお、接続ポート１４４または通信装置１４６などを介して外部のストレージ装置がメモリ１３４の一部として利用されてもよい。
【０１２７】
なお、プロセッサ１３２およびメモリ１３４は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。
【０１２８】
（ブリッジおよびバス）
ブリッジ１３６は、バス間を接続する。具体的には、ブリッジ１３６は、プロセッサ１３２およびメモリ１３４が接続される内部バスと、入力装置１４０、出力装置１４２、接続ポート１４４および通信装置１４６間を接続するバス１３８と、を接続する。
【０１２９】
（入力装置）
入力装置１４０は、ユーザが情報処理装置１００を操作しまたは情報処理装置１００へ情報を入力するために使用される。例えば、入力装置１４０は、ユーザが情報を入力するための入力手段、およびユーザによる入力に基づいて入力信号を生成し、プロセッサ１３２に出力する入力制御回路などから構成されている。なお、当該入力手段は、マウス、キーボード、タッチパネル、スイッチ、レバーまたはマイクロフォンなどであってもよい。情報処理装置１００のユーザは、入力装置１４０を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１３０】
（出力装置）
出力装置１４２は、ユーザに情報を通知するために使用される。出力装置１４２は、表示装置または音声出力装置であってよい。例えば、出力装置１４２は、液晶ディスプレイ（ＬＣＤ：Liquid  Crystal  Display）装置、ＯＬＥＤ（Organic  Light  Emitting  Diode）装置、プロジェクタ、スピーカまたはヘッドフォンなどの装置または当該装置への出力を行うモジュールであってよい。
【０１３１】
（接続ポート）
接続ポート１４４は、機器を情報処理装置１００に直接接続するためのポートである。例えば、接続ポート１４４は、ＵＳＢ（Universal  Serial  Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small  Computer  System  Interface）ポートなどであり得る。また、接続ポート１４４は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）ポートなどであってもよい。接続ポート１４４に外部機器を接続することで、情報処理装置１００と当該外部機器との間でデータが交換されてもよい。
【０１３２】
（通信装置）
通信装置１４６は、情報処理装置１００と外部装置との間の通信を仲介する。具体的には、通信装置１４６は、無線通信方式に従って通信を実行する。例えば、通信装置１４６は、Bluetooth（登録商標）、ＮＦＣ（Near  Field  Communication）、ワイヤレスＵＳＢもしくはTransferJet（登録商標）などの近距離無線通信方式、ＷＣＤＭＡ（登録商標）（Wideband  Code  Division  Multiple  Access）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（Long  Term  Evolution）もしくはＬＴＥ−Ａなどのセルラ通信方式、またはＷｉ−Ｆｉ（登録商標）などの無線ＬＡＮ（Local  Area  Network）方式といった、任意の無線通信方式に従って無線通信を実行してよい。また、通信装置１４６は、信号線通信または有線ＬＡＮ通信などの有線通信を実行してもよい。
【０１３３】
なお、情報処理装置１００は、図１５を用いて説明した構成の一部を有しなくてもよく、または追加的な構成を有していてもよい。また、図１５を用いて説明した構成の全体または一部を集積したワンチップの情報処理モジュールが提供されてもよい。
【０１３４】
＜４．むすび＞
以上、本開示の第１の実施形態によれば、収集される話者の音声に係る音素情報と当該話者とが自動的に対応付けられることにより、音素情報の登録のための話者の作業を省略することができる。従って、音素情報の収集におけるユーザの負担を軽減することが可能となる。
【０１３５】
また、本開示の第２の実施形態によれば、対象データに基づいて合成音声情報が自動的に生成されることにより、従来のような対応付けの情報なしで対象データに即した合成音声を再生することができる。さらに、本実施形態によれば、音声出力に適した話者の音素情報を合成音声の生成に用いることができる。従って、再生される合成音声を人の音声に近づけることができ、合成音声の不自然さを抑制することが可能となる。
【０１３６】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１３７】
例えば、上記実施形態では、情報処理システムが情報処理装置１００とＵＩ装置２００とを備えるとしたが、本技術はかかる例に限定されない。例えば、情報処理システムは情報処理装置１００のみで実現されてもよい。この場合、情報処理装置１００は、上述したＵＩ装置２００の構成の全部または一部を備える。
【０１３８】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１３９】
また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的にまたは個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【０１４０】
また、情報処理装置１００に内蔵されるハードウェアに上述した情報処理装置１００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムが記憶された記憶媒体も提供される。
【０１４１】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
発話の際に取得される情報に基づいて話者を識別する話者識別部と、
識別された前記話者と前記話者の音声に基づいて生成される音声要素情報との対応関係情報を生成する情報生成部と、
を備える情報処理装置。
（２）
前記発話の際に取得される情報は、発話の際の撮像により得られる第１の画像情報を含み、
前記話者識別部は、前記第１の画像情報に係る画像に映る前記話者を識別する、
前記（１）に記載の情報処理装置。
（３）
前記第１の画像情報に係る画像は、前記話者の音声を取得する音声取得部に向けて発話する前記話者が映る画像を含む、
前記（２）に記載の情報処理装置。
（４）
前記話者の発話内容は、前記情報処理装置への動作指示を含む、
前記（２）または（３）に記載の情報処理装置。
（５）
前記画像は、他者に向けて発話する前記話者が映る画像を含む、
前記（２）〜（４）のいずれかに記載の情報処理装置。
（６）
前記発話の際に取得される情報は、通話情報を含み、
前記話者識別部は、前記通話情報に基づいて前記話者を識別する、
前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記通話情報は、通話の発信情報または着信情報を含む、
前記（６）に記載の情報処理装置。
（８）
前記通話情報は、通話の音声情報を含む、
前記（６）または（７）に記載の情報処理装置。
（９）
前記情報生成部は、複数の前記話者と、前記複数の前記話者の各々の音声について生成される前記音声要素情報と、の前記対応関係情報をそれぞれ生成する、
前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記情報生成部は、識別された前記話者の属性情報を取得し、
取得される前記属性情報に基づいて前記複数の前記話者の各々の音声を判別する、
前記（９）に記載の情報処理装置。
（１１）
前記属性情報は、通信を介して取得される、
前記（１０）に記載の情報処理装置。
（１２）
前記話者識別部は、前記話者の映る画像に基づいて前記話者の発話区間を推定する、
前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
音声出力の対象データを取得するデータ取得部と、
前記対象データに基づいて前記話者を選択する話者選択部と、
選択される前記話者と前記対応関係情報とに基づいて、出力される合成音声に係る合成音声情報を生成する音声生成部と、
をさらに備える、
前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記対象データは、テキスト情報を含み、
前記話者選択部は、前記テキスト情報に基づいて前記話者を選択し、
前記音声生成部は、選択された前記話者の前記音声要素情報を前記対応関係情報に基づいて取得し、取得される前記音声要素情報を用いて前記テキスト情報についての前記合成音声情報を生成する、
前記（１３）に記載の情報処理装置。
（１５）
前記対象データは、第２の画像情報を含み、
前記話者選択部は、前記第２の画像情報に基づいて前記話者を選択し、
前記音声生成部は、選択された前記話者の前記音声要素情報を前記対応関係情報に基づいて取得し、取得される前記音声要素情報を用いて前記第２の画像情報についての前記合成音声情報を生成する、
前記（１３）または（１４）に記載の情報処理装置。
（１６）
前記音声生成部は、前記第２の画像情報から生成されるテキスト情報についての前記合成音声情報を生成する、
前記（１５）に記載の情報処理装置。
（１７）
前記音声生成部は、前記対象データに基づいて複数の前記話者が選択される場合、選択された前記複数の前記話者の各々について、対応する前記対象データの部分に係る前記合成音声情報をそれぞれ生成する、
前記（１３）〜（１６）のいずれか１項に記載の情報処理装置。
（１８）
前記音声生成部は、前記対象データに基づいて推定される前記話者の特徴と類似する特徴を有する前記話者の前記対応関係情報に基づいて前記合成音声情報を生成する、
前記（１３）〜（１７）のいずれか１項に記載の情報処理装置。
（１９）
プロセッサを用いて、
発話の際に取得される情報に基づいて話者を識別することと、
識別された前記話者と前記話者の音声に基づいて生成される音声要素情報との対応関係情報を生成することと、
を含む情報処理方法。
（２０）
発話の際に取得される情報に基づいて話者を識別する話者識別機能と、
識別された前記話者と前記話者の音声に基づいて生成される音声要素情報との対応関係情報を生成する情報生成機能と、
をコンピュータに実現させるためのプログラム。
【符号の説明】
【０１４２】
１００    情報処理装置
１０２    通信部
１０４    音声認識部
１０６    音素抽出部
１０８    話者識別部
１１０    辞書生成部
１１２    記憶部
１１４    意図解析部
１１６    動作制御部
１２０    出力内容決定部
１２２    話者選択部
１２４    音声生成部
２００    ＵＩ装置
２０２    音声入力部
２０４    撮像部
２０６    制御部
２０８    通信部
２２０    音声出力部
【図１】
2017156392.tif 000003
【図２】
2017156392.tif 000004
【図３】
2017156392.tif 000005
【図４】
2017156392.tif 000006
【図５】
2017156392.tif 000007
【図６】
2017156392.tif 000008
【図７】
2017156392.tif 000009
【図８】
2017156392.tif 000010
【図９】
2017156392.tif 000011
【図１０】
2017156392.tif 000012
【図１１】
2017156392.tif 000013
【図１２】
2017156392.tif 000014
【図１３】
2017156392.tif 000015
【図１４】
2017156392.tif 000016
【図１５】
2017156392.tif 000017