(57)【要約】      （修正有）【課題】ＥＴＥ（End-To-End）型の音声合成方式によりユーザが指定した読み（発音）での音声合成を行う。【解決手段】音声合成システムは、発話テキストと音声データとを対応づけた学習データに基づき、音声合成に用いる統計モデルを生成し、上記発話テキストの一部の単語を発音記号列で置き換えた発話テキストと音声データとを対応づけたデータを上記学習データとして生成し、単語と当該単語についての発音記号列とを対応づけた情報を含むデータであるユーザ辞書を記憶し、音声合成の対象となるテキストである対象テキストについて、当該対象テキストに含まれている単語のうち上記ユーザ辞書に含まれている単語を上記ユーザ辞書における当該単語に対応づけられている上記発音記号列で置き換え、置き換え後の対象テキストについて上記統計モデルに基づく音声合成処理を行うことにより合成音声を生成する。【選択図】図３
2019109278.tif 000002
【特許請求の範囲】
【請求項１】
発話テキストと音声データとを対応づけた学習データに基づき、音声合成に用いる統計モデルを生成するモデル学習部と、
前記発話テキストの一部の単語を発音記号列で置き換えた発話テキストと音声データとを対応づけたデータを前記学習データとして生成するテキスト置換部と、
単語と当該単語についての発音記号列とを対応づけた情報を含むデータであるユーザ辞書を記憶する記憶部と、
を有する統計モデル生成装置と、
音声合成の対象となるテキストである対象テキストについて、当該対象テキストに含まれている単語のうち前記ユーザ辞書に含まれている単語を前記ユーザ辞書における当該単語に対応づけられている前記発音記号列で置き換えるユーザ辞書適用部と、
前記置き換え後の前記対象テキストについて前記統計モデルに基づく音声合成処理を行うことにより合成音声を生成する音声合成処理部と、
を有する音声合成装置と、
を備えた音声合成システム。
【請求項２】
請求項１に記載の音声合成システムであって、
前記テキスト置換部は、前記音声データから音声特徴量を抽出し、抽出した音声特徴量に基づき発音記号列を生成し、前記発話テキストの一部の単語を前記発音記号列で置き換えた発話テキストと音声データとを対応づけたデータを前記学習データとして生成する、
音声合成システム。
【請求項３】
請求項２に記載の音声合成システムであって、
前記テキスト置換部は、前記音声データについて音声認識を行うことにより前記発音記号列を生成する、
音声合成システム。
【請求項４】
請求項２に記載の音声合成システムであって、
前記音声特徴量は、発音（音素）、発話スタイル、及び韻律のうちの少なくともいずれかである、
音声合成システム。
【請求項５】
請求項１に記載の音声合成システムであって、
前記テキスト置換部は、形態素解析のアルゴリズムにより前記発話テキストを複数の単語に分割し、
前記ユーザ辞書適用部は、前記形態素解析のアルゴリズムと共通のアルゴリズムにより前記対象テキストを複数の単語に分割する、
音声合成システム。
【請求項６】
請求項１に記載の音声合成システムであって、
前記テキスト置換部は、発音記号列への置き換え対象とする単語を単語抽出アルゴリズムにより前記発話テキストから抽出し、
前記ユーザ辞書適用部は、発音記号列への置き換え対象とする単語を前記単語抽出アルゴリズムと共通のアルゴリズムにより前記対象テキストから抽出する、
音声合成システム。
【請求項７】
請求項１に記載の音声合成システムであって、
前記学習データは音声コーパスである、
音声合成システム。
【請求項８】
請求項７に記載の音声合成システムであって、
前記テキスト置換部は、発音記号列への置き換え対象とする単語を、抽出した単語の音韻又は韻律のバランスを考慮した単語抽出アルゴリズムにより、前記音声コーパスの発話テキストから抽出する、
音声合成システム。
【請求項９】
請求項１に記載の音声合成システムであって、
前記モデル学習部は、ＤＮＮ(Deep Neural Network）により前記統計モデルを生成する、
音声合成システム。
【請求項１０】
請求項１に記載の音声合成システムであって、
ＥＴＥ（End-To-End）型音声合成システムである、
音声合成システム。
【請求項１１】
請求項１に記載の音声合成システムにおける前記統計モデル生成装置であって、
発話テキストと音声データとを対応づけた学習データに基づき、音声合成に用いる統計モデルを生成する前記モデル学習部と、
前記発話テキストの一部の単語を発音記号列で置き換えた発話テキストと音声データとを対応づけたデータを前記学習データとして生成する前記テキスト置換部と、
を備える、統計モデル生成装置。
【請求項１２】
請求項１１に記載の統計モデル生成装置であって、
前記学習データは音声コーパスである、
統計モデル生成装置。
【請求項１３】
請求項１１に記載の統計モデル生成装置であって、
前記モデル学習部は、ＤＮＮ(Deep Neural Network）により前記統計モデルを生成する、
統計モデル生成装置。
【請求項１４】
請求項１に記載の音声合成システムにおける前記音声合成装置であって、
単語と当該単語についての発音記号列とを対応づけた情報を含むデータであるユーザ辞書を記憶する前記記憶部と、
音声合成の対象となるテキストである対象テキストについて、当該対象テキストに含まれている単語のうち前記ユーザ辞書に含まれている単語を前記ユーザ辞書における当該単語に対応づけられている前記発音記号列で置き換える前記ユーザ辞書適用部と、
前記置き換え後の前記対象テキストについて前記統計モデルに基づく音声合成処理を行うことにより合成音声を生成する前記音声合成処理部と、
を備える、音声合成装置。
【請求項１５】
情報処理装置が、
発話テキストと音声データとを対応づけた学習データに基づき、音声合成に用いる統計モデルを生成するステップ、
前記発話テキストの一部の単語を発音記号列で置き換えた発話テキストと音声データとを対応づけたデータを前記学習データとして生成するステップ、
単語と当該単語についての発音記号列とを対応づけた情報を含むデータであるユーザ辞書を記憶するステップ、
音声合成の対象となるテキストである対象テキストについて、当該対象テキストに含まれている単語のうち前記ユーザ辞書に含まれている単語を前記ユーザ辞書における当該単語に対応づけられている前記発音記号列で置き換えるステップ、及び、
前記置き換え後の前記対象テキストについて前記統計モデルに基づく音声合成処理を行うことにより合成音声を生成するステップ、
を実行する、音声合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声合成システム、統計モデル生成装置、音声合成装置、音声合成方法に関する。
【背景技術】
【０００２】
近年、電話の自動応答、公共交通機関や自治体のアナウンス、スマートフォンやパーソナルコンピュータのアプリケーションによる情報の読み上げ等、様々な分野において音声合成技術が導入されている。また昨今、音声認識、機械翻訳、対話生成等の技術が飛躍的に向上し、音声翻訳やサービスロボット等への実用化が急速に進められている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Oord, Aaron van den; Dieleman, Sander; Zen, Heiga; Simonyan, Karen; Vinyals, Oriol; Graves, Alex; Kalchbrenner, Nal; Senior, Andrew; Kavukcuoglu, Koray (2016-09-12). "WaveNet: A Generative Model for Raw Audio".
【非特許文献２】Yuxuan Wang, RJ Skerry-Ryan, Daisy Stanton, Yonghui Wu, Ron J Weiss, Navdeep Jaitly, Zongheng Yang, Ying Xiao, Zhifeng Chen, Samy Bengio, et al. 2017. Tacotron: A fully end-toend text-to-speech synthesis model.
【非特許文献３】"Unit selection with Hierarchical Cascaded Long Short Term Memory Bidirectional Recurrent Neural Nets",  Vincent Pollet, Enrico Zovato, Sufian Irhimeh, Pier Batzu, Interspeech 2017.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
音声合成の方式としては様々なものが存在するが、中でもテキスト音声合成方式は重要技術の一つとして注目されている。一般的なテキスト音声合成方式は、テキストを発音記号列に変換するフロントエンド（Front-End）処理と、中間言語から音声波形を生成するバックエンド（Back-End）処理とを含む。昨今ではフロントエンド処理及びバックエンド処理の夫々にＤＮＮ (Deep Neural Network）等の統計的手法を適用したものも実用化されている。
【０００５】
また最近では、中間言語を経由することなく、入力されたテキストから直接音声を生成する、いわゆるＥＴＥ（End-To-End）型の音声合成方式も登場している。ＥＴＥ型の音声合成方式では、音声コーパスの発話テキストの言語特徴量と音声波形の音響特徴量との関係をＤＮＮ等の統計的手法により事前に統計モデルとして用意しておき、音声合成時は統計モデルに基づき音声合成の対象となるテキストに対応する音響特徴量を有する系列を生成して音声を合成する。
【０００６】
ところで、音声合成技術の利用現場においては、例えば、人名や固有名詞等についてユーザが指定した読み（発音）で音声合成を行いたいというニーズが少なからず存在し、ＥＴＥ型の音声合成方式においてもユーザ辞書の機能に対するニーズは少なくない。しかしＥＴＥ型の音声合成方式における統計モデルは、その全体（ＤＮＮモデル等）が一つの大きなモデルとして構成されており、膨大なデータを用いたＥＴＥ型の音声合成方式の再学習には大量の計算機リソースが必要となり、ユーザ辞書の内容を学習データに追加したり新語を追加する度に統計モデルを再学習することは必ずしも現実的でない。
【０００７】
本発明はこうした背景に鑑みてなされたものであり、ユーザが指定した読み（発音）での音声合成を行うことが可能なＥＴＥ型の音声合成方式による音声合成システム等を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するための本発明のうちの一つは、情報処理装置を用いて構成される音声合成システムであって、発話テキストと音声データとを対応づけた学習データに基づき、音声合成に用いる統計モデルを生成するモデル学習部と、前記発話テキストの全部又は一部の単語を発音記号列で置き換えた発話テキストと音声データとを対応づけたデータを前記学習データとして生成するテキスト置換部と、単語と当該単語についての発音記号列とを対応づけた情報を含むデータであるユーザ辞書を記憶する記憶部と、音声合成の対象となるテキストである対象テキストについて、当該対象テキストに含まれている単語のうち前記ユーザ辞書に含まれている単語を前記ユーザ辞書において当該単語についての前記発音記号列で置き換えるユーザ辞書適用部と、前記置き換え後の前記対象テキストについて前記統計モデルに基づく音声合成処理を行うことにより合成音声を生成する音声合成処理部と、を備える。
【発明の効果】
【０００９】
本発明によれば、ユーザが指定した読み（発音）での音声合成を行うことが可能なＥＴＥ型の音声合成方式による音声合成システム等を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】音声合成システムの概略的な構成を示す図である。
【図２】音声合成システムの実現に用いるハードウェアの一例として示す情報処理装置のブロック図である。
【図３】音声合成システムの構成を説明する図である。
【図４】テキスト置換部の詳細を説明する図である。
【図５】置換単語抽出部の詳細を説明する図である。
【図６】音声特徴量抽出部の詳細を説明する図である。
【図７】ユーザ辞書適用部の詳細を説明する図である。
【発明を実施するための形態】
【００１１】
以下、本発明に係る実施形態を図面に参照しつつ説明する。
【００１２】
図１に本実施形態で説明する、ＥＴＥ（End-To-End）型の音声合成方式により音声合成を行うシステム（以下、音声合成システム１と称する。）の概略的な構成を示している。
【００１３】
音声合成システム１は、音声コーパス５０の発話テキスト５１の言語特徴量と音声データ５２の音響特徴量との関係をＤＮＮ (Deep Neural Network）等の統計的手法（機械学習等）で学習することにより事前に統計モデル６０を生成しておき、音声合成の対象となるテキスト（文章や句）（以下、入力テキスト７００（対象テキスト）と称する。）に対応する音響特徴量を有する系列を統計モデル６０に基づき生成して音声を合成する。
【００１４】
尚、本実施形態では、上記の統計的手法としてＤＮＮを例として説明するが、統計的手法は必ずしも限定されず、例えば、隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）等の他の統計的手法を用いてもよい。また以下ではテキストとして記述される言語が日本語である場合を例として説明するが、テキストとして記述される言語は他の言語であってもよいし、テキストには複数の言語が混在していてもよい。
【００１５】
同図に示すように、音声合成システム１は、音声コーパス５０、音声コーパス５０に基づき統計モデル６０を生成する統計モデル生成部１００、及び、入力テキスト７００に対応する音響特徴量を有する系列を生成し、生成した系列に基づき音声波形を合成して合成音声８００を生成（出力）する音声合成部２００、を含む。
【００１６】
音声コーパス５０は、発話テキスト５１と、発話テキスト５１と対応づけられた音声データ５２（音声波形データ、符号化された音声データ等）とを含む。音声コーパス５０は、統計モデル生成部１００が統計モデル６０を生成する際の学習データとして用いられる。
【００１７】
音声合成部２００は、統計モデル６０を用い、入力テキスト７００について指定された発音や発話スタイル（例えば、会話調である、感情がこもっている等の発声上の特徴や、声の抑揚、大きさ、リズム、速さ、間の長さといった要素によって特徴付けられる発声上の特徴等）等に従った音声を合成する。
【００１８】
図２は音声合成システム１の実現に用いるハードウェアの一例として示す情報処理装置１０（コンピュータ、計算機リソース）のブロック図である。同図に示すように、情報処理装置１０は、プロセッサ１１、主記憶装置１２、補助記憶装置１３、入力装置１４、出力装置１５、及び通信装置１６を備える。これらは図示しないバス等の通信手段を介して互いに通信可能に接続されている。
【００１９】
尚、情報処理装置１０は、その全ての構成が必ずしもハードウェアで実現されている必要はなく、例えば、構成の一部又は全部がクラウドシステムのクラウドサーバのような仮想的な資源によって実現されていてもよい。
【００２０】
プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）等を用いて構成される。プロセッサ１１が、主記憶装置１２に格納されているプログラムを読み出して実行することにより、音声合成システム１の様々な機能が実現される。
【００２１】
主記憶装置１２は、プログラムやデータを記憶する装置であり、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性半導体メモリ（ＮＶＲＡＭ（Non Volatile RAM））等である。
【００２２】
補助記憶装置１３は、例えば、ハードディスクドライブ、ＳＳＤ（Solid State Drive）、光学式記憶装置（ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)等）、ストレージシステム、ＩＣカード、ＳＤメモリカード、ＦＤ（フレキシブルディスク）等の記録媒体の読取／書込装置、クラウドサーバの記憶領域等である。補助記憶装置１３に格納されているプログラムやデータは主記憶装置１２に随時読み込まれる。音声コーパス５０等の音声合成システム１が管理するデータは、例えば、補助記憶装置１３をデータの格納領域として利用するＤＢＭＳ（DataBase Management System）のデータベースに管理される。
【００２３】
入力装置１４は、音声コーパス５０や入力テキスト７００を入力するためのインタフェース（又はユーザインタフェース）であり、例えば、キーボード、マウス、タッチパネル、カードリーダ、マイクロフォン、アンプ等である。尚、情報処理装置１０が、通信装置１６を介して他の装置との間で情報の入力を受け付ける構成としてもよい。
【００２４】
出力装置１５は、各種の情報を出力するインタフェース（又はユーザインタフェース）であり、合成音声を出力する音声出力装置（スピーカ、アンプ等）を含む。尚、情報処理装置１０は、ユーザに処理経過や処理結果等の各種情報を提供するインタフェース（例えば、音声出力装置（スピーカ等）、画面表示装置（液晶モニタ、ＬＣＤ（Liquid Crystal Display）、グラフィックカード等）、印字装置等）を出力装置１５として更に備えていてもよい。また情報処理装置１０が、通信装置１６を介して他の装置との間で情報の出力を行う構成としてもよい。
【００２５】
通信装置１６は、ＬＡＮやインターネット等の通信手段を介した他の装置との間の通信を実現する有線方式又は無線方式の通信インタフェースであり、例えば、ＮＩＣ（Network Interface Card）、各種無線通信モジュール、ＵＳＢ（Universal Serial Interface）モジュール、シリアル通信モジュール、モデム等である。
【００２６】
尚、統計モデル生成部１００、音声合成部２００、音声コーパス５０、及び統計モデル６０は、これらの全てが共通のハードウェアで実現されていなくてもよく、通信可能に接続された複数のハードウェアに分散して配置されていてもよい。例えば、音声コーパス５０及び統計モデル生成部１００と、統計モデル６０及び音声合成部２００とを、独立した資源により構成してもよい。統計モデル６０及び音声合成部２００は、例えば、カーナビゲーション装置、スマートフォン、携帯電話機、パーソナルコンピュータ等のデバイスに組み込まれる。
【００２７】
また統計モデル生成部１００の後述する構成要素は、必ずしも共通のハードウェアで実現されていなくてもよく、通信可能に接続された複数のハードウェアに分散して配置されていてもよい。また音声合成部２００の後述する構成要素は、必ずしも共通のハードウェアで実現されていなくてもよく、通信可能に接続された複数のハードウェアに分散して配置されていてもよい。
【００２８】
また音声コーパス５０や統計モデル６０をクラウドサーバ等の通信ネットワーク上の資源に配置し、統計モデル生成部１００や音声合成部２００が有線方式又は無線方式の通信ネットワークを通じて音声コーパス５０や統計モデル６０にアクセスするようにしてもよい。
【００２９】
また統計モデル生成部１００と音声合成部２００とを独立したハードウェアに配置し、統計モデル生成部１００によって生成された統計モデル６０を、物理的な記録媒体（光学式記憶装置（ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)等）、ハードディスクドライブ、ＳＳＤ、ＩＣカード、ＳＤメモリカード等）や有線方式又は無線方式の通信ネットワークを介して音声合成部２００に提供するようにしてもよい。
【００３０】
図３は、図１に示した音声合成システム１の構成を詳細に説明する図である。同図に示すように、統計モデル生成部１００は、テキスト置換部１１０、及びモデル学習部１２０の各機能を有する。
【００３１】
テキスト置換部１１０は、音声コーパス５０の発話テキスト５１の一部又は全部をテキストデータ形式の発音記号列で置き換える。より詳細には、テキスト置換部１１０は、発話テキスト５１の一部又は全部をテキストデータ形式の発音記号列で置き換える。
【００３２】
図４は図３のテキスト置換部１１０の詳細を説明する図である。同図に示すように、テキスト置換部１１０は、置換単語抽出部１１１、音声特徴量抽出部１１２、発音記号列生成部１１３、及びテキスト置換処理部１１５を含む。
【００３３】
置換単語抽出部１１１は、音声コーパス５０の発話テキスト５１のうち、発音記号列への置き換えの対象とする単語（例えば、固有名詞等）を抽出する。尚、以下の説明において、「単語」という場合、１文字、１単語、複数の単語の塊、句、節、文等、後述するユーザ辞書２１２への登録対象となりうる全ての態様を含むものとする。
【００３４】
ここでこのように発話テキスト５１から置き換えの対象とする単語を抽出するのは、音声コーパス５０の全ての発話テキスト５１の全ての単語を発音記号列に置き換えてしまうと、音声合成部２００による音声合成に際し発音記号列の入っていないテキスト（以下、ノーマルテキストと称する。）に基づく音声合成ができなくなってしまうからである。そこで例えば、ユーザ辞書の機能を実現することが目的である場合、置換単語抽出部１１１は、例えば、ユーザ辞書に登録される可能性のある単語を置き換えの対象となる単語として抽出する。
【００３５】
図５は、図４に示した置換単語抽出部１１１の詳細を説明する図である。同図に示すように、置換単語抽出部１１１は、形態素解析部１１１１及び単語抽出部１１１２の各機能を有する。
【００３６】
また置換単語抽出部１１１は、単語抽出用データ１０６を記憶する。単語抽出用データ１０６には、単語抽出部１１１２が発音記号列への置き換えの対象となる単語として抽出するか否かの判定の基準となる情報が含まれる。単語抽出用データ１０６の内容は、例えば、ユーザが設定する。尚、置換単語抽出部１１１が、例えば、統計的手法（機械学習等）を用いて自動的に単語を抽出するようにしてもよい。
【００３７】
形態素解析部１１１１は、形態素解析を行って発話テキスト５１を言語の最小単位（日本語の場合は形態素）に分割する。例えば、発話テキスト５１が「外国人参政権」である場合、形態素解析部１１１１は、これを「外国」、「人」、「参政」、「権」という４つの単語に分割する。
【００３８】
単語抽出部１１１２は、形態素解析部２１０１によって分割されることにより得られた単語から、発音記号列への置き換えの対象となる単語を抽出する。ここで上記抽出の方法は必ずしも限定されないが、例えば、ルールベース手法や統計ベース手法を用いて行うことができる。例えば、鉄道放送向けの音声合成システム１を構築する場合、後述するユーザ辞書２１２に駅名が登録されることを想定し、置換単語抽出部１１１は発話テキスト５１から駅名を抽出する。具体的には、例えば、入力テキスト７００が「新宿さんが新宿で電車を降りました。」であり、単語抽出用データ１０６が「表記＝新宿、読み＝しんじゅく、属性＝駅名」である場合、単語抽出部２１０２は、「駅名」として「新宿」が使われている単語のみを抽出する。但しこのように駅名のみを置換するようにした場合には、アクセント型に偏りが生じる可能性がある。そこでユーザ辞書に登録される可能性のある単語を全体的に高品質に読み上げることができるように、例えば、置換単語抽出部１１１が、単語の音韻のバランス（選択した単語の音素つながりが偏っていないこと）や韻律のバランス（アクセント型、文中における位置などが偏っていないこと）を考慮して音声コーパス５０全体の発話テキスト５１から単語を適宜選択する（必要であれば駅名以外の単語も抽出対象とする）ようにしてもよい。
【００３９】
図６は、図４に示した音声特徴量抽出部１１２の詳細を説明する図である。音声特徴量抽出部１１２は、音声コーパス５０の音声データ５２から、例えば、発音（音素）、発話スタイル、韻律等を音声特徴量として抽出する。
【００４０】
同図に示すように、音声特徴量抽出部１１２は、発音（音素）抽出部１１２１、発話スタイル抽出部１１２２、及び韻律特徴抽出部１１２３を有する。発音（音素）抽出部１１２１は、音声コーパス５０の音声データ５２から発音（音素）情報を抽出する。発話スタイル抽出部１１２２は、音声コーパス５０の音声データ５２から発話スタイル情報を抽出する。韻律特徴抽出部１１２３は、音声コーパス５０の音声データ５２から韻律特徴情報を抽出する。このように発音（音素）のみならず発話スタイルや韻律に関する情報を抽出して発音記号列に組み込むことで、合成音声の発話スタイルや抑揚をチューニングすることが可能になる。音声特徴量抽出部１１２は、更に別の情報を音声特徴量１０４として抽出してもよい。音声特徴量抽出部１１２が行う処理は、例えば、音声認識技術やテキスト解析技術等を用いて情報処理装置により自動的に行うことができる。尚、上記処理の一部又は全部を手動で行ってもよい。
【００４１】
尚、発音（音素）情報は、例えば、発話テキスト５１から言語処理技術によって抽出することができるが、例えば「明日」という単語が「あした」又は「あす」のうちのいずれで発音されるのか等、言語処理技術では発音を一意に決定することができないことがあるが、その場合は例えば音声認識技術を用いて音声データ５２に基づき正確な発音を抽出するようにしてもよい。例えば、ある音声データ５２に対応する発話テキスト５１が「明日は晴れです。」である場合、音声特徴量抽出部１１２は音声データ５２について音声認識技術を適用することにより「アスワハレデス」という発音（音素）情報を抽出する。
【００４２】
図４に戻り、発音記号列生成部１１３は、音声特徴量抽出部１１２が抽出した音声特徴量１０４に基づき発音記号列１０５を生成（音声特徴量１０４を発音記号列で表現）する。発音記号列１０５の記述方法は必ずしも限定されないが、例えば、日本語の場合、発音記号列生成部１１３は、音声特徴量抽出部１１２が抽出した音声特徴量１０４に基づき、ＪＩＥＴＡ（一般社団法人電子情報技術産業協会）が規定する日本語テキスト音声合成用記号（JEITA IT-4006）を生成する。
【００４３】
尚、一般的なテキストに用いる文字コードに含まれていないコード（記号コードや特殊コード等）を用いることで、読み（発音）指定の精度を高めることができる。例えば、発音記号列生成部１１３は、音声特徴量抽出部１１２が抽出した発音「アスワハレデス」を、「アス'ワ ハレ'テ゛ス%.」という一般的なテキストに用いる文字コードに含まれていないコードを含む発音記号列に変換する。尚、発音（音素）情報以外に、更にアクセント情報や韻律境界情報、ポーズ情報等の情報を付加して読み指定の品質を高めるようにしてもよい。
【００４４】
テキスト置換処理部１１５は、発話テキスト５１について、置換単語抽出部１１１が抽出した単語（同図における、抽出した単語１０３）を、これに対応する発音記号列生成部１１３が生成した発音記号列で置き換えた発話テキスト（以下、発音記号列を含む発話テキスト１０２と称する。）を生成する。
【００４５】
図３に戻り、テキスト置換処理部１１５は、テキスト置換部１１０が生成した、発音記号列を含む発話テキスト１０２を、これに対応する音声データ５２と組み合わせて新たな学習データとして音声コーパス５０に追加する。これによりテキスト置換部１１０が発音記号列を含む発話テキスト１０２を生成する度に音声コーパス５０に学習データが追加されていくことになる。
【００４６】
具体例を示すと、例えば、発話テキスト５１が「次の停車駅は新宿です。」であり、置換単語抽出部１１１が、この発話テキスト５１から「新宿」という単語（抽出した単語１０３）を抽出した場合、テキスト置換処理部１１５は、「次の停車駅はシンシ゛ュクです。」という、発音記号列を含む発話テキスト１０２を生成する。テキスト置換処理部１１５は、生成した発音記号列を含む発話テキスト１０２を、対応する音声データ５２と組み合わせて音声コーパス５０に追加する。
【００４７】
尚、テキスト置換処理部１１５は、テキスト置換部１１０が生成した、発音記号列を含む発話テキスト１０２とこれに対応する音声データ５２との組合せを、上記のように新たに音声コーパス５０に追加してもよいし、音声コーパス５０の、発音記号列に置換する前の発話テキスト５１と音声データ５２の組合せにおける発話テキスト５１を、発音記号列を含む発話テキスト１０２に置換するようにしてもよい（即ち、音声コーパス５０の既存の組合せを更新する）。
【００４８】
図３に示すモデル学習部１２０は、音声コーパス５０に含まれている、全ての発話テキスト５１と音声データ５２との組合せ（テキスト置換処理部１１５により新たに追加された組合せを含む）を学習データとして学習（機械学習等）を行い、統計モデル６０を生成する。尚、このように学習データには発音記号列を含む発話テキスト１０２が含まれているため、生成された統計モデル６０を用いることで、ノーマルテキストのみならず発音記号列を含むテキストについても音声合成を行うことができる。
【００４９】
続いて、図３に示した音声合成部２００について説明する。同図に示すように、音声合成部２００は、ユーザ辞書適用部２１０、及び音声合成処理部２２０の各機能を有する。
【００５０】
ユーザ辞書適用部２１０は、入力テキスト７００に基づく音声合成の際、入力テキスト７００中にユーザ辞書に登録されている単語を検出すると、検出した単語を当該単語についてユーザ辞書２１２で指定されている発音記号列に置き換え、発音記号列を含むテキスト２０３を生成する。尚、ユーザ辞書適用部２１０の機能は、単純な文字列置換のアルゴリズムによって実現することもできるが、入力テキスト７００が日本語のように単語の間に明確な分割文字が存在しない言語で記述されている場合、単純な文字列置換のアルゴリズムでは上記の置き換えを正しく行うことができないことがある。例えば、ユーザ辞書２１２に「表記＝人参、読み（発音記号列）＝ニンシ゛ン」というデータが含まれている場合、単純な文字列置換のアルゴリズムでは「外国人参政権」が「外国ニンシ゛ン政権」に置き換えられてしまうとことがある。そこで本実施形態のユーザ辞書適用部２１０は、以下のようにして発音記号列を含むテキスト２０３を生成する。
【００５１】
図７は、ユーザ辞書適用部２１０の詳細を説明する図である。同図に示すように、ユーザ辞書適用部２１０は、形態素解析部２１０１、単語抽出部２１０２、及び発音記号列置換部２１０３を有する。
【００５２】
またユーザ辞書適用部２１０は、単語抽出用データ２１１及びユーザ辞書２１２を記憶する。単語抽出用データ２１１には、単語抽出部２１０２が置き換えの対象となる単語として抽出するか否かの判定の基準となる情報が含まれる。ユーザ辞書２１２は、単語（表記）と読み（発音記号列）とを対応づけた情報が含まれる。
【００５３】
形態素解析部２１０１は、形態素解析を行って入力テキスト７００を言語の最小単位（日本語の場合は形態素）に分割する。例えば、入力テキスト７００として「外国人参政権」が入力された場合、形態素解析部２１０１は、これを「外国」、「人」、「参政」、「権」という４つの単語に分割する。このため、例えば、ユーザ辞書２１２に「表記＝人参、読み（発音記号列）＝ニンシ゛ン」といった内容が登録されていた場合でも誤って置き換えてしまうことはない。
【００５４】
単語抽出部２１０２は、形態素解析部２１０１によって分割された単語から、発音記号列への置き換え対象とする単語（例えば、固有名詞等）を抽出する。この抽出の方法は必ずしも限定されないが、例えば、ルールベース手法や統計ベース手法を用いて行う。前述した単語抽出部１１１２と同様であるが、例えば、入力テキスト７００が「新宿さんが新宿で電車を降りました。」であり、単語抽出用データ２１１に「表記＝新宿、読み＝しんじゅく、属性＝駅名」が登録されている場合、単語抽出部２１０２は、「駅名」として「新宿」が使われている単語を抽出する。
【００５５】
発音記号列置換部２１０３は、単語抽出部２１０２が抽出した単語のうち、ユーザ辞書２１２に登録されている単語を当該単語についてユーザ辞書２１２に登録されている読み（発音記号列）で置き換える。上記の例において、例えば、ユーザ辞書２１２に「表記＝新宿、読み（発音記号列）＝シンシ゛ュク」が登録されていた場合、発音記号列置換部２１０３は、「新宿さんが新宿で電車を降りました。」という入力テキスト７００を「新宿さんがシンシ゛ュクで電車を降りました。」というテキストに置換する。
【００５６】
尚、形態素解析部２１０１及び単語抽出部２１０２としては、前述した統計モデル生成部１００の置換単語抽出部１１１における、形態素解析部１１１１及び単語抽出部１１１２と同じもの（アルゴリズムが共通するもの）を用いることが好ましい。また発音記号列置換部２１０３としては、前述したテキスト置換部１１０のテキスト置換処理部１１５と同じもの（アルゴリズムが共通するもの）を用いることが好ましい。このように統計モデル生成部１００と音声合成部２００とで共通のアルゴリズムを用いることで合成音声の品質を高めることができる。
【００５７】
図３に戻り、音声合成処理部２２０は、統計モデル６０を用い、入力テキスト７００から合成音声８００を生成する。音声合成処理部２２０は、例えば、非特許文献１のように直接音声波形を生成する方法、非特許文献２のようにフレームごとに音声パラメータを生成した後に音声を生成する手法、非特許文献３のようなＤＮＮで選択した音声素片をつなぎ合わせることで音声合成する手法等により、合成音声８００を生成する。
【００５８】
尚、例えば、音声コーパス５０に入力テキスト７００に対応する発話テキスト５１が含まれていない場合にモデル学習部１２０統計的手法（機械学習等）により類推して統計モデル６０を生成するようにしてもよい。例えば、発音記号列を含む発話テキスト１０２として「シンジュク」を含むものが音声コーパス５０に含まれていない場合に、モデル学習部１２０が、統計的手法により類推して「シンジュク」と音声データ５２との対応を含む統計モデル６０を生成するようにする。
【００５９】
以上詳細に説明したように、本実施形態の音声合成システム１は、発話テキスト５１の一部の単語を発音記号列で置き換えた発話テキスト５１と音声データ５２とを対応づけた学習データを含んだ音声コーパス５０により統計モデル６０を予め学習しておき、入力テキスト７００について、当該入力テキスト７００に含まれている単語のうちユーザ辞書２１２に含まれている単語をユーザ辞書２１２における当該単語に対応づけられている発音記号列で置き換え、置き換え後の入力テキスト７００について統計モデル６０に基づく音声合成処理を行うことにより合成音声を生成する。そのため、統計モデル６０を再学習させることなく、ユーザが指定した読み（発音）での音声合成を行うことが可能できる。このように本実施形態によれば、ユーザが指定した読み（発音）での音声合成を行うことが可能なＥＴＥ型の音声合成方式による実用的な音声合成システムを実現することができる。
【００６０】
以上、本発明について実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また上記実施形態の構成の一部について、他の構成の追加・削除・置換をすることができる。
【００６１】
また上記の各構成、機能部、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また上記の各構成、機能等は、プロセッサが夫々の機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、またはＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【００６２】
また各図において、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも実装上の全ての制御線や情報線を示しているとは限らない。例えば、実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
【００６３】
また以上に説明した情報処理装置の各種機能部、各種処理部、各種データベースの配置形態は一例に過ぎない。各種機能部、各種処理部、各種データベースの配置形態は、各情報処理装置がハードウェアやソフトウェアの性能、処理効率、通信効率等の観点から最適な配置形態に変更し得る。
【符号の説明】
【００６４】
１  音声合成システム、１０  情報処理装置、５０  音声コーパス、５１  発話テキスト、５２  音声データ、６０  統計モデル、１００  統計モデル生成部、１０２  発音記号列を含むテキスト、１０３  抽出した単語、１０４  音声特徴量、１０５  発音記号列、１０６  単語抽出用データ、１１０  テキスト置換部、１１１  置換単語抽出部、１１１１  形態素解析部、１１１２  単語抽出部、１１２  音声特徴量抽出部、１１２１  発音（音素）抽出部、１１２２  発話スタイル抽出部、１１２３  韻律特徴抽出部、１１３  発音記号列生成部、１１５  テキスト置換処理部、１２０  モデル学習部、２００  音声合成部、２０３  発音記号列を含むテキスト、２０２  発音記号列を含むテキスト、２１０  ユーザ辞書適用部、２１１  単語抽出用データ、２１２  ユーザ辞書、２１０１  形態素解析部、２１０２  単語抽出部、２１０３  発音記号列置換部、７００  入力テキスト、８００  合成音声
【図１】
2019109278.tif 000003
【図２】
2019109278.tif 000004
【図３】
2019109278.tif 000005
【図４】
2019109278.tif 000006
【図５】
2019109278.tif 000007
【図６】
2019109278.tif 000008
【図７】
2019109278.tif 000009