(57)【要約】【課題】高品質な合成音声を効率的に生成する。【解決手段】テキスト音声合成を支援するシステムであって、入力された音声を認識し、語句の表記と読み方とを対応付けた第１学習データを生成する学習データ生成部と、第１学習データに基づいて、語句の表記および読み方の出現頻度を示す頻度データを生成する頻度データ生成部と、テキスト音声合成の出力音声を、入力された音声に近づけるべく、テキストの表記から当該表記に対応する読み方を読み方の出現頻度に基づいて生成する言語処理部に対し、頻度データを設定する設定部とを備えるシステムを提供する。【選択図】図２
2008046538.tif 000002
【特許請求の範囲】
【請求項１】
テキスト音声合成を支援するシステムであって、
入力された音声を認識し、語句の表記と読み方とを対応付けた第１学習データを生成する学習データ生成部と、
前記第１学習データに基づいて、語句の表記および読み方の出現頻度を示す頻度データを生成する頻度データ生成部と、
テキスト音声合成の出力音声を、入力された前記音声に近づけるべく、テキストの表記から当該表記に対応する読み方を読み方の出現頻度に基づいて生成する言語処理部に対し、前記頻度データを設定する設定部と
を備えるシステム。
【請求項２】
前記学習データ生成部は、音声を認識して、さらに、語句の読み方と音素の波形データとを対応付けた第２学習データを生成し、
当該システムは、前記第２学習データに基づいて、語句の読み方と音素の波形データとに基づく音響データを生成する音響データ生成部を更に備え、
前記設定部は、テキスト音声合成による出力音声を、認識された前記音声に近づけるべく、語句の読み方に基づいて音声を出力する音響処理部に対し、前記音響データを設定する
請求項１に記載のシステム。
【請求項３】
前記頻度データ生成部は、前記第１学習データに基づいて、連続して表記される複数の語句の組合せ毎にそれぞれの読み方の組合せが出現する出現頻度を前記頻度データとして生成する
請求項１に記載のシステム。
【請求項４】
既に前記言語処理部に設定されている頻度データを取得する取得部を更に備え、
前記頻度データ生成部は、連続して表記される複数の語句の組合せ毎に、取得された前記頻度データに含まれる読み方の組合せ毎の出現頻度と、前記第１学習データに出現する読み方の組合せ毎の出現頻度とを加重平均することで頻度データ候補を生成し、さらに、
加重平均の加重が互いに異なる複数の前記頻度データ候補のそれぞれについて、当該頻度データ候補を用いて前記言語処理部により前記第１学習データ中の語句表記に基づき生成させた読み方のうち、前記第１学習データと一致する読み方の割合を算出し、さらに、
読み方の一致する前記割合を予め定められた基準値以上とする頻度データ候補を、新たな頻度データとして生成する
請求項３に記載のシステム。
【請求項５】
前記学習データ生成部は、入力された音声を認識して、語句の表記に語句の読み方および語句の品詞を対応付けた第１学習データを生成し、
前記頻度データ生成部は、前記第１学習データに基づいて、連続して表記される複数の語句の組合せ毎に、読み方の組合せおよび品詞の組合せの出現頻度を前記頻度データとして生成する
請求項３に記載のシステム。
【請求項６】
前記学習データ生成部は、音声を認識し、語句の表記と語句の発音およびアクセントとを対応付けた第１学習データを生成し、
前記頻度データ生成部は、語句の読み方の出現頻度を示す頻度データとして、語句の発音とアクセントとの組み合わせ毎の出現頻度を示す頻度データを生成する
請求項１に記載のシステム。
【請求項７】
前記学習データ生成部は、それぞれの語句について、当該語句に対応する音声を複数のアクセント句に分割し、それぞれの前記アクセント句における音声のアクセントを予め定められた複数の種類のアクセントのうち何れかに分類し、アクセント句毎のアクセントの種類の集合を当該語句の読み方として生成し、
前記頻度データ生成部は、前記第１学習データにおける語句のアクセント句毎のアクセントの種類の集合の出現頻度を、前記第１学習データにおける当該語句の読み方の出現頻度と判断して、前記頻度データを生成する
請求項６に記載のシステム。
【請求項８】
テキスト音声合成を支援するシステムであって、
入力された音声を認識し、語句の表記と読み方とを対応付けた第１学習データを生成する学習データ生成部と、
テキスト音声合成による出力音声を、入力された前記音声に近づけるべく、前記第１学習データに基づいて、テキストの表記から当該表記に対応する読み方を読み方の出現頻度に基づいて生成する言語処理部を学習させる学習部と
を更に備えるシステム。
【請求項９】
テキスト音声合成を支援する方法であって、
入力された音声を認識し、語句の表記と読み方とを対応付けた第１学習データを生成するステップと、
前記第１学習データに基づいて、語句の表記および読み方の出現頻度を示す頻度データを生成するステップと、
テキスト音声合成の出力音声を、入力された前記音声に近づけるべく、テキストの表記から当該表記に対応する読み方を読み方の出現頻度に基づいて生成する言語処理部に対し、前記頻度データを設定するステップと
を備える方法。
【請求項１０】
テキスト音声合成を支援するシステムとして、情報処理装置を機能させるプログラムであって、
前記情報処理装置を、
入力された音声を認識し、語句の表記と読み方とを対応付けた第１学習データを生成する学習データ生成部と、
前記第１学習データに基づいて、語句の表記および読み方の出現頻度を示す頻度データを生成する頻度データ生成部と、
テキスト音声合成の出力音声を、入力された前記音声に近づけるべく、テキストの表記から当該表記に対応する読み方を読み方の出現頻度に基づいて生成する言語処理部に対し、前記頻度データを設定する設定部と
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキスト音声合成を支援するシステムに関する。特に、本発明は、言語処理部を学習させることで音声合成の精度を向上させるシステムに関する。
【背景技術】
【０００２】
テキスト音声合成（ＴＴＳ：Ｔｅｘｔ−Ｔｏ−Ｓｐｅｅｃｈ）において、聞き手にとって分かり易くかつ自然な音声を出力するためには、発音のみならずアクセントを含めた読み方を正確に決定することが望ましい。従来のテキスト音声合成技術において、アクセントの生成は、アナウンサーなどの標準的な声を分析したうえで、適切なアクセントを定めるための多数のルールを試行錯誤で見つけ出すことで実現されていた。しかしながら、適切なルールの作成には専門家による様々な作業が必要であり、膨大な費用と時間を要する恐れがあった。
【０００３】
これに対し、ルールではなく、予め与えた学習データ中の語句の発音およびアクセントの出現頻度などの統計的な情報を用いて、入力テキスト中の語句の発音およびアクセントを決定する技術が提案されている（非特許文献１を参照。）。この技術によれば、充分な量の学習データを前提に正確な出現頻度を算出することができ、ルールを作成する手間を不要として処理を効率化できる。
【非特許文献１】長野，森，西村: "確率的モデルを用いた読み及びアクセント推定"，SIG-SLP57 (2005.7)
【非特許文献２】Eide, E., et al., "Recent Improvements to the IBM. Trainable Speech Synthesis System." Proc. ICASSP 2003,. Hong Kong, Vol. 1, pp. 708-711. (2003.4)
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の統計的な情報を用いる技術においては、正確な発音およびアクセントを付与した学習データが多量に必要となる。このような学習データを生成するためには、アクセントの分類などを熟知した専門家がそれぞれの語句について手作業でアクセントの情報を付与していかなければならなかった。一方で、発音やアクセントなどの読み方の情報から実際の音声を生成する音響処理においては、実際にアナウンサーなどが発声した音声の波形データを利用する場合が多い（非特許文献２を参照。）。このため、手作業で付与されたアクセントの情報と、実際の音声を利用した合成音声との間で不整合が生じ、出力される音声が不自然になる場合があった。
【０００５】
そこで本発明は、上記の課題を解決することのできるシステム、方法およびプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明においては、テキスト音声合成を支援するシステムであって、入力された音声を認識し、語句の表記と読み方とを対応付けた第１学習データを生成する学習データ生成部と、第１学習データに基づいて、語句の表記および読み方の出現頻度を示す頻度データを生成する頻度データ生成部と、テキスト音声合成の出力音声を、入力された音声に近づけるべく、テキストの表記から当該表記に対応する読み方を読み方の出現頻度に基づいて生成する言語処理部に対し、頻度データを設定する設定部とを備えるシステムを提供する。また、当該システムによりテキスト音声合成を支援する方法および当該システムとして情報処理装置を機能させるプログラムを提供する。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明の効果】
【０００７】
本発明によれば、高品質な合成音声を効率的に生成することができる。
【発明を実施するための最良の形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、支援システム２０およびテキスト音声合成処理部５０の構成を示す。図１に示す情報システムは、支援システム２０と、テキスト音声合成処理部５０とを有する。テキスト音声合成処理部５０は、テキストの入力を受け付けると、そのテキストを読み上げる音声を生成して出力する。具体的には、テキスト音声合成処理部５０は、言語処理部５２と、音響処理部５４とを有する。言語処理部５２は、入力されたテキストの表記から当該表記に対応する読み方を読み方の出現頻度に基づいて生成し、音響処理部５４に対し出力する。読み方とは、例えば、発音の種類やアクセントの高低、発音の休止位置などであり、具体的な音声の波形データなどはない。そして、音響処理部５４が、入力を受けたこの読み方に基づいて音声を生成して出力する。
【００１０】
本実施形態に係る支援システム２０は、学習のための音声の入力を受け付け、この音声に基づいて語句の発音やアクセントの出現頻度などの情報を生成してテキスト音声合成処理部５０に対し設定する。これにより、テキスト音声合成処理部５０を支援して、高品質な合成音声を効率的に生成することを目的とする。
【００１１】
図２は、支援システム２０の全体構成を示す。支援システム２０は、学習データ生成部２００と、学習部２５０とを有する。学習データ生成部２００は、入力された音声を認識し、語句の表記と読み方とを対応付けた第１学習データ３０を生成する。また、学習データ生成部２００は、語句の読み方と音素の波形データ等とを対応付けた第２学習データを生成してもよい。生成されたこれらの学習データは学習部２５０に対し出力される。学習部２５０は、テキスト音声合成による出力音声を、入力されたこの音声に近づけるべく、この第１学習データ３０に基づいて言語処理部５２を学習させ、第２学習データに基づいて音響処理部５４を学習させる。
【００１２】
学習データ生成部２００は、音声認識部２１０と、基本周波数抽出部２２０と、アクセント句推定部２３０と、アクセント判定部２４０とを有する。音声認識部２１０は、入力された音声を認識し、語句の表記と読み方とを対応付けた第１学習データ３０を生成し、学習部２５０に対し出力する。音声認識部２１０は、予め定められた学習用のテキストを読み上げた音声を入力とし、その学習用のテキストに、認識した読み方を対応付けることにより第１学習データ３０を生成してもよい。また、音声認識部２１０は、話者によって自由に発声された音声を認識することにより、語句の表記と読み方とを一括して認識し、第１学習データ３０として生成してもよい。この場合、高精度の認識は困難になる場合があるので、音声認識部２１０は、認識結果を利用者に表示した上で、利用者による修正の操作を受け付けてもよい。
【００１３】
基本周波数抽出部２２０は、入力された音声の周波数を測定し、その周波数を時系列に配列したデータをアクセント句推定部２３０に対し出力する。アクセント句推定部２３０は、入力を受けた周波数のデータに基づいて、音声を複数のアクセント句に分割し、分割結果を周波数のデータと共にアクセント判定部２４０に出力する。アクセント判定部２４０は、それぞれのアクセント句における音声のアクセントを予め定められた複数の種類のアクセントのうち何れかに分類し、アクセント句毎のアクセントの種類の集合を出力する。これらのアクセントの情報は、音声認識部２１０による音声認識の結果に対応付けられて第１学習データ３０として学習部２５０に対し出力される。したがって、第１学習データ３０に含まれる語句の読み方とは、音声認識部２１０により認識された発音のみならず、アクセント判定部２４０によって判定された語句のアクセントを含む。図３にその一例を示す。
【００１４】
図３は、第１学習データ３０の一例を示す。第１学習データ３０は、入力された音声において認識された語句毎に、その語句の表記ｗと、その語句の品詞ｔと、その語句の発音ｓと、その語句のアクセントａとを対応付けて、それぞれの語句の発声順に記録する。例えば、「京都」「タワー」「ホテル」という各語句は入力音声の前半部において連続して発音されており、認識された品詞はそれぞれ固有名詞、一般名詞、および、一般名詞である。そして、これらの語句の発音は、それぞれｋｙｏ：ｔｏ、ｔａｗａ：、ｈｏｔｅｒｕである。ただし、記号：は長音を示す。更に、これらの語句のアクセントは、それぞれＬＨＨ、ＨＨＨ、ＨＬＬである。一例としてＬＨＨのアクセントは、発音「ｋｙｏ：ｔｏ」が、低い（Ｌ）、高い（Ｈ）、高い（Ｈ）の順で発声されることを示している。
【００１５】
このように、音声認識部２１０は、音声中に含まれる語句の区切りを判定したうえで、音声認識処理によりそれぞれの語句の表記、品詞および発音を判断する。これらの情報は、既存の音声認識技術を応用することで取得可能である。例えば、音声をテキストに変換する既存の音声認識技術においては、認識の精度を高めるために、内部処理として、音声中の語句の区切りや品詞を判断している場合が多く、このような内部の判断結果は除外して最終的にはテキストのみを出力している。音声認識部２１０は、このような既存の音声認識技術における内部の判断結果を利用することで、語句の表記、品詞および発音を判断することができる。
【００１６】
なお、図３の第１学習データ３０において、入力音声の後半部では、「京都」と表記する語句であっても、異なるアクセントを有する語句として認識されている。具体的には、前半部で認識された「ＬＨＨ」というアクセントとは異なり、「ＨＬＬ」というアクセントとして認識されている。同様に、「タワー」と表記する語句であっても、前半部と後半部とではアクセントが異なっている。このように、日本語の語句の発音やアクセントは、同一の表記であっても、文脈や前後の語句との関係で異なっている場合がある。このため、テキスト音声合成処理においては、このような文脈の相違を考慮して発音を定めないと、利用者にとって自然な音声を発生できない場合が多い。本実施形態に係る支援システム２０は、このような文脈等の相違を考慮して高品質の合成音声を出力させることができる。
【００１７】
図２に戻る。アクセント判定部２４０によって判定されたアクセントは、音声認識部２１０によって認識された発音、基本周波数抽出部２２０によって抽出された基本周波数、および、アクセント句推定部２３０によって推定されたアクセント句の区切りを示す情報と共に、第２学習データとして音響データ生成部２９０に対し出力される。学習部２５０は、取得部２６０と、頻度データ生成部２７０と、設定部２８０と、音響データ生成部２９０とを有する。取得部２６０は、既に言語処理部５２によって用いられている頻度データを取得する。頻度データ生成部２７０は、第１学習データ３０に基づいて、語句の表記および読み方の出現頻度を示す頻度データを生成する。生成される頻度データ４０は、取得部２６０によって取得された頻度データと、第１学習データ３０に基づいて定まる頻度データとを合成したものであってもよい。
【００１８】
設定部２８０は、テキスト音声合成の出力音声を、入力された学習用の音声に近づけるべく、言語処理部５２に対し頻度データ４０を設定する。音響データ生成部２９０は、第２学習データにおける、語句の読み方、音素アラインメント、アクセント句の位置、ポーズ位置などのデータに基づき、波形データや韻律モデルといった音響データを生成する。音響データは、たとえば、各音素の継続時間長、ピッチ、強度、休止位置、休止の長さなどを決定するものである。設定部２８０は、この音響データを音響処理部５４に対し設定する。
【００１９】
図４は、頻度データ４０の一例を示す。頻度データ４０は、連続して表記される複数の語句の組合せ毎にそれぞれの読み方の組合せが出現する出現頻度を対応付けている。例えば、「京都タワー」という表記は、連続して表記され、「きょうとたわー」などとひと続きで発音される。そして、「京都タワー」という表記は、「京都」という語句と「タワー」という語句との組合せであるが、音声認識部２１０の性能等によっては「京」という語句と「都タワー」という語句との組合せとして認識される場合もある。頻度データ４０は、このように、同一の表記を少なくとも一部に含む語句の組合せ毎に、語句の区切り、品詞の組合せ、読み方の組合せを示す情報を対応付けており、それぞれの組合せの出現頻度を更に対応付けている。
【００２０】
具体的には、頻度データ４０は、「京都タワー」という表記の組合せに、「京都」と「タワー」とが別の語句である旨を示す語句の区切りの情報を対応付けている。さらに、頻度データ４０は、この表記の組合せに、固有名詞：一般名詞という品詞の組合せを対応付けている。また、頻度データ４０は、「ｋｙｏ：ｔｏｔａｗａ：」という発音の組合せと「ＬＨＨＨＨＨ」というアクセント句毎のアクセントの種類の集合とを更に対応付けている。また、頻度データ４０は、これらの組合せの出現頻度を示す指標値３０を対応付けている。実例によると、「京都タワーホテル」などのように、「京都タワー」の後に別の名詞が連続して表記される場合には、「ＬＨＨＨＨＨ」というアクセントで発声される場合が多い。即ち、この例は、「京都タワーホテル」などの用例の中で「京都タワー」と発音される頻度は、指標値３０であることを示している。
【００２１】
また、頻度データ４０は、同一の「京都タワー」という表記の組合せに、「京都」と「タワー」とが別の語句である旨を示す語句の区切りの情報を対応付けている。さらに、頻度データ４０は、この表記の組合せに、固有名詞：一般名詞という品詞の組合せを対応付けている。また、頻度データ４０は、「ｋｙｏ：ｔｏｔａｗａ：」という発音の組合せと「ＬＨＨＨＬＬ」というアクセントの組合せを更に対応付けている。また、頻度データ４０は、これらの組合せの出現頻度を示す指標値６０を対応付けている。実例によると、「京都タワーに行った」などのように、「京都タワー」の後に名詞以外の語句が連続して表記される場合には、「ＬＨＨＨＬＬ」というアクセントで発声される場合が多い。即ち、この例は、「京都タワーに行った」などの用例の中で「京都タワー」と発音される頻度は、指標値６０であることを示している。
【００２２】
さらに、頻度データ４０は、同一の「京都タワー」という表記の組合せに、「京」と「都タワー」とが別の語句である旨を示す語句の区切りの情報を対応付けている。頻度データ４０は、この表記の組合せに、一般名詞：一般名詞という品詞の組合せを対応付けている。また、頻度データ４０は、「ｋｙｏｔｏｔａｗａ：」という発音の組合せと「ＬＨＬＨＬ」というアクセントの組合せを更に対応付けている。また、頻度データ４０は、これらの組合せの出現頻度を示す指標値５を対応付けている。この例のような語句の区切りは本来正確ではないが、音声認識の精度や学習音声の発声者の誤りなどにより、このような認識結果となる場合もあり得る。但し、このように認識される頻度は低く、この読み方の組合せには、極めて低い指標値５が対応付けられているので、言語処理部５２により生成される読み方としては殆ど採用されない。
【００２３】
図５は、支援システム２０によって各種データがテキスト音声合成処理部５０に対し設定される処理の一例を示す。音声認識部２１０は、学習のための音声の入力を受け付ける（Ｓ５００）。音声認識部２１０は、入力された音声の認識処理を行う（Ｓ５１０）。音声認識部２１０、基本周波数抽出部２２０、アクセント句推定部２３０、および、アクセント判定部２４０は、音声認識の結果と入力音声とを利用して、語句の表記に発音やアクセント等を対応付けた第１学習データを生成する（Ｓ５２０）。図６から図８までを参照して、この処理の具体例を説明する。
【００２４】
図６は、学習音声から測定された周波数を示す。基本周波数抽出部２２０は、ラリンゴグラフなどの機器によって、有声の音声を時間経過に応じた基本周波数の変化として検出する。所定の測定周期で周波数を検出した結果を図６の×印として示す。
図７は、測定された周波数のうち信頼部分を示す。アクセント句推定部２３０は、測定された周波数の中から、測定誤差と判断される部分を除外し、信頼できる部分を選択する。選択された結果を図７中の十字の印により示す。
【００２５】
図８は、推定されたアクセント句の具体例を示す。アクセント句を判定するために、まず、アクセント句推定部２３０は、アラインメントから、ポーズの位置情報を読み込み、基本周波数のデータを呼気段落ごとに分割する。そして、アクセント句推定部２３０は、呼気段落ごとに以下の各処理をこの順序で行う。
（０）呼気段落内の全ての十字の印を範囲の初期値とする
（ａ）範囲内のピッチマーク三角モデルで近似したときの平均自乗誤差を求める
（ｂ）平均自乗誤差が閾値以下ならば、その範囲を１つの三角モデルと判断する
（ｃ）平均自乗誤差が閾値以上の場合には、対象範囲を、合計誤差を最小にする点で分割して２つの範囲とする
（ｄ）それぞれの範囲について（ａ）に戻って処理を行う
【００２６】
そして、アクセント句推定部２３０は、呼気段落ごとに三角モデルを結合して、アクセント句の範囲を求める。基本的には、三角モデルの１つが１つのアクセント句の範囲である。たとえば、第１アクセント句８００、第２アクセント句８１０、第３アクセント句８２０のそれぞれは１つのアクセント句である。しかし、アクセント句推定部２３０は、次のような場合は複数の三角モデルを結合して１つのアクセント句と判断する。たとえば、第４アクセント句８３０および第５アクセント句８４０は結合されて１つのアクセント句と判断される。
・三角モデルの長さが予め定められた基準値よりも短い場合
・連続する三角モデルの傾きが予め定められた基準値よりも小さい場合
・後続する三角モデルにおける周波数が上昇する部分の長さが予め定められた基準値よりも短い場合
そして、アクセント句推定部２３０は、それぞれのアクセント句内、先頭のピッチマークの時間位置から、末尾のピッチマークの時間位置までを、１つのアクセント句の範囲と判断する。
【００２７】
続いて、アクセント判定部２４０は、アクセントの種類を判定するために、以下の処理を行う。
１．アクセント判定部２４０は、各アクセント句ごとに、基本周波数を０以上１以下の値に正規化する。
２．アクセント判定部２４０は、アクセント句内の各モーラｍｉについて、それぞれの傾きｇｉを最小自乗近似により算出する。
３．各モーラの最終ピッチをｅｉとする。ただし、モーラ境界で急激な変化がある場合は別の処理を行う。
４．各モーラがＵＰ／ＤＯＷＮ／ＨＩＧＨ／ＬＯＷであるかどうかの評価関数は以下のように定義される。
Ｆ−ＬＯＷ（｜ｇｉ｜，ｅｉ）＝ｆｆｌａｔ（｜ｇｉ｜）  ×  （１−ｅｉ）
Ｆ−ＨＩＧＨ（｜ｇｉ｜，ｅｉ）＝ｆｆｌａｔ（｜ｇｉ｜）  ×  ｅｉ
Ｆ−ＵＰ（｜ｇｉ｜，ｅｉ）＝（１−ｆｆｌａｔ（｜ｇｉ｜））  ×  ｅｉ
Ｆ−ＤＯＷＮ（｜ｇｉ｜，ｅｉ）＝（１−ｆｆｌａｔ（｜ｇｉ｜））  ×（１−ｅｉ）
なお、関数ｆｆｌａｔは、たとえばシグモイド関数またはそれに類似の関数とする。
５．モーラごとに、評価関数Ｆ−ＬＯＷ、Ｆ−ＨＩＧＨ、Ｆ−ＵＰ、および、Ｆ−ＤＯＷＮの合計が１となるように正規化する。
６．評価関数の値が最も大きくなるような評価関数Ｆ−ＬＯＷ、Ｆ−ＨＩＧＨ、Ｆ−ＵＰ、および、Ｆ−ＤＯＷＮの組合せを求めて、アクセントの種類と判断する。
【００２８】
以上の処理によって、アクセント判定部２４０は、第１アクセント句８００と、第２アクセント句８１０と、第３アクセント句８２０と、第４アクセント句８３０および第５アクセント句８４０の結合とのそれぞれについて、アクセントの種類を判断することができる。
このようにして認識されたアクセントを、音声認識部２１０によって認識された語句および発音に対応付けることによって、第１学習データ３０が生成される。
【００２９】
図５に戻る。続いて、頻度データ生成部２７０は、第１学習データ３０に基づいて、語句の表記および読み方の出現頻度を示す頻度データを生成する（Ｓ５３０）。生成される頻度データ４０は、新規に生成されるものであってもよいし、取得部２６０によって取得された頻度データと、第１学習データ３０に基づいて定まる頻度データとを合成したものであってもよい。頻度データ４０を合成によって生成する処理の一例について述べる。
【００３０】
まず、頻度データ生成部２７０は、連続して表記される複数の語句の組合せ毎に、取得部２６０によって取得された頻度データに含まれる読み方の組合せ毎の出現頻度と、第１学習データ３０に出現する読み方の組合せ毎の出現頻度とを加重平均することで頻度データ候補を生成する。好ましくは、頻度データ生成部２７０は、加重平均の加重が互いに異なる複数の頻度データ候補を生成してもよい。即ち例えば、頻度データ生成部２７０は、ある読み方の組合せの出現頻度が、取得された頻度データにおいては指数３０であり、第１学習データ３０においては指数６０であり、加重が１：１であれば、頻度データ候補においてその組合せの出現頻度として４５（＝（３０＋６０）÷２）を算出する。また、同様の場合で加重が２：１であれば、出現頻度として５０（＝（３０×１＋６０×２）÷３）を算出する。
【００３１】
次に、頻度データ生成部２７０は、複数の頻度データ候補のそれぞれについて、当該頻度データ候補を用いて言語処理部５２により第１学習データ３０中の語句表記に基づきその表記の読み方を生成させる。そして、頻度データ生成部２７０は、複数の頻度データ候補のそれぞれについて、言語処理部５２により生成させた読み方のうち第１学習データ３０と一致する読み方の割合を算出する。例えば、一致する読み方の割合は読み方の一致する語句の数で評価してもよいし、読み方の一致する文字の数で評価してもよい。そして、頻度データ生成部２７０は、読み方の一致する割合を予め定められた基準以上とする頻度データ候補を、新たな頻度データと判断し、設定部２８０に対し出力する。例えば、頻度データ生成部２７０は、読み方の一致する割合を最も高くする頻度データ候補を、新たな頻度データと判断してもよい。
このように、既存の頻度データを新たな学習データを用いて更新することで、充分な量の学習データが得られない場合であっても音声合成を可能としつつ、学習用の音声の個性を反映した合成音声を出力させることができる。
【００３２】
続いて、設定部２８０は、頻度データ４０を言語処理部５２に対し設定する（Ｓ５４０）。また、アクセント判定部２４０は、第２学習データを生成するために、学習用に入力された音声に基づいて、語句のアクセントを判定する（Ｓ５５０）。判定されたアクセントは、音声認識部２１０によって認識された発音、基本周波数抽出部２２０によって抽出された基本周波数、および、アクセント句推定部２３０によって推定されたアクセント句の区切りを示す情報と共に、第２学習データを構成する。音響データ生成部２９０は、第２学習データにおける、語句の読み方、音素アラインメント、アクセント句の位置、ポーズ位置などのデータに基づき、波形データや韻律モデルといった音響データを生成する（Ｓ５６０）。設定部２８０は、テキスト音声合成による出力音声を、学習用に認識された音声に近づけるべく、この音響データを音響処理部５４に対し設定する（Ｓ５７０）。
【００３３】
図９は、設定された頻度データに基づいて行われるテキスト音声合成処理の一例を示す。言語処理部５２がテキストの表記に基づいて読みおよびアクセントを選択するためには、例えば本図において説明するように、語句表記の組合せおよび読み方の組合せのそれぞれについて算出した出現頻度の情報を用いる。以下、この処理について具体的に述べる。まず、言語処理部５２は、複数の語句を含むテキストを取得する。このテキストを、例えば、「山田君は京都タワー・・・」とする。このテキストにおいて、対象テキストの区切り部分は明示されていない。
【００３４】
言語処理部５２は、まず、このテキストのうち「山田君」の部分を、処理の対象である語句表記の組合せである対象テキスト９００ａとして選択する。言語処理部５２は、頻度データ４０に含まれる語句表記の組合せの中から、対象テキスト９００ａの表記と一致する表記の組を検索する。例えば、「山田」という語句９１０ａと、「君」という語句９１０ｂとの組合せを頻度データ４０から検索し、さらに、言語処理部５２は、「山」という語句９１０ｃと、「田君」という語句９１０ｄとの組合せを検索してもよい。
【００３５】
このとき、頻度データ４０において、表記「山田」は、日本に多い苗字や地名の「やまだ」とひと続きにかつ自然に発音するアクセントに対応付けられており、表記「山」は、山岳などを表す一般名称に適したアクセントに対応付けられている。また、本図の例では説明の都合上、語句の境界が異なる複数の表記の組を示しているが、語句の境界が同じであって読みまたはアクセントのみが異なる表記の組が検索されてもよい。
【００３６】
そして、言語処理部５２は、検索された表記の組に対応する読みおよびアクセントの組み合わせの各々について、当該組み合わせに対応付けられた出現頻度を頻度データ４０から取得する。例えば、学習データにおいて、語句９１０ａおよび語句９１０ｂが連続して出現する回数が９回であり、語句９１０ｃおよび語句９１０ｄが連続して出現する回数が１回であれば、頻度データ４０において、語句９１０ａおよび語句９１０ｂの組には、語句９１０ｃおよび語句９１０ｄと比較して９倍の出現頻度を示す指標値が対応付けられている。
【００３７】
続いて、言語処理部５２は、次の対象テキストに処理を移す。例えば、言語処理部５２は、表記「田君は」を対象テキスト９００ｂとして選択する。言語処理部５２は、「田君」という語句９１０ｄと、「は」という語句９１０ｅとを含む表記の組と、「田君」という語句９１０ｄと、「は」という語句９１０ｆとを含む表記の組とを検索する。ここで、語句９１０ｅおよび語句９１０ｆは、表記の上で同一であるが、読みまたはアクセントが異なるため別々に検索される。言語処理部５２は、語句９１０ｄおよび語句９１０ｅが連続して出現する出現頻度と、語句９１０ｄおよび語句９１０ｆが連続して出現する出現頻度とを算出する。
【００３８】
さらに、言語処理部５２は、次の対象テキストに処理を移す。例えば、言語処理部５２は、は、表記「君は」を対象テキスト９００ｃとして選択する。言語処理部５２は、「君」という語句９１０ｂと、「は」という語句９１０ｅとを含む表記の組と、「君」という語句９１０ｂと、「は」という語句９１０ｆとを含む表記の組とを検索する。言語処理部５２は、語句９１０ｂおよび語句９１０ｅが連続して出現する出現頻度と、語句９１０ｂおよび語句９１０ｆが連続して出現する出現頻度とを取得する。
【００３９】
以降、同様に、言語処理部５２は、対象テキスト９００ｄ、対象テキスト９００ｅ、および、対象テキスト９００ｆを順次選択する。そして、言語処理部５２は、各々の対象テキストの表記に一致する各々の表記の組についてその読みおよびアクセントの組み合わせの出現頻度を取得する。最後に、言語処理部５２は、入力したテキストの一部と一致する表記の組を順次選択する経路の各々について、その表記の組の出現頻度の積を算出する。一例として、言語処理部５２は、語句９１０ａ、語句９１０ｂ、語句９１０ｅ、語句９１０ｇ、および、語句９１０ｈを順次選択する経路について、語句９１０ａおよび語句９１０ｂの組の出現頻度と、語句９１０ｂおよび語句９１０ｅの組の出現頻度と、語句９１０ｅおよび語句９１０ｇの組の出現頻度と、語句９１０ｇおよび語句９１０ｈの組の出現頻度との積を算出する。
【００４０】
この算出処理を一般化すると、以下の式（１）となる。
【数１】
2008046538.tif 000003
この式においてｈは表記の組の数であり、本図の例では５である。また、ｋは、遡って
考慮する文脈中の語句の数であり、本図の例では２ｇｒａｍモデルを仮定するのでｋ＝１
である。また、ｕ＝＜ｗ，ｔ，ｓ，ａ＞である。これは図３における各々の記号と一致し
、ｗは表記を示し、ｔは品詞を示し、ｓは読みを示し、ａはアクセントを示す。
【００４１】
言語処理部５２は、各々の経路について算出した出現確率を最も大きくする読みおよびアクセントの組み合わせを選択する。この選択処理を一般化すると、以下の式（２）となる
。
【数２】
2008046538.tif 000004
この式においてｘ１ｘ２…ｘｈは、言語処理部５２が取得するテキストであり、ｘ１、ｘ２からｘｈまでの各々は文字である。
【００４２】
以上の処理によれば、言語処理部５２は、頻度データ４０に含まれる読み方の組合せの出現頻度に基づき、取得したテキストにおける各語句の読み方をその文脈を考慮して決定することができる。
【００４３】
図１０は、支援システム２０として機能する情報処理装置６００のハードウェア構成の一例を示す。情報処理装置６００は、ホストコントローラ１０８２により相互に接続されるＣＰＵ１０００、ＲＡＭ１０２０、及びグラフィックコントローラ１０７５を有するＣＰＵ周辺部と、入出力コントローラ１０８４によりホストコントローラ１０８２に接続される通信インターフェイス１０３０、ハードディスクドライブ１０４０、及びＣＤ−ＲＯＭドライブ１０６０を有する入出力部と、入出力コントローラ１０８４に接続されるＲＯＭ１０１０、フレキシブルディスクドライブ１０５０、及び入出力チップ１０７０を有するレガシー入出力部とを備える。
【００４４】
ホストコントローラ１０８２は、ＲＡＭ１０２０と、高い転送レートでＲＡＭ１０２０をアクセスするＣＰＵ１０００及びグラフィックコントローラ１０７５とを接続する。ＣＰＵ１０００は、ＲＯＭ１０１０及びＲＡＭ１０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィックコントローラ１０７５は、ＣＰＵ１０００等がＲＡＭ１０２０内に設けたフレームバッファ上に生成する画像データを取得し、表示装置１０８０上に表示させる。これに代えて、グラフィックコントローラ１０７５は、ＣＰＵ１０００等が生成する画像データを格納するフレームバッファを、内部に含んでもよい。
【００４５】
入出力コントローラ１０８４は、ホストコントローラ１０８２と、比較的高速な入出力装置である通信インターフェイス１０３０、ハードディスクドライブ１０４０、及びＣＤ−ＲＯＭドライブ１０６０を接続する。通信インターフェイス１０３０は、ネットワークを介して外部の装置と通信する。ハードディスクドライブ１０４０は、情報処理装置６００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１０６０は、ＣＤ−ＲＯＭ１０９５からプログラム又はデータを読み取り、ＲＡＭ１０２０又はハードディスクドライブ１０４０に提供する。
【００４６】
また、入出力コントローラ１０８４には、ＲＯＭ１０１０と、フレキシブルディスクドライブ１０５０や入出力チップ１０７０等の比較的低速な入出力装置とが接続される。ＲＯＭ１０１０は、情報処理装置６００の起動時にＣＰＵ１０００が実行するブートプログラムや、情報処理装置６００のハードウェアに依存するプログラム等を格納する。フレキシブルディスクドライブ１０５０は、フレキシブルディスク１０９０からプログラム又はデータを読み取り、入出力チップ１０７０を介してＲＡＭ１０２０またはハードディスクドライブ１０４０に提供する。入出力チップ１０７０は、フレキシブルディスク１０９０や、例えばパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して各種の入出力装置を接続する。
【００４７】
情報処理装置６００に提供されるプログラムは、フレキシブルディスク１０９０、ＣＤ−ＲＯＭ１０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、入出力チップ１０７０及び/又は入出力コントローラ１０８４を介して、記録媒体から読み出され情報処理装置６００にインストールされて実行される。プログラムが情報処理装置６００等に働きかけて行わせる動作は、図１から図９において説明した支援システム２０における動作と同一であるから、説明を省略する。
【００４８】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１０９０、ＣＤ−ＲＯＭ１０９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムを情報処理装置６００に提供してもよい。
【００４９】
以上、本実施の形態に係る支援システム２０によれば、学習用の音声に基づく自然な合成音声を、これまでより効率的に生成させることができる。これにより、方言や個性を反映した様々な合成音声を安価かつ短時間で生成させることができる。この技術によれば、例えば、以下のような応用が可能となる。
【００５０】
（応用例１）
従来はアナウンサーの話し方に従った合成音声が多く、これに方言や個性のアレンジを反映させる作業は多くの技術的な困難を伴っていた。本実施形態によれば、学習用の音声の個性を反映した合成音声を容易に生成することができる。これにより、例えば、のどの病気を患っている患者が、声を失うまでに発声した音声を収集して学習音声として利用することで、声を失った後も自己の個性を反映した合成音声を出力できる。
【００５１】
（応用例２）
コールセンターの自動応答システム、テレビ・ラジオのコマーシャルなど、企業によっては自社の営業に用いる音声（コーポレートボイス）を定めている場合がある。従来の合成音声は、アナウンサーの話し方を模倣しているので、そのようなコーポレートボイスの自動生成に用いることはできなかった。本実施形態によれば、企業によって異なる様々なコーポレートボイスを効率的に生成することができる。
【００５２】
（応用例３）
近年のカーナビゲーションシステム、テレビゲーム、または、パーソナルロボットは、利用者と対話する機能を有する場合がある。例えば、利用者の音声に従って動作し、処理結果を利用者に対し音声で伝達することも可能である。本実施形態によれば、様々な種類の音声を安価に作成できるので、このような対話用の音声を利用者の好みに合わせて容易に変更することができる。
【００５３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００５４】
【図１】図１は、支援システム２０およびテキスト音声合成処理部５０の構成を示す。
【図２】図２は、支援システム２０の全体構成を示す。
【図３】図３は、第１学習データ３０の一例を示す。
【図４】図４は、頻度データ４０の一例を示す。
【図５】図５は、支援システム２０によって各種データがテキスト音声合成処理部５０に対し設定される処理の一例を示す。
【図６】図６は、学習音声から測定された周波数を示す。
【図７】図７は、測定された周波数のうち信頼部分を示す。
【図８】図８は、推定されたアクセント句の具体例を示す。
【図９】図９は、設定された頻度データに基づいて行われるテキスト音声合成処理の一例を示す。
【図１０】図１０は、支援システム２０として機能する情報処理装置６００のハードウェア構成の一例を示す。
【符号の説明】
【００５５】
２０  支援システム
３０  第１学習データ
４０  頻度データ
５０  テキスト音声合成処理部
５２  言語処理部
５４  音響処理部
２００  学習データ生成部
２１０  音声認識部
２２０  基本周波数抽出部
２３０  アクセント句推定部
２４０  アクセント判定部
２５０  学習部
２６０  取得部
２７０  頻度データ生成部
２８０  設定部
２９０  音響データ生成部
６００  情報処理装置
８００  第１アクセント句
８１０  第２アクセント句
８２０  第３アクセント句
８３０  第４アクセント句
８４０  第５アクセント句
９００  対象テキスト
９１０  語句
【図１】
2008046538.tif 000005
【図２】
2008046538.tif 000006
【図３】
2008046538.tif 000007
【図４】
2008046538.tif 000008
【図５】
2008046538.tif 000009
【図６】
2008046538.tif 000010
【図７】
2008046538.tif 000011
【図８】
2008046538.tif 000012
【図９】
2008046538.tif 000013
【図１０】
2008046538.tif 000014