(57)【特許請求の範囲】
【請求項１】
異常子音信号を含む異常音声信号を受信する同期音声生成装置であって、
音素データベース、音節検出器、及び音声合成器を有し、
前記音素データベースには、通常音素情報を保存し、
前記音節検出器は、前記異常音声信号を受信して前記異常子音信号の位置を検出し、前記異常子音信号の位置に基づいて位置情報を生成し、
前記音声合成器は、前記音節検出器に電気接続され、且つ前記音素データベースに信号接続され、前記異常音声信号、前記位置情報、及び前記異常音声信号に対応する文字を含むテキスト情報を受信し、前記音素データベースから前記文字に対応する前記通常音素情報を検索して、前記文字を通常音声信号に変換し、前記音節検出器を利用して前記通常音声信号の通常子音信号の位置を検出し、前記通常子音信号の位置及び前記異常子音信号の位置に基づいて、前記異常子音信号を前記通常子音信号に置換することで、前記異常音声信号を合成音声信号に同期するように変換し、前記合成音声信号を前記異常音声信号と共に伝送して音声変換モデルの学習を行うことを特徴とする、
同期音声生成装置。
【請求項２】
前記音声合成器は、テキスト音声変換（ｔｅｘｔ  ｔｏ  ｓｐｅｅｃｈ、ＴＴＳ）技術を利用して前記文字を前記通常音声信号に変換することを特徴とする、
請求項１に記載の同期音声生成装置。
【請求項３】
前記音素データベースは子音データベースであり、
前記通常音素情報は通常子音情報であることを特徴とする、
請求項１に記載の同期音声生成装置。
【請求項４】
前記音節検出器は、自己相関関数（ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ  ｆｕｎｃｔｉｏｎ）又はディープニューラルネットワーク（ｄｅｅｐ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ、ＤＮＮ）によって前記異常子音信号及び前記通常子音信号の位置を検出することを特徴とする、
請求項１に記載の同期音声生成装置。
【請求項５】
音声平滑化回路をさらに有し、
前記音声平滑化回路は、前記音声合成器に電気接続され、前記合成音声信号を受信してノイズを除去し、ノイズを除去した前記合成音声信号を前記異常音声信号と共に伝送して前記音声変換モデルの学習を行うことを特徴とする、
請求項１に記載の同期音声生成装置。
【請求項６】
前記音声平滑化回路はフィルターであることを特徴とする、
請求項５に記載の同期音声生成装置。
【請求項７】
前記音声変換モデルは、ガウス混合モデル（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）又はディープニューラルネットワーク（ｄｅｅｐ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ、ＤＮＮ）モデルであることを特徴とする、
請求項１に記載の同期音声生成装置。
【請求項８】
文字スキャナーをさらに有し、
前記文字スキャナーは、前記音声合成器に電気接続され、テキストをスキャンして前記テキスト情報を生成することを特徴とする、
請求項１に記載の同期音声生成装置。
【請求項９】
異常子音信号を含む異常音声信号、及び前記異常音声信号に対応する文字を含むテキスト情報を受信し、前記異常子音信号の位置を検出する工程と、
前記文字に対応する通常音素情報を検索して、前記文字を通常音声信号に変換し、前記通常音声信号の通常子音信号の位置を検出し、前記通常子音信号の位置及び前記異常子音信号の位置に基づいて、前記異常子音信号を前記通常子音信号に置換することで、前記異常音声信号を合成音声信号に同期するように変換し、前記合成音声信号を前記異常音声信号と共に伝送して音声変換モデルの学習を行う工程と、を有することを特徴とする、
同期音声生成方法。
【請求項１０】
前記文字を前記通常音声信号に変換する工程において、テキスト音声変換（ｔｅｘｔ  ｔｏ  ｓｐｅｅｃｈ、ＴＴＳ）技術を利用して前記文字を前記通常音声信号に変換することを特徴とする、
請求項９に記載の同期音声生成方法。
【請求項１１】
前記通常音素情報が保存された音素データベースを有し、
前記音素データベースは子音データベースであり、
前記通常音素情報は通常子音情報であることを特徴とする、
請求項９に記載の同期音声生成方法。
【請求項１２】
前記異常子音信号の位置を検出する工程において、自己相関関数（ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ  ｆｕｎｃｔｉｏｎ）又はディープニューラルネットワーク（ｄｅｅｐ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ、ＤＮＮ）によって前記異常子音信号の位置を検出することを特徴とする、
請求項９に記載の同期音声生成方法。
【請求項１３】
前記通常子音信号の位置を検出する工程において、自己相関関数（ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ  ｆｕｎｃｔｉｏｎ）又はディープニューラルネットワーク（ｄｅｅｐ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ、ＤＮＮ）によって前記通常子音信号の位置を検出することを特徴とする、
請求項９に記載の同期音声生成方法。
【請求項１４】
前記異常音声信号を前記合成音声信号に変換する工程の後に、前記合成音声信号のノイズを除去し、ノイズを除去した前記合成音声信号を前記異常音声信号と共に伝送して前記音声変換モデルの学習を行うことを特徴とする、
請求項９に記載の同期音声生成方法。
【請求項１５】
前記音声変換モデルは、ガウス混合モデル（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）又はディープニューラルネットワーク（ｄｅｅｐ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ、ＤＮＮ）モデルであることを特徴とする、
請求項９に記載の同期音声生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声生成技術、特に同期音声生成装置及びその生成方法に関する。
【背景技術】
【０００２】
言語障害は、喋るときに筋肉を正常に制御できず、喋るスピード低下、アクセント異常となり、呂律が回らなくなることである。よって、他の人が話を理解できない等の問題が生じ、さらに日常生活への支障となる。よく見られる疾患は、脳卒中（ｓｔｒｏｋｅ）、脳性麻痺（ｃｅｒｅｂｒａｌ  ｐａｌｓｙ）、パーキンソン病（Ｐａｒｋｉｎｓｏｎ’ｓ  ｄｉｓｅａｓｅ）等が挙げられる。現在、神経系退化の進行を遅らせる薬物、及び筋肉制御能力改善等に関するリハビリ治療が開発されているものの、その効果は人によって異なり、通常本質上の改善が見受けられない。
【０００３】
患者が正常に他人とコミュニケーションできないという問題を解決するための音声変換システム関連技術が開発されている。それは、患者の音声を変換モデルによって普通の人の音声を生成し、患者の音声を音声変換システムによって明晰化した音声に変換することで、コミュニケーションの障害を改善する技術である。よく見られた手段としては、「ガウス混合モデル（ＧＭＭ）」及び「ディープニューラルネットワーク（ＤＮＮ）」が挙げられる。そのうち、ガウス混合モデルは、例えば患者と普通の人の目標音声の音声特徴を抜き出して、それらの特徴の関連性を見つけることで、患者の音声特徴を目標の音声特徴にマッピングする。また、特徴の関連性を見つけるために、元の語句と目標の語句を合わせる必要がある。また、ディープニューラルネットワークは、元の音声と目標の音声をフレーム化処理させ、両者のフレームの関連性を学習する。フレームの単位がミリ秒単位であるため、フレーム同士を合わせるときに僅かに偏差を有しても、ディープニューラルネットワークの学習のエラーになり、その変換効果に影響を及ぼす。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記から分かるように、合わせることは、変換効果に影響をもたらす要素の一つである。過去よく見られたマッチングは、動的時間伸縮法（Ｄｙｎａｍｉｃ  Ｔｉｍｅ  Ｗａｒｐｉｎｇ、ＤＴＷ）及びピッチ同期重畳加算（Ｐｉｔｃｈ  Ｓｙｎｃｈｒｏｎｏｕｓ  Ｏｖｅｒｌａｐ ａｎｄ  Ａｄｄ、ＰＳＯＬＡ）が挙げられ、いずれもある時間領域で両者の波形の関連性を判断して合わせる手段である。ＤＴＷは、２つの時系列の類似度を計算するアルゴリズムであり、違う時間及び違うリズムを有する時系列に適用する。このようなアルゴリズムは、時系列を変形して、時間軸上で一部を拡大、縮小して２つの時系列をできる限り一致させる。よって、実生活において、同じ人が同じ単語又は語句を喋ったとしても、毎回語速及びリズムが異なるため、よくＤＴＷを利用して音声の類似度を確認する。ＰＳＯＬＡは、音声信号のアクセント及び持続時間等を変更する音声処理に用いられる信号処理技術である。ＰＳＯＬＡは、波形を大量な細かいオーバーラップ断片に分割する。アクセントの変換方法としては、オーバーラップ断片をより近づけるか遠く離すことによってアクセントを増減させる。音声の持続時間の変更は、それらの細かいオーバーラップ断片を繰り返して持続時間を増加するか、それらのオーバーラップ断片を削除して音声の持続時間を減少する。良い言語データのマッチングがあるほど良い音声変換効果を得る。そのため、音声変換システムにおいて、ＤＴＷとＰＳＯＬＡ等合わせる技術にかなり依存している。しかしながら、言語障害の患者の音声変換システムにおいて、患者の音声がはっきりしていないため、よく見られる合わせる技術によって患者の音声と目標の音声を合わせることが出来ない場合が多い。高い人的コスト及び時間がかかってマニュアルに合わせる必要がある。また、従来の学習言語データにおいて、元の波形と目標の波形との相違が大きく、合わせたとしても不完全である場合に、ニューラルネットワークの学習の誤差となるため、変換した音声に音響ショック又は騒音の現象が起こりやすい。
【０００５】
本発明の目的とするところは、従来の課題を解決するための同期音声生成装置及びその生成方法を提供する。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は、異常子音信号を含む異常音声信号を受信し、音素データベース、音節検出器、及び音声合成器を有する同期音声生成装置を提供する。音素データベースには、通常音素情報を保存する。音節検出器は、異常音声信号を受信して異常子音信号の位置を検出し、異常子音信号の位置に基づいて位置情報を生成する。音声合成器は、音節検出器に電気接続され、且つ音素データベースに信号接続され、異常音声信号、位置情報、及び異常音声信号に対応する文字を含むテキスト情報を受信し、音素データベースから文字に対応する前記通常音素情報を検索して、該文字を通常音声信号に変換し、音節検出器を利用して通常音声信号の通常子音信号の位置を検出し、通常子音信号の位置及び異常子音信号の位置に基づいて、異常子音信号を通常子音信号に置換することで、異常音声信号を合成音声信号に同期するように変換し、合成音声信号を異常音声信号と共に伝送して音声変換モデルの学習を行う。
【０００７】
本発明の１つの実施例において、音声合成器は、テキスト音声変換（ｔｅｘｔ  ｔｏ  ｓｐｅｅｃｈ、ＴＴＳ）技術を利用して文字を通常音声信号に変換する。
【０００８】
本発明の１つの実施例において、音素データベースは子音データベースであり、通常音素情報は通常子音情報である。
【０００９】
本発明の１つの実施例において、音節検出器は、自己相関関数（ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ  ｆｕｎｃｔｉｏｎ）又はディープニューラルネットワーク（ｄｅｅｐ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ、ＤＮＮ）によって異常子音信号及び通常子音信号の位置を検出する。
【００１０】
本発明の１つの実施例において、同期音声生成装置は、音声平滑化回路をさらに有する。音声平滑化回路は、音声合成器に電気接続され、合成音声信号を受信してノイズを除去し、ノイズを除去した合成音声信号を異常音声信号と共に伝送して前記音声変換モデルの学習を行う。
【００１１】
本発明の１つの実施例において、音声平滑化回路はフィルターである。
【００１２】
本発明の１つの実施例において、音声変換モデルは、ガウス混合モデル（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）又はディープニューラルネットワーク（ｄｅｅｐ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ、ＤＮＮ）モデルである。
【００１３】
本発明の１つの実施例において、同期音声生成装置は、文字スキャナーをさらに有する。文字スキャナーは、音声合成器に電気接続され、テキストをスキャンしてテキスト情報を生成する。
【００１４】
本発明は、下記工程を有する同期音声生成方法を提供する。まず、異常子音信号を含む異常音声信号、及び異常音声信号に対応する文字を含むテキスト情報を受信し、異常子音信号の位置を検出する。そして、文字に対応する通常音素情報を検索して、文字を通常音声信号に変換し、通常音声信号の通常子音信号の位置を検出し、通常子音信号の位置及び異常子音信号の位置に基づいて、異常子音信号を通常子音信号に置換することで、異常音声信号を合成音声信号に同期するように変換し、該合成音声信号を異常音声信号と共に伝送して音声変換モデルの学習を行う。
【００１５】
本発明の１つの実施例において、文字を通常音声信号に変換する工程において、テキスト音声変換（ｔｅｘｔ  ｔｏ  ｓｐｅｅｃｈ、ＴＴＳ）技術を利用して文字を通常音声信号に変換する。
【００１６】
本発明の１つの実施例において、通常音素情報が保存された音素データベースを有し、音素データベースは子音データベースであり、通常音素情報は通常子音情報である。
【００１７】
本発明の１つの実施例において、異常子音信号の位置を検出する工程において、自己相関関数（ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ  ｆｕｎｃｔｉｏｎ）又はディープニューラルネットワーク（ｄｅｅｐ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ、ＤＮＮ）によって異常子音信号の位置を検出する。
【００１８】
本発明の１つの実施例において、通常子音信号の位置を検出する工程において、自己相関関数（ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ  ｆｕｎｃｔｉｏｎ）又はディープニューラルネットワーク（ｄｅｅｐ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ、ＤＮＮ）によって通常子音信号の位置を検出する。
【００１９】
本発明の１つの実施例において、異常音声信号を合成音声信号に変換する工程の後に、合成音声信号のノイズを除去し、ノイズを除去した合成音声信号を異常音声信号と共に伝送して音声変換モデルの学習を行う。
【００２０】
本発明の１つの実施例において、音声変換モデルは、ガウス混合モデル（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）又はディープニューラルネットワーク（ｄｅｅｐ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ、ＤＮＮ）モデルである。
【発明の効果】
【００２１】
本発明の同期音声生成装置及びその生成方法は、参考言語データを録音する必要がなく、既知のテキストを利用して、異常音声と通常音声との最大の相違点である子音部分を置換するだけで、異常音声と同期するように明晰な音声を生成できる。該明晰な音声を後の音声変換学習システムの目標言語データとし、異常音声の音色を維持しながらコミュニケーションの障害を改善できる。
【図面の簡単な説明】
【００２２】
【図１】本発明の同期音声生成装置の実施例の装置ブロック図である。
【図２】本発明の音声変換学習システムの実施例のシステムブロック図である。
【図３】本発明の異常音声信号の波形図である。
【図４】本発明の通常音声信号の波形図である。
【図５】本発明の合成音声信号の波形図である。
【発明を実施するための形態】
【００２３】
以下、図面を開示しながら本発明の実施例を説明する。出来れば、図面及び明細書において、同じ符号は同じ又は類似な部材を示す。図面において、簡単化又は表示の便宜上で、その形状及び厚さを拡大して表示する場合もある。留意すべきことは、図面に開示されていない、又は明細書に記載されていない素子は、当業者が自明であるものである。当業者は、本発明の内容に基づいて様々な変更、改良を行うことができる。
【００２４】
素子が「…上に」と記載する場合、前記素子がそのまま他の素子上にあること、又は他の素子が両者の間に存在することを示す。逆に、素子が「そのまま…もう１つ素子に」と記載する場合、他の素子が両者の間に存在しないことを示す。本明細書において、「及び／又は」は、関連項目における１つのもの、又は複数のもののすべての可能な組み合わせを示す。
【００２５】
本明細書において、「１つの実施例」又は「実施例」等は、少なくとも１つの実施例に関する特定な素子、構造又は特徴を示す。そのため、本明細書に記載の「１つの実施例」又は「実施例」の文言は、同じ実施例に対することとは限らない。なお、１つの又は複数の実施例に記載の特定な部材、構造、及び特徴を適切に組み合わせることができる。
【００２６】
図１を参照しながら本発明の同期音声生成装置を説明する。本発明の同期音声生成装置は、音節に基づいて自動マッチングした学習言語データを提供することで、言語障害の音声変換システムの前処理、例えば、動的時間伸縮法（ｄｙｎａｍｉｃ  ｔｉｍｅ  ｗａｒｐｉｎｇ、ＤＴＷ）及びピッチ同期重畳加算（ｐｉｔｃｈ  ｓｙｎｃｈｒｏｎｏｕｓ  ｏｖｅｒｌａｐ  ａｎｄ  ａｄｄ、ＰＳＯＬＡ）を簡素化する。本発明によれば、学習言語データをマッチングするために大量の時間的コスト及び人的コストをかけなくても、言語障害の音声変換システムによって発音エラー又は発音異常である患者の音声を明晰な、且つ理解できる通常音声に変更できる。そのため、コミュニケーションの状況を改善できる。本発明によって生成した合成音声信号は異常音声信号から生成したものである。異常音声信号及び既知のテキストを用意するだけで、同期音声生成装置によってマッチングした言語データを自動に生成できる。
【００２７】
同期音声生成装置は、異常子音信号を含む異常音声信号Ａを受信し、音素データベース１０、音節検出器１２、音声合成器１４、音声平滑化回路１６、及び文字スキャナー１８を有する。音声平滑化回路１６は、例えばフィルターである。音素データベース１０には、通常音素情報を保存する。音節検出器１２は、異常音声信号Ａを受信し、異常子音信号の位置を検出し、異常子音信号の位置によって位置情報Ｐを生成する。例えば、音節検出器１２は、自己相関関数（ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ  ｆｕｎｃｔｉｏｎ）又はディープニューラルネットワーク（ｄｅｅｐ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ、ＤＮＮ）によって異常音声信号Ａにおける異常子音信号の位置を検出する。文字スキャナー１８は、音声合成器１４に電気接続され、テキスト（ｓｃｒｉｐｔ）をスキャンしてテキスト情報Ｓを生成する。音声合成器１４は、音節検出器１２に電気接続され、音素データベース１０に信号接続され、異常音声信号Ａ、位置情報Ｐ、及びテキスト情報Ｓを受信する。テキスト情報Ｓは、異常音声信号Ａに対応する文字を含む。音声合成器１４は、ネットワークを介して音素データベース１０に接続され、または音素データベース１０に電気接続される。音声合成器１４は、音素データベース１０から文字に対応する通常音素情報を検索して、文字を通常音声信号に変換し、音節検出器１２を利用して通常音声信号の通常子音信号の位置を検出し、通常子音信号の位置及び異常子音信号の位置に基づいて、異常子音信号を通常子音信号に置換し、異常音声信号Ａを明晰な合成音声信号Ｃに同期するように変換する。例えば、音節検出器１２は、自己相関関数（ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ  ｆｕｎｃｔｉｏｎ）又はディープニューラルネットワーク（ｄｅｅｐ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ、ＤＮＮ）によって通常音声信号における通常子音信号の位置を検出する。音声平滑化回路１６は、音声合成器１４に電気接続され、合成音声信号Ｃを受信してノイズを除去することで、音声の自然度を向上する。ノイズを除去した合成音声信号ＣＳを異常音声信号Ａと共に伝送して音声変換モデルの学習を行う。音声変換モデルは、例えばガウス混合モデル（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）又はディープニューラルネットワーク（ｄｅｅｐ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ、ＤＮＮ）モデルが挙げられる。本発明のいくつの実施例において、音声合成器１４は、テキスト音声変換（ｔｅｘｔ  ｔｏ  ｓｐｅｅｃｈ、ＴＴＳ）技術を利用して文字を通常音声信号に変換する。又は、音素データベース１０を子音データベースに替えて、且つ通常音素情報として通常子音情報を利用すると、音声合成器１４によって異常音声信号Ａに対応する文字を通常子音信号に変換する。
【００２８】
以下、本発明の同期音声生成方法を説明する。まず、音節検出器１２は、異常音声信号Ａを受信して異常子音信号の位置を検出し、異常子音信号の位置によって位置情報Ｐを生成する。それと同時に、文字スキャナー１８は、テキストをスキャンしてテキスト情報Ｓを生成する。そして、音声合成器１４は、異常音声信号Ａ、位置情報Ｐ、及びテキスト情報Ｓを受信し、テキスト情報Ｓから異常音声信号Ａに対応する文字を検索し、且つ音素データベース１０から文字に対応する通常音素情報を検索し、文字を通常音声信号に変換し、音節検出器１２を利用して通常音声信号の通常子音信号の位置を検出し、通常子音信号の位置及び異常子音信号の位置に基づいて、異常子音信号を通常子音信号に置換し、異常音声信号Ａを合成音声信号Ｃに同期するように変換する。最後に、音声平滑化回路１６は、合成音声信号Ｃを受信してノイズ除去する。ノイズを除去した合成音声信号ＣＳは既に異常音声信号Ａとマッチングしたものであるため、ノイズを除去した合成音声信号ＣＳを異常音声信号Ａと共に伝送して音声変換モデルの学習を行う。
【００２９】
以下、図１、２を参照しながら説明する。音声変換学習システムは、フレーム化回路２０、音声特徴抽出器２２、及び音声変換モデル学習装置２４を有する。フレーム化回路２０は、音声平滑化回路１６に電気接続され、異常音声信号Ａ及びノイズを除去した合成音声信号ＣＳを受信してフレーム化することで、複数の異常音声フレームＡＦＭ及び複数の合成音声フレームＣＦＭを生成する。音声特徴抽出器２２は、フレーム化回路２０に電気接続され、全ての異常音声フレームＡＦＭ及び全て合成音声フレームＣＦＭを受信することで、複数の異常音声特徴ＡＦ及びそれに対応する複数の合成音声特徴ＣＦを取得する。音声特徴ＡＦ及び合成音声特徴ＣＦは、周波数スペクトル又はメル周波数ケプストラム係数（Ｍｅｌ−ｓｃａｌｅ  ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒａｌ  ｃｏｅｆｆｉｃｉｅｎｔｓ、ＭＦＣＣ）が挙げられる。音声変換モデル学習装置２４は、音声特徴抽出器２２に電気接続され、全ての異常音声特徴ＡＦ及び全ての合成音声特徴ＣＦを受信することで、音声変換モデルの学習を行う。
【００３０】
上記実施例において、音声平滑化回路１６を省略して音声合成器１４をそのままフレーム化回路２０に電気接続されてもよい。その場合、フレーム化回路２０は、異常音声信号Ａ及び合成音声信号Ｃを受信し、異常音声信号Ａ及び合成音声信号Ｃをフレーム化することで、複数の異常音声フレームＡＦＭ及び複数の合成音声フレームＣＦＭを生成する。言い換えると、音声変換学習システムは、合成音声信号Ｃ及び異常音声信号Ａを利用して音声変換モデルの学習を行う。また、文字スキャナー１８を省略して音声合成器１４によってテキスト情報Ｓを受信してもよい。
【００３１】
以下、図１、３、４、５を参照しながら説明する。本発明によれば、異常音声信号Ａの子音を置換して音声の明晰度を向上し、さらに異常音声信号Ａの母音を維持して、合成音声信号Ｃと異常音声信号Ａを自動的に合わせる。以下、中国語の音声を例として説明する。図３において、中国語の母音の発音が周期性を有するため、音節検出器１２によって検出した異常音声信号Ａの母音の位置がフレームで囲んだ部分である。そのため、異常音声信号Ａの子音の位置を検出できる。図４は、音声合成器１４によって変換した通常音声信号の波形図である。そのうち、フレームで囲んだ部分は、音節検出器１２によって判断した通常子音信号である。図５は合成音声信号Ｃの波形図である。合成音声信号Ｃが音声平滑化回路１６によって処理したかどうかに関わらず、合成音声信号Ｃと異常音声信号Ａをマッチングして図２の音声変換モデル学習装置２４に同期するように伝送する。また、合成音声信号Ｃの母音と異常音声信号Ａの母音が同じであるため、音声変換した後に異常音声信号Ａの音色を維持できる。
【００３２】
上記をまとめると、本発明によれば、参考言語データを録音する必要がなく、既知のテキストを利用して、異常音声と通常音声との最大の相違点である子音部分を置換するだけで、異常音声と同期するように明晰な音声を生成できる。該明晰な音声を後の音声変換学習システムの目標言語データとし、異常音声の音色を維持しながらコミュニケーションの障害を改善できる。
【００３３】
上記内容はあくまで本発明の好ましい実施例に過ぎない。本発明は、それに限定されていない。本発明の請求の範囲に記載の形状、構造、特徴及び精神に基づいてなされた均等的な変更及び改良は、いずれも本発明の範囲に含む。
【符号の説明】
【００３４】
１０  音素データベース
１２  音節検出器
１４  音声合成器
１６  音声平滑化回路
１８  文字スキャナー
２０  フレーム化回路
２２  音声特徴抽出器
２４  音声変換モデル学習装置
【要約】      （修正有）【課題】同期音声生成装置及びその生成方法を提供する。【解決手段】同期音声生成装置において、異常子音信号を含む異常音声信号及び異常子音信号に対応する文字を含むテキスト情報を受信し、異常子音信号の位置を検出する。文字に対応する通常音素情報を検索して、文字を通常子音信号に変換し、異常子音信号の位置に基づいて異常子音信号を通常子音信号に置換し、異常音声信号を合成音声信号に同期するように変換し、合成音声信号を異常音声信号と共に伝送して音声変換モデルの学習を行うと同時に、異常音声の音色を維持する。【選択図】図１【図１】
0006910084.tif 000002
【図２】
0006910084.tif 000003
【図３】
0006910084.tif 000004
【図４】
0006910084.tif 000005
【図５】
0006910084.tif 000006