(57)【要約】【課題】  音声合成器のための多言語テキストを処理するテキスト処理システムを実現する。【解決手段】  システムは、第１言語を含む入力テキストの部分に対して少なくとも１つのテキスト・韻律解析を実行する第１言語依存モジュールを含む。第２言語依存モジュールが、第２言語を含む入力テキストの第２部分に対して少なくとも１つのテキスト・韻律解析を実行する。第３モジュールが、第１および第２言語依存モジュールからの出力を受け取り、多言語テキストに基づく出力に対して韻律的および音声的コンテクスト抽出を実行するように適応している。【選択図】  図４
2004287444.tif 000002
【特許請求の範囲】
【請求項１】
音声合成器のための多言語テキストを処理するテキスト処理システムにおいて、
第１言語を含む入力テキストの部分に対して少なくとも１つのテキスト・韻律解析を実行する第１言語依存モジュールと、
第２言語を含む入力テキストの第２部分に対して少なくとも１つのテキスト・韻律解析を実行する第２言語依存モジュールと、
前記第１および第２言語依存モジュールからの出力を受け取り、多言語テキストに基づく該出力に対して韻律的および音声的コンテクスト抽出を実行するように適応した第３モジュールと
を備えたことを特徴とするテキスト処理システム。
【請求項２】
前記第１言語依存モジュールおよび前記第２言語依存モジュールによる処理のためにテキストを正規化するテキスト正規化モジュールをさらに備えたことを特徴とする請求項１に記載のテキスト処理システム。
【請求項３】
多言語テキストを受け取り、前記第１言語を含む部分および前記第２言語を含む部分に対する識別子を関連づけるように適応した言語識別子モジュールをさらに備えたことを特徴とする請求項１または２に記載のテキスト処理システム。
【請求項４】
各前記モジュールからの出力を受け取り、該出力を処理のためにそれに見合った他のモジュールへ転送するように適応した統合器モジュールをさらに備えたことを特徴とする請求項３に記載のテキスト処理システム。
【請求項５】
前記統合器モジュールが、関連づけられた識別子の関数として、前記第１言語依存モジュールおよび前記第２言語依存モジュールへ前記出力を転送することを特徴とする請求項４に記載のテキスト処理システム。
【請求項６】
前記第１言語依存モジュールおよび前記第２言語依存モジュールが形態素解析を実行するように適応していることを特徴とする請求項５に記載のテキスト処理システム。
【請求項７】
前記第１言語依存モジュールおよび前記第２言語依存モジュールが切れ目解析を実行するように適応していることを特徴とする請求項５に記載のテキスト処理システム。
【請求項８】
前記第１言語依存モジュールおよび前記第２言語依存モジュールが強勢解析を実行するように適応していることを特徴とする請求項５に記載のテキスト処理システム。
【請求項９】
前記第１言語依存モジュールおよび前記第２言語依存モジュールが書記素−音素変換を実行するように適応していることを特徴とする請求項５に記載のテキスト処理システム。
【請求項１０】
音声合成器のための多言語テキストのテキスト処理方法において、
入力テキストを受け取り、第１言語を含む部分および第２言語を含む部分を識別し、
第１言語依存モジュールを用いて前記第１言語を含む部分に対して少なくとも１つのテキスト・韻律解析を実行し、第２言語依存モジュールを用いて前記第２言語を含む部分に対して少なくとも１つのテキスト・韻律解析を実行し、
前記第１および第２言語依存モジュールからの出力を受け取り、多言語テキストに基づく該出力に対して韻律的および音声的コンテクストの抽出を実行する
ことを特徴とするテキスト処理方法。
【請求項１１】
入力テキストを正規化することをさらに含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記部分を識別することは、該部分のそれぞれに識別子を関連づけることを含むことを特徴とする請求項１０または１１に記載の方法。
【請求項１３】
前記部分を、該部分に関連づけられた識別子の関数として前記第１言語依存モジュールおよび第２言語依存モジュールへ転送することをさらに含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記テキストの部分を、該テキスト中の順序の関数として識別することをさらに含むことを特徴とする請求項１０、１１、１２、または１３のいずれかに記載の方法。
【請求項１５】
前記韻律的および音声的コンテクスト抽出を実行することは、前記多言語テキストに対する韻律の記号的記述を出力することを含むことを特徴とする請求項１０、１１、１２、１３または１４のいずれかに記載の方法。
【請求項１６】
前記韻律的および音声的コンテクスト抽出を実行することは、前記多言語テキストに対する韻律の数値的記述を出力することを含むことを特徴とする請求項１０、１１、１２、１３または１４のいずれかに記載の方法。
【請求項１７】
コンピュータにより可読な命令を含むコンピュータ可読媒体において、実施時に、請求項１０乃至１６に記載の方法のいずれか１つを該コンピュータに実行させることを特徴とするコンピュータ可読媒体。
【請求項１８】
請求項１０乃至１６に記載の方法のいずれか１つを実行するように適応したことを特徴とするシステム。
【請求項１９】
プロセッサによって実行される時に音声合成を実行する命令を有するコンピュータ可読媒体において、該命令が、
第１言語を含む入力テキストの部分に対して少なくとも１つのテキスト・韻律解析を実行する第１言語依存モジュールと、
第２言語を含む入力テキストの第２部分に対して少なくとも１つのテキスト・韻律解析を実行する第２言語依存モジュールと、
第１および第２言語依存モジュールからの出力を受け取り、多言語テキストを含む出力に対して韻律的および音声的コンテクストの抽出を実行するように適応した第３モジュールと
を含むテキスト処理モジュールと、
前記第３モジュールからの出力を受け取り、その関数として合成音声波形を発生するように適応した合成モジュールと
を備えたことを特徴とするコンピュータ可読媒体。
【請求項２０】
多言語テキストを受け取り、前記第１言語を含む部分および前記第２言語を含む部分に対する識別子を関連づけるように適応した言語識別子モジュールをさらに備えたことを特徴とする請求項１９に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声合成に関する。特に、本発明は多言語音声合成システムに関する。
【背景技術】
【０００２】
コンピュータ化されたシステムが合成音声を通じてユーザーと対話することを可能にするためにテキスト音声変換システムが開発されている。応用例をいくつか列挙すれば、会話システム、コールセンタサービス、音声対応型のウェブおよび電子メールサービスがある。テキスト音声変換システムは過去数年来にわたって改良されてきているが、いくつかの短所が依然として存在する。例えば、多くのテキスト音声変換システムは単一言語のみのために設計されている。しかし、複数の言語からの語の音声合成、特に、２つ以上の言語からの語が同じ文に含まれる場合の音声合成を提供することができるシステムを必要とする多くの応用場面がある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
複数の言語からの語を有する発話のための音声合成を提供するように開発されたシステムは、別々のテキスト音声変換エンジンを用いて、各エンジンが合成された語の波形を発生して、発話のそれぞれの言語からの語を合成する。そして、完全な発話を合成するために、それらの波形を接合し、あるいは順次出力する。この手法の主な欠点は、２つのエンジンから出て来る音声が普通、別様に聞こえることである。ユーザーは一般に、このような音声発話を聞くと、２人の異なる話者が話しているように思われるため、不愉快に感じるものである。さらに、全体的な文の抑揚が破壊され、理解の妨げとなる。
【０００４】
したがって、上記の欠点の少なくともいくつかを解決する多言語音声合成システムがあれば有益であり、多言語音声合成をより良くするであろう。
【課題を解決するための手段】
【０００５】
音声合成システムのためのテキスト処理システムが、少なくとも２つの言語の混合を含む入力テキストを受け取り、音声合成器のバックエンド部分によって使用されるのに適した出力を提供する。一般的に、このテキスト処理システムは、テキスト処理を実行する言語非依存モジュールおよび言語依存モジュールを含む。このアーキテクチャは、言語間で滑らかな切替を行い、混合言語文の流暢な抑揚を維持するという利点を有する。
【発明を実施するための最良の形態】
【０００６】
本発明の態様を説明する前に、本発明のための例示的コンピュータ環境をまず説明するのが有用であろう。図１は、本発明が実施され得る好適なコンピューティングシステム環境１００の例を示している。コンピューティングシステム環境１００は、好適なコンピューティング環境の一例に過ぎず、本発明の用途または機能の範囲に関するいかなる限定を示唆することも意図していない。また、コンピューティング環境１００は、例示的オペレーティング環境１００に示されるいかなるコンポーネントまたはその組合せに関するいかなる従属性または要件を有するとも解釈されてはならない。
【０００７】
本発明は、他の多くの汎用または専用のコンピューティングシステムの環境または構成とともに動作する。本発明とともに使用するのに適し得る周知のコンピューティングシステム、環境、および／または構成の例としては、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサ方式のシステム、セットトップボックス、プログラム可能な消費者電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたはデバイスのいずれかを含む分散コンピューティング環境等があるが、これらには限定されない。
【０００８】
本発明は、コンピュータにより実行されるプログラムモジュール等のコンピュータ実行可能命令との一般的関連で記述され得る。一般に、プログラムモジュールは、特定のタスクを実行し、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。本発明はまた、通信ネットワークを通じてリンクされるリモート処理デバイスによりタスクが実行される分散コンピューティング環境で実施されてもよい。分散コンピューティング環境では、プログラムモジュールはメモリ記憶デバイスを含むローカルおよびリモートのいずれのコンピュータ記憶媒体に配置されてもよい。プログラムおよびモジュールによって実行されるタスクが以下で、図の助けを借りて説明される。当業者は、本明細書の説明および図面をプロセッサ実行可能命令として実施することができ、その命令はいかなる形態のコンピュータ可読媒体に書き込まれることも可能である。
【０００９】
図１を参照すると、本発明を実施する例示的システムは、コンピュータ１１０の形態の汎用コンピューティングデバイスを含む。コンピュータ１１０のコンポーネントとしては、処理ユニット１２０、システムメモリ１３０、およびシステムメモリを含む種々のシステムコンポーネントを処理ユニット１２０に結合するシステムバス１２１があり得るが、これらには限定されない。システムバス１２１は、さまざまなバスアーキテクチャのいずれかを使用するメモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含む、いくつかのタイプのバス構造のいずれでもよい。例として、限定ではないが、このようなアーキテクチャとしては、Industry Standard Architecture（ＩＳＡ）バス、Micro Channel Architecture（ＭＣＡ）バス、Enhanced ISA（ＥＩＳＡ）バス、Video Electronics Standards Association（ＶＥＳＡ）ローカルバス、およびMezzanine（メザニン）バスとしても知られているPeripheral Component Interconnect（ＰＣＩ）バスがある。
【００１０】
コンピュータ１１０は通常、さまざまなコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータ１１０によりアクセス可能ないかなる利用可能な媒体であってもよく、揮発性および不揮発性媒体、リムーバブル（取り外し可能）および非リムーバブル（取り外し不能）媒体の両方が含まれる。例として、限定ではないが、コンピュータ可読媒体にはコンピュータ記憶媒体および通信媒体が含まれ得る。コンピュータ記憶媒体としては、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータのような情報の格納のためのいかなる方法または技術で実装された揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体の両方が含まれる。コンピュータ記憶媒体には、以下のものに限定されないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等のメモリ技術、ＣＤ−ＲＯＭ、ディジタル多用途ディスク（ＤＶＤ）等の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ等の磁気記憶デバイス、または所望の情報を格納するために使用可能でありコンピュータ１１０によりアクセス可能ないかなる他の媒体も含まれる。
【００１１】
通信媒体は通常、搬送波等の変調データ信号または他のトランスポートメカニズムでコンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータを具現化し、いかなる情報配信媒体も含む。「変調データ信号」という用語は、信号中に情報を符号化するように１つまたは複数の信号の特性が設定または変更された信号を意味する。例として、限定ではないが、通信媒体としては、有線ネットワークまたは直接有線接続のような有線媒体、および音響、ＲＦ、赤外線等の無線媒体のような無線媒体がある。上記のいずれかの組合せもまた、コンピュータ可読媒体の範囲内に含まれるべきである。
【００１２】
システムメモリ１３０は、読み出し専用メモリ（ＲＯＭ）１３１およびランダムアクセスメモリ（ＲＡＭ）１３２のような揮発性および／または不揮発性メモリの形態のコンピュータ記憶媒体を含む。起動中等にコンピュータ１１０内の要素間で情報を転送するのに役立つ基本ルーチンを含む基本入出力システム１３３（ＢＩＯＳ）が通常ＲＯＭ１３１に格納される。ＲＡＭ１３２は通常、処理ユニット１２０から直接アクセス可能な、および／または処理ユニット１２０が現在作用しているデータおよび／またはプログラムモジュールを含む。例として、限定ではないが、図１は、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６、およびプログラムデータ１３７を示している。
【００１３】
コンピュータ１１０はまた、他のリムーバブル／非リムーバブル、揮発性／不揮発性のコンピュータ記憶媒体を含んでもよい。単なる例として、図１は、非リムーバブル不揮発性磁気媒体の読み書きを行うハードディスクドライブ１４１、リムーバブル不揮発性磁気ディスク１５２の読み書きを行う磁気ディスクドライブ１５１、およびＣＤ−ＲＯＭ等の光媒体のようなリムーバブル不揮発性光ディスク１５６の読み書きを行う光ディスクドライブ１５５を示している。例示的オペレーティング環境で使用可能な他のリムーバブル／非リムーバブル、揮発性／不揮発性のコンピュータ記憶媒体としては、以下のものには限定されないが、磁気テープカセット、フラッシュメモリカード、ディジタル多用途ディスク、ディジタルビデオテープ、固体ＲＡＭ、固体ＲＯＭ等がある。ハードディスクドライブ１４１は通常、インターフェイス１４０のような非リムーバブルメモリインターフェイスを通じてシステムバス１２１に接続され、磁気ディスクドライブ１５１および光ディスクドライブ１５５は通常、インターフェイス１５０のようなリムーバブルメモリインターフェイスによりシステムバス１２１に接続される。
【００１４】
上記で説明し図１に示したドライブおよびそれらに関連するコンピュータ記憶媒体は、コンピュータ１１０のためのコンピュータ可読命令、データ構造、プログラムモジュールおよび他のデータの格納を行う。例えば図１において、ハードディスクドライブ１４１は、オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、およびプログラムデータ１４７を格納するように示されている。なお、これらのコンポーネントは、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６、およびプログラムデータ１３７と同じであることも異なることもいずれも可能であることに留意されたい。オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、およびプログラムデータ１４７はここでは、少なくともそれらが別のコピーであることを示すために異なる番号が与えられている。
【００１５】
ユーザーは、キーボード１６２、マイクロフォン１６３、およびマウス、トラックボールまたはタッチパッド等のポインティングデバイス１６１のような入力デバイスを通じてコンピュータ１１０にコマンドおよび情報を入力することが可能である。他の入力デバイス（図示せず）としては、ジョイスティック、ゲームパッド、サテライトディッシュ、スキャナ等があり得る。これらおよび他の入力デバイスは、システムバスに結合したユーザー入力インターフェイス１６０を通じて処理ユニット１２０に接続されることが多いが、パラレルポート、ゲームポートまたはユニバーサルシリアルバス（ＵＳＢ）のような他のインターフェイスおよびバス構造により接続されてもよい。モニタ１９１または他のタイプの表示デバイスもまた、ビデオインターフェイス１９０のようなインターフェイスを通じてシステムバス１２１に接続される。モニタに加えて、コンピュータはスピーカ１９７およびプリンタ１９６のような他の周辺出力デバイスを含んでもよく、これらは出力周辺インターフェイス１９５を通じて接続され得る。
【００１６】
コンピュータ１１０は、リモートコンピュータ１８０のような１つまたは複数のリモートコンピュータへの論理接続を用いたネットワーク接続環境で動作し得る。リモートコンピュータ１８０は、パーソナルコンピュータ、ハンドヘルドデバイス、サーバ、ルータ、ネットワークＰＣ、ピアデバイスまたは他の普通のネットワークノードであってよく、通常、コンピュータ１１０に関して上記で説明した要素の多くまたはすべてを含む。図１に示す論理接続は、ローカルエリアネットワーク（ＬＡＮ）１７１および広域ネットワーク（ＷＡＮ）１７３を含むが、他のネットワークを含んでもよい。このようなネットワーキング環境は、オフィス、企業規模のコンピュータネットワーク、イントラネットおよびインターネットで一般的である。
【００１７】
ＬＡＮネットワーキング環境で使用される場合、コンピュータ１１０はネットワークインターフェイスすなわちアダプタ１７０を通じてＬＡＮ１７１に接続される。ＷＡＮネットワーキング環境で使用される場合、コンピュータ１１０は通常、インターネットのようなＷＡＮ１７３を通じて通信を確立するためのモデム１７２等の手段を含む。モデム１７２は、内蔵でも外付けでもよいが、ユーザー入力インターフェイス１６０等の適当なメカニズムを通じてシステムバス１２１に接続され得る。ネットワーク接続環境では、コンピュータ１１０に関して図示したプログラムモジュールまたはその部分は、リモートメモリ記憶デバイスに格納されてもよい。例として、限定ではないが、図１は、リモートアプリケーションプログラム１８５がリモートコンピュータ１８０上に存在するように示している。認識されるように、図示したネットワーク接続は例示であり、コンピュータ間に通信リンクを確立する他の手段を使用してもよい。
【００１８】
図２は、例示的コンピューティング環境である移動デバイス２００のブロック図である。移動デバイス２００は、マイクロプロセッサ２０２、メモリ２０４、入出力（Ｉ／Ｏ）コンポーネント２０６、およびリモートコンピュータまたは他の移動デバイスと通信するための通信インターフェイス２０８を含む。一実施形態では、上記のコンポーネントは好適なバス２１０を通じて互いに通信するために結合している。
【００１９】
メモリ２０４は、移動デバイス２００への全体電源が切れている時にメモリ２０４に格納されている情報が消失しないように、バッテリバックアップモジュール（図示せず）を備えたランダムアクセスメモリ（ＲＡＭ）のような不揮発性電子メモリとして実装される。メモリ２０４の一部は好ましくはプログラム実行のためにアドレス可能なメモリとして割り当てられるが、メモリ２０４の別の部分は好ましくはディスクドライブ上のストレージをシミュレートする等のためのストレージとして使用される。
【００２０】
メモリ２０４は、オペレーティングシステム２１２、アプリケーションプログラム２１４およびオブジェクトストア２１６を含む。動作中、オペレーティングシステム２１２は、好ましくは、メモリ２０４からプロセッサ２０２によって実行される。オペレーティングシステム２１２は、好ましい一実施形態では、Microsoft Corporationから市販されているWINDOWS（登録商標）ＣＥブランドのオペレーティングシステムである。オペレーティングシステム２１２は、好ましくは、移動デバイスのために設計され、公開のアプリケーションプログラミングインターフェイスおよびメソッドのセットを通じてアプリケーション２１４から利用可能なデータベース機能を実装する。オブジェクトストア２１６内のオブジェクトは、公開のアプリケーションプログラミングインターフェイスおよびメソッドへの呼出しに少なくとも部分的に応答して、アプリケーション２１４およびオペレーティングシステム２１２によって管理される。
【００２１】
通信インターフェイス２０８は、移動デバイス２００が情報を送受信することを可能にする数多くのデバイスおよび技術を表す。それらのデバイスをいくつか列挙すれば、有線および無線モデム、衛星受信機および放送チューナがある。移動デバイス２００は、コンピュータに直接接続されてそれとデータを交換してもよい。このような場合、通信インターフェイス２０８は、赤外線トランシーバまたはシリアルもしくはパラレル通信接続であってもよく、それらはすべて、ストリーミング情報を送信することが可能である。
【００２２】
入出力コンポーネント２０６は、タッチセンシティブスクリーン、ボタン、ローラ、およびマイクロフォン等のさまざまな入力デバイスならびにオーディオジェネレータ、振動デバイス、およびディスプレイ等のさまざまな出力デバイスを含む。上記のデバイスは例としてのものであり、すべてが移動デバイス２００上に存在する必要はない。さらに、本発明の範囲内で、他の入出力デバイスが移動デバイス２００に取り付けられ、または移動デバイス２００とともに存在してもよい。
【００２３】
本発明の理解をさらに助けるため、従来の音声合成器すなわちエンジン３００および３０２の簡単な説明を提供することが有用であろう。これらはそれぞれ図３Ａおよび３Ｂに示されている。まず図３Ａを参照すると、音声合成器３００はフロントエンド（初期段、前工程）部分すなわちテキスト処理システム３０４を含む。これは一般的に、３０６で受け取られる入力テキストを処理し、モジュール３０３を用いてテキスト解析および韻律解析（prosody analysis）を実行する。モジュール３０３の出力３０８は、入力テキスト３０６の韻律の記号的記述を含む。出力３０８は、エンジン３００のバックエンド（最終段、後工程）部分すなわち合成モジュール３１２内のユニット選択・連結モジュール３１０に提供される。ユニット選択・連結モジュール３１０は、サンプリングされた音声ユニットの蓄積されたコーパス３１６を用いて合成音声波形（synthesized speech waveforms）３１４を発生する。合成音声波形３１４は、音声コーパス３１６がすべての合成ユニットについて十分に多様な韻律およびスペクトルを含み、好適なセグメントを常に見つけることができるという仮定の下で、通常はピッチや持続時間の修正なしに、音声ユニットを直接連結することによって発生される。
【００２４】
音声合成器３０２もまた、入力テキスト３０６を受け取り韻律の記号的記述を出力３０８に提供するテキスト・韻律解析モジュール３０３を含む。しかし、図示のように、フロントエンド部分３０４は韻律予測モジュール３２０も含む。これは、韻律の記号的記述３０８を受け取り、韻律の数値的記述を出力３２２に提供する。知られているように、韻律予測モジュール３２０は、品詞(part-of-speech)、句切り（phrasing）、アクセントおよび強調(emphasizes)等の高レベル韻律制約を入力として取り、ピッチ、持続時間、エネルギー等に関する予測を行い、出力３２２を構成するそれらに対する決定性の値を発生する。出力３２２はバックエンド部分３１２に提供される。バックエンド部分３１２は、この形態では、合成音声波形３１４を発生する音声発生モジュール３２６を備える。合成音声波形３１４は、韻律入力の数値的記述３２２に適合する韻律特徴を有する。これは、フォルマント方式もしくはＬＰＣ方式のバックエンド内で対応するパラメータを設定することによって、または連結型バックエンド内でＰＳＯＬＡやＨＮＭのような韻律スケーリングアルゴリズムを適用することによって、達成することができる。
【００２５】
図３Ｃは、音声合成器３００および３０２のフロントエンド部分３０４内のテキスト・韻律解析モジュール３０３を形成し、韻律の記号的記述３０８を提供することができる種々のモジュールを示している。典型的な処理モジュールとしてテキスト正規化モジュール３４０がある。これは、入力テキスト３０６を受け取り、入力テキスト３０６の通貨(currency)、日付等の部分のような記号を可読語に変換する。
【００２６】
正規化後、形態素解析モジュール（morphological analysis module）３４２を用いて、入力テキスト内の複数形、過去時制等を確認するために形態素解析を実行することができる。次に、モジュール３４４により構文意味（syntactic/semantic ;統合／意味）解析を実行して、語の品詞（ＰＯＳ）を識別し、または必要であれば文の構文意味構造を予測することができる。次に、所望であればモジュール３４６によってさらなる処理を実行することができる。モジュール３４６は、モジュール３４４からの入力（すなわち、ＰＯＳタグ付けまたは構文意味構造）に従って、または単にコンマ、ピリオド等によって、語を句にまとめる。強勢、アクセント、および／またはフォーカス等の意味論的特徴がモジュール３４８によって予測される。書記素−音素変換モジュール３５０が、語を、適切な発音に対応する音声記号に変換する。３０３の出力は、韻律の記号的記述（symbolic description）３０８を備える音声ユニットストリングである。
【００２７】
強調しておかなければならないが、テキスト・韻律解析部分３０３を形成するモジュールは単に例示であり、図３Ａまたは３Ｂに示すバックエンド部分３１２によって使用されるべきフロントエンド部分３０４からの所望の出力を発生するために必要に応じて包含される。
【００２８】
多言語テキストの場合、音声エンジン３００または３０２は、合成されるべきテキストの各言語ごとに提供されるであろう。テキスト内のそれぞれの別個の言語に対応する部分が、それぞれの単一言語音声合成器に提供され、別個に処理されるであろう。ここで、出力３１４は、適当なハードウェアを用いて接合され、または順次出力されるであろう。背景技術のセクションで説明したように、欠点として、全体的な文の抑揚が失われ、単一文の各部分が２人以上の異なる話者から発せられるように思われることがある。
【００２９】
図４は、音声合成システムのためのテキスト・韻律解析システム４００の第１の例示的実施形態を示している。システムは、１言語または少なくとも２言語の混合の文を含む入力テキスト４０２を受け取り、一般に図３Ａまたは３Ｂに示した形態の、音声合成器のバックエンド部分によって使用されるのに適した出力４３２を提供する。一般的に、フロントエンド部分４００は、図３Ｃに示した所望の機能を実行する言語非依存モジュールおよび言語依存モジュールを含む。このアーキテクチャは、言語間で滑らかな切替を行い、混合言語文の流暢な抑揚を維持するという利点を有する。図４で、処理方法の流れは上から下へ進む。
【００３０】
例示的実施形態において、テキスト・韻律解析部分４００は、言語識別子モジュール（language identifier module）４０６および統合器モジュールを含む言語ディスパッチモジュールを含む。言語識別子モジュール４０６は、入力テキスト４０２を受け取り、文および／または語が使用されている言語に合わせて適宜、それらを表す言語識別子（Ｉｄ）あるいはタグをそれらの文および／または語に含め、または関連づける。図示の例では、中国語の文字（漢字）および英語の文字（英字）は非常に明確に異なるコードを用いて入力テキスト４０２を形成しているので、入力テキスト４０２のうち中国語に対応する部分または英語に対応する部分を識別することは比較的容易である。フランス語、ドイツ語またはスペイン語のような言語の場合、共通の文字が各言語に存在し得るので、さらなる処理が必要かもしれない。
【００３１】
次に、適当な言語識別子を有する入力テキストは、統合器モジュール（integrator module）４１０に提供される。一般的に、統合器モジュール４１０は、言語非依存モジュールと言語依存モジュールの間のデータフローを管理し、統一されたデータフローを維持して、各モジュールからの出力を受け取った時の適当な処理を保証する。通常、統合器モジュール４１０はまず、言語識別子を有する入力テキストをテキスト正規化モジュール４１２に渡す。例示した実施形態では、テキスト正規化モジュール４１２は言語非依存ルール解釈器である。モジュール４１２は２つのコンポーネントを含む。一方はパターン識別器であり、他方はパターン解釈器である。パターン解釈器は、ルールに従って一致パターンを可読テキストストリングに変換する。各ルールは２つの部分を有する。第１の部分はパターンの定義であり、第２の部分はそのパターンに対する変換ルールである。定義部分は、両言語によって共有されるか、またはそれらの一方に指定されるかのいずれかが可能である。変換ルールは通常、言語固有である。新しい言語が追加される場合、ルール解釈モジュールを変更する必要はなく、新しい言語に対する新しいルールのみを追加すればよい。当業者には認識されるように、入力テキスト内の言語の各語を識別するために適当な処理がテキスト正規化モジュール４１２で提供される場合、テキスト正規化モジュール４１２を言語識別子モジュール４１０の前に置くことも可能である。
【００３２】
統合器モジュール４１０は、テキスト正規化モジュール４１２からの出力を受け取った後、テキスト・韻律解析のために適当な語および／または句を適当な言語依存モジュールに転送する。図示の例では、標準中国語モジュール４２０および英語モジュール４２２が提供されている。中国語モジュール４２０および英語モジュール４２２は、いくつか列挙すれば、両言語に対する句切りおよび書記素−音素変換、中国語に対する語セグメント化および英語に対する省略展開のような、すべての言語固有のプロセスを扱う。図４では、スイッチ４１８が、言語識別子によって指定される通りに入力テキストの各部分を適当な言語依存モジュールに転送する場合の統合器モジュール４１０の機能を図式的に示している。
【００３３】
統合器モジュール４１０が、種々の言語非依存モジュールおよび言語依存モジュールからの出力を受け取った後、セグメントの正しい順序を再構成することができるように、入力テキスト４０２のセグメントは、言語識別子に加えて、入力テキスト４０２中のそれらの位置を表す識別子を含み、またはそれに関連づけられてもよい。というのは、すべてのセグメントが同じモジュールによって処理されるわけではないからである。これは、入力テキスト４０２の並列処理、したがってより高速な処理を可能にする。もちろん、入力テキスト４０２の処理は、入力テキスト４０２中に見出される順序でセグメントごとにすることも可能である。
【００３４】
次に、言語依存モジュールからの出力が、韻律的および音声的コンテクスト（prosodicand phonetic context）のために統一特徴抽出モジュール４３０によって処理される。このようにして、中国語および英語のセグメントについてモジュール４２０および４２２によるテキスト・韻律解析の後に、韻律的および音声的コンテクストが文全体について適宜解析されることになるので、全体的な文の抑揚は失われない。例示した実施形態では、テキスト・韻律解析部分４００の出力４３２は、韻律的および音声的コンテクストを含む統一特徴ベクトルを備えた順次的ユニットリスト（英語および標準中国語両方のユニットを含む）である。その場合、ユニットの連結は、図３Ａに示したようなバックエンド部分で提供することができる。その例示的実施形態については以下でさらに説明する。別法として、所望であれば、テキスト・韻律解析部分４００を適当な言語非依存モジュールに取り付けて、（モジュール３２０と同様の）韻律予測を実行し、韻律の数値的記述を出力として提供することができる。その場合、韻律の数値的記述は、図３Ｂに示したようなバックエンド部分３１２に提供されることが可能である。
【００３５】
図５は、本発明の２言語テキスト・韻律解析システム４５０のもう１つの例示的実施形態を示している。ここで、テキスト・韻律解析は、形態素解析(morphological analysisi)４５２、切れ目解析（breaking analysis）４５４、強勢（stress）／アクセント解析４５６および書記素−音素変換(grapheme-to-phoneme conversion)４５８からなる４個の例示的な独立モジュールに編成されている。これらの各機能がそれぞれ英語および標準中国語をサポートする２つのモジュールを有する。図４と同様に、入力テキストに対する処理の順序は、図中で上から下へ流れる。英語および標準中国語の２言語について例示されているが、明らかなように、テキスト・韻律解析部分４００、４５０のアーキテクチャは、所望されるだけの数の言語に対応するように容易に適応可能である。さらに、留意されるべきであるが、他の言語依存モジュールおよび／または言語非依存モジュールが、所望に応じてテキスト処理システムアーキテクチャに容易に統合されることが可能である。
【００３６】
一実施形態では、バックエンド部分３１２は図３Ａに示したような形態をとることができ、ここでユニット連結が行われる。標準中国語および英語を含む多言語システムの場合、音節が標準中国語の最小ユニットであり、音素が英語の最小ユニットである。できるだけ自然な、または気持ちの良い継ぎ合わせを達成するために、ユニット選択アルゴリズムが、韻律的に妥当なユニット候補のプールから一連のセグメントを選び出さなければならない。７個の韻律制約を考慮することができる。それらは、句中の位置、語中の位置、音節中の位置、左声調(left tone)、右声調(right tone)、語中のアクセントレベル、および句中の強調レベルである。それらのうち、音節中の位置および語中のアクセントレベルは英語においてのみ有効であり、右／左声調は標準中国語に対してのみ有効である。
【００３７】
基本ユニットのすべてのインスタンスが、韻律制約に関する問合せによってＣＡＲＴ（分類・回帰ツリー）を用いてクラスタ化される。ＣＡＲＴに対する分割基準は、平均ｆ０、ｆ０のダイナミックレンジ、および持続時間という３つの特徴のＭＳＥ（平均２乗誤差）の加重和の減少を最大化することである。各特徴のＭＳＥは、すべてのインスタンスの特徴値からそれらのホストリーフの平均値までの２乗距離の平均として定義される。ツリーが成長した後では、同じリーフノード上のインスタンスは類似の韻律特徴を有する。音声制約、左および右音声コンテクストならびに滑らかさコストを用いて、ユニット間の連結の連続性を保証する。連結コストは、７個の韻律制約、２個の音声制約および滑らかさコストのソース−ターゲット間距離の加重和として定義される。各韻律／音声制約に対する距離テーブルおよびすべての成分に対する加重を最初に手作業で割り当てた後、H. Peng, Y. Zhao and M. Chu, "Perpetually optimizing the cost function for unit selection in a TTS system for one single run of MOS evaluation", Proc. of ICSLP'2002, Denver、に提示されている方法を用いて自動的に調整する。発話を合成する場合には、まず韻律制約を用いて各ユニットに対するインスタンスのクラスタ（ＣＡＲＴツリー内のリーフノード）を求めた後、ビタビ探索を用いて、各ユニットごとに、最小の全連結コストを生成する最適なインスタンスを求める。次に、選択されたセグメントを１個ずつ連結して合成発話を形成する。好ましくは、ユニットのコーパスを１人の２言語話者から取得する。２つの言語は異なるサイズのユニットを採用しているが、それらは同じユニット選択アルゴリズムおよびユニットに対する特徴の同じセットを共有している。したがって、音声合成器のバックエンド部分は、単一言語または２言語の混合のいずれにおいてもユニット列を処理することができる。上記によるユニットインスタンスの選択は、"Method and Apparatus for Speech Synthesis Without Prosody Modification"と題する２００２年７月２５日に公開された米国特許出願公開第２００２００９９５４７Ａ１号にさらに詳細に記載されている。その内容は全体として参照により本明細書に援用される。
【００３８】
以上、本発明について、特定の実施形態を参照して説明したが、当業者には認識されるように、本発明の精神および範囲から逸脱することなく形態および詳細において変更を行うことが可能である。
【図面の簡単な説明】
【００３９】
【図１】本発明を実施可能な一般的コンピューティング環境のブロック図である。
【図２】本発明を実施可能な移動デバイスのブロック図である。
【図３Ａ】従来技術の音声合成システムの第１実施形態のブロック図である。
【図３Ｂ】従来技術の音声合成システムの第２実施形態のブロック図である。
【図３Ｃ】従来技術の音声合成システムのフロントエンド部分のブロック図である。
【図４】音声合成器のためのテキスト処理システムを備えた本発明の第１実施形態のブロック図である。
【図５】音声合成器のためのテキスト処理システムを備えた本発明の第２実施形態のブロック図である。
【符号の説明】
【００４０】
１００  コンピューティングシステム環境
１１０  コンピュータ
１２０  処理ユニット
１２１  システムバス
１３０  システムメモリ
１３１  読み出し専用メモリ（ＲＯＭ）
１３２  ランダムアクセスメモリ（ＲＡＭ）
１３３  基本入出力システム（ＢＩＯＳ）
１３４  オペレーティングシステム
１３５  アプリケーションプログラム
１３６  他のプログラムモジュール
１３７  プログラムデータ
１４０  非リムーバブルメモリインターフェイス
１４１  ハードディスクドライブ
１４４  オペレーティングシステム
１４５  アプリケーションプログラム
１４６  他のプログラムモジュール
１４７  プログラムデータ
１５０  リムーバブルメモリインターフェイス
１５１  磁気ディスクドライブ
１５２  磁気ディスク
１５５  光ディスクドライブ
１５６  光ディスク
１６０  ユーザー入力インターフェイス
１６１  ポインティングデバイス
１６２  キーボード
１６３  マイクロフォン
１７０  ネットワークインターフェイス
１７１  ローカルエリアネットワーク（ＬＡＮ）
１７２  モデム
１７３  広域ネットワーク（ＷＡＮ）
１８０  リモートコンピュータ
１８５  リモートアプリケーションプログラム
１９０  ビデオインターフェイス
１９１  モニタ
１９５  出力周辺インターフェイス
１９６  プリンタ
１９７  スピーカ
２００  移動デバイス
２０２  マイクロプロセッサ
２０４  メモリ
２０６  入出力（Ｉ／Ｏ）コンポーネント
２０８  通信インターフェイス
２１０  バス
２１２  オペレーティングシステム
２１４  アプリケーションプログラム
２１６  オブジェクトストア
３００，３０２  音声合成器
３０３  テキスト・韻律解析モジュール
３０４  フロントエンド部分（テキスト処理システム）
３０６  入力テキスト
３０８  韻律の記号的記述
３１０  ユニット選択・連結モジュール
３１２  バックエンド部分（合成モジュール）
３１４  合成音声波形
３１６  音声コーパス
３２０  韻律予測モジュール
３２２  韻律の数値的記述
３２６  音声発生モジュール
３４０  テキスト正規化モジュール
３４２  形態素解析モジュール
３４４  構文意味解析モジュール
３５０  書記素−音素変換モジュール
４００  テキスト・韻律解析システム
４０２  入力テキスト
４０６  言語識別子モジュール
４１０  統合器モジュール
４１２  テキスト正規化モジュール
４１８  スイッチ
４２０  標準中国語モジュール
４２２  英語モジュール
４３０  統一特徴抽出モジュール
４５０  ２言語テキスト・韻律解析システム
４５２  形態素解析
４５４  切れ目解析
４５６  強勢／アクセント解析
４５８  書記素−音素変換
【図１】
2004287444.tif 000003
【図２】
2004287444.tif 000004
【図３Ａ】
2004287444.tif 000005
【図３Ｂ】
2004287444.tif 000006
【図３Ｃ】
2004287444.tif 000007
【図４】
2004287444.tif 000008
【図５】
2004287444.tif 000009
【外国語明細書】
2004287444000001.pdf