(57)【要約】  音素データベースに保存された音素から連結により音声信号を生成することができる、人間的な音声を生成する音声合成装置および音声合成方法の新規な実施形態を開示する。フレーム間のウェーブレット変換および補間を用いて、出力信号における隣接する音素の滑らかな形態的融合を実行することができる。音素は、１個の音律または音律特徴の組を有していてよく、音律修正パラメータを差分音律データベースからの音素に適用することにより１個以上の代替的な音律を生成することができる。好適な実施形態により、魅力ある音楽的またはリズミカルな出力を有する高速且つリソース効率の高い音声合成を、事務的または人情的等、所望の音律スタイルで提供することができる。本発明は、テキストの他の部分の決定された意味論的意味を参照し、デジタル化された音素の修正により決定された音律をテキストに適用することにより、テキストの一部に適用する適当な音律のコンピュータによる決定を含んでいる。このように、音律決定を効果的に自動化することが可能である。
2008545995.tif 000002
【特許請求の範囲】
【請求項１】
ａ）合成されるテキストを音素として表わすことができるテキスト要素に構文解析するテキスト・パーサと、
ｂ）前記テキスト要素を表わすのに有用な、音響的に整形された音素を含む音素データベースと、
ｃ）前記音素データベースからテキスト要素の各々に対応すべく選択された音素を組み立てて、前記組み立てられた音素を音声信号として生成する音声合成ユニットと
を含む、テキストから音声を合成する音声合成装置であって、
前記テキスト・パーサがテキストを構文と意味に構文解析し、前記音声合成ユニットが書記素を用いて音素を表わし、前記書記素がテキスト文字またはテキスト文字を表わす記号を含み、また前記テキスト文字に関連付けられた音律音声テキスト符号を含んでいることにより、各々の書記素を、特定の音響的文脈に適している前記書記素の音素的等価物に一致させることが可能であることを特徴とする音声合成装置。
【請求項２】
前記テキスト・パーサが、合成音声を表わす音響ファイルを生成すべく調音規則および仕様を出力可能であることを特徴とする、請求項１に記載の音声合成装置。
【請求項３】
前記音声テキスト符号が、前記テキスト・パーサから識別されるように、各音素について所望の値を示す音律タグを含み、前記音律タグが、各々の書記素に関連付けられていて調音規則および各々のテキスト要素に対応する仕様に従い出力される発話音声に対する所望の音響値を指定することを特徴とする、請求項１または２に記載の音声合成装置。
【請求項４】
前記音声合成装置が、構文解析されたテキストの自然に聞こえる発音、およびテキスト内で一人以上の話者を表わし、１個以上の音律を表わす自然に聞こえる発話を生成可能な音響ファイルを生成することを特徴とする、請求項１〜３のいずれか一項に記載の音声合成装置。
【請求項５】
前記テキストが、複数の話者に適したテキストを含み、前記テキスト・パーサが、請求項４に従い自然に聞こえる発音を生成し、且つ構文解析されたテキストの意味論的意味および話者の人数に適した複数の話者規則を出力することを特徴とする、請求項４に記載の音声合成装置。
【請求項６】
合成対象テキストから導かれた指定調音要素の各々が、前記音素データベース内の各音素および複数の声に対する複数の音律値により表現可能であることを特徴とする、請求項１〜５のいずれか一項に記載の音声合成装置。
【請求項７】
前記テキスト・パーサにより識別された前記テキスト要素の各々が、単一の特定音素により個別に表現可能であることを特徴とする、請求項１〜６のいずれか一項に記載の音声合成装置。
【請求項８】
前記音素データベースが、単一のベースライン音律を表わす音素集合を含んでいて、前記音素集合内の各音素が、前記音素を音響単位として再生成するか、または別の音素を生成すべく用いることが可能な音楽的変換およびウェーブレット変換の符号化された数学的表現として保存されていて、各音響単位が既存または生成された音素の１個を構成し、前記集合内の音素の個数が前記テキストを表現するのに十分であることを特徴とする、請求項１〜５に記載の音声合成装置。
【請求項９】
前記音声合成装置が、合成された発話テキストを異なる音律で出力すべく、前記テキスト・パーサの要求に応じて、前記音素データベース内の個々の音素の音律を変えるために差分音律特徴の複数の属性パラメータの集合を含んでいることを特徴とする、請求項６に記載の音声合成装置。
【請求項１０】
前記音素データベース内の音素の個数が約８０〜約５，０００であることを特徴とする、請求項１〜９のいずれか一項に記載の音声合成装置。
【請求項１１】
前記複数の属性パラメータの集合に含まれる音素が、訓練された話者の音響録音から導かれていることを特徴とする、請求項９に記載の音声合成装置。
【請求項１２】
人間の声に固有な音楽性を出力音声にマッピングして変換する音楽変換モジュールを含む、請求項１〜１１のいずれか一項に記載の音声合成装置。
【請求項１３】
スペクトルおよび音波データの形態的融合を用いて、隣接する音素が互いに連結されて自然に聞こえる音声を生成することを特徴とする、請求項１〜１１のいずれか一項に記載の音声合成装置。
【請求項１４】
スペクトルおよび音波データの形態的融合がアルゴリズム、任意選択的にフラクタル数学を利用するアルゴリズムを用いて実行されることを特徴とする、請求項１３に記載の音声合成装置。
【請求項１５】
前記音声合成装置が、入力テキストから音律音声信号を生成する音波ジェネレータ、任意選択の曖昧性および語彙的強勢モジュール、およびリズム、イントネーションおよびスタイルを指定する任意選択の追加的な音律的テキスト解析要素を含んでいて、差分音律データベース２６へのアクセス権を有する前記音声合成ユニットから前記音素データベースがアクセス可能であって、前記音素データベース内の音素が基本音律モデル用のパラメータを有することを特徴とする、請求項１に記載の音声合成装置。
【請求項１６】
前記音声合成装置が更に、非音楽的な音素の列を含む入力信号を音楽的出力信号に変換する音楽変換モジュールを含み、前記音楽変換モジュールが高調波を加えるべく逆時間変換および１個以上のデジタルフィルタを含んでいることを特徴とする、請求項１に記載の音声合成装置。
【請求項１７】
前記テキスト・パーサが、合成されるテキストを正規化するテキスト正規化ステップ、品詞タグ付けステップ、構文解析ステップ、意味割当てステップ、および音律的文脈識別ステップを実行して音律的に構文解析されたテキストを生成できることを特徴とする、請求項１〜５のいずれか一項に記載の音声合成装置。
【請求項１８】
前記テキスト・パーサが、単語および文字のテキスト列から始めて各テキスト文章を配列に音律的に構文解析して前記単語を含む文字に発音規則を割当て、発音規則の変更を識別すべく単語の境界をまたがって前記文字列を調べ、文章内の各単語の品詞を識別し、イントネーション・パターンを割当て、音律的にマーク付けされたテキストを生成して、前記音律的にマーク付けされたテキストを出力して書記素対音素マトリクスを生成することにより、音律マークを割当てる処理を実行できることを特徴とする、請求項１〜５、１７のいずれか一項に記載の音声合成装置。
【請求項１９】
前記音律タグが、各音素のピッチ、持続時間、および振幅の所望の値を示すことを特徴とする、請求項３に記載の音声合成装置。
【請求項２０】
生成された書記素を受理し、保存された係数から前記書記素を変換して、前記構文解析された出力から直接音声信号を生成する、請求項１〜１１のいずれか一項に記載の音声合成装置を含んでいることを特徴とするオンデマンド音声出版システム。
【請求項２１】
クライアント・サーバ・ネットワーク、インターネット、または携帯機器を介してアクセス可能な音声を生成するステップを含んでいることを特徴とする、請求項１９に記載のオンデマンド音声出版システム。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本出願は、２００５年３月２８日に出願された共同所有の米国仮特許出願第６０／６６５，８２１号の利益を主張するものであり、その全開示内容が参照により本明細書に援用される。
【技術分野】
【０００２】
本発明は、新規なテキストを音声に変換する合成装置、音声合成方法、および音声認識システムを含む、音声合成装置または方法を実装した製品に関する。本発明の方法および装置は、例えばパソコンその他のコンピュータ化された装置への、コンピュータ実装に適していており、本発明はまた、そのようなコンピュータ化されたシステムおよび方法を含んでいる。
【背景技術】
【０００３】
３種類の異なる音声合成装置、すなわち調音、フォルマント、および連結音声合成装置について理論的に記述されている。商用のフォルマントおよび連結音声合成装置が開発されている。
【０００４】
フォルマント合成装置は、初期の極めて数学的な音声合成装置であった。フォルマント合成技術は、基本周波数、声道の長さと直径、空気圧パラメータ等、話者の声道に関するパラメータを使用する音響モデルに基づいている。フォルマントに基づく音声合成は、高速且つ低コストであるが、生成される音は人間の耳には審美的に不満足である。すなわち多くの場合、人工的且つロボット的または単調である。
【０００５】
一つの単語の発音の合成には、その単語が認識できるような子音および母音の調音に対応する音声が必要である。しかし、個々の単語には、正式および非正式の発音等、様々な発音の仕方がある。多くの辞書は、単語の意味だけでなく、その発音の手引きを提供する。しかし、文章中の各々の単語を、辞書にある当該単語の音声表記に従って発音すれば単調な音声となり、人間の耳には著しく不快である。
【０００６】
この問題に対処すべく、本発明に先立って多くの市販の音声合成装置が連結方式の音声合成方法を採用していた。国際音標文字（ＩＰＡ）辞書の基本音声単位、例えば音素、二重音素、および三重音素が、個人の発音から録音され、「連結」または互いに繋がれて合成音声を形成する。出力される連結音声の品質は形式的音声よりは良いものの、隣接する音声単位間の結合が不完全さに起因する「グリッチ」として知られる問題のために、聴取体感は多くの場合依然として不満足である。
【０００７】
連結型の合成装置の他の重大な短所は、大規模な音声単位データベースおよび高い計算能力が必要な点である。場合により、全単語および時として録音された音声の語句を用いる連結合成により、音声識別特徴をより明確になる場合がある。にもかかわらず、予め録音されたより長い単位を用いる「合成された」音声の文や段落を聞いた場合、音声には依然として音律が貧弱であるという短所がある。「音律」とは、言語のペース、リズム、および調子の様相を含むものとして理解されよう。また、一般に単調な従来の連結およびフォルマント式機械音声から人間の声を区別すべく、正しく話された言語の特質を取り入れるものと考えてよい。
【０００８】
音声合成装置に使用される公知のテキスト正規化装置およびテキスト解析装置は逐語的に、連結合成の場合には時々語句毎に動作する。逐語的アプローチは、たとえ個々の単語の強勢を用いても、たちまちロボット的に感じられてしまう。連結アプローチは、いくぶん音声品質が向上しているものの、すぐに反復的になり、グリッチから振幅およびピッチの不整列が生じる場合がある。
【０００９】
人間の声の自然な音楽性は音声における音律として表わすことができ、その要素として音声の調音リズムおよびピッチや音量の変化が含まれる。従来のフォルマント音声合成装置は、発音されるテキストに関連し、聞き手が聞くに足る音律を有する良質な合成音声を生成することができない。このような音律の例として、事務的、説得的、弁護的、人情的なもの等がある。
【００１０】
自然音声ではピッチ、リズム、振幅、および明瞭度が変動する。音律的なパターンには周辺概念、すなわち先行および後続する単語や文が関連付けられている。公知の音声合成装置はこれらの要素を十分には考慮していない。
【００１１】
アディソン（Ａｄｄｉｓｏｎ）らによる共同所有の米国特許第６，８６５，５３３号明細書および同第６，８４７，９３１号明細書に、表情解析を使用する方法およびシステムを開示して権利請求している。
【００１２】
背景技術に関する上の説明には、本発明以前の関連技術では知られていなかったが本発明により提供される、洞察、発見、理解または開示、あるいは開示同士の関連付けが含まれている。本発明のそのような寄与が特に本明細書にて示されているが、本発明のそのような他の寄与は、その文脈から明らかである。ある文書が単に本明細書に引用されていても本発明の分野とは全く異なっている可能性もあるため、それだけの理由では当該文書の分野が本発明の分野と同じであるとは認められない。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
従って、リソース効率が高く、入力テキストから高品質の音声を生成できる音声合成装置および合成方法が必要とされている。更に、自然にリズミカルまたは音楽的な音声を提供でき、且つ１個以上の音律で合成音声を容易に生成できる音声合成装置および合成方法が存在する。
【課題を解決するための手段】
【００１４】
このため、本発明は一態様において、テキストから音声を合成する新規の音声合成装置を提供する。音声合成装置は、音素として表わすことができるテキスト要素に合成されるテキストを構文解析するテキスト・パーサを含んでいてよい。本合成装置はまた、テキスト要素を表わすのに有用な音響的に整形された音素を含む音素データベースと、音素データベースからの音素を組み立てて、組み立てられた音素を音声信号として生成する音声合成ユニットとを含んでいてよい。選択された音素は、テキスト要素の各々に対応していてよい。音声合成ユニットは好適には、隣接する音素を連結して連続的な音声信号を出力可能である。
【００１５】
音声合成装置は更に、テキスト要素に音律タグを関連付けて出力音声に所望の音律を提供する音律パーサを含んでいてよい。音律タグは、各々のテキスト要素の好適な発音を示す。
【００１６】
出力の品質を向上させるべく、音声合成ユニットは、音声信号を音波信号として生成する音波ジェネレータを含んでいてよく、音声合成ユニットは隣接する音素の波形の滑らかな形態的融合を行なって隣接する音素を連結することができる。
【００１７】
音楽変換を採用して音楽性を導入し、固有の音楽性を失うことなく音声信号を圧縮することができる。
【００１８】
別の態様において、本発明は、合成するテキストを音素として表わすことができるテキスト要素に構文解析するステップと、テキスト要素を表わすのに有用な音響的に整形された音素を含む音素データベースから各々のテキスト要素に対応する音素を選択するステップとを含む、テキストから音声を合成する方法を提供する。本方法は、選択された音素を組み立てるステップと、隣接する音素を連結して連続音声信号を生成するステップとを含んでいる。
【００１９】
本発明による音声合成装置の一実施形態のアーキテクチャにおいて、単語の構文解析されたマトリクスが音声合成装置の信号処理ユニットに渡されたならば、音声データベースから信号が引き出されて、差分音律データベースを用いてその音律を変えることができる。次いで全ての音声構成要素が連結されて合成音声を生成することができる。
【００２０】
本発明の好適な実施形態は、事務的または人情的等、所望の音律スタイルで魅力的な音楽的またはリズミカルな出力を行なう高速且つリソース効果が高い音声合成を提供することができる。
【００２１】
更なる態様において、本発明は、電子的に整形されたテキストから音声を合成するコンピュータ実装された方法を提供する。この態様において、本方法は、テキストを構文解析して意味論的な意味を決定するステップと、テキストの可聴性を表わすデジタル化された音素を含む音声信号を生成するステップとを含んでいる。本方法は、テキストの別の部分の決定された意味論的な意味を参照して当該テキストの部分への適用に適した音律をコンピュータを用いて決定するステップと、デジタル化された音素の修正により決定された音律を当該テキストに適用するステップとを含んでいる。このように、音律決定を効果的に自動化することができる。
【００２２】
本発明のいくつかの実施形態により、単語の長いシーケンスを旋律的且つリズミカルに発音することができる表情豊かな音声合成の生成が可能になる。このような実施形態はまた、ピッチ、振幅、および音素の持続時間を予測および制御できる表情豊かな音声合成を提供する。
【００２３】
本発明と、本発明を制作および使用するためのいくつかの実施形態、並びに本発明を実施する際に考案される最良の形態について、例えば添付の図面を参照しつつ以下に詳細に述べるが、いくつかの図面全体を通じて同一参照番号により同一要素を指示している。
【発明を実施するための最良の形態】
【００２４】
概要的には、本発明は、合成の、または「機械的な」音声を「人間らしく」改良して人間の耳により魅力的且つ自然に聞こえるようにすることに関する。本発明は、音声合成装置に一つ以上の広範な人間の音声特徴を持たせて、心地よい高品質の出力音声を提供する手段を提供する。この目的のために、且つ機械が話す出力の品質保証を支援すべく、本発明のいくつかの実施形態は、話すことを職業とする人々のノウハウを実装した人間の発話入力および規則集合を利用することができる。
【００２５】
本発明の実施に役立つ音素データベースの提供に有用で、以下に明らかになるように他の点にも有用な原理を有する一つの有用な音声訓練またはコーチング方法が、メイフィールド出版社（Ｍａｙｆｉｅｌｄ  Ｐｕｂｌｉｓｈｉｎｇ  Ｃｏｍｐａｎｙ）から発行されているアーサー・レザック（Ａｒｔｈｕｒ  Ｌｅｓｓａｃ）の著書「人間の声の利用および訓練」（以下、「アーサー・レザックの本」と呼ぶ）に記述されており、その開示内容を参照により本明細書に援用している。レザックの方法以外の規則または音声訓練原理または実践法、例えばコロンビア大学演劇学部のクリスティン・リンクレーター（Ｋｒｉｓｔｉｎ  Ｌｉｎｋｌａｔｅｒ）の方法、を使用する他の音声訓練またはコーチング方法も、当業者に理解されるように利用することができる。
【００２６】
本発明は、独特の信号処理アーキテクチャを有する新規の音声合成装置を提供する。本発明はまた、本発明による音声合成装置、および他の音声合成装置により実装可能な新規の音声合成方法を提供する。本発明の一実施形態において、当該アーキテクチャはハイブリッド連結フォルマント音声合成装置および音素データベースを使用する。音素データベースは、適当な数、例えば数百の音素その他の適当な音素要素を含んでいてよい。音素データベースを用いて、適切な選択により、合成装置からの音声出力に各種の異なる音律を与え、またオプションとして音素の修正を行なうことができる。音律音声テキスト・コード、すなわち音律タグを用いて、音素の所望の修正を示すかまたは実施することができる。本発明の更なる実施形態によれば、音声合成方法は、出力音声において適切な文脈固有の音律を自動的に選択および提供するステップを含んでいる。
【００２７】
話されるテキストは、話される単語またはその他の発話を表わす一連のテキスト文字を含んでいてよい。当分野で公知のように、テキスト文字は音声単位、この場合は合成される音声単位、の視覚的な整形を含んでいてよい。使用されるテキスト文字はよく知られた英数字であっても、他の言語、例えばキリル語、ヘブライ語、アラビア語、標準中国語、サンスクリット語、片仮名で使用される文字、あるいは他の有用な文字であってよい。音声単位は、単語、音節、二重母音その他の小単位であってよく、テキスト、その電子的等価物、または他の適当な仕方で整形されてよい。
【００２８】
本明細書で用いる「音律的書記素」、または場合により単に「書記素」という用語は、テキスト文字か、または文字、あるいはテキスト文字を表わすシンボル、および関連付けられた音声コードと共に含んでいて、これらの文字、文字群またはシンボルおよび音声コードを単位として扱う場合がある。本発明の一実施形態において、各々の音律的書記素または書記素には一意に、音素データベース内の単一音素が関連付けられている。単位は特定の音素を表わす。音声コードは、音律音声テキスト・コード、音律タグ、あるいは合成装置により語音として出力されるテキスト要素に対応する音を示すべく使用可能な他のグラフィック表記を含んでいる。
【００２９】
音律タグは、合成された語音を制御するための音響データの修正に関する追加的な情報を含んでいる。音声コードは、合成された音声に所望の音律を導入するためのベクトルとして機能する。同様に、各音響単位、すなわち音律的書記素により表わされる対応電子単位を本明細書では「音素」と記述する。このように、音声コードに音律的命令を与えて、制御対象の変数を音律タグまたはその他のグラフィック表記で示すことができる。
【００３０】
音声合成装置
本発明によれば、ハイブリッド音声合成装置は、テキスト・パーサ、音素データベース、およびテキスト・パーサからの出力に従い、データベースから選択された音素を組み立ておよび連結して、組み立てられた音素から音声信号を生成する音声合成ユニットを含んでいてよい。好適には、但し必須ではないが、音声合成装置はまた音律パーサも含んでいる。音声信号は、適切な器材により再生することにより、保存、配信、または聴取可能にすることができる。
【００３１】
音声合成装置は、各々のテキスト・パーサおよび音律パーサの下位構成要素からのテキスト構文解析および音律解析機能を提供する計算的テキスト処理要素を含んでいてよい。テキスト・パーサは、例えば音素データベースの特定の音素により聴取可能にする等、個別に表わすことができるテキスト要素を識別することができる。音律パーサは、テキスト要素に音律タグを関連付けて、テキスト要素を出力合成音声内の適当なまたは所望の発音により整形することができる。このように、出力音声信号に対し、テキストおよび恐らくはテキストの意図される利用に適した所望の音律または音律群を与えることができる。
【００３２】
本発明のハイブリッド・フォルマント−連結音声合成装置の一実施形態において、基本音素集合で使用される音素は、フォルマント・エンジンで使用される通常は極めて小さいタイム・スライスと、連結音声エンジンで通常使用される、単音節または多音節の全単語、語句または文であり得る、かなり大きい音声単位との中間のサイズである音声単位である。
【００３３】
音声合成装置は更に、書記素を表わす適切な音素を選択可能である一つ以上の音素データベースの音響ライブラリを含んでいてよい。音律マーク付けまたはコードを用いて、所望の音律を以ってテキストの発音を合成すべく、強調、ピッチ、振幅、持続時間、リズム、またはこれらのパラメータの任意の所望の組合せにより音素がどのように修正されるかを示すことができる。音声合成装置は、音律的マーク付けに従い適切な修正を実行して１個以上の代替的な音律を提供することができる。
【００３４】
別の実施形態において、本発明は、個々の音素の音律を変化させる複数のパラメータを含む差分音律データベースを提供して、合成された発話テキストの異なる音律での出力を可能にする。あるいは、必要に応じて、異なる音律または音素の異なる集合、すなわち各々が異なる音律スタイルの提供に役立つ集合を有する類似音素のデータベースを提供することができる。
【００３５】
図１を参照するに、図に示す音声合成装置の実施形態は、テキスト・パーサ１０、音声合成ユニット１２、および入力テキスト１８から音律音声信号１６を生成する音波ジェネレータ１４を利用する。本発明の実施形態は、識別可能な音声スタイル、感情表出、および音律的特徴に基づく付加的意味を有する音律音声信号１６を生成することができる。
【００３６】
テキスト・パーサ１０は、オプションとして曖昧さおよび語彙的強勢モジュール２０を使用して「Ｄｒ．スミス」対「スミスＤｒ．」のような問題を解決して、単語内に適当な音節区分を提供することができる。追加的な音律的テキスト解析成分、例えばモジュール２２を用いて、リズム、イントネーション、およびスタイルを特定することができる。
【００３７】
音素データベース２６は音声合成ユニット２４からアクセス可能であって、自身は差分音律データベース２６にアクセスすることができる。音素データベース２６内の音素は、事務的音律モデル２８等の基本音律モデルのパラメータを有する。他の音律モデル、例えば「人情的」は、差分音律データベース２６から入力可能である。
【００３８】
合成ユニット１２は、音素データベース２４からの適切な音素を、テキスト・パーサ１０からの出力に示すように、各々のテキスト要素に合致させるかまたは対応付けて、音素を組み立てて音波ジェネレータ１４に信号を出力する。音波ジェネレータ１４は、ウェーブレット変換その他の適当な技術、および形態的融合を用いて、音律音声信号１６を高品質の連続音声波形として出力する。本発明の有用ないくつかの実施形態はピッチ同期により、ある音素の次の音素への滑らかな融合を促進する。このために、隣接する音素が大幅に異なるピッチを有する場合、１個以上のウェーブレットを生成して、ある音素のピッチレベルおよび波形から次の音素のピッチレベルおよび波形に遷移することができる。
【００３９】
音声合成装置は、複数の書記素と共に個々の書記素の正規化されたテキスト、音律マークまたはタグ、タイミング情報その他の関連パラメータ、あるいは上述のパラメータの適切な組み合わせを含む書記素マトリクスからなる符号化信号を生成することができる。書記素マトリクスは、符号化された音声信号として音声合成装置の信号処理構成要素に渡すことができる。符号化された音声信号は、音声合成装置の信号処理構成要素に音声入力の仕様を提供することができる。
【００４０】
音波ジェネレータ１４は必要に応じて、図１４に更に記載されているように、音楽変換を用いて、固有の音楽性を有する音声信号を復元して出力音声信号を生成することができる。例えば音楽合成装置で使用される音楽変換を適宜適合させてよい。
【００４１】
信号処理器は符号化された音声信号を用いて、任意の適当なオーディオシステムまたは装置、例えばスピーカーやヘッドホンで再生したり、後で再生すべく適当な媒体に保存可能な音声信号を生成することができる。あるいは、音声信号は、インターネットまたはその他のネットワークを介して携帯電話またはその他の適当な装置へ送信することができる。
【００４２】
必要に応じて、音声信号をデジタル・オーディオ波形として生成することができ、これはオプションとしてＷＡＶＥファイル形式であってよい。本発明の更に新たな態様において、符号化された音声信号の波形への変換はウェーブレット変換技術を利用してよい。別の新たな態様において、形態的な融合方法により、ある音素から別の音素の滑らかに連結することができる。これらの方法について以下に詳述する。
【００４３】
音素データベース
本発明の実施に有用な音素データベースの一実施形態は、音素を構成する多くの音響単位の各々の単音律的で符号化された録音を含んでいる。符号化された録音は、基本音律を有する基本音素集合を含んでいてよい。録音に使用される単音律は音声合成装置のアプリケーションに応じて、「中立な」音律、例えば事務的または他の所望の音律であってよい。音素集合は特定の目的、例えば、あらゆる話し言葉、方言、または特定の目的、例えばオーディオ・ブック、紙媒体、演劇作品その他の文書、あるいは顧客サポートに適した言語部分集合を提供するために組み立てたり、構成することができる。
【００４４】
好適には、基本音素集合は、時として標準米国英語の音素の数と考えられている５３個よりかなり大きい数の音素を含んでいてよい。基本集合内の音素の数は、例えば約８０〜約１，０００個の範囲にあってよい。本発明の有用な実施形態は、約１００〜約４００個の範囲、例えば約１５０〜２５０音素までの音素を使用することができる。音素データベースはその目的に応じてこれ以外の数、例えば約２０〜約５，０００個の範囲の音素を含んでいてよい点を理解されたい。
【００４５】
レザックのシステムまたは他の公知の音声訓練システムの音声訓練規則に従い、または他の目的のために、適宜追加的な音素を提供することができる。追加的音素の例として、語句「ｎｏｔ  ｎｏｗ」が発音された際のレザックの準備後結合（ｐｒｅｐａｒｅ−ａｎｄ−ｌｉｎｋ）規則により「ｔ」の準備を要求するが完全には明瞭に発音されない「ｔ−ｎ」子音がある。他の適当な音素は、アーサー・レザックの著書に記載されているか、または公知あるいは当業者に明らかであろう。
【００４６】
本発明の一実施形態において、事務的音律に適した書記素は基本音声データベース音素に直接対応していてよく、音律パラメータ値が既定値を表わすことができる。適切な既定値は、例えば基本音律の音響的音声録音の解析、または他の適当な方法により導出することができる。持続時間の既定値は、基本音律の音声音律から定められることができ、イントネーション・パターンの値は、先行および後続する単語の振幅に基づく単語振幅強勢のみにより、統語的構文解析から直接導出できる。
【００４７】
本発明の実施に有用な音素データベースの例について図２を参照しながら以下により詳細に述べる。図２を参照するに、図に示す各シンボルは、音素データベース内の特定の音素を表わす。４個の例証的なシンボルを示す。これらのシンボルは、本明細書の出願人によるＰＣＴ国際公開第２００５／０８８６０６号パンフレットに開示されている表記法を使用する。国際公開第２００５／０８８６０６号パンフレットの開示は参照により本明細書に援用している。例えば、符号「Ｎ１」を用いて、各々の単語「ｆｕｌｌ」、「ｗｏｌｖｅｓ」、「ｇｏｏｄ」、「ｃｏｕｌｄ」または「ｃｏｕｐｏｎ」で正しく発音された中立母音「ｕ」、「ｏ」、「ｏｏ」または「ｏｕ」の音を表わすことができる。また、符号「Ｎ１」を用いて、「ｆａｉｒ」、「ｈａｉｒｙ」、「ｌａｉｒ」、「ｐａｉｒ」、「ｗｅａｒｉｎｇ」または「ｗｈｅｒｅ」等の単語で正しく発音された中立二重母音「ａｉｒ」、「ａｒｅ」、「ｅａｒ」または「ｅｒｅ」の音を表わすことができる。音声データベースは効果的に、所望の音素集合の全ての音素について符号化された音声ファイルを保存することができる。
【００４８】
本発明は、音素データベースが、少数の融合された音素を含んでいる複合音素からなる実施形態を含んでいる。融合は、本明細書に記述するように、形態的融合であっても、あるいは単純な電子的または論理的結合であってもよい。複合音素内の少数の音素とは、例えば２〜４個、または約６個の音素であってよい。本発明のいくつかの実施形態において、音素データベース内の音素は、全て複合音素ではなく単一音素である。他の実施形態では、音素データベース内の音素の少なくとも５０パーセントは、複合音素ではなく単一音素である。
【００４９】
音声合成装置は必要ならば、用途に応じて、例えば、単語、語句、文またはより長い会話の一節等、より大きい音声録音を用いて音素を組み立てることができる点を理解されたい。自由形式またはシステムに未登録のテキストを合成する場合、本明細書に記述するように、生成された音声信号の少なくとも５０パーセントが音素から組み立てられるものと考えられる。
【００５０】
差分音律データベース
本発明はまた、異なる音律を用いて音声信号を生成する異なる方法で音声信号のスペクトル成分を修正することにより、基本音素集合の有用性が拡がる音声合成装置の実施形態を提供する。差分音律データベースは、基本音素集合または他の適当な音素集合に適用された場合に新規または代替的な音律を提供する１個以上の差動音律モデルを含んでいてよい。限られた音素集合からの多くのまたは異なる音律を提供することにより、音声合成装置のデータベースおよび／または計算要件を制限しやすくなる。
【００５１】
音声データベース内の信号を修正することにより、音素の複数の音律を生成できる。修正は、各音素の音律を変えるべく音声合成装置が必要ならばアクセスできる差分音律データベース内の多くの適切な音声変容パラメータを提供することにより行なうことができる。この目的には、フォルマント合成における信号生成のために用いられるような音声変容パラメータが適切であろう。これらには、ピッチ、持続時間、および振幅を修正するためのパラメータおよび他の所望された任意の適当なパラメータが含まれていてよい。信号生成のためのフォルマント合成に使用されるパラメータとは異なり、本発明の当該態様の実施に使用される音律修正パラメータは、所望の音律修正を提供すべく選択および適合されている。
【００５２】
音素変容パラメータは、数学的または他の適当な形式で差分音素データベースに保存して、所与の単純または基本音素を音律バージョンまたは音素のバージョンから区別するために用いることができる。
【００５３】
所望の範囲の音律オプションを提供すべく音声変容パラメータの充分な集合を差分音律データベースに提供することができる。例えば、合成装置を用いて表わすことが望まれる各音律スタイル用に、音声変容パラメータの異なる集合を提供することができる。特定の音律に対応する各々の集合は、全ての基本音素用に、または基本音素の部分集合用に、適宜音声変容パラメータを有していてよい。各々に対してデータベース内に音声変容パラメータの集合を提供可能である音律スタイルのいくつかの例として、当業者には公知のように、会話、人情的、弁護的その他が含まれる。事務的音律が基本音律でない場合、これに音声変容パラメータを含めてもよい。
【００５４】
追加的音律スタイルのいくつかの例として、人情的、説得的、嬉しい、悲しい、敵対的、怒り、興奮、親密、活発、横柄、温厚、従順等が含まれる。当業者に公知または公知となる他の多くの音律スタイルを使用することができる。
【００５５】
各種の差分音律データベース、すなわち各種の異なる音律を適用するための差分データベースは、既定音律に多くの代替的音律、例えば「事務的」のための異なる音律マーク付けを用いて同一話者に同一文を録音させることにより構築できる。本発明の一実施形態において、差分データベースは、２〜７個の追加的な音律に対して構築されている。当然ながら、必要に応じてより多くの音律を単一の生成物に収納することができる。
【００５６】
本発明は、データベース内の既定音律値を別の音律値に変換する適切な係数が数学的計算で決定される実施形態を含んでいる。このような実施形態において、音律係数を高速ランタイム・データベースに保存することができる。本方法により、公知の連結データベースで必要とされるような、計算が複雑で膨大な記憶域を消費する実際の発音を表わす音波データ・ファイルを保存する必要がなくなる。
【００５７】
本発明の当該態様の図に示す一例において、各種のピッチ、持続時間、および振幅の３００〜８００個の音素の包括的な既定値データベースは、訓練されたレザック話者が発話した約１０，０００個の文の録音から構築されている。これらの音素は本明細書に記述するように、差分音律パラメータを用いて修正されて、音声合成装置が本発明に従い、本システムに「吹き込まれていない」未録音の単語を発音できるようにする。このように、５万〜１０万個以上の単語のライブラリを構築して、わずかな必要記憶領域だけで既定値データベースに追加することができる。
【００５８】
本発明のいくつかの方法は、このような技術、またはその等価物を用いて、音声合成装置を携帯式のコンピュータ装置、例えば、ｉＰｏｄ（アップルコンピュータ（Ａｐｐｌｅ  Ｃｏｍｐｕｔｅｒ）社の登録商標）装置、携帯情報端末、またはＭＰ３プレーヤ等に提供することができる。このような携帯音声合成装置は、大規模な辞書および多音声機能を備えることができる。膨大なＷＡＶＥファイル等のダウンロードを避けつつ、一例を図７に示して以下に詳述する本明細書に記述の書記素対音素マトリクスが提供する暗号化された差分修正データをダウンロードすることにより、自身の音律の様相で完結した新たなコンテンツ、文書その他の音声出版物を取得できる。書記素対音素マトリクスは、リソース効率の高い単純なデータ・ファイルまたはデータレコードとして実装可能であるため、生成された音声コンテンツを既定するそのようなマトリクスのストリームのダウンロードおよび操作はリソース効率が高い。
【００５９】
テキスト対音声変換エンジンのランタイム版を効率的に使用することにより、携帯情報端末等の携帯用パーソナル・コンピュータで動作するコンパクトな製品を提供することができる。そのようなエンジンおよび合成装置のいくつかの実施形態は、従来の連結テキスト対音声変換エンジンに比べて小型になってマイクロソフト準拠のＰＤＡ等の携帯型コンピュータで容易に動作することが期待される。
【００６０】
図３を参照するに、図に示す例証的な音素変容因子は、個々の強勢パラメータ、例えば各々の音素が強勢する旨の指示を含んでいてよい。必要ならば、ある程度の強勢（図示せず）、例えば「軽い」、「中程度」か「重い」強勢を指定することもできる。図に示すように、他の可能なパラメータとして、上向きおよび下向きのピッチを示す上昇および下降が含まれる。あるいは、「人情的」のような「大域的」パラメータを用いて、テキストの一部またはテキスト全体に適用される強勢パラメータのスタイルまたはパターンを示すことができる。これらおよび他の可能な音律変容因子について、国際公開第２００５／０８８６０６号パンフレットに更に詳しく記載されている。これ以外のものが当業者には明らかにされる。
【００６１】
図４に示すように、説明的な単語「ｈａｖｅ」が、例えば国際公開第２００５／０８８６０６号パンフレットに開示されているような音声符号表記を用いて３個の音素「Ｈ」、「＃６」および「Ｖ」に構文解析される。論理的に終止符「．」で区切られたこれら３個の音素は、単語「ｈａｖｅ」を、例えば事務的な中立または基本音律で正しく発音するために必要な３個の音成分を示す。音律変容パラメータが「強勢された」に音素＃６が関連付けられている。簡便のため、効果的に使用できる他の音素変容パラメータ、例えばピッチおよびタイミング情報は図示しない。単語「ｈａｖｅ」を合成するために、３個の音素の各々に対応する信号が音素データベースから取得されて、差分音素データベースに保存されるパラメータに従い音律＃６が「強勢された」に変えられる。最後に、合成された単語の発話整形が、音素／Ｈ／、／＃６／強勢された、および／Ｖ／を、例えば後述する形態的音素融合等の適当な方法で合成された明瞭な発話に適切に融合することにより生成される。
【００６２】
テキスト・パーサ
テキスト・パーサは、テキスト正規化機能、テキストの意味その他の有用な特徴を明らかにする意味論的パーサ、および文の構造を解析する統語的パーサを含んでいてよい。意味論的パーサは、品詞（「ＰＯＳ」）タグ付けを含んでいて、必要ならば辞書および／またはシソーラス・データベースにアクセスすることができる。意味論的パーサはまた、この機能が意味論的パーサにより適切に整形されかった場合、必要ならば、品詞タグ付けだけでなく、統語的文解析および論理的作図も含んでいてよい。バッファリングを用いて、目下処理中のテキストを飛ばしてテキスト・パーサにより理解されるテキストの範囲を拡大できる。
【００６３】
必要ならば、バッファリングは、前方または後方のバッファリングあるいは前方および後方バッファリングの両方を含んでいて、現在処理中の部分に隣接するテキストの部分を構文解析して、それらの隣接部分の意味その他の特徴も決定することができる。これは、現在のテキストの意味の曖昧さの解消を可能にするのに有用であって、以下に更に述べるように、現在のテキストの適切な音律の決定に役立つ。
【００６４】
一実施形態において、テキスト正規化装置を用いて、異常な単語または単語形式、名前、省略形等を識別することができ、当分野で公知の通り、音声として合成するテキスト単語としてこれらを提示することができる。テキスト正規化装置は、これも当分野で公知の、品詞（「ＰＯＳ」）タグ付けを用いて、例えば「Ｄｒ．」が「ｄｏｃｔｏｒ」か「ｄｒｉｖｅ」のどちらであるかの曖昧さを解消することができる。
【００６５】
音律マーク付けのために処理中のテキストを用意すべく、各々の構文解析された文は、構文的に解析して、音律割当に使用される適切な意味タグと共に提示することができる。例えば、
「ジョンは、昨日ケンブリッジまで運転した。」
という文は、単独では単純な平叙文と見なせる。しかし、複数の文の文脈において、文はいくつかの質問のどれに対する答えでもあり得る。テキスト・パーサは前方バッファリングを使用して、質問がされているか否か、そしてそうである場合、どの答えがテキストにより表わされているかを判定可能にすることができる。この判定に基づいて、どの音素または音素群が何の強勢その他の音律パラメータを受け取って、出力音声に所望の音律を生成するかの選択を行なうことができる。例えば、「誰が昨日ケンブリッジまで運転したか？」との質問は、「誰が？」との質問に対する答えとして「ジョン」に音律強勢を受け取るが、「ジョンは昨日どこへ行ったか？」との質問は、「どこへ？」との質問に対する答えとして「ケンブリッジ」に音律強勢を受け取る。
【００６６】
音律解析
公知の正規化および統語的構文解析技術を、前方バッファリングおよび追加的なテキスト解析の新たな適合と合わせて用いることにより、本発明は、構文的に構文解析された文章ダイアグラムに対して意味解析に基づく音律的フレージングを与えることにより、特別に識別された音律に関するテキスト・マーク付けを提供することができる。
【００６７】
構文的に解析されて、図解または別途マーク付けされた文を、基本音律が適用される単位として用いることができる。基本音律が事務的である場合、対応する出力合成音声は聞き手にとって会話的に中立でなければならない。事務的な出力は、聞き手を個人的に知らないか、または一人の話者対多くの聞き手という状況で話している話者に適していなければならない。明確に且つ私見抜きでコミュニケーションを行ないたい話者用でなければならない。
【００６８】
所望の音律を表わすために、合成されるテキストを、出力音声に適した音響要件を示すマーク付けを含む書記素で表わすことができる。好適には、要件および付随するマーク付けは、音声訓練システムに関しているため、機械式の合成装置が高品質音声をエミュレートすることができる。例えば、これらの要件は音声の調音規則、テキスト要素の音楽的再現可能性、イントネーション・パターンまたはリズムあるいは韻律、またはこれらの任意の二つ以上の組み合わせを含んでいてよい。他の音声訓練システムには異なる特徴が用いられてよいとの了解の下で、レザックの音声システムの特徴を参照する。マーク付けは、音声データベース内の音響単位に直接対応していてよい。
【００６９】
音声の調音規則は、レザックの直接結合、再生後結合（ｐｌａｙ−ａｎｄ−ｌｉｎｋ）、および準備後結合（ｐｒｅｐａｒｅ−ａｎｄ−ｌｉｎｋ）等の調音結合に、およびそれらをテキストのどこに適用すべきか関する規則を含んでいる。音楽的再生可能性は、子音または母音が音楽的に「再生可能」、且つ、例えばドラムのような打楽器、あるいはバイオリンやホルンのようにより引き延ばされたピッチおよび振幅変化を有する調性楽器としてどのように再生可能であるかの指標を含んでいてよい。所望のイントネーション・パターンは、ピッチおよび振幅の変化をマーク付けまたはタグ付けすることにより、示すことができる。事務的または会話の音声の場合、リズムおよび韻律は、基礎または規定値として選択された音律スタイルに応じて、既定値で基本音律に設定できる。
【００７０】
音楽的に「再生可能」な要素は、ピッチ、振幅、韻律、リズムその他のパラメータの変更を必要とする場合がある。各パラメータはまた、持続時間値、例えば指定された持続時間における単位時間当たりのピッチ変化を有する。音声データベース内の音響単位に対応する各マーク付けもまた、特定の音律で再生可能であるか否かに関してタグ付けを行なうことができ、再生可能でなければ、基本音律データベース内の値に対して、タグ値を１に設定することができる。
【００７１】
例えばレザックシステムに従って発音または生成されたように、指定された音律で正しく発音されたテキストの音響データベース内の解析を用いて、ピッチ、振幅、韻律／リズムおよび合成される音律の持続時間変数に適した値を導出することができる。
【００７２】
代替的な音律のパラメータを、どのように発音すべきかを指示する音律マーク付けに正確に従う特定のテキストの録音された発音のデータベースを用いて決定することができる。音律用の音声データベースを用いて、代替的音律のための差分データベース値を導出することができる。
【００７３】
本発明に従い、言語入力に適合させるべく、必要ならば音律を動的に、すなわち実行中に変えることができる。
【００７４】
図５を参照するに、図に示す音律的テキスト構文解析方法の実施形態を用いて、人間の音声音律を模倣する音を出すように音声合成装置に指示することができる。本方法はテキスト正規化ステップ３０で開始され、合成されるテキストの語句、文、段落等が正規化される。正規化は、公知のテキスト・パーサ、一連の既存のテキスト・パーサ、または本発明の目的に適合したカスタマイズされたテキスト正規化装置を用いて、自動的に適用される構文解析手順で行なうことができる。正規化されたテキスト出力における正規化のいくつかの例として、「Ｄｒ．」を「Ｄｒｉｖｅ」ではなく「Ｄｏｃｔｏｒ」と解釈する、「２」をテキスト「ｔｗｏ」で表わす、「＄５」を「ｆｉｖｅ  ｄｏｌｌａｒｓ」に整形する等が含まれ、多くの適切な正規化が当分野で知られている。他の方法も考案できる。
【００７５】
ステップ３０からの正規化されたテキスト出力は、品詞タグ付けステップ３２を通すことができる。品詞タグ付け３２は、例えば主語、動詞、節等を識別すべく、公知の通りにテキストの各々の文を構文解析して階層構造化するステップを含んでいてよい。
【００７６】
次のステップ、すなわち意味割り当てを行なうステップ３６において、品詞分タグ付きテキストの各単語に共通的に用いられる意味が参照として提示される。必要ならば、意味割り当て３６は電子版のテキスト辞書を用いることができ、オプションとして同義語、反意語等の電子シソーラス、更にオプションとして綴りは異なるが発音が同じである単語の同音異義語リストと共に用いることができる。
【００７７】
意味割り当て３６に続いて、またはこれを合わせて、前方または後方バッファリングあるいはその両方を用いて、対象語句、文、段落等の音律的文脈識別ステップ３８を行なうことができる。使用される前方または後方バッファリング技術は、例えば、音声からテキストの識別を試みる場合、あるいはテキスト・コーパス内で綴りが誤っているか欠落している単語の「訂正」を試みる場合に候補語の確率を向上させるための文脈として、自然言語処理で使用される技術と比較し得る。バッファリングは、先行または後続文脈語、例えば主題、同義語等を有用に保持することができる。
【００７８】
このように、各種の有用な解析を実行することができる。例えば、いつどこで異なる話者の音声を使用するのが適しているかを識別することができる。単純な平叙文として単独で現われた文を、先行する質問に対する答えとして識別することができる。あるいは、先に置かれた主語の追加的な情報を提示することができる。別の例も公知または明らかであろう。
【００７９】
このように、音律的に構文解析されたテキスト４０は、音律的文脈識別ステップ３８の成果物として生成することができる。音律的に構文解析されたテキスト４０を更に処理して、図６に示すような方法により、音律的にマーク付けされたテキストを提供することができる。
【００８０】
図６を参照するに、計算言語技術を適用することにより音律的に構文解析されたテキスト４０に音律マーク付けを割り当てる処理が実行可能である例を以下に述べる。本方法において、マーク付け値またはタグを、再生可能な子音、持続可能且つ再生可能な子音、および再生可能な母音のイントネーション等の特徴に対して割り当てることができる。各種のステップは、当業者に明らかにされるように、記述されたシーケンスまたは他の適切なシーケンスで実行することができる。
【００８１】
初期発音規則割り当てステップ、すなわちステップ４２において、単語と文字のテキスト・シーケンスから始めて単語を含む文字に発音規則を割り当て、各々の文は構文解析されて配列に入れることができる。次いでステップ４４で単語境界をまたがる文字シーケンスを調べて、先行する単語が後続する単語の発音にどのように影響を及ぼすかに関する規則に基づいて、一連の単語に対する発音規則修正を識別することができ、またその逆も可能である。
【００８２】
品詞識別ステップ、すなわちステップ４６において、例えば、品詞タグ付けステップ３２で適用されたタグ付けから、また既に利用可能でない場合は構築された階層的文章図から、文中の各単語の品詞が識別される。
【００８３】
イントネーション・パターン割り当てステップ、すなわちステップ４８において、所望の音律に適した、ピッチ変化のイントネーション・パターンおよび強勢される単語が割り当てられて、音律的にマーク付けされたテキスト５０を生成する。音律的にマーク付けされたテキスト５０は次いで、ステップ５２において図７に示すような書記素対音素マトリクスを作成すべく出力できる。
【００８４】
ここで、図７に示す引き渡された書記素対音素マトリクス参照し、特に、いくつかの例証的なデータが提供され、表の第一行で識別される音素Ｉに関係する第一列を参照する。音素識別子の下の行に、本開示から理解されるように、効果的なパラメータの任意の所望の組合せを含む書記素に関する音律タグ情報を示す。
【００８５】
図７の第一データ列を参照し、且つ当該列の最上位から出発して、シンボル「Ｉ」は、書記素を識別する任意のシンボルであり、一方、シンボル「ａｅ−１」は、書記素「Ｉ」に一意に関連付けられた音素を識別する別の任意のシンボルである。音素ａｅ−１を記述し、音素を調整すべく変更または修正可能な各種のパラメータを当該シンボルの下の列に示す。
【００８６】
次の行に、発話速度符号「ｃ−１」を示す。これを用いて発話の速度を示すことができる。興奮した音律は速い発話速度に符号化し、誘惑的な音律は遅い発話速度に符号化することができた。他の適当な発話速度およびそれを実装する符号化スキームも当業者には明らかであろう。
【００８７】
当該列の下にある次の２個のデータ項目Ｐ３、Ｐ４は、任意のピッチスケール上で音素ａｅ−１を発音するための初期および終了ピッチを表わす。この後に、２０ｍｓの持続時間および時間の経過につれて、同様に任意のスケール上でピッチが変化する様子、例えば曲折音符または頂上音符と共に上方または下方へ、を記述する、音響プロファイルである変化の様相が続く。他の有用な様相も当業者には明らかであろう。
【００８８】
最後の４個のデータ項目、２５、７５、１４０ｍｓおよび３は、振幅の大きさ、持続時間および様相を記述するピッチに使用されるものと同様の振幅パラメータを表わす。
【００８９】
表の上部に示す各書記素について各種な適当な値を表の列全体に並べることができるが、その一部だけを示す。図７の右側の列に、「タイプ１」休止で示される休止を含む「書記素」のパラメータのリストを掲載する。これらのパラメータは、自明と思われる。他の休止も定義できる。
【００９０】
引き渡されたマトリクスがシステムの能力および情報の要素の数、または各音素に提供することが求められる指示に応じて、任意の所望の数の列および行を含んでいてよいことを理解されたい。
【００９１】
このような書記素対音素マトリクスは、任意の所望の音律その他の要件に従い音素の音を変えるための完全なツールキットを提供する。音素の再生全体にわたるピッチ、振幅および持続時間を制御および操作することができる。生成される音に特徴および豊かさを与えるべくウェーブレット変換および音楽変換と共に使用すれば、強力で柔軟性があり、しかも効率的な音声合成の構築ブロックの組が提供される。
【００９２】
書記素マトリクスは音律タグを含んでいて、入力内の各テキスト要素を表わすべく、使用する音素およびその修正パラメータを示す音律指示集合があればこれも含んでいてよい。図７を参照するに、変化の様相は、初期ピッチまたは振幅と、それらの最終値の差違であり、変化を単位時間当たりの量として表わす。ピッチの変化は曲折音符または別の所望の変化の様相を近似できる。本明細書に記述するように、ベース音律値は音響データベース情報から導出できる。
【００９３】
書記素マトリクスは、ステップ５４で音声合成装置に渡すことができる。
【００９４】
スピーカー、ヘッドホンその他のオーディオ出力機器により心地よく聴取可能にできる音声を提供すべく、本明細書に記述の通り生成されたデジタル音声信号をアナログ音波信号音声出力に変換または転換することが望ましい。好適には、音波信号は、不連続性が無く、ある音素から次の音素まで滑らかに進行しなければならない。
【００９５】
従来、フォルマント合成にフーリエ変換方法を用いてデジタル音声信号をアナログ領域に変換していた。本発明の実施にフーリエ変換、ガボール展開その他の従来方法が使用できるが、必要ならば、処理リソースに対する需要が減少または緩和され、デジタル入力から豊かで快適なアナログ出力へ良好な連続性を以って提供するデジタル／アナログ変換方法を用いることも好適である。
【００９６】
この目的に向けて、本発明による音声合成装置はウェーブレット変換方法を利用してデジタル音声入力信号からアナログ波形音声信号を生成することができ、その一実施形態を図８に示す。入力信号は、単語、語句、文、テキスト文書、または他のテキスト入力に対応する選択された音素を含んでいてよい。信号音素は、本明細書に記述するように、出力音声信号に所望の音律を提供すべく修正されていてよい。ウェーブレット変換方法の図示する実施形態において、入力信号の所与のフレームが、サンプリングされたウェーブレットに応じた可変次元を有するウェーブレット時間周波数タイルの観点から表わされている。各ウェーブレット・タイルは、周波数関連の次元および横軸または直交時間関連次元を有する。好適には、ウェーブレット・タイルの各次元の規模は、信号サンプルの各々の周波数または持続時間により決定される。このように、ウェーブレット・タイルの大きさと形状は、所与の信号フレームの音声特性を便利且つ効率的に表わすことができる。
【００９７】
本発明のいくつかの実施形態がもたらす利点は、合成される音声に人間的な音楽性またはリズムが導入される点である。一般に、音楽的な信号、特に、例えば歌っている人間の声の信号を、正確に表わすために洗練された時間周波数技術を必要とすることが知られている。非限定的な、仮定上のケースにおいて、表現の各成分は信号の異なる特徴を捕捉して、これに知覚的または客観的な意味を与えることができる。
【００９８】
本発明の有用な実施形態は、ウェーブレット変換の定義の多方面への拡張を含んでいてよく、任意の周波数解像度によりベースの設計が、図９に示す周波数包絡外の極端な値による解決を回避できるようにする。このような実施形態はまた、あるいは代替的に、調和および非調和周波数構造を有する信号における時間依存ピッチ特徴への適合を含んでいる。本発明の更に有用な実施形態は、人間の声および音楽の音響的数学モデルを提供すべく音楽変換を設計する方法を含んでいる。
【００９９】
本発明は更に、音声合成に利点を有し、また音楽信号の解析および合成に有用に適用できるウェーブレット変換方法を含む実施形態を提供する。これらの実施形態において、本発明は、以下に詳述するように、周波数ワーピング技術を用いることにより柔軟なウェーブレット変換を提供する。
【０１００】
図８を参照するに、図の上部に、高周波数音波サンプルまたはウェーブレット１０、中周波数ウェーブレット１２、および低周波数ウェーブレット１４を示す。ラベル付けされているように、ここでも再び、ｘ軸上の時間に対してｙ軸に周波数をプロットしている。図８の下部に、ウェーブレット１０〜１４の各々に対応するウェーブレット時間周波数タイル１６〜２０を示す。ウェーブレット１０は、より高い頻度およびより短い持続時間を有し、縦長長方形のブロックであるタイル１６で表わされる。ウェーブレット１２は、中程度の周波数および中程度の持続時間を有し、正方形のブロックであるタイル１８で表わされる。ウェーブレット１４は、より低い周波数およびより長い持続時間を有し、横長長方形のブロックであるタイル２０で表わされる。
【０１０１】
図８に示すウェーブレット変換方法の実施形態において、所望の音声出力信号の周波数範囲は、３個のゾーン、すなわち、高、中および低周波ゾーンに分けられている。長方形のタイルによる時間周波数の表現を上述のように用いることは、低周波数の音を明瞭に識別するために高周波数の音よりも長い持続時間を要する現象への対処に有用な場合がある。従って、高周波数を表わすために用いる長方形のブロックまたはタイルを、持続時間が短い、より多くの周波数を表わすべく垂直に伸ばすことができる。対照的に、低周波数のブロックまたはタイルは持続時間が長くなっており、少ない個数の周波数を受け入れる。中程度の周波数は、中間的な方法で表わされる。
【０１０２】
適切なパラメータを有する音楽変換を周波数包絡された信号の生成に用いて、例えば図１０に示すような包絡曲線の系統を提供することができる。ここでも同様に、ｘ軸上の時間に対して周波数はｙ軸にプロットされている。
【０１０３】
本発明の更なる実施形態は、例えば図９に示す単一のウェーブレットについてウェーブレット変換の定義を図１０に示すより複雑なタイル・パターンを提供するようにいくつかの方面に拡張することにより、楽譜記号を有する音声を与えることができる。図１０において、最初は、図８のように、より高い周波数時間ブロックが垂直に拡張し、より低い周波数時間ブロックが水平に拡張するものと理解されたい。本方法は、異なる時間単位における全てのまたは多くの周波数を効率的に識別して、所与の時間単位でどの周波数が再生されているかの推定を可能にすることができる。
【０１０４】
本発明の更に別の実施形態において、時間周波数タイリングを図８に示す実施形態から拡張または改良して、入力信号の特定の要素、例えばピッチに関する擬似周期的要素をよりうまく表わすウェーブレット変換を提供することができる。必要ならば、図１１に示すように、直交ミラーフィルタを用いて、図９に示すような周波数包絡を提供することができる。使用可能な周波数包絡の代替的な方法は、フィルタ・バンクを用いてウェーブレットが実装される場合に好適である周波数包絡されたフィルタの利用を含んでいる。当業者には公知であるように、ウェーブレット変換は他の適当な方法で更に修正または補正することができる。
【０１０５】
図１０に、周波数ワープされたウェーブレットによる時間周波数平面のタイリングを示す。図９に示すような包絡曲線の系統を適用して、図８に示すように構成された、周波数および時間に関する次元を有する長方形のウェーブレット・タイルの領域がワープされる。ここでも、ｘ軸上の時間に対してｙ軸に周波数がプロットされている。長いｙ軸周波数変位および短いｘ軸時間変位を有する高周波数タイルをグラフの上方に示す。短いｙ軸周波数変位および長いｘ軸時間変位を有する低周波数タイルをグラフの下方に示す。
【０１０６】
上述のような方法によるウェーブレット・ワーピングは、所望の変換が簡単な算術的操作で得られるようにベースライン音声を所望の代替的な音律の音声に変換すべく、音律係数を導出可能にするのに有用である。例えば、ピッチ、振幅および持続時間の変化は、音律係数を乗算または除算することにより達成することができる。
【０１０７】
このように、また本明細書に記述する他の方式で、本発明は初めて、連結された音声合成装置システムにおけるピッチ、振幅および持続時間を制御する方法を提供する。形態的融合を実行するピッチ同期ウェーブレット変換は、声に出した、および声に出さない発話特徴を複数の異なるカテゴリ、例えば５個のカテゴリに分けるゼロ損失フィルタリング手順により実現することができる。必要ならば、より多くまたは少ないカテゴリ、例えば約２〜約１０個のカテゴリを用いてもよい。声に出さない音声特徴は、声帯を使用しない音素、例えば声門閉鎖音および気音を含んでいてよい。
【０１０８】
本発明の一実施形態において、各種の音声特徴用に例えば約５個のカテゴリが用いられており、異なる音楽変換を用いて、声の各種の基本周波数、例えば女性の高いピッチ、男性の高いピッチ、および男性または女性の例外的に低いピッチに対応する。
【０１０９】
図１１に、周波数応答が得られる二種の異なるフィルタシステム、すなわち、（ａ）直交ミラーフィルタ、および（ｂ）周波数ワープされたフィルタ・バンクを示す。ソフトウェアでウェーブレット変換が実装できる異なるいくつかの方法がある。図１１に、ウェーブレット変換のフィルタ・バンク実装を示す。図１４を参照して記述されているように、明らかに、信号５９に適切なパラメータ抽出されていれば、これを用いていくつかの方法で個別に直交ミラーフィルタを設計することができる。そのような二種の異なる設計を図１１ａ、ｂに示す。
【０１１０】
本発明は、心地よく継ぎ目のない複音を提供すべく音素を滑らかに連結する音素融合の方法を含んでいる。便宜的に「形態的融合」とも呼ばれる音素融合処理の一つの有用な実施形態において、融合される２個以上の音素波形の形態が考慮されて、適切な中間音波成分が提供される。
【０１１１】
このような形態的融合において、第１の音素を表わす１個の波形または形状が滑らかに連結または融合され、その際に各々の波形の多くの特徴に注意を払うことにより、好適には不連続点が存在しないか、たとえ存在しても極く少数である。また好適には、結果的に生じる複合または連結された音素は、明瞭に一体化された音を有する単語、語句、文等を含んでいてよい。本発明のいくつかの実施形態は、強勢パターン、音律、または強勢パターンおよび音律指示の両方を利用して中間フレームを生成する。中間フレームは、連結される２個の音素の構造に関する知識および生成する中間フレームの数に関する決定を利用して、形態的融合により生成することができる。形態的融合処理は、適切な中間特徴を有する人工波形を生成して、隣接する音素またはフレームの特性間を補間することにより音素間で継ぎ目のない遷移を可能にできる。
【０１１２】
本発明の一実施形態において、形態的融合は、音波データ・シーケンス終了におけるピッチ点および次の音波データ・シーケンスの開始におけるピッチ点を測定し、次いでフラクタル数学を応用して適切な音波モーフィング・パターン生成して両者を適切なピッチおよび振幅を連結することによりピッチ同期的に行なって、聞き手が発音「グリッチ」に気付く確率を減らすことができる。
【０１１３】
本発明は、融合された複合音素により表わされた単語、部分的な単語、語句または文が、連続的または別途合成された音声の要素として組み立てるために検索されるデータベースに保存される実施形態を含んでいる。当業者に公知であるように、複合音素は、音素データベース、別個のデータベース、または他の適当な論理的位置に保存することができる。
【０１１４】
上に述べたような、音声合成装置内で２個の音素を連結する形態的音素融合処理の利用を、図８、９に「ｈａｖｅ」という単語を形成する例で示す。この例および当該開示に照らし合わせて、当業者は必要に応じて他の音素も同様に融合させることが可能であろう。
【０１１５】
図１２に示すように、単語「Ｈａｖｅ」の複合音素信号が、図３に関して述べた音声変換を利用して、３個の音素Ｈ、＃６、およびＶの形態的融合により生成される。３個の音素に対応する近似領域を２本の垂直分割線で示している。しかし、融合が段階的であるため、隣接するフレームの比較の外観だけで、単一のフレームが、ある音素を別の音素から切り離しているものと認識することは困難である。
【０１１６】
図１３に示す、図１２の部分の拡大図において、長方形内の４個のピッチ期間が中間フレームであることが分かる。これらの中間フレームは、長方形の直前のピッチ期間からの段階的な進行を提供し、これは「＃６」フレームである長方形の直後のピッチ期間に対する「Η」フレームである。最も高いピークおよび最も深い谷の振幅がｘ軸に沿って増加していることがわかる。
【０１１７】
ピッチ期間は、周期的な信号の基本周波数の逆数であり得る。その値は、完全に周期的な信号の場合には一定であるが、疑似周期的な信号の場合、値が変化し続ける。例えば、図１３の疑似周期的信号は長方形内に４個のピッチ期間を有する。
【０１１８】
図１３に示す２個の音素の形態的融合の方法の一つの有用な実施形態は、中間フレームの適切な個数、例えば図に示す４個、を決定して、適当なアルゴリズムを用いて、ある音素から次の音素まで進行するステップとしてこれらのフレームを合成的に生成することにより、音素融合を実行する。換言すれば、形態的音素融合は、隣接する過去および将来のピッチ・フレームを用いて欠落しているピッチ部分を構築して、それらの間を補間することにより実行することができる。
【０１１９】
ここで図１４を参照するに、図に示す音楽変換の実施形態は、入力信号Ｓ１（ｋ）をより音楽的な出力信号Ｓ２（ｋ）に変換する音楽変換モジュール５５を含んでいる。音楽変換５５は、逆時間変換５６、および各々が調和成分Ｈ１（ｎ）およびＨ２（ｎ）を加える２個のデジタルフィルタ５７、５８を含んでいてよい。信号Ｓ１（ｋ）は、比較的非音楽的信号であってよく、本明細書に記述するように、好適には形態的融合により、組み立てられた音素の列を含んでいてよい。音楽変換５５の利用は音楽性を導入するのに有用である。本発明の実施形態は、所望の代替的な音律に変換すべくベース音律の音響数学的モデリング方法を与えることができる。生成されたパラメータ５９は、差分音律データベース１０に保存することができる。
【０１２０】
使用されたデータベースは、必要ならば、共同所有特許および出願、例えばハンデル（Ｈａｎｄａｌ）らによる米国特許第６，９６３，８４１号明細書（米国特許出願第１０／３３９，３７０号に対して権利登録）に記載されているデータベースの特徴を含むことができる点を理解されたい。このように、音声合成装置または音声合成方法は、以下から選択された２個以上のデータベースを含むか、アクセス権を与えられることができる。すなわち、音響の様相、音律的書記素、および母国語の既知の方言による単語の正しい代替語および単語の発音を識別するテキストを含む正しい発音方言データベース、レザックその他の認識された発音およびコミュニケーションシステムに従う規則に基づく方言的発音のデータベース、一連の単語内での単語の位置の理由で単語の発音が修正される方言用の代替的な音声シーケンスを含む代替的な正しい発音の方言データベース、当該言語の母語話者が共通的に犯す調音誤りに従い単語の代替的な発音を正しく識別するための音声シーケンス、音響の様相、音律的書記素およびテキストの誤発音データベース、発音およびコミュニケーションのレザック他により認識されたシステムに従う共通的な誤発音のレザック他により認識された誤発音データベース、個々の単語の誤発音データベース、および一連の単語を話す際の共通的な単語の誤発音のデータベースである。これらのデータベースは、当該音声合成システムまたは方法の、またはこれに関連付けられた、データ記憶装置に保存することができる。
【０１２１】
本発明の有用な実施形態は、所望のオンライン情報テキストのライブラリその他の集合体あるいはリストが、実時間での聴取、または後で再生すべく例えば．ＷＡＶファイル形式での音声ファイルのダウンロードのいずれにも対応した音声バージョンで提供される、オンデマンド音声出版技術の新規な方法を含んでいる。
【０１２２】
複数のテキストの発話バージョンの自動化、またはコンピュータによる生成を許すことにより、人間による音声生成と比較して製造コストが低く保たれる。この実施形態はまた、メニューその他の利用可能なテキストのリストから音声形式で提供されるテキストをユーザーが選択し、選択されたテキストの電子ファイルまたはファイル群の場所をホストシステムが指定して、当該テキストファイルまたはファイル群を音声合成エンジンに配信し、音声合成エンジンからシステムにより生成された音声出力を受信して、ストリームとしてまたはダウンロード用に提供された１個以上の音声ファイルとしてユーザーに出力を提供するオンライン処理を管理するソフトウェアを含んでいる。
【０１２３】
音声エンジンは本明細書に記述されている利点を有する新規の音声エンジンであり得る。オンライン・デマンド型の音声出版システムまたは方法における本発明の音声合成装置の有用な実施形態を用いて入手できるいくつかの利点には以下のもの含む。すなわち、幅広い市場に受け入れられるようにファイル・サイズが小さいこと、ブロードバンドの有無に拘わらずダウンロードが速いこと、メモリ要件が低いため移植性が良好なこと、複数の声、音律および／または言語を、オプションとして共通のファイルまたはファイル群に、出力できること、単一または複数の声、劇的、事務的または他の読み上げスタイルの間から聞き手が選択できること、ピッチを大幅に変えずに発話出力の速度を変更できることである。本発明の更に有用な実施形態は、出版者が海賊版のコピーによる侵害から保護される互換プレーヤを必要とする権利保護されたファイル構造を採用している。
【０１２４】
あるいは、必要ならば、このようなオンライン・デマンド音声出版システムまたは方法で従来の音声エンジンも使用することができる。
【０１２５】
開示された発明は、多くのベンダーから入手可能である各種の汎用または専用コンピュータ・システム、チップ、ボード、モジュールその他の適当なシステムまたは装置を使用することができる。このような例証的なコンピュータ・システムの一つに、キーボード、マウスまたは画面等、ユーザーから入力を受け取るための入力装置、画面等のユーザーに情報を表示するための表示装置、コンピュータ可読記憶媒体、処理のためプログラム命令およびデータをロード可能な動的メモリ、および適切なデータ処理演算を実行する１個以上のプロセッサを含んでいる。記憶媒体は、テキスト、データ、音素、音声および本発明の実施に有用なソフトウェアまたはソフトウェア・ツールを保存すべく、例えば、ハードディスク、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、テープその他の記憶媒体の１個以上のドライブ、あるいはフラッシュまたはスティックＰＲＯＭまたはＲＡＭメモリ等を含んでいてよい。コンピュータ・システムは、スタンドアローン型のパーソナルコンピュータ、ワークステーション、ネットワーク化されたコンピュータであっても、または複数のコンピュータ・システムをまたがって分散された分散処理、あるいは必要に応じて他の適当な構成を含んでいてよい。本発明の方法の実装に用いるファイルおよびプログラムは、処理を実行しているコンピュータ・システム上に置かれても、あるいは遠隔地に置かれていてもよい。
【０１２６】
本発明の実装または実施に有用なソフトウェアは、市販の製品、すなわち例えばマイクロソフト社のＣ／Ｃ＋＋等の適当なプログラミング言語を用いて記述、作成、または組み立てることができる。また一例として、必要ならば、対話システム、自動キオスク、自動ディレクトリ・サービス等の自然言語処理が適用できるのと同様に、カーネギー・メロン大学のＦＥＳＴＩＶＡＬまたはＬＩＮＫ  ＧＲＡＭＡＲ（商標）テキスト・パーサが利用可能である。
【０１２７】
本発明は、豊かで魅力的な自然の人間の声を、少数の音響要素、例えば音素の限られたデータベースを処理することにより柔軟且つ効率的に提供する実施形態を含んでおり、本明細書に開示する、特段の性能損失無しに「オンザフライ」的に実行可能な新規な音素スプライシング技術により容易に行なえる。
【０１２８】
本発明の多くの実施形態は、予め選択された、または自動的に決定された音律を用いて、より自然に聞こえる人間的な合成音声を生成することができる。その結果、魅力的な音声出力および心地よい聴取体感を提供することができる。本発明は、開示されているように、これらの特性が有益である広範な用途に利用可能である。いくつかの例として、音声出版、オンデマンド音声出版、ゲーム搭載の携帯機器、携帯情報端末、携帯電話、ビデオゲーム、ポッドキャスティング、会話型電子メール、自動キオスク、パーソナル・エージェント、音声新聞、音声雑誌、ラジオ・アプリケーション、緊急時の旅行者支援、および顧客サービスだけでなく、その他の緊急時支援機能が含まれる。他の多くの用途も当業者には明らかであろう。
【０１２９】
本発明の図示した実施形態について上で述べてきたが、当然ながら、関連技術における多くの各種変更が当業者には明らかであるか、技術の進歩につれて明らかになることが理解されよう。このような変更は、本明細書に開示する発明の主旨および範囲に含まれるものと考えられる。
【図面の簡単な説明】
【０１３０】
【図１】本発明による音声合成装置の実施形態の模式図である。
【図２】本発明によるハイブリッド音声合成装置に有用な音素データベース内の一実施形態における音素のグラフィック表現である。
【図３】本発明による音声合成装置に有用な差分音律データベースで使用可能な音声変容パラメータのいくつかの実施形態を示す。
【図４】差分音律データベースで使用可能な音素および音声変容パラメータ情報が関連付けられた単語の簡略化された例を模式的に示す。
【図５】本発明の実施に有用な音律的テキストの構文解析方法のブロックフロー図である。
【図６】本発明の実施に有用な音律マーク付け方法のブロックフロー図である。
【図７】本発明の実施に有用な書記素対音素マトリクスの一実施形態を示す。
【図８】本発明のハイブリッド音声合成装置および方法で使用可能な音声信号特徴を表わすウェーブレット変換方法を模式的に示す。
【図９】図８に示すウェーブレット変換で使用可能な包絡曲線の系統を示す。
【図１０】図８に示すようなタイル式ウェーブレット変換に対して図９に示す包絡曲線を適用することにより実現される周波数ワーピングされたタイル・パターンを示す。
【図１１】異なる曲線包絡技術により得られる異なる周波数応答の二つの例を示す。
【図１２】１個の単語「ｈａｖｅ」を表わす複合音素信号の波形を示す。
【図１３】図１２に表現されている信号の一部を拡大して示す拡大図である。
【図１４】本発明の実施において利用される音声信号に音楽性を加えるのに有用な音楽変換の模式図である。
【図１】
2008545995.tif 000003
【図２】
2008545995.tif 000004
【図３】
2008545995.tif 000005
【図４】
2008545995.tif 000006
【図５】
2008545995.tif 000007
【図６】
2008545995.tif 000008
【図７】
2008545995.tif 000009
【図８】
2008545995.tif 000010
【図９】
2008545995.tif 000011
【図１０】
2008545995.tif 000012
【図１１】
2008545995.tif 000013
【図１２】
2008545995.tif 000014
【図１３】
2008545995.tif 000015
【図１４】
2008545995.tif 000016
【国際調査報告】
2008545995.tif 000017