(57)【要約】語彙強調を予測するためのシステムと方法が複数の強調予測モデルを含んで開示される。発明の実施例では、強調予測モデルはカスケード、すなわち、予測システムの中で相次ぐようにされる。発明の実施例では、モデルは特徴と精度を減少させる順序でカスケードにされる。また、語彙強調予測システムを発生させる方法が提供される。実施例では、発生方法はシステムで使用するための複数のモデルを発生させることを含んでいる。実施例では、モデルは発明の第１の態様と関連して上述されたモデルのいくつかまたはすべてに対応している。
2006526160.tif 000002
【特許請求の範囲】
【請求項１】
単語の少なくとも一部を表わすデータを受信し、単語の語彙強調の位置を表わすデータを出力する語彙強調予測システムであって、システムがモデルデータと受信されたデータとの間で整合したものを探索するための複数の強調予測モデル手段を含み、複数のモデル手段が、
受信されたデータを受け取って、モデルデータと受信されたデータとの間の整合を探索し、受信されたデータのための整合が見出されるならば、受信されたデータと対応している語彙強調の予測を表示する予測データを出力する第１のモデル手段と、
複数のモデル手段のいずれか他方で整合したものが見出せないならば、受信されたデータを受け取って、受信されたデータに対応する語彙強調の予測を表示する予測データを出力するデフォルトモデル手段とを含む語彙強調予測システム。
【請求項２】
システムのモデル手段が、前記単語の少なくとも一部内で少なくとも1つの語彙識別子を確認することによって、前記単語の少なくとも一部内で語彙強調位置を予測するように配置される、請求項1に従った語彙強調予測システム。
【請求項３】
第１の強調予測モデル手段が、与えられた言語の単語の割合のための強調予測を表わす予測データを出力するためにあり、その割合は100未満であり、複数のモデルにおけるその後のモデル手段へ残っている非整合の受信されたデータを渡す、請求項1または2に従った語彙強調予測システム。
【請求項４】
デフォルトモデル手段は、複数の強調予測モデル手段のいずれか他方により強調予測が成されなかった単語の少なくとも一部を表わす受信されたデータを受け取って、そのような受信された単語の少なくとも一部のいずれかについて強調予測を表わす予測データを出力するためのものである、請求項１乃至3のいずれか1項に従った語彙強調予測システム。
【請求項５】
第１のモデル手段は、デフォルト強調予測モデル手段の精度よりも第１のモデル手段から出力される単語の語彙強調のさらに正確な予測を持っている、請求項4に従った語彙強調予測システム。
【請求項６】
受信されたデータを受け取るための第１のモデル手段とデフォルトモデル手段との間にさらなる強調予測モデル手段を含み、受信されたデータと第１モデル手段におけるさらなるモデル手段のさらなるモデルデータとの間に整合が見出せないならば、さらなるモデルデータと受信されたデータとの間の整合について探索し、受信されたデータについて整合が見出されたならば、受信されたデータに対応した語彙強調の予測を表示する予測データを出力する、請求項3乃至5のいずれか1項に従った語彙強調予測システム。
【請求項７】
語彙強調予測のための最も低い割合の応答を有するモデル手段が、そのモデル手段により応答される単語の少なくとも一部の強調予測のために最も正確なモデル手段である、請求項１乃至6のいずれか1項に従った語彙強調予測システム。
【請求項８】
システムのデフォルトモデル手段が最も低い特徴と精度を持ち、各前のモデル手段がその直後のものよりもより高い特徴と精度を有する、請求項１乃至７のいずれか1項に従った語彙強調予測システム。
【請求項９】
前記単語の少なくとも一部のデータ表示が前記単語の少なくとも一部の音声情報の表示である、請求項1乃至８のいずれか1項に従った語彙強調予測システム。
【請求項１０】
単語の少なくとも一部のデータ表示が前記単語の少なくとも一部の文字の表示である、請求項1乃至８のいずれか1項に従った語彙強調予測システム。
【請求項１１】
単語の少なくとも一部の特徴とその単語の語彙強調の位置との間の否定的相関関係を予測するために、さらなるモデル手段を含む、請求項１乃至10のいずれか1項に従った語彙強調予測システム。
【請求項１２】
前記単語の少なくとも一部の二次的な語彙強調を予測するためにさらなる語彙強調予測システムを含む、請求項1乃至11のいずれか1項に従った語彙強調予測システム。
【請求項１３】
語彙識別子として接辞が使用される、請求項2または請求項2に従属する請求項のいずれか1項に従った語彙強調予測システム。
【請求項１４】
単語の少なくとも一部のデータ表示を受信し、
複数の強調予測モデルを含む語彙強調予測システムにデータを通し、強調予測システムに受信されたデータを通すことが、
モデル予測データを含む第１のモデル手段に受信されたデータを通し、
モデル予測データと受信されたデータとの間の整合のため第1のモデル手段を探索することを含み、
受信されたデータのための整合が第１モデル手段により見出されるならば、受信されたデータに対応する語彙強調の予測データ表示を出力し、
受信されたデータのための整合が複数のモデル手段の他のいずれかに見出せなかったならば、受信されたデータをデフォルトモデル手段に通し、そこで語彙強調予測がデータについて与えられ、受信されたデータに対応する語彙強調の予測データ表示を出力することを含む、単語の語彙強調を予測する方法。
【請求項１５】
第1のモデル手段が単語の割合について語彙強調を予測し、その割合が100未満である、請求項14に従った語彙強調を予測する方法。
【請求項１６】
第１モデル手段のモデル予測データが優先情報を含み、受信されたデータの第１のモデル手段で1つ以上の整合が見出されるならば、予測データ出力は最優先で語彙強調予測に対応する、請求項14または15に従った語彙強調を予測する方法。
【請求項１７】
第１のモデル手段にデータを通した後に、第１のモデル手段でどんな整合も見出せないならば、データをさらなるモデル手段に通し、さらなるモデル予測データと受信されたデータの整合のために、さらなるモデル手段を探索し、
さらなるモデル手段で受信されたデータのための整合が見出されたならば、受信されたデータに対応する語彙強調の予測データ表示を出力し、
さらなるモデル手段で受信されたデータのためのどんな整合も見出せないならば、受信されたデータをデフォルトモデル手段に渡すことをさらに含む、請求項14乃至16のいずれか1項に従った語彙強調を予測する方法。
【請求項１８】
さらなるモデル手段が優先情報を表わすデータ含み、さらなるモデル手段で受信されたデータのための１つ以上の整合が見出されるならば、最優先を有する語彙強調を表わす予測データが出力される、請求項17に従った語彙強調を予測する方法。
【請求項１９】
さらなるモデル手段が単語の少なくとも一部の割合について語彙強調を予測し、割合は第１のモデル手段の予測割合より高い、請求項17または18に従った方法。
【請求項２０】
特定の語彙識別子を表わすデータが前記単語の少なくとも一部を表わす受信されたデータに見出されるとき、モデル手段で整合が見出される、請求項14乃至19のいずれか1項に従った方法。
【請求項２１】
第１のモデル手段でデータのための整合が見出されるならば、受信されたデータの語彙強調位置が確認され、かつさらなるモデル手段に渡される識別子を表わすデータでマークされ、非強調可能として特定の語彙位置を確認し、さらなるモデル手段が確認された語彙強調を予測しない、請求項14乃至20のいずれか1項に従った方法。
【請求項２２】
語彙識別子が前記単語の少なくとも一部の接辞である、請求項21に従った方法。
【請求項２３】
請求項14乃至22のいずれかの方法を実行するようにプロセッサに命令するためコンピュータの読み込み可能なコードを運ぶキャリヤー媒体。
【請求項２４】
語彙強調予測システムを発生させる方法であって、方法は複数の語彙強調予測モデル手段を発生することを含み、複数のモデル手段の発生が、
単語の少なくとも一部を表わすデータを受け取るためのデフォルトモデル手段を発生し、かつ前記単語の少なくとも一部のいずれかの語彙強調の予測を表わす予測データを出力し、次に
前記単語の少なくとも一部を表わすデータを受け取るための第１のモデル手段を発生し、かつ前記単語の少なくとも一部のいくつかの語彙強調の予測を表わす予測データを出力することを含む、語彙強調予測システムを発生させる方法。
【請求項２５】
予定された位置であるようにデフォルトモデル手段により応答されるべき語彙強調位置を設定することによって、デフォルトモデル手段が発生される、請求項24による語彙強調予測システムを発生させる方法。
【請求項２６】
予定された位置が単語の少なくとも一部の選択から最高頻度の語彙強調位置を決定することによって発生される、請求項25による語彙強調予測システムを発生させる方法。
【請求項２７】
発生されたデフォルトモデル手段が複数のモデル手段の最も低い精度と特徴を持っている、請求項24乃至26のいずれか1項に従った語彙強調予測システムを発生させる方法。
【請求項２８】
デフォルトモデル手段がそれへのいずれかの単語入力の少なくとも一部の任意のデータ表示について強調予測結果を応答するように、デフォルトモデル手段が発生される、請求項24乃至27のいずれか1項に従った語彙強調予測システムを発生させる方法。
【請求項２９】
単語の数を表わすデータを探索し、前記単語の数の中の少なくとも1つの語彙識別子について強調位置予測を表わすデータを応答することによって、第１のモデル手段が発生される、請求項24乃至28のいずれか1項に従った語彙強調予測システムを発生させる方法。
【請求項３０】
2つ以上の整合が特定の語彙識別子に関して見出され、優先度が各々に割当てられ、優先度は整合の割合精度に依存しているように、第１のモデル手段が発生される、請求項29に従った語彙強調予測システムを発生させる方法。
【請求項３１】
2つの整合が特定の語彙識別子に関して見出され、最優先を有する整合が応答されるように、第１のモデル手段が発生される、請求項30に従った語彙強調予測システムを発生させる方法。
【請求項３２】
語彙識別子が接辞である、請求項29乃至31のいずれか1項に従った語彙強調予測システムを発生させる方法。
【請求項３３】
接辞が音声の接頭辞、音声の接尾辞、音声の挿入辞、綴りの正しい接頭辞、綴りの正しい接尾辞、および綴りの正しい挿入辞を含むグループから選ばれる請求項32に従った語彙強調予測システムを発生させる方法。
【請求項３４】
請求項24乃至33のいずれか1項の方法を実行するようにプロセッサに命令するためにコンピュータの読み込み可能なコードを運ぶキャリヤー媒体。
【請求項３５】
請求項24乃至33のいずれか1項の語彙強調予測発生方法によって発生される語彙強調予測システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は語彙強調予測に関連する。特に、本発明はテキスト音声合成システムおよびそのためのソフトウェアに関連する。
【背景技術】
【０００２】
音声合成は書かれた単語が口頭で表現されるどんなシステムでも役に立つ。発音辞書における複数の単語の音声の転写を記憶して、対応している書かれた単語が辞書で認識されるとき、音声の転写の口頭表現を演じることが可能である。しかしながら、そのようなシステムには、辞書に保持される単語を出力することのみ可能であるという欠点がある。音声の転写がそのようなシステムに記憶されないなら、辞書にないどんな単語も出力することができない。より多くの単語が辞書に記憶されるかもしれないが、それらの音声の転写と共に、これは辞書および関連する音声の転写記憶要件のサイズの増加に通じる。その上、新しい単語と外国語からの単語がシステムに与えられるかもしれないので、すべての可能な単語を辞書に追加するのは単に不可能である。
【０００３】
したがって、発音辞書における単語の音声の転写を予測する試みは、2つの理由で有利である。まず第一に、音声の転写予測は、辞書に保持されない単語が音声の転写を受けることを確実にするであろう。第二に、音声の転写が予測できる単語をそれらの対応する転写なしで辞書に記憶することができるので、システムの記憶装置要件のサイズを減少させる。
【０００４】
単語の音声の転写の1つの重要な構成要素が単語の主要な語彙強調の位置(最も強調して発音される単語による音節)である。したがって語彙強調の位置を予測する方法は単語の音声の転写を予測する重要な構成要素である。
現在、語彙強調予測への2つの基本的なアプローチが存在する。これらの最も早いアプローチは完全に手動で指定された規則に基づき(例えば、Church、1985;特許US4829580；Ogden、特許US5651095)、規則には2つの基本的な欠点がある。まず第一に、それらは作成および維持に時間がかかり、それは新しい言語のために規則を作成するとき、または新しい音韻組(音韻は異なった意味を伝えることができる言語の中の最も小さい音声の単位である)に動かすときに特に問題が多い。第二に、一般に手動で指定された規則は強健(robust)ではなく、適切な手段と外来語(辞書の単語よりも他の言語から発する単語)のような、規則を開発することに使用される単語とかなり異なっている単語のために貧しい結果を発生させる。
【０００５】
語彙強調予測への第二のアプローチは、目標文字の周りの局部前後関係、すなわち、判断ツリーまたはメモリベースの学習などの一般に何らかの自動技術により、目標文字の強調を決定する目標文字の各側面で文字の同一性を使用することである。このアプローチもまた2つの欠点がある。まず第一に、強調はこれらのモデルによって使用された局部前後関係(通常1〜3文字)でしばしば簡単に決定することができない。第二に、判断ツリーおよび特にメモリベースの学習は低メモリ技術でなく、したがって、低メモリテキスト音声システムに使用のために適合させるのは難しいであろう。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
したがって、発明の目的は低メモリテキスト音声システムを提供することであり、さらに発明の目的は低メモリテキスト音声システムを準備する方法を提供することである。
【課題を解決するための手段】
【０００７】
発明の第1の態様によると、複数の強調予測モデルを含む語彙強調予測システムが提供される。発明の実施例では、強調予測モデルはカスケードにされ、すなわち、予測システムの中で相次いで連続にされる。発明の実施例では、モデルは特徴と精度を減少させる順序でカスケードにされる。
【０００８】
発明の実施例では、カスケードの第1モデルは最も正確なモデルであり、そのモデルは高精度ではあるが、言語の単語の総数の割合だけのために予測を応答する。実施例では、第1モデルによって語彙強調が割り当てられなかったどんな単語も第２モデルに渡され、第２モデルはいくつかのさらなる単語のために結果を応答する。実施例では、第２モデルは第１モデルによって結果が応答されていない言語のすべての単語について結果を応答する。さらなる実施例では、第２モデルに語彙強調が割り当てられなかったどんな単語も第３モデルに渡される。任意の数のモデルがカスケードに提供されてもよい。実施例では、カスケードの最終モデルはどんな単語に関する強調の予測も応答すべきであり、実施例においてすべての単語が語彙強調予測システムによりそれらに予測をさせることであるならば、カスケードの最終モデルは前のモデルによって予測されなかったすべての単語について予測を応答すべきである。このように、語彙強調予測システムはあらゆる可能な入力単語に関する予測された強調を発生させるであろう。
【０００９】
実施例では、それぞれの連続したモデルはカスケードの前のモデルより広範囲の単語について結果を応答する。実施例では、カスケードのそれぞれの連続したモデルはそれに先行するモデルほど正確ではない。
発明の実施例では、少なくとも１つのモデルは単語の接辞と関連して単語の強調を決定するモデルである。実施例では、少なくとも１つのモデルは単語の接辞と語彙強調の単語中の位置との相関関係を含む。一般に、接辞は接頭辞、接尾辞または挿入辞であるかもしれない。相関関係は接辞と位置との間の肯定的または否定的相関関係のいずれかであるかもしれない。さらに、システムは単語がシステムのすべてのモデルを通り抜ける必要性なしに、ある接辞について高い割合の精度で応答する。
【００１０】
発明の実施例では、カスケードの少なくとも１つのモデルは様々な接辞と結合された単語の音節の数と単語の中の語彙強調の位置との間で相関関係を含む。実施例ではまた、二次的な語彙強調は単語の主要な強調と同様に予測される。
発明の実施例では、少なくとも１つのモデルは音声の相関関係の代りに綴りの正しい接辞の相関関係を含む。
【００１１】
【数１】
2006526160.tif 000003
発明の第２の態様によると、語彙強調予測システムを発生させる方法が提供される。実施例では、発生方法は、システムで使用するための複数のモデルを発生させることを含んでいる。実施例では、モデルは発明の第１の態様と関連して上述されたモデルのいくつかまたはすべてに対応する。
【００１２】
実施例では、第１の実施例の最終モデルが一番目に発生され、終わりから二番目のモデルの発生によって続けられ、最終的に第１の実施例の第１モデルが発生されるまでそのように続けられる。モデルがシステムで実行される順序と逆順でモデルを発生させることにより、低精度であるがすべての単語のために強調を予測するデフォルトモデルを発生させ、したがってデフォルトモードにより不正確な強調が割り当てられる単語を目標とするより特殊化されたより高いモデルを造ることが可能である。そのような発生を使用することによって、そうでなければ、システムの2つのモデルが同じ結果を応答するであろう、システムにおける冗長を取り除くことが可能である。そのような冗長を減らすことによって、システムのメモリ要件を減らして、システムの効率を増加させることが可能である。
【００１３】
発明の実施例において、デフォルトモデル、主モデルおよびゼロまたはより高いモデルが提供される。実施例では、デフォルトモデルはシステム内に入力されたすべての単語に適用することができ、それぞれの単語の強調ポイントが置かれる単語の集積から数えることにより、かつトレーニングの間に最も頻繁に遭遇される強調ポイントを単に割り当てるモデルを作成することにより簡単に発生される。そのような自動発生は必要でないかもしれない;英語においては、主要な強調が一般に一番目の音節にあり、イタリア語においては終わりから二番目の音節にあるなど。したがって、システムに入力されるありとあらゆる単語のための基本的な予測を与えるために簡単な規則を適用することができる。
【００１４】
実施例では、主モデルは、単語の中の様々な識別子のために単語を捜して、強調位置の予測を応答するトレーニングアルゴリズムを使用することによって発生される。実施例では、識別子は単語の接辞である。実施例では、識別子と強調位置との間の相関関係は比較され、最も高く相関するものが保有される。実施例において、割合精度は結合されたより低いレベルのモデルの割合精度を引いて、我々は最良の相関関係を決定するために使用した。実施例では、１つ以上の接辞が整合するならば、最も高い精度で接辞に対応する強調位置が最優先を与えられる。実施例では、計数(識別子がトレーニング集積のすべての単語上の正しい強調を予測する回数)の最小の閾値が含まれている。これは、システムに含まれる識別子相関関係の数は言語ではめったに起こらないが高いものと、言語でより頻繁に起こるが相関関係が低いものとの間で、修正できる分離レベルを許容する。
【００１５】
発明の実施例では、主モデルは2つのタイプの相関関係、接頭辞と接尾辞を含んでいる。発明の実施例では、主モデルにおける接辞が降下精度の順序で索引をつけられる。
発明の実施例では、発明の態様はコンピュータ、プロセッサまたは特定用途向け集積回路(ASIC)や同様のものなど他のデジタル構成要素で実行されるかもしれない。発明の態様は、発明を実行するためにコンピュータ、ASICまたは同様のものに命令するようにコンピュータ読み込み可能なコードの形を取るかもしれない。
【発明を実施するための最良の形態】
【００１６】
発明の実施例は添付図面を参照して、純粋に例として記述される。
発明の第１の実施例はこれから図面の図1乃至3に関して説明されるであろう。
発明の第１の実施例のシステムをトレーニングすること
図1は発明の第１の実施例の語彙強調予測システムの予測モデルのカスケードを示す。カスケードにされるモデルはデフォルトモデル110と、主モデル120である。各モデルはモデルへ入力される単語の中でその単語の語彙強調の位置を予測するように設計される。
デフォルトモデルをトレーニングすること
デフォルトモデル110は図2に示されるようにトレーニングされる。デフォルトモデル110は言語のすべての単語について強調位置の予測を応答するために保証される非常に簡単なモデルである。
【００１７】
デフォルトモデルは、本実施例ではモデルが機能する言語の多くの単語を分析して、各単語について語彙強調の位置のヒストグラムを提供することによって、自動的に発生される。そして、全体の言語への簡単な推定は、テスト単語の最高の割合の強調位置を選択し、全体の言語にその強調位置を適用することによって達成することができる。より大きいトレーニング単語の数は、より反映した全体の言語をデフォルトモデル110に入力する。
【００１８】
英語やドイツ語のような、言語の単語の半分以上が特定の位置(英語とドイツ語について第１の音節)に強調を持っていると仮定すると、この基本的なデフォルトモデルが言語の単語のその割合で正確な強調位置予測を応答するであろう。基本強調位置が第１の音節または最後の音節でない場合に、デフォルトモデルは、入力単語が予測を適応させる、またそうでなければ、単語の長さに合わせるように予測を調整するに十分な音節を有することを確実にするためにチェックする。多くの言語において、デフォルトモデルの自動発生は必要ではなく、なぜなら最も共通の強調された音節は周知の言語学の事実であり、上記議論のように、ドイツ語と英語の単語は一番目の音節に強調を持つ傾向があり、イタリアの単語は終わりから二番目の音節に強調を有する傾向があるなどである。
【００１９】
主モデルをトレーニングすること
主モデルは2つのタイプの相関関係、即ち接頭辞相関関係と接尾辞相関関係を含んでいる。モデルの中では、これらの接辞は降下精度の順序で索引をつけられる。入力単語の発音が複数の接辞に整合するならば、より正確な接辞と相関する主要な強調が応答されるように配列される。実施上、入力単語の発音が接辞のないどんな整合にも整合しないならば、単語はカスケードで次のモデルに渡される。
【００２０】
接頭辞と相関する主要な強調の値は、目標単語の発音における一番左の母音から数えて主要な強調を持っている単語の実際に母音の数である(したがって“2”の強調値は単語の第２の音節で強調を示す)。他方、接尾辞は単語の一番右の母音から単語の始まりに向かって数えた母音の数として特徴付けられる強調の位置に相関する(したがって、“2”の強調値は単語の終わりから二番目の音節で強調を示す)。強調の位置が相関関係にどう記憶されるかにおけるこの違いは、単語の接頭辞が単語の始まりに関連して強調と相関する傾向がある(例えば、第２の音節強調)が、単語の接尾辞は、単語の終わりに関連して強調と相関する傾向がある(例えば、終わりから二番目の音節強調)という事実のためである。
【００２１】
また、接頭辞および接尾辞と同様に、主モデルで挿入辞を使用することも可能である。挿入辞は、単語の始めか終わりに関連して挿入辞の位置を付加的に記憶することによって強調位置と相関することができ、その場合、例えば、単語の接頭辞は位置ゼロを有し、単語位置の接尾辞は単語の音節の数と等しいであろう。
【００２２】
また、特定の音韻よりむしろ音韻クラスシンボルを含む接辞を利用させることが可能であり、ここに音韻クラスシンボルは事前に定義された音韻のクラス(例えば、母音、子音、高い母音など)の中に含まれるどんな音韻にも整合する。特定の単語の強調は、その単語のその位置で母音の正確な音声の確認を知ることなく、母音の位置によって適切に定義されるかもしれない。
【００２３】
そのトレーニング集積として音声の転写と主要な強調を有する辞書を使用して、主モードは自動的にトレーニングされる。基本的なトレーニングアルゴリズムは単語発音の可能な接尾辞と接頭辞の間隔を捜して、それらの接辞を含む単語による主要な強調の位置と最も強く相関するそれらの接辞を見つける。主要な強調がある相関関係がカスケードに結合された下側のモデルに精度で最もすばらしい利得を提供する接辞は、最終的な強調規則の集合の要素として保たれる。アルゴリズムの主なステップはS310でのヒストグラムの発生と、S320での最も正確な接辞/強調相関関係の選択と、S330とS340での総合的な最良の接辞の選択と、S350での余分な規則の除去である。
【００２４】
まず最初に、S310では、ヒストグラムは集積の各可能な接辞の頻度と各接辞に関する強調の各可能な位置を決定するために発生される。これをすることによって、相関関係は各可能な接辞と強調の各可能な位置との間で決定することができる。特定の接辞に基づく特別の強調を予測する絶対精度は、接辞の総頻度によって分割された強調位置で接辞が同じ単語に現れる頻度である。しかしながら、実際に望まれていることはさらなるカスケードのモデルの精度に関係した強調予測の精度である。したがって、接辞と強調位置の各組み合わせのために、モデルはまたカスケードの下側のレベルのモデル(この実施例ではデフォルトモデル)がどれくらいしばしば正しい強調を予測するかの跡をたどる。
【００２５】
各接辞について、最良の強調位置はカスケードの下側のモード上の精度で最も大きい改良を提供するものである。S320では、各可能な接辞のための最良の強調位置が選ばれ、カスケードの下側のモデルで改良しないそれらの接辞/強調対は捨てられる。
低い記憶モデルを維持するために、最良の接辞/強調対を除いた全てが取り除かれる。このような関係においては、“最良の”対は同時に高精度であり、かつ高頻度で適用されるものである。概して、高頻度で適用する対は下側のモデル上で精度において最も大きい未加工の改良を提供するものである。しかしながら、下側のモデル上で精度(ここに計数精度として言及される)における最も大きい未加工の改良を提供する規則はまた、整合されたすべての単語の割合(ここに、パーセント精度と呼ばれる)として計算されるとき、比較的低精度を有する規則である傾向があり、複数の接辞が単一の目標単語に整合することができるとすれば、これは問題である。例として、２つの接辞A1とA2を取り、ここにA1はA2のサブ接辞である。A1がトレーニング集積で1000回見出され、その接辞に関する最良の強調が正確な600回であったと仮定する。そして、A2がトレーニング集積において100回見出され、その接辞に関する最良の強調が正確な90回であったと仮定する。最終的に簡単さのために、デフォルト規則がこれらの接辞に整合する単語について常に不正確であると仮定する。計数精度に関して、A1は600乃至100の点数によりそのA2より非常に良い。しかしながら、パーセント精度に関して、A2は90%乃至60%の点数によりA1よりも非常に良い。その結果、A2はそれがより少ない頻度で適用されるが、A1より高い優先度がある。
【００２６】
しかしながら、100%のパーセント精度を持っているが、集積に数回載るだけであって、その結果非常に低い計数精度を持っている非常に多数の接辞があるので、単にパーセント精度に基づいて接辞を選ぶのは望ましくない。主モデルにおける多数のこれらの低い頻度の接辞を含むことは、モデルのカバー範囲を少量だけ増加させる効果があるが、モデルのサイズを多量に増加させるであろう。
【００２７】
現在の実施例において、パーセント精度に基づく接辞を選ぶが、計数精度が非常に小さい接辞を除くことができるように、計数精度の最小の閾値がS330で確立される。デフォルトモデルを改良して、計数精度が閾値を超えているすべての接辞が選ばれて、パーセント精度に基づく優先を割り当てられる。この閾値の値を変えることはモデルの精度とサイズを変えるように作用し、閾値を増加させることによって、主モデルをより小さくすることができ、逆に、閾値を減少させることによって、主モデルをますます正確にすることができる。実際問題として、数100のオーダーの接辞で非常に低いメモリ費用における高精度を提供できる。
【００２８】
接辞の選択は対の接辞がいくつかの方法で相互作用することができるという事実を考慮に入れなければならない。例えば、接頭辞[t]が90%の精度を有するならば、接頭辞[te]は80%の精度を有し、そして、[te]と整合するすべての単語がまた[t]と整合するので、[t]より低い優先度を有する[te]は、決して適用されないであろう。したがって、空間を節約するために、[te]を削除することができる。S340でそのような相互作用を排除するのに少なくとも2つのアプローチを使用することができる。第１のアプローチは接辞を選ぶのに欲張りなアルゴリズムを使用することであり、ヒストグラムが組立てられ、閾値を超えた計数精度があるデフォルトモデルを改良する最も正確な接辞が選ばれ、どんな以前に選ばれた接辞にも整合するすべての単語を除く新しい組のヒストグラムが組立てられ、次の接辞が選ばれる。選択評価基準を満たす接辞が残らなくなるまで、この過程は繰り返される。このアプローチを使用して、結果として起こる組の選ばれた接辞は相互作用を持たなくなる。上の例では、欲張りなアルゴリズムを使用するとき、より正確な接頭辞[t]を選んだ後に、[t]で始まるすべての単語が後のヒストグラムから除かれて、その結果接頭辞[te]が決して現れないので、接頭辞[te]は決して選ばれない。
【００２９】
欲張りなアルゴリズムアプローチの欠点は大きいトレーニング集積を使用するとき、それが全く遅い場合があるということである。接辞間の相互作用を取り除くことは、代わりにヒストグラムの単一の組から最良の接辞を集めることにより、かつ規則間の最も相互作用するものを取り除くために、以下の2つのフィルターにかけることを適用することにより近似させることができる。
【００３０】
高いパーセント精度でサブ接辞が存在するとき接辞は取り除かれる。[t]と[te]の上の例は適用されるであろうフィルターにかける規則がある場合である。
サブ接辞が接辞より低いパーセント精度を持っている場合において、状況はわずかに複雑である。この場合に、接辞、たとえば接頭辞[sa]が95%の精度を有し、サブ接辞、たとえば[s]が85%の精度を持っているなら、我々は[s]のいくらかの精度がまた[sa]に整合するであろう単語のためであることを考慮し、我々はそれほど正確でない接辞からより正確な接辞の影響を引き算するべきである。したがって、数が正しくて、総数が整合された、[sa]のデフォルト規則からの改良の量は[s]から引き算され、発生された強調規則に含まれるべき十分大きい改良がまだあるかどうかが再評価される。
【００３１】
追加の空間を節約するために、より低く格付けされた過剰な組の規則が同じ強調を予測するならば、S350でより高く格付けされた部分集合規則を排除することが可能である。例えば、接頭辞[dent]が強調2を予測して、100%の精度の割合を持ち、接頭辞[den]が90%の割合を持って、また2を予測するならば、[dent]は接辞の組から除去ことができる。
S360で、主モデルを構成する接辞の組は迅速な探索性能のためにツリー(接頭辞のためのものおよび接尾辞のためのもの)にまっすぐな方向に変形される。ツリーにおいて既存の接辞に整合しているノードは主要な強調の予測された位置と優先番号を含む。目標単語に整合するすべての接辞の、最も高い優先度を有する接辞と関連づけられた強調が応答される。そのようなツリーに関する例が主モデルの実施と関連して以下で議論される。
【００３２】
第１の実施例のシステムの実施
図4と5乃至8は発明の第１の実施例のシステムの実施を示す。実施のときに、モデルの順序は、図4に示されるように、モデルがトレーニングされた(上で議論された)順序と関連して逆にされる。この実施例では、主モデルはカスケードのデフォルトモデルのすぐ前にあるモデルである(これが事実である必要はないが)。したがって、第１の実施例の実施のときに、予測させる語彙強調をもつ単語内の第１のモデルは、上述された主モデルである。語彙強調が主モデルによって予測されないどんな単語もデフォルトモデルに渡されるであろう。
主モデルの実施
図5は主モデルの実施のための非常に高いレベルのフローチャートを示す。見ることができるように、単語が主モデルの中で整合されるならば、強調位置が出力である。しかしながら、主モデルで問題の特定の単語に関してどんな強調位置も見つけることができないならば、主モデルによってされる強調予測なしで、単語は主モデルからデフォルトモデルへ出力される。
【００３３】
図6は主モデルを実行する際に使用されるツリーの一部に関する例を示す。この例のツリーに表わされた接頭辞/強調/優先順位は([a]、[an]、[sa]、[kl]および[ku])である。
ツリーがいかに機能するかに関する例が今から与えられるであろう。第１の単音[s]が根のノードの派生としてツリーにあるが、そのノードは強調/優先情報を含んでいなくて、したがって、ツリーに表される接辞の1つでないので、目標単語[soko]は何にも整合しないであろう。しかしながら、第1の単音[s]が根のノードの派生としてツリーにあって、第2の単音[a]が第１の単音の派生としてツリーにあり、かつそのノードには強調と優先情報があるので、目標単語[sako]は整合するであろう。したがって、単語[sako]に関して強調2が応答するであろう。
【００３４】
次に、ツリーに2つの接頭辞を整合させる目標単語[anata]を考える。接頭辞[a-]はツリーで2の強調予測に対応し、接頭辞[an-]は3の強調予測に対応している。しかしながら、複数の接頭辞が一単語によって整合されるとき、優先インデックスのために、最優先整合(最も正確な接辞/強調相関関係に対応する)に関連した強調が応答される。この場合、接頭辞[an-]の優先は24であり、それは[a-]の13の優先よりも高いので、3の強調予測をもたらして[an-]と関連した強調が応答される。
【００３５】
図7は主モデルの実施のためのより詳細なフローチャートを示す。本実施例のシステムが、与えられた単語についてモデルの中で様々な接頭辞のためにどれが最良の整合であるかを、いかに決めるかをフローチャートは示す。S502で第１の接頭辞が選択される。本実施例では、目標単語の第１の単音が選ばれる。例えば、図6のツリーで接頭辞[u-]のように、ループの第１の繰り返しにおいてツリーにそのような接頭辞がないならば、最良の整合情報も記憶されないので(S506)、これがループの第１の繰り返しであるとき、主モデルは予測を含まなくかつ単語は系列の次のモデルに渡され、それはこの実施例においてS507でデフォルトモデルである。
【００３６】
第１の単音が接頭辞ツリーにあって、どんな優先および強調情報もないなら、ループの第１の繰り返しにおいてどんな予め記憶された接頭辞情報もないので、システムはS512で次の接頭辞に進むであろう。これは上で議論した単語[soko]に関する図6のツリーの場合であるだろう。接頭辞が強調と優先情報を有するならば、現在の最良の整合がまだないので(それがループの周りの1回目であるので)、その単音についての優先と強調位置に関するデータはS510に記憶される。図6の例に関する記憶された情報は[a-]についての情報であるだろう。システムは次に、S512で単語にさらなる、試されていない接頭辞があるかどうかを分かるために見守る。そして、次の接頭辞はS502の反復のときにループの次の繰り返しで選択される。
【００３７】
さらなる接頭辞が第２の繰り返しのときにS504で接頭辞ツリーに保持されないならば、最良の整合が記憶されているなら(S506)、これが出力である。上の例では、[a-]が記憶され、[ak-]が記憶されないので、これが単語[akata]のために起こるであろう。最良の整合が既に記憶されていないにしても(S506)、システムはS507のデフォルトモデルへ進む。
【００３８】
第２のループのときに、さらなる接頭辞が接頭辞ツリーに保持されるならば、S508でシステムは最良の整合が現在記憶されているか否かをチェックする。どんな最良の整合も見出せないならば、システムは、さらなる接頭辞が記憶された優先情報を有するか否かをチェックする。なにもないならば、システムは、さらなる接頭辞を試みるために行動する(S512で)。他方、最良の整合が記憶されるならば、システムはこの接頭辞情報が既に記憶された情報より高い優先度があるか否かをチェックする(S514で)。既に記憶された接頭辞情報が現在の情報より高い優先度があるならば、記憶された情報はS516で保有される。現在の情報が以前に記憶された情報より高い優先度があるならば、情報はS518で取り替えられる。別の接頭辞が目標単語に存在しているならば、ループは繰り返されるが、さもなければ、記憶された強調予測が出力される。
モデルは次に接頭辞よりむしろ接尾辞の別々のツリーのために図7の過程を繰り返す。最終ステップとして、接頭辞からの最良の予測と接尾辞の相対的な優先度が比較され、最も高い総合的な優先強調予測が出力される。
【００３９】
図8は主モデルの実施のためのさらなる、より詳細なフローチャートを示す。図は全体として主モデルの動作を示す。S602でシステムによって分析されるべき単音が目標単語の第１の単音であるように設定される、すなわち、現在の接頭辞は目標単語の第１の単音である。S604で接頭辞ツリーのノードが“根”すなわち、図6の接頭辞ツリーで最も高いノードに設定される。S606でシステムはノードが現在の単音で派生を有するかどうかチェックする。図6の例では、これは[a-]、[s-]および[k-]について“イエス”であり、他のすべての単音について“ノー”になるであろう。ノードが現在の単音でツリーに派生ノードを持っていないならば、システムはデフォルトモデルに直接進む。
【００４０】
現在の単音で派生ノードがあるならば、S608でシステムはこれが強調予測と優先を有するかどうかチェックする。上の例の[s-]の場合のように、それがないなら、システムはS610で単語の中に余分なチェックされていない単音があるか否かをチェックし、あるなら、S612でシステムは現在の単音を単語の次の単音に変えて(現在の接頭辞を目標単語の前の接頭辞プラス次の単音に変えることに対応する)、S614でS606により確認された接頭辞ツリーの派生ノードに移る。さらなるチェックされていない単音がなく、S620に何かがあるなら、S618でシステムは今までに見つけた最良の強調を出力し、最良の強調が見つからなかったならS622でデフォルトモデルに進む。
【００４１】
派生ノードが、例における[a-]のように、S616で強調予測と優先を持っているならば、上記図７のS508、S514、S516およびS518で説明されたように、システムはノードが最良の整合であるかどうかチェックする。それが最良の整合であるならば、システムは予測された強調をS617に記憶する。それが最良の整合でないならば、システムはS610に続いて、過程が予測された強調の出力で終わるかデフォルトモデルに進むまで、上で説明されたように繰り返す。
上述したように、手順は次に単語の接尾辞について繰り返され、接頭辞と接尾辞からの最良の整合が単語のための強調予測として出力される。発明の実施例の2つの組み合わせよりむしろ接頭辞だけ、または接尾辞だけを使用して進めることが可能であるだろう。
【００４２】
発明の第２の実施例は図面の図9、10および11に関して今から議論するであろう。
図9は第２モデルのトレーニングの概観を示す。第２の実施例において、デフォルトモデルと主モデルは第１の実施例で説明されたのと同じである。しかしながら、より高いレベルのモデルがまたシステムに含まれている。より高いレベルは主モデルの後にトレーニングされる。この実施例では、より高いモデルは主モデルへの同様の方法でトレーニングされる。主モデルおよびより高いモデルをトレーニングする方法間の違いはヒストグラムが何を数えているかである。主モデルにおいて、接辞と強調された音節の各組み合わせあたり1つのヒストグラムビンがある。より高いモデルはまた単語による音節の数を考慮に入れる。与えられた数の音節がある単語のための最良の接辞は、まさしく接辞強調位置のデータよりむしろそのときに決定する。図10はより高いモデルのトレーニングステップを示す。違いは図3からの“接辞”を“音節対の接辞/数”に置換することである。このより高いモデルは上で議論した図7および8と関連して示された同じ方法で実行される。図11はさらなるより高いモデルの実施を示し、それは図10で示されたより高いモデルの代わりにまたはそれと同様にシステムで使用されるかもしれない。このより高いモデルにおいて、音声の接辞よりむしろ綴りの正しさが使用される。例えば、綴りの正しい接頭辞モデルでは、発音[k aa]を有する単語“car”は2つの綴りの正しい接頭辞[c-]と[ca]を持っているが、１つの音声の接頭辞[k-]のみを有する。綴りの正しいより高いモデルのトレーニングは主モデルのためのように同じであるが、音声の接頭辞よりむしろ綴りの正しいことの使用を成し、ステップは図3のものと同じである。同様に、綴りの正しいモデルの実施は、綴りの正しい接頭辞(文字)が音声の接頭辞(単音)の代わりに使用されているが、上述された主モデルと同じである。図8に示される実施は、図11に示されるように、“単音”の“文字”への交換で等しく適切である。
【００４３】
上で議論された主およびまたはより高いモデルの変化において、接頭辞と接尾辞の１つまたは両方と同様に、またはその代わりに挿入辞が使用されることができる。挿入辞を利用するために、挿入辞の音声の内容に加えて、単語の右か左の縁からの距離(単音の数か母音の数における)が指定される。このモデルでは、接頭辞と接尾辞はまさしく単語の縁からの距離が0である特別な場合であるだろう。トレーニングと実施のためのアルゴリズムの残りは同じなままで残っている。モデルをトレーニングするとき、精度と頻度の統計は集められ、予測の間あなたが接辞の整合を探すとき、各接辞はまさしく(接頭辞/接尾辞、単音系列)よりむしろ三つ組(単語の右か左の縁、単語の縁からの距離、単音系列)として表されるであろう。また、綴りの正しい接辞についての類推により、単に音声のユニットを綴りの正しいものに取り替えることによって、上述されたように同じことが可能である。
【００４４】
発明のさらなる実施例では、問題の単語の主要な強調がいったん予測されて、割り当てられると、単語の第2強調を予測するのに再び上の実施例を使用することができる。したがって、主要なおよび二次的な強調を予測しているシステムはモデルの2つのカスケードを含むであろう。二次的な強調のためのカスケードは、ヒストグラムが二次的な強調に関するデータを集めるであろうことを除いて、主要な強調のためと同じ方法でトレーニングされるであろう。二次的な強調のために生成されるツリーが主要な強調のためのツリーよりむしろ二次的な強調位置を予測するのに使用されるであろうことを除いて、実施は上の実施例で説明されたように、主要な強調のためと同じであるだろう。
【００４５】
また、発明のさらなる実施例では、システム内の１つまたは複数のモデルが、単語の中の識別子と関連する強調の間で否定的相関関係を確認するのに使用することができる。この場合、否定的相関関係モデルは実施のシステムにおける第１のモデルであり、最後のトレーニングの間、システムのさらに下側のモデルに束縛をかけるであろう。このより高いモデルは接辞(そして、ことによると他の特徴)と強調の間で否定的相関関係を利用する。このクラスのモデルは以前に説明されたモデルのカスケードの動作に変更を必要とする。目標単語が否定的相関関係モデルに整合されるとき、どんな値もすぐに応答しない。むしろ、関連した音節番号が非強調可能としてタグ付けされる。目標単語にただ１つの強調可能な母音が残っているならば、その母音の音節は応答されるが、さもなくば、いずれかの後の整合が目標単語の非強調可能母音に対応する強調位置に関連づけられるなら、その整合が無視されることを警告して探索が続けられる。
【００４６】
上で説明された方法とシステムは、コンピュータが発明の実施例を実行することを許容するためにコンピュータの読み込み可能なコードで実施されるかもしれない。上で説明された実施例の全てにおいて、単語と前記単語の強調予測は、発明を実行するためにコンピュータの読み込み可能なコードによって解釈できるデータによって表されるかもしれない。
本発明は全く一例として上で説明したが、発明の精神の中で変更をすることができる。発明は指定された機能とそれの関係の性能を例証している機能構成ブロックと方法ステップの援助で説明された。これらの機能構成ブロックと方法ステップの境界は記述の都合のためにそこに任意に定義された。指定された機能とそれの関係が適切に実行される限り、代わりの境界を定義することができる。したがって、そのような代わりの境界も請求された発明の範囲と精神の中である。当業者は、機能構成ブロックが離散的な構成要素、特定用途向け集積回路、適切なソフトウェアを実行するプロセッサおよび同等物またはその任意の組み合わせにより実施できることを認識するであろう。
発明はまた、ここに記述されまたは潜在的に含まれる、或は図面に示されまたは潜在的に含まれる何れかの個々の特徴、またはそのような特徴の任意の組み合わせ、またはそのような特徴または組み合わせの任意の一般化からなり、それはその同等物に達する。したがって、本発明の広さおよび範囲は上で説明された模範的実施例のいずれによっても制限されるべきでない。請求項を含んでいる明細書、要約書おとび図面に開示された各特徴は、明白に別の方法で述べられない場合、同じように役立つ代替の特徴、同等であるか同様の目的により取り替えられるかもしれない。
【００４７】
明細書の中の従来技術のどんな議論も、そのような従来技術が周知であるか、またはその分野で共通の一般的な知識の一部を形成するという自認ではない。
内容が明確に別の方法で必要としない限り、記述と請求項の中の“含む”、“含んでいる”という単語、および同様のものは、排他的または徹底的感覚に対立するものとして包括と解釈されるべきであり、すなわち、“含んでいる、しかし限定されない”の感覚である。
【図面の簡単な説明】
【００４８】
【図１】発明の第１の実施例において、特定の言語のモデルのトレーニング中における強調予測モデル間の関係のフローチャートを示す。
【図２】発明の第１の実施例のデフォルトモデルをトレーニングするために使用されるフローチャートを示す。
【図３】発明の第１の実施例の主モデルをトレーニングするために使用されるフローチャートを示す。
【図４】発明の第１の実施例の実施中における強調予測モデル間の関係のフローチャートを示す。
【図５】発明の第１の実施例の主モデルの実施のフローチャートを示す。
【図６】一連の特定の音韻について主モデルの実施で使用されるツリーを示す。
【図７】発明の第１の実施例の主モデルの実施のさらなるフローチャートを示す。
【図８】発明の第１の実施例の主モデルの実施のさらなるフローチャートを示す。
【図９】発明の第２の実施例のシステムをトレーニングするフローチャートを示す。
【図１０】発明の第２の実施例のより高いモデルをトレーニングするために使用されるフローチャートを示す。
【図１１】発明の第２の実施例のシステムの実施のフローチャートを示す。
【図１】
2006526160.tif 000004
【図２】
2006526160.tif 000005
【図３】
2006526160.tif 000006
【図４】
2006526160.tif 000007
【図５】
2006526160.tif 000008
【図６】
2006526160.tif 000009
【図７】
2006526160.tif 000010
【図８】
2006526160.tif 000011
【図９】
2006526160.tif 000012
【図１０】
2006526160.tif 000013
【図１１】
2006526160.tif 000014
【国際調査報告】
2006526160.tif 000015
2006526160.tif 000016