(57)【要約】長期および短期記憶に適切な制約を適用することによって、単語の予期せぬ出現を抑制するアーキテクチャ。適応の迅速性も、制約を活用することによって実現される。本アーキテクチャは、変換結果を出力する変換プロセスによる音声列の変換のためにユーザ入力履歴を処理する履歴コンポーネントと、変換プロセス中に、単語出現に影響する、短期記憶に適用される制約に基づいてユーザ入力履歴に変換プロセスを適応させる適応コンポーネントとを含む。本アーキテクチャは、文脈依存確率の相違に基づく確率上昇（短期記憶）、ならびに長期記憶と単語の先行文脈の頻度に基づくベースライン言語モデルとの間の動的線形補間（長期記憶）を実施する。
2012522278.tif 000002
【特許請求の範囲】
【請求項１】
変換プロセスによる音声列の変換のためにユーザ入力履歴を処理する履歴コンポーネント（１０２）と、
前記変換プロセスを、前記変換プロセス中に、単語出現に影響する短期記憶に適用される制約に基づいて前記ユーザ入力履歴に適応させる適応コンポーネント（１０８）と
を備えることを特徴とするコンピュータ実装音声システム（１００）。
【請求項２】
文脈依存確率の相違に基づいて確率を高めることによって、前記制約を適用する制約コンポーネントをさらに備えることを特徴とする請求項１に記載のシステム。
【請求項３】
文脈依存確率の相違に基づいて確率を高めることによって、長期記憶に制約を適用する制約コンポーネントをさらに備えることを特徴とする請求項１に記載のシステム。
【請求項４】
前記適応コンポーネントは、長期記憶と、前記長期記憶に基づくベースライン言語モデルとの間の動的線形補間を実施することを特徴とする請求項１に記載のシステム。
【請求項５】
前記制約は、単語が候補リストの第１の候補以外であるとき、前記単語の確率を高めることを特徴とする請求項１に記載のシステム。
【請求項６】
前記短期記憶に適用される前記制約は、文脈センシティブ短期記憶バイグラム確率を利用することを特徴とする請求項１に記載のシステム。
【請求項７】
前記短期記憶に適用される前記制約は、単語および文中での前記単語の文脈に基づいて確率を高めることを特徴とする請求項１に記載のシステム。
【請求項８】
前記文脈は、前記文中での前記単語に関連する先行文脈および後続文脈を含むことを特徴とする請求項７に記載のシステム。
【請求項９】
前記適応コンポーネントは、候補リストの第１の候補と前記候補リストの選択された候補との間の相違に基づいてフラグ学習を実施し、前記選択された候補を、次の変換プロセス中の第１の変換結果位置に移動する学習アルゴリズムを含むことを特徴とする請求項１に記載のシステム。
【請求項１０】
ユーザ入力履歴を、変換プロセス中の音声列の変換のために処理すること（５００）と、
前記変換プロセス中に前記ユーザ入力履歴に制約を適用することであって、前記履歴は、短期記憶および長期記憶を含むこと（５０２）と、
前記変換プロセスを、前記制約に基づいて前記ユーザ入力履歴に適応させること（５０４）と
を含むことを特徴とするコンピュータ実装音声方法。
【請求項１１】
文脈依存確率の相違に基づいて確率を高める制約を適用することをさらに含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
長期記憶と、前記長期記憶に基づくベースライン言語モデルとの間の動的線形補間を実施することをさらに含むことを特徴とする請求項１０に記載の方法。
【請求項１３】
単語が候補リストの第１の候補以外であるとき、前記単語の確率を高めることをさらに含むことを特徴とする請求項１０に記載の方法。
【請求項１４】
単語および文中の前記単語の文脈に基づいて確率を高める制約を前記短期記憶に適用することをさらに含むことを特徴とする請求項１０に記載の方法。
【請求項１５】
候補リストの第１の候補と前記候補リストの選択された候補との間の相違に基づいてフラグ学習を実施することと、
前記選択された候補を、次の変換プロセス中の第１の変換結果位置に移動するスことと
をさらに含むことを特徴とする請求項１０に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、統計的言語モデルへの適応に関し、より詳細には、長期および短期記憶に適切な制約を適用することによって、単語の予期せぬ出現を抑制するアーキテクチャに関する。
【背景技術】
【０００２】
入力方式を、音声列（読み方）を、たとえば、中国語、韓国語、および日本語などの東アジア言語用の表示文字に変換し、また、従来の漢字などでの字画を処理するのに利用することができる。同形同音異義語および様々な可能単語分割により、変換にはあいまいさが存在する。入力方式は、一般（たとえば、ベースライン、デフォルト）言語モデルおよびユーザ入力履歴に基づいてあいまいさを解消しようとする。ユーザ入力履歴への適応を、いくつかのやり方、たとえば、短期記憶および長期記憶で実施することができる。短期記憶は、適応の迅速性に対応し、長期記憶は、適応の安定性に対応する。変換結果は、短期および長期記憶からの情報を一般言語モデルに追加することによって決定される。
【０００３】
短期記憶を、単語の直前ユーザ選択（ユーザ入力履歴）に基づいて、単語スコアを高め、または単語ランクを変更することによって実装することができる。しかし、いくつかの単語は、使われた後で十分にすぐに出現するわけではなく、いくつかの単語は、使われた後で、受容できない文脈において予想外に出現する。ユーザ入力履歴を蓄積すると、長期記憶を実装することができる。しかし、いくつかの単語は、長期記憶の使用にもかかわらず、依然として受容できない文脈において予想外に出現する。
【発明の概要】
【０００４】
以下は、本明細書に記載するいくつかの新規実施形態を基本的な理解を提供するために、簡略化した要約を提示している。この要約は、包括的な概要ではなく、主要／重大な要素を確認すること、又はその範囲を定めることを意図していない。その唯一の目的は、後で提示するより詳細な説明の前置きとして、いくつかの概念を簡略化した形で提示することである。
【０００５】
本開示アーキテクチャは、長期および短期記憶に適切な制約を適用することによって、単語の予期せぬ出現を抑制する。適応の迅速性も、制約を活用することによって実現される。
【０００６】
本アーキテクチャは、変換結果を出力する変換プロセスによる音声列の変換のためにユーザ入力履歴を処理する履歴コンポーネントと、変換プロセス中に、単語出現に影響する、短期記憶に適用される制約に基づいてユーザ入力履歴に変換プロセスを適応させる適応コンポーネントとを含む。本アーキテクチャは、文脈依存確率の相違に基づく確率上昇（短期記憶）、および長期記憶と単語の先行文脈の頻度に基づくベースライン言語モデルとの間の動的線形補間（長期記憶）を実施する。
【０００７】
上記および関連する目的の遂行のために、本明細書では、特定の例示的態様を、以下の説明および添付の図面に関連して説明する。こうした態様は、本明細書に開示する原理を実施できる様々な方法を示し、その態様および等価物はすべて、「特許請求の範囲」の主題の範囲内であることを意図している。他の利点および新規特徴は、以下の詳細な説明を図面と併せて検討すると明らかになるであろう。
【図面の簡単な説明】
【０００８】
【図１】本開示アーキテクチャによるコンピュータ実施音声システムを示す図である。
【図２】図１の音声システムの追加態様を含むシステムを示す図である。
【図３】ウェイト（ｗｅｉｇｈｔ）の遷移を示すグラフを示す図である。
【図４】キャッシュウェイト遷移を示すグラフを示す図である。
【図５】コンピュータ実施音声方法を示す図である。
【図６】図５の方法の追加態様を示す図である。
【図７】図５の方法の追加態様を示す図である。
【図８】本開示アーキテクチャによる、統計的言語モデルへの高速であり安定した適応を実行するように動作可能なコンピューティングシステムを示すブロック図である。
【発明を実施するための形態】
【０００９】
既存の音声システムの変換の正確さは、一般的シナリオでは高くなり得るが、依然として、ある特定のユーザの言語空間が汎用空間とは異なるので、ユーザの期待に沿えない。このことは、特に個人名に当てはまり、表現の嗜好は、当然ながらユーザによって変わり、したがって、汎用言語モデルでは対処することができない。
【００１０】
本開示アーキテクチャは、ユーザが、短期間（たとえば、２〜３週間）製品を使った後には候補リストをそれ以上開く必要がなくなる自己調整技法である。さらに、本開示自己調整技法は、ユーザの作業能力を向上させる。本アーキテクチャは、文脈依存確率の相違に基づく確率上昇（短期記憶）、ならびに長期記憶と単語の先行文脈の頻度に基づくベースライン言語モデルとの間の動的線形補間（長期記憶）を実施する。
【００１１】
ここで図面を参照するが、同じ参照番号が、全体を通して同じ要素を指すのに使われている。以下の記述では、説明目的で、多数の具体的詳細を、その完全な理解を提供するために記載する。しかし、新規実施形態を、こうした具体的詳細なしで実施できることが明らかであろう。他の事例では、公知の構造およびデバイスを、その説明を容易にするためにブロック図の形で示す。意図するところは、「特許請求の範囲」の主題の趣旨および範囲内であるすべての修正形態、等価物、および代替形態をカバーすることである。
【００１２】
図１は、本開示アーキテクチャによるコンピュータ実装音声システム１００を示す。システム１００は、変換結果１０６を出力する変換プロセスによる、音声列１０５の変換のためにユーザ入力履歴１０４を処理する履歴コンポーネント１０２と、変換プロセス中に、単語出現に影響する、短期記憶１１２に適用される制約１１０に基づいて、変換プロセスをユーザ入力履歴１０４に適応させる適応コンポーネント１０８とを含む。
【００１３】
適応コンポーネント１０８は、長期記憶１１４と長期記憶１１４に基づくベースライン言語モデルとの間の動的線形補間を実施する。制約１１０は、単語が候補リストの第１の候補以外であるとき、単語の確率を高める。短期記憶１１２に適用される制約１１０は、文脈センシティブ短期記憶バイグラム確率を利用する。短期記憶１１２に適用される制約１１０は、単語および文中でのその単語の文脈に基づいて確率を高める。文脈は、文中の単語に対する先行文脈および後続文脈を含む。適応コンポーネント１０８は、候補リストの第１の候補と候補リストの選択された候補との間の相違に基づいてフラグ学習を実施し、選択された候補を、次の変換プロセス中の第１の変換結果位置に移動する学習アルゴリズムを含む。
【００１４】
図２は、図１の音声システム１００の追加態様を含むシステム２００を示す。システム２００は、変換プロセス２０４による音声列１０５の変換のためにユーザ入力履歴１０４を処理する履歴コンポーネント１０２と、変換プロセス２０４中に、単語出現に影響する、短期記憶１１２に適用される制約１１０に基づいて変換プロセス２０４をユーザ入力履歴１０４に適応させる適応コンポーネント１０８とを含む。
【００１５】
適応コンポーネント１０８は、長期記憶１１４と、長期記憶１１４に基づくベースライン言語モデル２０８との間の動的線形補間を実施する。制約１１０は、単語が候補リストの第１の候補以外であるとき、単語の確率を高める。短期記憶１１２に適用される制約１１０は、文脈センシティブ短期記憶バイグラム確率を利用する。短期記憶１１２に適用される制約１１０は、単語および文中でのその単語の文脈に基づいて確率を高める。文脈は、文中の単語に対する先行文脈および後続文脈を含む。適応コンポーネント１０８は、候補リストの第１の候補と候補リストの選択された候補との間の相違に基づいてフラグ学習を実施し、選択された候補を次の変換プロセス中の第１の変換結果位置に移動する学習アルゴリズムを含む。
【００１６】
システム２００は、文脈依存確率の相違に基づいて確率を高めることによって、制約１１０を適用する制約コンポーネント２０６をさらに備える。制約コンポーネント２０６は、文脈依存確率の相違に基づいて確率を高めることによって、１またはそれより多くの制約１１０を長期記憶１１４に適用することもできる。
【００１７】
言い換えると、音声システム２００は、変換プロセス２０４中に音声列１０５の変換のためにユーザ入力履歴１０４を処理する履歴コンポーネント１０２と、変換プロセス２０４中に１またはそれより多くの制約１１０をユーザ入力履歴１０４に適用する制約コンポーネント２０６とを含む。履歴１０４は、短期記憶１１２および長期記憶１１４を含む。システム２００は、制約１１０に基づいて変換プロセス２０４をユーザ入力履歴１０４に適応させる適応コンポーネント１０８も含む。
【００１８】
制約コンポーネント２０６は、制約１１０の１つまたは複数を短期記憶１１２に適用する。適用される制約１１０は、文脈センシティブ短期記憶バイグラム確率と、文脈依存確率の相違に基づいて確率を高める長期記憶１１４への１つまたは複数の制約１１０とを利用する。適応コンポーネント１０８は、長期記憶１１４と、長期記憶１１４に基づくベースライン言語モデル２０８との間の動的線形補間を実施する。制約（１１０は、単語が候補リストの第１の候補以外であるとき、単語の確率を高める。短期記憶１１２に適用される制約１１０は、単語および文中でのその単語の文脈に基づいて確率を高める。文脈は、文中の単語に対する先行文脈および後続文脈を含む。
【００１９】
以下は、統計的言語モデルへの、高速であり安定した適応に利用される計算の詳細説明である。
【００２０】
入力音声列用の入力方式変換結果は、以下の確率によって決定することができる。
【００２１】
【数１】
2012522278.tif 000003
【００２２】
上式で、Ｗは、単語シーケンスを含む文｛ｗ1，ｗ2，ｗ3，．．．，ｗN-1，ｗN｝であり、＜ｓ＞および＜／ｓ＞は、それぞれ文頭および文末に対する記号である。この式は、バイグラムモデル用であるが、トライグラムでも、より高次のｎグラムモデルでも表すことができる。
【００２３】
同形同音異義語および単語分割のあいまいさにより、入力音声列用に、多くの単語シーケンスＷが可能であり得る。
【００２４】
最も起こりそうな候補文が、変換結果として選択される。
【００２５】
【数２】
2012522278.tif 000004
【００２６】
各単語に対する確率は、以下のように画定することができる。
【００２７】
【数３】
2012522278.tif 000005
上式で、α、β、δは、合計が１になる（α＋β＋δ＝１）線形補間係数であり、Ｐbaseline（ｗn｜ｗn-1）は、トレーニングテキストデータベースから推定されるベースラインバイグラム確率であり（入力方式を初めて使うときは、この確率のみが値をもつ）、Ｐltm（ｗn｜ｗn-1）は、長期記憶に対するバイグラム確率であり、Ｐstm（ｗn｜ｗn-1）は、短期記憶に対するバイグラム確率である。長期記憶に対するバイグラム確率は、ユーザ入力履歴から、以下のように算出することができる。
【００２８】
【数４】
2012522278.tif 000006
【００２９】
上式で、Ｃuser（ｗn）は、ユーザが単語ｗnを使った回数であり、Ｃuser（ｗn-1，ｗn）は、ユーザが単語シーケンスｗn-1，ｗnを使う回数である。
【００３０】
短期記憶に対するバイグラム確率、すなわちＰstm（ｗn｜ｗn-1）は、単語が結果の第１の候補ではないが、ユーザが、候補リストからその単語を選択したときの単語の確率を高める。
【００３１】
【数５】
2012522278.tif 000007
【００３２】
上式で、Ｃuser-sel（ｗn-1，ｗn）は、ユーザが候補リストから単語シーケンスｗn-1，ｗnを選択する回数であり、Ｍは、選択の最大カウントである。Ｃuser-sel（・）はＭを超えることはないことに留意されたい。
【００３３】
上の式を、以下のように表される累乗で一般化することができる。
【００３４】
【数６】
2012522278.tif 000008
【００３５】
以下は、長期記憶の補足説明である。単語ｗnに対する線形補間ウェイトα、βは、Ｃuser（ｗn-1）により変化する。このことは、前の単語により、ウェイトが異なることを意味する。
【００３６】
目標ウェイトαtargetおよびβtargetは、Ｃuser（ｗn-1）が十分に大きいときに定義され、使われる。ｗnに対する実際のウェイトαおよびβを、以下のように算出することができる。
【００３７】
【数７】
2012522278.tif 000009
【００３８】
図３は、ウェイト遷移のグラフ３００を示す。グラフ３００は、短期記憶δ、長期記憶β、およびベースラインαに対する相対垂直範囲セグメントを示し、長期記憶βはβtargetで指定され、ベースラインはαtargetで指定される。グラフ３００は、時刻ｔで、単語が使われる回数が増すと、長期記憶に対するウェイトづけがβtargetに達することを示す。
【００３９】
Ｃuser（ｗn-1）が小さいとき、長期バイグラム確率は、高くなる傾向にあり、単語の予期せぬ出現をもたらす。しかし、このウェイト調整は、こうした種類の副次的悪影響を抑制し得る。
【００４０】
以下は、短期記憶の補足説明である。短期記憶バイグラム確率の文脈センシティブ使用、および確率の相違に依存する確率上昇という２つの手法を、個別に、または組み合わせて利用することができる。
【００４１】
第１の手法、すなわち短期記憶バイグラム確率の文脈センシティブ使用に関して、後続単語シーケンスに対して被選択カウントがゼロのとき、確率はゼロと見なされる。
【００４２】
【数８】
2012522278.tif 000010
【００４３】
先行単語シーケンスを使って、同様の結果を得ることができる。
【００４４】
【数９】
2012522278.tif 000011
【００４５】
こうした条件は、単語の品詞（ＰＯＳ）に依存して変えることができる。こうした条件に基づいて、確率上昇は、文脈に依存し、予め選択された単語の予期せぬ出現を抑制することができる。
【００４６】
第２の手法、すなわち確率の相違に依存する確率上昇に関して、Ｃuser-sel（ｗn-1，ｗn）を１ずつ増分することは、一部の単語には不十分であり、他の単語には過剰である場合がある。Ｃuser-sel（ｗn-1，ｗn）の適切な増分数は、単語および単語の文脈に依存する。
【００４７】
ユーザは、候補から単語を選択するが、これは、文がその単語を含む確率が、他の文がその単語を含む確率より低いからである。したがって、次回その単語を取得するために、文がその単語を含む確率は、他の文（前の変換での第１の文）がその単語を含む確率より高いものであるべきである。
【００４８】
図４は、キャッシュウェイト遷移のグラフ４００を示す。代替的実施形態において、キャッシュウェイト遷移は、一次関数を使って与えられ、キャッシュウェイトは、バイグラムキャッシュ（ｂｉｃａｃｈｅ）用のみである。バイグラムキャッシュウェイトは、先行単語のユニグラムキャッシュ（ｕｎｉｃａｃｈｅ）量に依存する。このことは、バイグラムキャッシュ確率Ｐbicache（ｗi｜ｗi-1）に対するウェイトがＣunicache（ｗi-1）に依存することを意味する。
【００４９】
【数１０】
2012522278.tif 000012
【００５０】
フラグウェイトδ＋εは一定である。ユニグラムキャッシュに対するウェイトも一定であるが、より初期のキャッシュによる副次的悪影響を削減するために、合計ユニグラムキャッシュカウントにオフセット値が加算される。
【００５１】
【数１１】
2012522278.tif 000013
【００５２】
フラグ学習は、確率の相違に依存する。バイグラムフラグの増大レベルは、第１の候補と選択された候補との間で推定される相違量に依存して変化する。選択された候補は、周辺文脈が同じ場合は第１の事後変換結果となる。
【００５３】
以下のケースについて検討してみるが、以下のアルゴリズムは、すべてのケースをカバーする。
【００５４】
ケース＃１：｛ｗa，ｗb，ｗc｝after conversion→｛ｗa，ｗx，ｗc｝after editing
ケース＃２：｛ｗa，ｗb1．．．ｗbm，ｗc｝after conversion→｛ｗa，ｗx，ｗc｝after editing
ケース＃３：｛ｗa，ｗb，ｗc｝after conversion→｛ｗa，ｗx1．．．ｗxn，ｗc｝after editing
ケース＃４：｛ｗa，ｗb1．．．ｗbm，ｗc｝after conversion→｛ｗa，ｗx1．．．ｗxn，ｗc｝after editing
以下の定義が与えられる。
【００５５】
Ｐ（ｗb｜ｗa）は、ベースライン、キャッシュ、およびフラグ確率を含む、学習前の単語バイグラム確率である。
【００５６】
【数１２】
2012522278.tif 000014
【００５７】
ＰL（ｗb｜ｗa）は、学習後の単語バイグラム確率である。キャッシュ確率の変化は、ここでは簡単にするために無視され、フラグ確率のみが、学習後に変化する。
【００５８】
【数１３】
2012522278.tif 000015
【００５９】
ユーザが候補リストから代替候補を選択するときの第１の候補である候補単語のフラグカウントは、学習後に１だけ減分される。
【００６０】
【数１４】
2012522278.tif 000016
【００６１】
候補単語が候補リストから選択される、対応する候補単語のユニグラムフラグカウントは、１だけ増分される。候補リストから選択される、対応する候補単語のバイグラムフラグカウントが増分されるが、増分量を決定する必要がある。
【００６２】
アルゴリズムに関して、学習前に、第１の候補と選択された候補との間の大小関係は、以下の通りである。
【００６３】
【数１５】
2012522278.tif 000017
【００６４】
学習後の大小は、以下のようになる。
【００６５】
【数１６】
2012522278.tif 000018
【００６６】
確率ＰL（ｗb｜ｗa）・ＰL（ｗc｜ｗb）およびＰ（ｗx｜ｗa）・Ｐ（ｗc｜ｗx）は既知であり、ＰL（ｗx｜ｗa）・ＰL（ｗc｜ｗx）の算出法が所望される。
【００６７】
学習による確率の変化は、累乗（または指数）として表すことができる。
【００６８】
【数１７】
2012522278.tif 000019
【００６９】
したがって、
【００７０】
【数１８】
2012522278.tif 000020
となる。次いで、ψは、
【００７１】
【数１９】
2012522278.tif 000021
【００７２】
として算出することができる。
【００７３】
次に、ψからＰflag（ｗx｜ｗa）+dを算出する。
【００７４】
【数２０】
2012522278.tif 000022
以下の等式が満たされる場合は、上の等式が満たされる。
【００７５】
【数２１】
2012522278.tif 000023
【００７６】
および
【００７７】
【数２２】
2012522278.tif 000024
【００７８】
【数２３】
2012522278.tif 000025
【００７９】
について検討する。
【００８０】
【数２４】
2012522278.tif 000026
【００８１】
【数２５】
2012522278.tif 000027
【００８２】
【数２６】
2012522278.tif 000028
【００８３】
【数２７】
2012522278.tif 000029
【００８４】
【数２８】
2012522278.tif 000030
【００８５】
増分の量ｄは、確率の相違に基づいて算出することができる。
【００８６】
【数２９】
2012522278.tif 000031
【００８７】
フラグ学習確率は、フラグカウントに対応することによって用意される。フラグカウントの範囲は、たとえば８、１６または３２でよい。カウント数が増すと、このアルゴリズムはより正確に作用する。
【００８８】
本開示アーキテクチャの新規態様を実施する例示的な手順を表す１組のフローチャートが、本明細書に含まれる。説明を簡単にするために、たとえば、フローチャートまたはフロー図の形で本明細書に示す１またはそれより多くの手順は、一連の作用として示し説明するが、手順は作用の順序によって限定されないことを理解されたい。というのは、いくつかの作用は、手順によって異なる順序で起こることもでき、かつ／または本明細書において示し説明する他の作用と同時に起こることもできるからである。たとえば、手順もまた状態図において等、相関する状態またはイベントとしても表され得ることが当業者には理解されよう。さらに、手順に例示するすべての作用が、新規実装形態に必要となり得るわけではない。
【００８９】
図５は、コンピュータ実装音声方法を示す。５００で、ユーザ入力履歴が、変換プロセス中の音声列の変換のために処理される。５０２で、変換プロセス中にユーザ入力履歴に制約が適用されるが、履歴は短期記憶および長期記憶を含む。５０４で、変換プロセスは、制約に基づいてユーザ入力履歴に適応される。
【００９０】
図６は、図５の方法の追加態様を示す。６００で、文脈依存確率の相違に基づいて確率を高める制約が適用される。６０２で、長期記憶と長期記憶に基づくベースライン言語モデルとの間の動的線形補間が実施される。６０４で、単語が候補リストの第１の候補以外であるとき、単語の確率が高められる。
【００９１】
図７は、図５の方法の追加態様を示す。７００で、単語および文中でのその単語の文脈に基づいて確率を高める制約が短期記憶に適用される。７０２で、候補リストの第１の候補と候補リストの選択された候補との間の相違に基づいてフラグ学習が実施される。７０４で、選択された候補は、次の変換プロセスにおける第１の変換結果位置に移動される。
【００９２】
本出願において使われるとき、「コンポーネント」および「システム」などの用語は、コンピュータ関連のエンティティ、すなわちハードウェア、ハードウェアおよびソフトウェアの組合せ、ソフトウェア、または実行中のソフトウェアのいずれかを指すことを意図している。たとえば、コンポーネントは、プロセッサ上で稼動する処理、プロセッサ、ハードディスクドライブ、（光学、半導体および／又は磁気記憶媒体の）複数の記憶ドライブ、オブジェクト、実行可能ファイル、実行スレッド、プログラム、および／またはコンピュータでよいが、それに限定されない。例示として、サーバ上で稼動するアプリケーションおよびそのサーバ両方がコンポーネントとなり得る。１またはそれより多くのコンポーネントが実行プロセスおよび／またはスレッド中に常駐してよく、コンポーネントは、１台のコンピュータに配置し、および／または２台以上のコンピュータの間に分散してよい。「例示的」という言葉は、本明細書において、一例、事例、または例示となることを意味するために使われ得る。「例示的」として本明細書に記載するどの態様又は設計も、必ずしも他の態様または設計よりも好まれ、または有利であることを企図しているわけではない。
【００９３】
ここで図８を参照すると、本開示アーキテクチャによる、統計的言語モデルへの高速であり安定した適応を実行するように動作可能なコンピューティングシステム８００のブロック図が示されている。様々な態様のための追加コンテキストを提供するために、図８および以下の説明は、様々な態様が実装され得る適切なコンピューティングシステム８００を簡潔な、一般的な説明を提供することを意図している。上記説明は、１またはそれより多くのコンピュータ上で実行し得るコンピュータ実行可能命令の一般的コンテキストにおけるものであるが、新規実施形態も、他のプログラムモジュールと組み合わせて、および／またはハードウェアとソフトウェアの組合せとして実装できることが当業者には理解されよう。
【００９４】
様々な態様を実装するコンピューティングシステム８００は、処理ユニット８０４、システムメモリ８０６、およびシステムバス８０８をもつコンピュータ８０２を含む。処理ユニット８０４は、シングルプロセッサ、マルチプロセッサ、シングルコアユニットおよびマルチコアユニットなど、市販されている様々なプロセッサのいずれでもよい。さらに、新規方法は、１またはそれより多くの関連デバイスにそれぞれを動作可能に結合できる、ミニコンピュータ、メインフレームコンピュータ、ならびにパーソナルコンピュータ（たとえば、デスクトップ、ラップトップなど）、ハンドヘルドコンピューティングデバイス、マイクロプロセッサベースまたはプログラム可能な家電製品などを含む他のコンピュータシステム構成で実施され得ることが当業者には理解されよう。
【００９５】
システムメモリ８０６は、揮発性（ＶＯＬ）メモリ８１０（たとえば、ＲＡＭ（ランダムアクセスメモリ））および不揮発性メモリ（ＮＯＮ−ＶＯＬ）８１２（たとえば、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなど）を含み得る。ＢＩＯＳ（基本入出力システム）は、不揮発性メモリ８１２に格納することができ、起動中などに、コンピュータ８０２内部のコンポーネントの間でのデータおよび信号の通信を容易にする基本ルーチンを含む。揮発性メモリ８１０は、データをキャッシュに格納するスタティックＲＡＭなどの高速ＲＡＭも含み得る。
【００９６】
システムバス８０８は、メモリサブシステム８０６を含むがそれに限定されないシステムコンポーネントと処理ユニット８０４とのインターフェイスを提供する。システムバス８０８は、市販されている様々なバスアーキテクチャのいずれかを用いる、（メモリコントローラを用いてまたは用いずに）メモリバスにさらに相互接続し得るいくつかのタイプのバス構造、および周辺バス（たとえば、ＰＣＩ、ＰＣＩｅ、ＡＧＰ、ＬＰＣなど）のいずれでもよい。
【００９７】
コンピュータ８０２は、記憶サブシステム８１４と、記憶サブシステム８１４をシステムバス８０８および他の所望のコンピュータコンポーネントとインターフェイスをとらせる記憶インターフェイス８１６とをさらに含む。記憶サブシステム８１４は、たとえば、ハードディスクドライブ（ＨＤＤ）、磁気フロッピー（登録商標）ディスクドライブ（ＦＤＤ）、および／または光ディスク記憶ドライブ（たとえば、ＣＤ−ＲＯＭドライブ、ＤＶＤドライブ）の１またはそれより多くを含み得る。記憶インターフェイス８１６は、たとえば、ＥＩＤＥ、ＡＴＡ、ＳＡＴＡ、およびＩＥＥＥ１３９４などのインターフェイス技術を含み得る。
【００９８】
１またはそれより多くのプログラムおよびデータを、オペレーティングシステム８２０、１つまたは複数のアプリケーションプログラム８２２、他のプログラムモジュール８２４、およびプログラムデータ８２６を含む、メモリサブシステム８０６、取外し可能メモリサブシステム８１８（たとえば、フラッシュドライブフォームファクター技術）、ならびに／または記憶サブシステム８１４（たとえば、光学、磁気、半導体）に格納できる。
【００９９】
１またはそれより多くのアプリケーションプログラム８２２、他のプログラムモジュール８２４、およびプログラムデータ８２６は、たとえば、図１のシステム１００およびコンポーネント、図２のシステム２００およびコンポーネント、グラフ３００、４００で表される関係、ならびに図５〜７のフローチャートで表される方法を含むことができる。
【０１００】
一般的に、プログラムは、特定のタスクを実施し、または特定の抽象データタイプを実装するルーチン、方法、データ構造、他のソフトウェアコンポーネントなどを含む。オペレーティングシステム８２０、アプリケーション８２２、モジュール８２４、および／またはデータ８２６の全部または一部を、たとえば、揮発性メモリ８１０などのメモリにもキャッシュできる。本開示アーキテクチャを、市販されている様々なオペレーティングシステム、またはオペレーティングシステム（たとえば、仮想マシンとして）の組合せで実装できることを理解されたい。
【０１０１】
記憶サブシステム８１４およびメモリサブシステム（８０６、８１８）は、データ、データ構造、コンピュータ実行可能命令などの揮発性および不揮発性記憶のためのコンピュータ可読媒体として働く。コンピュータ可読媒体は、コンピュータ８０２がアクセスできる利用可能などの媒体とすることができ、揮発性および不揮発性媒体、取外し可能および固定型媒体を含む。コンピュータ８０２にとって、媒体は、適切などのデジタル形式のデータの格納にも適合する。本開示アーキテクチャの新規方法を実施するコンピュータ実行可能命令を格納する、たとえばジップドライブ、磁気テープ、フラッシュメモリカード、カートリッジなど、他のタイプのコンピュータ可読媒体を利用できることが当業者には理解されよう。
【０１０２】
ユーザは、キーボードおよびマウスなどの外部ユーザ入力デバイス８２８を使ってコンピュータ８０２、プログラム、およびデータと対話することができる。他の外部ユーザ入力デバイス８２８は、マイクロホン、ＩＲ（赤外線）リモコン、ジョイスティック、ゲームパッド、カメラ認識システム、スタイラスペン、タッチスクリーン、ジェスチャーシステム（たとえば、目の動き、頭の動きなど）などを含み得る。ユーザは、たとえばタッチパッド、マイクロホン、キーボードなどの搭載ユーザ入力デバイス８３０を使ってコンピュータ８０２、プログラム、およびデータと対話することができ、コンピュータ８０２は、たとえば可搬型コンピュータである。こうしたおよび他の入力デバイスを、システムバス８０８を介して入出力（Ｉ／Ｏ）デバイスインターフェイス８３２により処理ユニット８０４に接続するが、たとえばパラレルポート、ＩＥＥＥ１３９４シリアルポート、ゲームポート、ＵＳＢポート、ＩＲインターフェイスなど、他のインターフェイスによっても接続することができる。Ｉ／Ｏデバイスインターフェイス８３２は、たとえばプリンタ、オーディオデバイス、カメラデバイス、ならびにそれ以外、たとえばサウンドカードおよび／またはオンボードオーディオ処理能力などの出力周辺装置８３４の使用も容易にする。
【０１０３】
１またはそれより多くのグラフィックスインターフェイス８３６（一般にはグラフィックス処理ユニット（ＧＰＵ）とも呼ばれる）は、コンピュータ８０２、外部ディスプレイ８３８（たとえば、ＬＣＤ、プラズマ）および／または搭載ディスプレイ８４０（たとえば、可搬型コンピュータ用）の間でグラフィックスおよびビデオ信号を提供する。グラフィックスインターフェイス８３６は、コンピュータシステムボードの一部として製造してもよい。
【０１０４】
コンピュータ８０２は、１またはそれより多くのネットワークおよび／または他のコンピュータへのワイヤード／ワイヤレス通信サブシステム８４２を介した論理接続を使って、ネットワーク接続された環境（たとえば、ＩＰ）内で動作し得る。他のコンピュータは、ワークステーション、サーバ、ルータ、パーソナルコンピュータ、マイクロプロセッサベースの娯楽機器、ピアデバイスまたは他の共通ネットワークノードを含み、コンピュータ８０２に関連して記載した要素の多くまたはすべてを典型的に含み得る。論理接続は、ＬＡＮ（ローカルエリアネットワーク）、ＷＡＮ（ワイドエリアネットワーク）、ホットスポットなどとのワイヤード／ワイヤレス接続性を含み得る。ＬＡＮおよびＷＡＮネットワーク接続環境は、職場および企業においてよく見られ、イントラネットなど、企業規模のコンピュータネットワークを容易にし、これらはすべて、インターネットなどのグローバル通信ネットワークに接続し得る。
【０１０５】
ネットワーク接続環境内で使われる場合、コンピュータ８０２は、ワイヤード／ワイヤレス通信サブシステム８４２（たとえば、ネットワークインターフェイスアダプタ、搭載トランシーバサブシステムなど）を介してネットワークに接続して、ワイヤード／ワイヤレスネットワーク、ワイヤード／ワイヤレスプリンタ、ワイヤード／ワイヤレス入力デバイス８４４などと通信する。コンピュータ８０２は、モデムを含むことができ、またはネットワーク上の通信を確立する他の手段を有する。ネットワーク接続された環境では、コンピュータ８０２に関連するするプログラムおよびデータを、分散型システムに関連づけられたものとしてリモートメモリ／記憶デバイスに格納することができる。図示したネットワーク接続は例示であり、コンピュータの間で通信リンクを確立する他の手段も使用できることが理解されよう。
【０１０６】
コンピュータ８０２は、ＩＥＥＥ８０２．ｘｘ系の標準などの無線技術を用いて、たとえば、プリンタ、スキャナ、デスクトップおよび／または可搬型コンピュータ、ＰＤＡ（携帯情報端末）、通信衛星、ワイヤレスに検出可能なタグ、および電話に関連づけられたどの機器または場所（たとえば、キオスク、ニューススタンド、洗面所）ともワイヤレス通信（たとえば、ＩＥＥＥ８０２．１１無線経由の変調技法）するように動作可能に配置されたワイヤレスデバイスなどのワイヤード／ワイヤレスデバイスまたはエンティティと通信するように動作可能である。これは、少なくとも、ホットスポット用のＷｉ−Ｆｉ（すなわち、ワイヤレスフィデリティ）、ＷｉＭａｘ、およびブルートゥース（商標）ワイヤレス技術を含む。したがって、通信は、従来のネットワークでのように、予め定義された構造でも、単に少なくとも２つのデバイスの間のアドホック通信でもよい。Ｗｉ−Ｆｉネットワークは、安全で安心な高速ワイヤレス接続性を提供するための、ＩＥＥＥ８０２．１１ｘ（ａ、ｂ、ｇなど）と呼ばれる無線技術を用いる。Ｗｉ−Ｆｉネットワークを、コンピュータを互いと、インターネットと、およびワイヤーネットワーク（ＩＥＥＥ８０２．３に関係した媒体および機能を用いる）と接続するのに使うことができる。
【０１０７】
上記の説明内容は、開示したアーキテクチャのいくつかの例を含む。当然ながら、コンポーネントおよび／または手順のあらゆる組合せを説明することはできないが、さらに多くの組合せおよび置換が可能であることが、当業者には理解できよう。したがって、新規アーキテクチャは、添付の特許請求の範囲の趣旨および範囲内であるこのようなすべての変更形態、修正形態、および変形形態を包含することを意図したものである。さらに、詳細な説明または請求項で「含む」という用語が使われている限りでは、請求項で移行語として解釈されるときに「備える」がそう解釈されるように、「備える」という用語と同様に包括的であることを意図している。
【図１】
2012522278.tif 000032
【図２】
2012522278.tif 000033
【図３】
2012522278.tif 000034
【図４】
2012522278.tif 000035
【図５】
2012522278.tif 000036
【図６】
2012522278.tif 000037
【図７】
2012522278.tif 000038
【図８】
2012522278.tif 000039
【国際調査報告】
2012522278.tif 000040
2012522278.tif 000041