"入力センテンスに基づいて、該センテンス中の複数の単語の各々について複数の選択肢を提供するテキストベースの表現を生成する選択肢生成器と、インターネットコーパスに少なくとも部分的に基づいて、前記センテンス中の前記複数の単語の各々について少なくとも前記複数の選択肢の中から選択をするための選択器と、前記選択器による選択に基づいて訂正出力を提供するよう機能する訂正生成器を備えるコンピュータ支援言語訂正システム。前記選択器が、綴り訂正機能、誤用単語の訂正機能、および文法訂正機能のうちの少なくとも一つに基づいて前記選択を行うよう機能する、請求項1に記載のコンピュータ支援言語訂正システム。前記選択器が、綴り訂正機能、誤用単語の訂正機能、および文法訂正機能のうちの少なくとも二つに基づいて前記選択を行うよう機能する、請求項1に記載のコンピュータ支援言語訂正システム。前記選択器が、訂正についての以下の時間的順序:誤用単語の訂正および文法訂正のうちの少なくとも一つの前に綴り訂正を行うこと、のうちの少なくとも一つに基づいて前記選択を行うよう機能する、請求項3に記載のコンピュータ支援言語訂正システム。前記入力センテンスが、ワードプロセッサ機能、機械翻訳機能、音声テキスト変換機能、光学文字認識機能、およびインスタントメッセージ機能のうちの一つによって提供され、前記選択器が、誤用単語の訂正機能、および文法訂正機能のうち少なくとも一つに基づいて前記選択を行うよう機能する、請求項2から4のいずれかに記載のコンピュータ支援言語訂正システム。前記訂正生成器が、ユーザの介入を必要とすることなく、前記選択器による選択に基づいて、訂正言語の出力を提供するよう機能する訂正言語入力生成器を備える、請求項2から5のいずれかに記載のコンピュータ支援言語訂正システム。前記文法訂正機能が、句読点、動詞の活用、単数形/複数形、冠詞、および前置詞の訂正機能のうちの少なくとも一つを含む、請求項2から6のいずれかに記載のコンピュータ支援言語訂正システム。前記文法訂正機能が、置換、挿入および脱落の訂正機能のうちの少なくとも一つを含む、請求項2から7のいずれかに記載のコンピュータ支援言語訂正システム。前記選択器が、インターネットコーパス中での文脈特徴シーケンスCFSの発生頻度に少なくとも部分的に基づいて、前記複数の選択肢をランク付けするよう機能する文脈ベースのスコア付け機能を含む、請求項1から8のいずれかに記載のコンピュータ支援言語訂正システム。前記文脈ベースのスコア付け機能がまた、前記インターネットコーパス中での正規化されたCFSの発生頻度に少なくとも部分的に基づいて、前記複数の選択肢をランク付けするよう機能する、請求項9に記載のコンピュータ支援言語訂正システム。綴り訂正機能、誤用単語の訂正機能文法訂正機能、および前記綴り訂正機能、前記誤用単語の訂正機能および前記文法訂正機能のうちの少なくとも一つと協力するとともに、インターネットコーパスを用いる文脈特徴シーケンス機能のうちの少なくとも一つを備えるコンピュータ支援言語訂正システム。前記文法訂正機能が、句読点、動詞の活用、単数形/複数形、冠詞および前置詞の訂正機能のうちの少なくとも一つを含む、請求項11に記載のコンピュータ支援言語訂正システム。前記文法訂正機能が、置換、挿入および脱落の訂正機能のうちの少なくとも一つを含む、請求項11または12に記載のコンピュータ支援言語訂正システム。前記綴り訂正機能と、前記誤用単語の訂正機能と、前記文法訂正機能のうちの少なくとも二つを備え、かつ、前記文脈特徴シーケンス機能が、前記綴り訂正機能、前記誤用単語の訂正機能および前記文法訂正機能のうちの少なくとも二つと協力するとともに、インターネットコーパスを用いるものである、請求項11から13のいずれかに記載のコンピュータ支援言語訂正システム。前記綴り訂正機能と、前記誤用単語の訂正機能と、前記文法訂正機能を備え、かつ、前記文脈特徴シーケンス機能が、前記綴り訂正機能、前記誤用単語の訂正機能および前記文法訂正機能と協力するとともに、インターネットコーパスを用いるものである、請求項11から13のいずれかに記載のコンピュータ支援言語訂正システム。前記訂正生成器が、ユーザの介入を必要とすることなく、前記選択器による選択に基づいて、訂正言語の出力を提供するよう機能する訂正言語生成器を備える、請求項11から15のいずれかに記載のコンピュータ支援言語訂正システム。言語入力に基づいて、センテンス中の複数の単語の各々について複数の選択肢を提供するテキストベースの表現を生成する選択肢生成器と、前記言語入力中の前記複数の単語の各々について少なくとも前記複数の選択肢の中から選択をするための選択器であって、前記言語入力中の前記複数の単語の少なくとも一部について前記複数の選択肢から選択されたもの同士の関係に少なくとも部分的に基づいて該選択をする選択器と、前記選択器による選択に基づいて訂正出力を提供するよう機能する訂正生成器を備えるコンピュータ支援言語訂正システム。前記言語入力が、入力センテンスと入力テキストのうちの少なくとも一つを含む、請求項17に記載のコンピュータ支援言語訂正システム。前記言語入力が音声であり、前記生成器が、前記音声での言語入力を、前記言語入力中の複数の単語について複数の選択肢を提供するテキストベースの表現に変換するものである、請求項17または18に記載のコンピュータ支援言語訂正システム。前記言語入力が、テキスト入力、光学文字認識機能の出力、機械翻訳機能の出力、およびワードプロセッシング機能の出力、のうちの少なくとも一つであり、前記生成器が、前記テキストでの言語入力を、前記言語入力中の複数の単語について複数の選択肢を提供するテキストベースの表現に変換するものである、請求項17または18に記載のコンピュータ支援言語訂正システム。前記選択器が、綴り訂正機能、誤用単語の訂正機能、および文法訂正機能のうちの少なくとも二つに基づいて前記選択を行うよう機能する、請求項17から20のいずれかに記載のコンピュータ支援言語訂正システム。前記選択器が、訂正についての以下の時間的順序:誤用単語の訂正および文法訂正のうちの少なくとも一つの前に綴り訂正を行うこと、のうちの少なくとも一つに基づいて前記選択を行うよう機能する、請求項21に記載のコンピュータ支援言語訂正システム。前記言語入力が音声であり、前記選択器が、誤用単語の訂正機能、および文法訂正機能のうちの少なくとも一つに基づいて前記選択を行うよう機能する、請求項17から19のいずれかに記載のコンピュータ支援言語訂正システム。前記選択器が、以下の機能:初期選択のために、単語または単語の組み合わせの第一セットを選択する機能であって、該単語の組み合わせは前記言語入力中の前記複数の単語の全てではなく一部の単語を含むものである機能、その後、選択の優先度を確立するために、前記単語または単語の組み合わせの第一セットの要素に順序付けをする機能、および、その後、前記第一セットの単語の要素について前記複数の選択肢の中から選択を行う際に、該選択に影響する文脈として、前記複数の単語の中から他の単語を、全てではないが、選択する機能、のうちの少なくとも二つを実行することにより前記選択を行うよう機能する、請求項17から23のいずれかに記載のコンピュータ支援言語訂正システム。前記選択器が、以下の機能:少なくとも二つの単語を有する要素についての選択を行う際に、該少なくとも二つの単語の各々についての前記複数の選択肢の各々の評価を、該少なくとも二つの単語の互いについての前記複数の選択肢の各々と組み合わせて行う機能、を実行することによって前記選択を行うよう機能する、請求項17から24のいずれかに記載のコンピュータ支援言語訂正システム。前記訂正生成器が、ユーザの介入を必要とすることなく、前記選択器による選択に基づいて、訂正言語の出力を提供するよう機能する訂正言語入力生成器を備える、請求項17から25のいずれかに記載のコンピュータ支援言語訂正システム。言語入力の文脈内での適合度に基づいて該言語入力中の単語の少なくとも大部分を評価する誤用単語検出器と、前記検出器による評価に少なくとも部分的に基づいて、訂正出力を提供するよう機能する訂正生成器を備えるコンピュータ支援言語訂正システム。前記言語入力に基づいて、該言語入力中の前記少なくとも大部分の単語のうちの少なくとも一つについて複数の選択肢を提供するテキストベースの表現を生成する選択肢生成器と、前記言語入力中の前記少なくとも大部分の単語のうちの前記少なくとも一つの各々について少なくとも前記複数の選択肢の中から選択を行うための選択器をさらに備え、前記訂正生成器が、前記選択器による選択に基づいて、前記訂正出力を提供するよう機能する、請求項27に記載のコンピュータ支援言語訂正システム。前記言語入力中の前記単語の前記少なくとも大部分のうちの少なくとも一部についてその単語が誤用単語である疑いの程度を表示する被疑単語出力表示器をさらに備える、請求項27または28に記載のコンピュータ支援言語訂正システム。前記訂正生成器が、ユーザの介入を必要とすることなく、前記検出器による評価に少なくとも部分的に基づいて、訂正テキストの出力を提供するよう機能する自動訂正言語生成器を備える、請求項27から29のいずれかに記載のコンピュータ支援言語訂正システム。前記言語入力が音声であり、前記選択器が、誤用単語の訂正機能、および文法訂正機能のうちの少なくとも一つに基づいて前記選択を行うよう機能する、請求項27から30のいずれかに記載のコンピュータ支援言語訂正システム。言語入力中の単語を評価する誤用単語検出器と、前記検出器によって疑わしい単語として評価された前記言語入力中の前記単語のうちの少なくとも一部について複数の選択肢を生成する選択肢生成器であって、前記言語入力中の単語についての前記複数の選択肢の少なくとも一つが、インターネットコーパス中での前記言語入力中の前記単語の文脈的な特徴と一致するものである、選択肢生成器と、少なくとも前記複数の選択肢の中から選択をするための選択器と、前記選択器による選択に少なくとも部分的に基づいて訂正出力を提供するよう機能する訂正生成器を備えるコンピュータ支援言語訂正システム。言語入力中の単語を評価し、疑わしい単語を特定する誤用単語検出器と、前記疑わしい単語についての複数の選択肢を生成する選択肢生成器と、複数の選択基準に従って、前記疑わしい単語、および、前記選択肢生成器によって生成された前記疑わしい単語についての前記複数の選択肢のうちの一つ一つに、それぞれ等級を付け、前記選択肢生成器によって生成された前記疑わしい単語についての前記複数の選択肢のうちの一つ一つに対して、前記疑わしい単語にとって有利になるバイアスを適用する選択器と、前記選択器による選択に少なくとも部分的に基づいて、訂正出力を提供するよう機能する訂正生成器を備えるコンピュータ支援言語訂正システム。入力に基づいて、該入力中の少なくとも一つの単語について複数の選択肢を生成する選択肢生成器と、複数の選択基準に従って、前記少なくとも一つの単語、および、前記選択肢生成器によって生成された前記少なくとも一つの単語についての前記複数の選択肢のうちの一つ一つに、それぞれ等級を付け、前記選択肢生成器によって生成された前記少なくとも一つの単語についての前記複数の選択肢のうちの一つ一つに対して、前記少なくとも一つの単語にとって有利になるバイアスであって、前記入力を提供する人の不確実性を示す入力不確実性メトリックの関数であるバイアスを適用する選択器と、前記選択器による選択に基づいて、訂正出力を提供するよう機能する訂正生成器を備えるコンピュータ支援言語訂正システム。言語入力中の単語の少なくとも大部分を評価し、前記入力を提供する人の不確実性を示す入力不確実性メトリックに少なくとも部分的に応答し、正しくないと疑われる単語の出力を提供する、誤単語検出器と、前記正しくないと疑われる単語の出力によって特定された被疑誤単語について複数の選択肢を生成する選択肢生成器と、各被疑誤単語、および、前記選択肢生成器によって生成された前記複数の選択肢の中から選択をするための選択器と、前記選択器による選択に基づいて、訂正出力を提供するよう機能する訂正生成器を備えるコンピュータ支援言語訂正システム。複数単語入力を受けて訂正出力を提供する、綴り訂正モジュール、誤用単語訂正モジュールおよび文法訂正モジュールのうちの少なくとも一つを備えるコンピュータ支援言語訂正システムであって、前記綴り訂正モジュール、前記誤用単語訂正モジュールおよび前記文法訂正モジュールのうちの前記少なくとも一つの各々は、選択的単語候補生成器と選択器を含み、前記選択的単語候補生成器は、前記入力中の単語に対する音声類似度に基づいて単語選択肢を提案し、かつ、音声類似度のメトリックを表示するよう機能する音声類似度機能と、前記入力中の単語に対する文字列の類似度に基づいて単語選択肢を提案し、かつ、単語選択肢ごとに文字列の類似度のメトリックを表示するよう機能する文字列類似度機能を含み、前記選択器は、文脈ベースの選択機能と一緒に、前記音声類似度のメトリックおよび文字列の類似度のメトリックを用いることによって、前記出力中の単語、または、前記選択的単語候補生成器によって提案された選択的単語候補のいずれかを選択するよう機能する、コンピュータ支援言語訂正システム。複数単語の言語入力を受けて疑わしい単語を表示する被疑単語出力を提供する被疑単語特定機能と、前記疑わしい単語を含む特徴を特定するよう機能する特徴特定機能と、前記疑わしい単語について選択肢を特定する選択肢選択器と、コーパスを用いて発生出力を提供し、該コーパス中での使用頻度に応じて前記選択肢を含む各種特徴にランクを付ける特徴発生機能と、前記発生出力を用いて訂正出力を提供する選択器を備えるコンピュータ支援言語訂正システムであって、前記特徴特定機能は、誤りを含むと疑われる特徴を除去する機能、前記複数単語の入力の以前の訂正の繰り返しにおいて導入された単語を含み、かつ、信頼水準の所定の閾値を下回る信頼水準を有する特徴を、負にバイアスする機能、および、所定の頻度の閾値を上回る発生頻度を有する他の特徴に含まれる特徴を除去する機能、のうちの少なくとも一つを含む特徴除去機能を備える、コンピュータ支援言語訂正システム。前記選択器が、綴り訂正機能、誤用単語の訂正機能、および文法訂正機能のうちの少なくとも二つに基づいて前記選択を行うよう機能する、請求項32から37のいずれかに記載のコンピュータ支援言語訂正システム。前記選択器が、訂正についての以下の時間的順序:誤用単語の訂正および文法訂正のうちの少なくとも一つの前に綴り訂正を行うこと、のうちの少なくとも一つに基づいて前記選択を行うよう機能する、請求項39に記載のコンピュータ支援言語訂正システム。前記言語入力が音声であり、前記選択器が、文法訂正機能、および誤用単語の訂正機能、のうちの少なくとも一つに基づいて前記選択を行うよう機能する、請求項32から39のいずれかに記載のコンピュータ支援言語訂正システム。前記訂正生成器が、ユーザの介入を必要とすることなく、前記選択器による選択に基づいて、訂正言語の出力を提供するよう機能する訂正言語入力生成器を備える、請求項32から40のいずれかに記載のコンピュータ支援言語訂正システム。前記選択器がまた、ユーザ入力不確実性メトリックに少なくとも部分的に基づいて、前記選択を行うよう機能する、請求項32から33および36から41のいずれかに記載のコンピュータ支援言語訂正システム。前記ユーザ入力不確実性メトリックが、前記入力を提供する人の不確実性の測定量に基づく関数である、請求項42に記載のコンピュータ支援言語訂正システム。前記選択器が、ユーザ入力履歴学習機能も用いるものである、請求項32から43のいずれかに記載のコンピュータ支援言語訂正システム。複数単語の言語入力を受けて疑わしい単語を表示する被疑単語出力を提供する被疑単語特定機能と、前記疑わしい単語を含む特徴を特定するよう機能する特徴特定機能と、前記疑わしい単語に対する選択肢を特定する選択肢選択器と、コーパスを用いて発生出力を提供し、該コーパス中での使用頻度に応じて前記選択肢を含む特徴にランクを付ける発生機能と、前記発生出力を用いて訂正出力を提供する訂正出力生成器を備えるコンピュータ支援言語訂正システムであって、前記特徴特定機能が、Nグラム特定機能、および共起特定機能、ならびにスキップグラム特定機能、スイッチグラム特定機能、および、ユーザによって以前に使用された特徴特定機能のうちの少なくとも一つのうちの少なくとも一つを備える、コンピュータ支援言語訂正システム。言語入力の文脈内での適合度に基づいて該言語入力中の単語の少なくとも大部分を評価する文法誤り検出器と、前記検出器によって行われた評価に少なくとも部分的に基づいて訂正出力を提供するよう機能する訂正生成器を備えるコンピュータ支援言語訂正システム。前記言語入力に基づいて、前記言語入力中の前記少なくとも大部分の単語のうちの少なくとも一つについて複数の選択肢を提供するテキストベースの表現を生成する選択肢生成器と前記言語入力中の前記少なくとも大部分の単語のうちの前記少なくとも一つの各々について少なくとも前記複数の選択肢の中から選択をする選択器をさらに備え、前記訂正生成器が、前記選択器による選択に基づいて前記訂正出力を提供するよう機能する、請求項46に記載のコンピュータ支援言語訂正システム。前記言語入力中の前記単語の前記少なくとも大部分のうちの少なくとも一部についてその単語が文法上の誤りを含んでいる疑いの程度を表示する被疑単語出力表示器をさらに備える、請求項46または47に記載のコンピュータ支援言語訂正システム。前記訂正生成器が、ユーザの介入を必要とすることなく、前記検出器によって行われた評価に少なくとも部分的に基づいて、訂正テキストの出力を提供するよう機能する自動訂正言語生成器を備える、請求項46から48のいずれかに記載のコンピュータ支援言語訂正システム。言語入力中の単語を評価する文法誤り検出器と、前記検出器によって疑わしい単語と評価された前記言語入力中の単語の少なくとも一部について複数の選択肢を生成する選択肢生成器であって、前記言語入力中の単語についての前記複数の選択肢のうちの少なくとも一つは、前記言語入力中の前記単語の文脈的な特徴と一致するものである、選択肢生成器と、少なくとも前記複数の選択肢の中から選択をする選択器と、前記選択器による選択に少なくとも部分的に基づいて、訂正出力を提供するよう機能する訂正生成器を備えるコンピュータ支援言語訂正システム。言語入力中の単語を評価し、疑わしい単語を特定する文法誤り検出器と、前記疑わしい単語について複数の選択肢を生成する選択肢生成器と、複数の選択基準に従って、前記疑わしい単語、および、前記選択肢生成器によって生成された前記疑わしい単語についての前記複数の選択肢のうちの一つ一つに、それぞれ等級を付け、前記選択肢生成器によって生成された前記疑わしい単語についての前記複数の選択肢のうちの一つ一つに対して、前記疑わしい単語にとって有利になるバイアスを適用する選択器と、前記選択器による選択に少なくとも部分的に基づいて、訂正出力を提供するよう機能する訂正生成器を備えるコンピュータ支援言語訂正システム。前記訂正生成器が、ユーザの介入を必要とすることなく、前記選択器による選択に基づいて、訂正言語の出力を提供するよう機能する訂正言語入力生成器を備える、請求項50または51に記載のコンピュータ支援言語訂正システム。インターネットコーパス中での文脈特徴シーケンスCFSの発生頻度に少なくとも部分的に基づいて、各種訂正用選択肢に文脈ベースのスコア付けをすることを備えるコンピュータ支援言語訂正システム。前記文脈ベースのスコア付けに協力する綴り訂正機能、誤用単語の訂正機能、および文法訂正機能のうちの少なくとも一つをさらに備える、請求項53に記載のコンピュータ支援言語訂正システム。前記文脈ベースのスコア付けが、インターネットコーパス中での正規化されたCFSの発生頻度にも少なくとも部分的に基づく、請求項53または54に記載のコンピュータ支援言語訂正システム。前記文脈ベースのスコア付けが、CFSの重要度のスコアにも少なくとも部分的に基づく、請求項53~55のいずれかに記載のコンピュータ支援言語訂正システム。前記CFSの重要度のスコアが、品詞のタグ付けおよびセンテンスの構文解析機能の操作、CFSの長さ、CFS中の単語の各々の発生頻度、およびCFSのタイプのうちの少なくとも一つの関数である、請求項53から56のいずれかに記載のコンピュータ支援言語訂正システム。入力センテンスに基づいて、該センテンス中の複数の単語の各々について複数の選択肢を提供するテキストベースの表現を生成する選択肢生成器と、前記センテンス中の前記複数の単語の各々について少なくとも前記複数の選択肢の中から選択をするための選択器と、前記複数の選択肢から選択された選択肢に対して信頼水準を割り当てるよう機能する信頼水準割当器と、前記選択器による選択に基づいて、および、前記信頼水準に少なくとも部分的に基づいて、訂正出力を提供するよう機能する訂正生成器を備えるコンピュータ支援言語訂正システム。前記複数の選択肢が文脈特徴シーケンスCFSに基づいて評価され、前記信頼水準が、以下のパラメータ:選択されたCFSの個数、タイプ、およびスコア、前記CFSの文脈における前記複数の選択肢の発生頻度の統計的有意性の度合い、前記CFSの各々の選好性メトリックおよび前記複数の選択肢の単語類似度スコアに基づく、前記複数の選択肢のうちの一つの選択についてのコンセンサスの度合い、第一の所定の最小閾値を上回る、前記複数の選択肢のうちの前記一つの非文脈的な類似度スコア、および第二の所定の最小閾値を上回るCFSスコアと、第三の所定の閾値を上回る選好性スコアを有する、前記CFSの個数によって示される、利用可能な文脈データの程度のうちの少なくとも一つに基づくものである、請求項58に記載のコンピュータ支援言語訂正システム。言語入力中の単語および句読点の少なくとも一部を、インターネットコーパス中での該言語入力の特徴グラムの発生頻度に基づく該言語入力の文脈内での適合度に基づいて評価する句読点誤り検出器と、前記検出器によって行われた評価に少なくとも部分的に基づいて、訂正出力を提供するよう機能する訂正生成器を備えるコンピュータ支援言語訂正システム。前記訂正生成器が、欠落句読点訂正機能、不要な句読点訂正機能、および句読点置換訂正機能のうちの少なくとも一つを含む、請求項601に記載のコンピュータ支援言語訂正システム。言語入力中の単語の少なくとも一部を、インターネットコーパス中での該言語入力の特徴グラムの発生頻度に基づく該言語入力の文脈内での適合度に基づいて評価する文法要素誤り検出器と、前記検出器によって行われた評価に少なくとも部分的に基づいて、訂正出力を提供するよう機能する訂正生成器を備えるコンピュータ支援言語訂正システム。前記訂正生成器が、欠落文法要素訂正機能、不要な文法要素訂正機能、および文法要素置換訂正機能のうちの少なくとも一つを含む、請求項62に記載のコンピュータ支援言語訂正システム。前記文法要素が、冠詞、前置詞、および接続詞のうちの一つである、請求項62または63に記載のコンピュータ支援言語訂正システム。好ましい実施形態の詳細な説明いかなるキーボードベースの入力システムにおいても、ユーザが、所望するキーの近傍に位置する1以上のキーを間違って打ってしまうことでエラーが生じることは認識されている。このことは、特に、キーボードが小さい装置では顕著であり、ユーザは、所望のキーの近くの他のキーを間違って叩いてしまったり、所望のキーに加えて他のキーも叩いてしまったりする。このように、例えば、QWERTY配列のキーボードでは、Fキーを押そうとしてユーザは、R、T、D、G、C、およびVのうちの1つ以上のキーも一緒に押してしまうことがある。本発明の小型キーボード装置での使用に特に適したコンピュータベースの言語訂正のためのシステムおよび機能は、これらの入力ミスを修復するためにユーザに訂正を示唆する機能を含むことが好ましい。ここで図1を参照する。図1は、本発明の好ましい実施形態に従って構築され、機能するコンピュータ支援言語訂正用のシステムおよび機能の単純化したブロック図である。図1に見られるように、訂正用のテキストは、1以上のソースから言語訂正モジュール100に提供される。1以上のソースとしては、以下に限定されないが、携帯電話102、ハンドヘルド装置104、タブレットPC106、タッチスクリーン108、および、あらゆる他の小型キーボード装置110などのテキスト機能が挙げられる。言語訂正モジュール100は、綴り訂正機能112、誤用単語および文法の訂正機能114を有することが好ましい。綴り訂正機能112および誤用単語および文法の訂正機能114が、インターネットコーパス120を利用する文脈特徴シーケンスCFS機能118とそれぞれ交信することは、本発明の特有の特徴である。文脈特徴シーケンスまたはCFSは、本明細書の目的のためには、図4を参照して以下で定義されるNグラム、スキップグラム、スイッチグラム、共起、ユーザによって以前に使用された特徴、およびそれらの組み合わせを含むものとして定義される。説明の単純化および明確化のために、以下の例の大部分ではnグラムのみを用いていることに留意されたい。本発明はそれに限定されないことが理解される。インターネットコーパスは、極めて多くの文脈特徴シーケンスについてのかなりの統計データを提供し、高度にロバストな言語訂正機能をもたらすという点で、インターネットコーパスの使用は重要である。実際、3個以上の単語の組み合わせは、従来の非インターネットコーパスでは非常に乏しい統計を有するが、インターネットコーパスでは許容できるまたは良好な統計を有する。インターネットコーパスは、通常はインターネットを巡回してウェブサイトのページからテキストを集めることにより、ワールドワイドウェブから集められる自然言語テキストの大きな代表サンプルである。好ましくは、チャットの記録、ウェブフォーラムからのテキスト、およびブログからのテキストなどの動的テキストもまた集められる。集められたテキストは、自然言語テキストの統計の蓄積に使用される。インターネットコーパスのサイズは、例えば、1兆1000000000000ワードまたは数兆ワードであり得る。それに反して、もっと典型的なコーパスのサイズは20億ワード以下である。ウェブコーパスなどの小さいウェブのサンプルは、100億ワードであるが、これは、GOOGLE登録商標などの検索エンジンによってインデックスが付けられるウェブテキストの1パーセントよりもはるかに少ない。本発明は、ウェブコーパスなどのウェブのサンプルを使って機能し得るが、好ましくは、もっとはるかに大きいウェブのサンプルを利用してテキスト訂正のタスクを行う。インターネットコーパスは、以下の方法で用いられることが好ましい。ローカルインデックスは、インターネットを巡回しインデックスを付けることによって時間をかけて作り上げられている。各CFSの発生回数は、CFS頻度を提供する。ローカルインデックスおよび検索クエリは、インターネットの選択可能な部分に基づいてもよく、かつ、それらの選択された部分で特定されてもよい。同様に、インターネットでの用法と普段の言語の用法との間の不一致を訂正するために、インターネットの一部が除外されたり、または適当に重み付けされたりしてもよい。そのようにして、ニュースおよび政府のウェブサイトなどの言語の用法に関して信頼できるウェブサイトは、チャットまたはユーザフォーラムなどの他のウェブサイトよりも大きな重みを与えられてもよい。好ましくは、入力テキストは、最初に綴り訂正機能112に提供され、その後、誤用単語および文法の訂正機能114に提供される。入力テキストは、任意の好適なテキストであってよく、小型キーボード装置用途の文脈では、好ましくは、センテンスなどのメッセージまたは電子メールの一部である。好ましくは、言語訂正モジュール100は、訂正された単語または単語群ごとに1以上の選択肢の提示を伴う訂正テキストを含む出力を提供する。ここで図2を参照する。図2は、図1のシステムおよび機能において好ましくは用いられる綴り訂正機能を示す単純化したフローチャートである。図2に見られるように、綴り訂正機能は以下のステップを有することが好ましい。インターネットで通常使用される適当な名称および単語が充実した従来の辞書を好ましくは用いて、入力テキスト中の綴りの誤りを特定するステップ。好ましくは、その辞書は、以前の電子メール、smsメッセージ、文書、連絡、その他、ユーザが小型キーボード装置またはパーソナルコンピュータで挿入したあらゆるテキストなど、ユーザの電話および/またはパーソナルコンピュータからの内容でも充実している。付加的または代替的に、辞書はユーザの手入力による単語を含む。綴りの誤りを有する一つの、または、連続もしくはほぼ連続した複数の単語を含み得るクラスターに綴りの誤りをグループ化し、訂正のためのクラスターを選択するステップ。この選択は、最も多くの正しい文脈データを含むクラスターを見つける試みである。好ましくは、その付近において正しく綴られた単語の最も長い一つまたは複数のシーケンスを有するクラスターが選択される。以上のステップは、図5Aを参照して以下においてより詳細に説明される。図6を参照して以下に説明されるアルゴリズムに好ましくは基づいて、クラスターごとに、一つまたは好ましくは複数の訂正用選択肢を生成するステップ。図7を参照して以下に説明される、綴り訂正用選択肢スコア付けアルゴリズムに好ましくは基づいて、各種訂正用選択肢に、好ましくはインターネットコーパスを用いて、少なくとも部分的に非文脈的な単語類似度ベースのスコア付けおよび文脈的なスコア付けを行うステップ。クラスターごとに、上述のスコアに基づいて、一つの綴り訂正を選択し、最も好ましい綴り訂正用選択肢を提示するステップ。誤った綴りのクラスターを置き換える、誤った綴りの各クラスターのための前記一つの綴り訂正を組み込んだ訂正テキストの出力を提供するステップ。図2の機能の動作は、以下の例を考慮することにより、より良く理解され得る。以下の入力テキストが受け取られる。Ifheiswuzwこの場合、訂正が、ユーザがテキストを打ち込んでいる途中、センテンスが完了する前に提案される。今の時点で打ち込まれているwuzwは、綴りミスとして識別され訂正サイクルが開始される。表1に見られるように、以下のクラスターが選択される。以下の訂正用選択肢が、誤った綴りの単語wuzwに対して生成される。waswiseeyeswiz訂正用選択肢ごとに、例えば表2に見られるように、誤った綴りの単語に対する音声および文字列の類似度、キーボードのキーの近接度に基づいて、非文脈的な単語類似度スコアが与えられる。非文脈的なスコアは、各種方法で導出され得る。一つの例としては、httpenwikipediaorgwikiLevenshteindistanceで利用できるレーベンシュタイン距離のアルゴリズムを用いることによる。このアルゴリズムは、単語の列、単語の音声表現、キーボード近接性の表現、またはその全ての組み合わせの上に想定され得る。例えば、wiseという単語は、wuzwに類似している。Iとuがキーボード上で隣同士のキーであり、wとeもキーボード上で隣同士のキーであり、それらの置換は、レーベンシュタイン距離のアルゴリズムでは、小さな距離の編集行為と考えるはずであるからである。入力センテンスの文脈における適合度に基づいて、表3に見られるように、選択肢ごとに文脈的なスコアも与えられる。この例では、用いられる文脈は、Ifheisである。文脈的なスコアは、図7を参照して以下に説明されるようにして導出されることが好ましく、また、インターネットコーパス中での文脈特徴シーケンスCFSの頻度に基づく。図7に関して以下に説明されるように、文脈的なスコアと非文脈的な単語類似度スコアとの組み合わせに基づいて、単語wiseが最良の選択肢として選択される。Ifheiswiseユーザは、推奨された訂正の承認後、センテンスを続けてタイプすることができる。代替的に、ユーザは、全ての推奨訂正を無視してタイプを続けることもできる。各時点で、システムは関連性のある訂正を示唆するだろう。ユーザがセンテンスのタイプ打ちを終了したら、フルセンテンスについての推奨訂正が提供されるだろう。ここで図3を参照する。図3は、図1のシステムおよび機能において好ましくは用いられる誤用単語および文法の訂正機能を示す単純化したフローチャートである。誤用単語および文法の訂正機能は、正しい綴りなのに入力テキストの文脈では誤用となる単語の訂正、ならびに、文法的に正しい単語の代わりに文法的に正しくない単語を使ったもの、不要な単語を使ったもの、単語や句読点が欠落したものを含む、文法上の誤りの訂正を提供する。図3に見られるように、誤用単語および文法の訂正機能は、以下のステップを有することが好ましい。図2の綴り訂正機能から出力された、綴りを訂正された入力テキストにおいて、誤用の疑いのある単語および文法の誤りを有する疑いのある単語を、好ましくは入力センテンスの文脈内での少なくとも大部分の単語の適合度を評価することによって、特定するステップ。誤用の疑いのある単語および文法の誤りを有する疑いのある単語を、好ましくは重複しないクラスターにグループ化するステップ。訂正のためのクラスターを選択するステップ。前記特定ステップ、グループ化ステップおよび選択ステップは、図5Bを参照して以下に説明されるアルゴリズムに基づくことが好ましい。図6を参照して以下に説明される訂正用選択肢生成アルゴリズムに好ましくは基づいて、クラスターごとに、一つまたは好ましくは複数の訂正用選択肢を生成するステップ。図9を参照して以下に説明される欠落した冠詞、前置詞、および句読点の訂正アルゴリズムに基づいて、クラスターごとに、一つまたは好ましくは複数の訂正用選択肢を生成するステップ。図10を参照して以下に説明される不要な冠詞、前置詞、および句読点の訂正アルゴリズムに基づいて、クラスターごとに、一つまたは好ましくは複数の訂正用選択肢を生成するステップ。図8を参照して以下に説明される、誤用単語および文法の訂正用選択肢スコア付けアルゴリズムに好ましくは基づいて、各種訂正用選択肢に、少なくとも部分的に文脈ベースのスコア付けおよび単語類似度ベースのスコア付けを行うステップ。クラスターごとに、図8を参照して以下に説明されてもいる上述のスコア付けに基づいて、一つの誤用単語および文法の訂正を選択し、最も好ましい誤用単語および文法の訂正用選択肢を提示するステップ。正しくないクラスターを置き換える、各クラスターのための前記一つの誤用単語および文法の訂正を組み込んだ、綴り、誤用単語および文法の訂正されたテキストの出力を提供するステップ。好ましくは、前記のスコア付けは、疑わしい単語についての複数の選択肢のうちの一つ一つに対して、該疑わしい単語にとって有利になるバイアスを適用することを含む。バイアスは、入力をする人の不確実性を示す入力不確実性メトリックmetricの関数である。図3の機能の動作は、以下の例の考慮により、より良く理解され得る。以下の入力テキストが受け取られる。Putitonasingelost以下の単語が、誤用の疑いのある単語として特定される。singelost以下のクラスターが生成される。singelost以下は、該クラスターに対して生成される訂正用選択肢の例である部分的なリスト。singlastsinglelistsonglistsingleastdinglostdinglastswinglistsingerlostsingerlotsinglelotsinglotdinglotsinglotsswinglotssinglelotsインターネットコーパスを用いた少なくとも部分的に文脈的なスコア付け、文脈ベース、および、非文脈的な単語類似度ベースのスコア付けの結果を表4に示す。グローバルスコアに到達する各種方法が存在することを理解されたい。好ましいグローバルスコアは、図8を参照して以下に説明されるアルゴリズムに基づくものである。上記スコア付けに基づいて、選択肢singlelistが選択される。従って、訂正されたテキストは、Putitonasinglelistである。ここで図4を参照する。図4は、本発明の好ましい実施形態のコンピュータ支援言語訂正のためのシステムおよび機能において有用である文脈特徴シーケンスCFS機能118図1を示す単純化したブロック図である。CFS機能118は、好ましくは、特徴抽出機能を有し、該特徴抽出機能は、Nグラム抽出機能、ならびに任意には、スキップグラム抽出機能、スイッチグラム抽出機能、共起抽出機能、および、ユーザによって既に使用された特徴抽出機能のうちの少なくとも一つを有する。用語Nグラムは、当該技術分野において公知の用語であり、入力テキストにおけるN個の連続する単語のシーケンスを意味する。文法的な考慮に基づいて、コーパス中、好ましくはインターネットコーパス中に高頻度で現れるとは予想されないある種のNグラムの生成を回避するために、Nグラム抽出機能は、従来の品詞タグ付け機能およびセンテンス構文解析機能を用いてもよい。本明細書の目的のために、用語スキップグラム抽出機能は、スキップグラムを抽出するように機能する機能を意味し、スキップグラムは、形容詞、副詞、形容詞句、および副詞句などのある種の不可欠ではない単語または句を除外した修正されたnグラムであり、あるいは、主語-動詞、動詞-目的語、副詞-動詞、または動詞-時間表現などの所定の文法的な関係を有する単語のみを含む修正されたnグラムである。スキップグラム抽出機能は、所与の文脈においてどの単語をスキップしてもよいのかの決定を補助するために、従来の品詞タグ付け機能およびセンテンス構文解析機能を用いてもよい。本明細書の目的のために、用語スイッチグラム抽出機能は、スイッチグラムを特定する機能を意味し、スイッチグラムは、ある種の単語の出現順序が切り替えられた修正されたnグラムである。スイッチグラム抽出機能は、所与の文脈においてどの単語がその出現順序を切り替えられてもよいのかの決定を補助するために、従来の品詞タグ付け機能およびセンテンス構文解析機能を用いてもよい。本明細書の目的のために、用語共起抽出機能は、入力センテンス中または入力センテンスを多数含む入力文書中の単語の組み合わせを特定する機能を意味する。一般に生じる単語前置詞、冠詞、接続詞、その他、その機能が主として文法的なものである単語などを除去した後の、入力単語からの距離および方向の表示を伴う、Nグラム、スイッチグラム、または、スキップグラムに含まれるもの以外の入力テキスト中の全ての単語についての入力テキストの単語の共起を含む。本明細書の目的のために、用語ユーザによって以前に使用された特徴抽出機能は、前置詞、冠詞、接続詞、その他、その機能が主として文法的なものである単語などの一般に生じる単語を除去した後に、他の文書においてユーザによって使用された単語を特定する機能を意味する。本明細書の目的のために、Nグラム、スキップグラム、スイッチグラム、およびそれらの組み合わせは特徴グラムと呼ばれる。本明細書の目的のために、Nグラム、スキップグラム、スイッチグラム、共起、ユーザによって以前に使用された特徴、およびそれらの組み合わせは、文脈特徴シーケンスまたはCFSと呼ばれる。図4の機能は、入力テキスト中の個々の単語または単語のクラスターに対して機能することが好ましい。図4の機能の動作は、以下の例の考慮により、より良く理解され得る。以下の入力テキストが提供される。CherlockHomestheleadcharacterandchiefinspecterhasbeencoldinbythefamilydoctorDrMortimertoinvesigatethedeathofsirCharles入力テキスト中のクラスターCherlockHomesに対して、以下のCFSが生成される:Nグラム2グラムCherlockHomesHomesthe3グラムCherlockHomestheHomesthelead4グラムCherlockHomestheleadHomestheleadcharacter5グラムCherlockHomestheleadcharacterスキップグラムCherlockHomesthecharacterCherlockHomesthechiefinspecterCherlockHomestheinspecterCherlockHomeshasbeencoldスイッチグラムTheleadcharacterCherlockHomes入力テキスト中の共起Characterinspectorinvestigatedeath入力テキストを含む文書中の共起ArthurConanDoylestoryユーザの他の文書中の共起mystery入力テキスト中のクラスターcoldに対して、以下のCFSが生成される。Nグラム2グラムbeencoldcoldin3グラムhasbeencoldbeencoldincoldinby4グラムinspectorhasbeencoldhasbeencoldinbeencoldinbycoldinbythe5グラムchiefinspectorhasbeencoldinspectorhasbeencoldinhasbeencoldinbybeencoldinbythecoldinbythefamilyスキップグラムcoldintoinvestigateCherlockhasbeencoldcoldbythedoctorcoldbyDrMortimercharacterhasbeencoldCFSにはそれぞれ、以下のうちの少なくとも一つ、好ましくは二以上、最も好ましくは全てに基づいて、重要度スコアが与えられる。a.従来の品詞タグ付け機能およびセンテンス構文解析機能の操作。複数の構文解析木のノードの部分を含むCFSは比較的低いスコアを与えられる。CFSに含まれる構文解析木のノードの個数が多くなるほど、そのCFSのスコアは低くなる。b.CFSの長さ。CFSが長くなるほど、スコアは高くなる。c.入力ワード以外のCFS中の単語の各々の発生頻度。そのような単語の発生頻度が高くなるほど、スコアは低くなる。d.CFSのタイプ。例えば、Nグラムは共起よりも好ましい。入力センテンス中の共起は入力文書中の共起よりも好ましく、入力文書中の共起はユーザによって以前に使用された特徴よりも好ましい。上記の例に関して、典型的なスコアは表5に見られる通りである。これらのCFSおよびそれらの重要度スコアは、インターネットコーパス中でのCFSの発生頻度に基づく、クラスターの各種訂正用選択肢の文脈ベースのスコア付けのために、図7および図8を参照して以下で説明される機能において用いられる。ここで図5Aを参照する。図5Aは、入力テキスト中の綴りを誤った単語を特定し、好ましくは重複しないクラスターに綴りを誤った単語をグループ化し、かつ訂正のためのクラスターを選択するための機能を示す単純化したフローチャートである。図5Aに見られるように、綴りを誤った単語の特定は、インターネット上で一般に用いられる適当な名称および単語が充実した従来の辞書を用いることによって行われることが好ましい。好ましくはその辞書は、電子メール、smsメッセージ、文書、連絡、その他、ユーザが小型キーボード装置またはパーソナルコンピュータで挿入したあらゆるテキストなど、ユーザの電話およびパーソナルコンピュータからの内容でも充実している。付加的または追加的に、辞書はユーザの手入力による単語を含む。綴りを誤った単語のクラスターへのグループ化は、連続するまたはほぼ連続する綴りを誤った単語を、文法上の関係を有する綴りを誤った単語と一緒に、1つのクラスターにグループ化することによって行われることが好ましい。訂正のためのクラスターの選択は、最も多くの量の疑わしくない文脈データを含むクラスターを見付けることを試みることによって行われることが好ましい。好ましくは、その付近において正しく綴られた単語の最も長い一つまたは複数のシーケンスを有するクラスターが選択される。ここで図5Bを参照する。図5Bは、綴りを訂正された入力テキスト中の誤用の疑いのある単語および文法の誤りを有する疑いのある単語を特定し、誤用の疑いのある単語および文法の誤りの疑いのある単語を、好ましくは重複しないクラスターにグループ化し、かつ訂正のためのクラスターを選択するための機能を示す単純化したフローチャートである。誤用の疑いのある単語の特定は以下のようにして行われることが好ましい。綴りを訂正された入力テキスト中の単語ごとに、特徴グラムが生成される。コーパス、好ましくはインターネットコーパス中での各特徴グラムの発生頻度が記録される。単語ごとに疑わしい特徴グラムの数が記録される。疑わしい特徴グラムは、予期される頻度よりも低い頻度、または最小の頻度の閾値を下回る頻度を有するものである。特徴グラムの予期される頻度は、その構成要素およびそれらの組み合わせの頻度に基づいて見積もられる。その単語を含む疑わしい特徴グラムの数が、所定の閾値を超えている場合、その単語は疑わしい。本発明の好ましい実施形態に従って、コーパス中、好ましくはインターネットコーパス中での、綴りを訂正された入力テキスト中の各特徴グラムの発生頻度FREQFGが確かめられる。そのコーパス中での綴りを訂正された入力テキスト中の各単語の発生頻度FREQWもまた確かめられ、さらには、その単語を有しない各特徴グラムの発生頻度FREQFGWが確かめられる。各特徴グラムの予期される発生頻度EFREQFGは、以下の通りに算出される。EFREQFG=FREQFGW×FREQW/コーパス中での全ての単語の頻度の合計コーパス、好ましくはインターネットコーパス中での綴りを訂正された入力テキスト中の各特徴グラムの発生頻度の、各特徴グラムの予期される発生頻度に対する比FREQFG/EFREQFGが所定の閾値よりも小さい場合、あるいは、FREQFGが別の所定の閾値よりも小さい場合、特徴グラムは疑わしい特徴グラムであると考えられる。疑わしい特徴グラムに含まれる全ての単語は、誤用の疑いのある単語または文法の誤りの疑いのある単語であると考えられる。綴りを訂正された入力テキストにおける誤用の疑いのある単語および文法の誤りの疑いのある単語の特定のための図5Bの機能の動作は、以下の例の考慮により、より良く理解され得る。以下の綴りを訂正された入力テキストが提供される。Pleadscallmesoonここで、誤用単語pleadsは、sの隣のキーdの挿入、およびキーeの脱落の結果である。特徴グラムは以下を含む。PleadsPleadscallPleadscallmePleadscallmesoon表6は、上記特徴グラムのインターネットコーパス中での発生頻度を示す。予期される発生頻度が、2グラムごとに以下の通りに算出される。EFREQFG=FREQFGW×FREQW/コーパス中の全ての単語の頻度の合計例えば、2グラムについて、2グラムx,yについての予期される2グラムの頻度=xの1グラムの頻度×yの1グラムの頻度/インターネットコーパス中の単語の数例:1兆1000000000000ワードコーパス中、好ましくはインターネットコーパス中での綴りを訂正された入力テキスト中の各特徴グラムの発生頻度の、各特徴グラムの予期される発生頻度に対する比は、以下の通りに算出される。FREQFG/EFREQFGコーパス中、好ましくはインターネットコーパス中での綴りを訂正された入力テキスト中の上記各2グラムの発生頻度の、上記各2グラムの予期される発生頻度に対する比は、表7に見られる。PleadscallのFREQFGはその予期される頻度よりも低いため、FREQFGEFREQFGは、1などの所定の閾値よりも低いと考えることができ、従って、クラスターPleadscallは疑わしいことが分かる。単語Pleadscallを含む3グラムおよび4グラムは共に、インターネットコーパス中では頻度ゼロであることが分かる。これもまた、Pleadscallは疑わしいと考える根拠となり得る。誤用の疑いのある単語および文法の誤りの疑いのある単語のクラスターへのグループ化は、以下の通りに行われることが好ましい。連続するまたはほぼ連続する誤用の疑いのある単語は1つのクラスターにグループ化され、また、それらの間に文法上の関係を有する誤用の疑いのある単語は同じクラスターにグループ化される。訂正のためのクラスターの選択は、最も多くの量の疑わしくない文脈データを含むクラスターを見付けるのを試みることによって行われることが好ましい。好ましくは、その付近において疑わしくない単語の最も長い一つまたは複数のシーケンスを有するクラスターが選択される。ここで図6を参照する。図6は、図2および図3の機能において有用である、クラスターに対する訂正用選択肢を生成するための機能を示す単純化したフローチャートである。もともとの入力単語が正しく綴られていれば、選択肢とみなされる。図6に見られるように、クラスター中の各々の単語に対して、複数の訂正用選択肢が最初に以下のようにして生成される。文字列の類似度で表されるような書面上の見た目に基づいて、および、音または音声上の類似度に基づいて、クラスター中の各単語に類似する、辞書から取られた、複数の単語が検索される。文字列の類似度に基づく単語検索機能は公知であり、GNUAspellおよびGoogle登録商標GSpellなどのフリーウェアとして、インターネット上で利用可能である。この機能は、キーボードのキーの位置の接近度によって拡張され、置換、挿入、削除、検索単語および優先単語が、第一の複数の訂正用選択肢を提供しうる。例えば、入力単語feezixが与えられた場合、共通文字は1つ、すなわちiしかないが、類似する音声に基づいて、辞書から単語physicsが検索されるだろう。また、類似する音声は無いが、文字列の類似性に基づいて、単語felixが検索されるだろう。追加の選択肢が以下の行為またはこれらの行為の組合せによって生成されうる。1。隣接するキーの混乱ユーザは、意図したキーの隣のキーを押してしまう場合がある。前述したように、Aを押そうとして、ユーザはかわりにその隣のキーである、Q、W、S、ZまたはXを押してしまう可能性がある。こうして、abbreviatedと書こうとして、最初のAをSと置き換えた、sbbreviatedと書いてしまうことが起こりうる。キーボード上のキーには異なる配列もあり、図は例に過ぎない。キーボードにおける物理的な距離に基づくキーボード置換の入力の可能性はキーボードの種類ごとに供給されうる。2.複数のキーの挿入ユーザは、二つの隣接するキーの間に指を置いてしまう場合があり、その場合、二つのキーが押されて一文字のかわりに二文字が挿入される。このように、abbreviatedと書こうとして、ユーザは、sabbreviatedまたはasbbreviatedと書いてしまいうる。sキーがaキーの隣にあるからである。スペースキーの隣にはvなどのキーがある。以下のスペルミスも、同じようにして生じうる。abbreviated3.意図して押したキーの脱落急いでおよび/または不正確にタイプ打ちをすると、意図して押したキーのうちの幾つかは、小型キーボード装置が受け付けていない場合がある。このため結果として文字の欠落、句読点の欠落またはスペースの欠落が生じる。このように、abbreviatedと書こうとして、ユーザは、bbreviatedと書いてしまいうる。同様に、スペースキーが抜けることがあり、そうするとその次の単語が今の単語と分離されないで、綴りの間違いを生じる。このように、abbreviatedtextと書こうとして、ユーザは、abbreviatedtextと書いてしまいうる。4.母音の欠落と一般的な短縮表現母音の脱落と、特定の音声的な誤字の用法例えば、C、CKまたはQのいずれかをKと置き換えること、または、SおよびTHをZと置き換えることは、急いで表現しようとしてショートテキストメッセージを書く人のよくある習慣である。こうして、単語quickはkwikと書かれ、単語pleaseはplzと書かれることがある。付加的に、数と記号もまた音声ツールとして用いられ、beforeはbe4と、atはと書かれることがある。5.音声類似性の誤記と書面類似性の誤記小型キーボード装置の大きさが小さいことと感度に制限があることの結果として生じる綴りの間違いに加えて、音声と書面上の紛らわしさのために単語が間違って綴られる場合がある。装置を用いてまたは手で書いたテキスト中で起こりうる。例えば、oceanは、類似した音の単語oshenと誤記されうるし、または書面上で類似した単語ossionと誤記されうる。6.上記全ての組合せ前述の間違いのタイプのいずれも、綴りの間違った同じ単語内で組み合わせられうるし、その同じ単語内で2回以上起こりうる。例えば、ユーザは、auctionの代わりにoictiopnと書くかもしれない。そこには2つの間違いの組合せがあり、そのうちの1つは二度繰り返されている。a.音声類似性の誤記は、oと似た音声である、単語auction内の組合せauで生じ、auctionの代わりに、octionと書かれる。b.この誤記との組み合わせで、複数のキーの挿入が、単語の始めの前述のoで生じてoiとなり得、auctionがoictionと誤った綴りになるだろう。c.また、単語auctionのもともとのoで複数のキーの挿入がさらに生じると、oの代わりにopが書かれうる。そしてauctionは、oictiopnと誤った綴りになってしまうだろう。追加の選択肢は、公知の代替用法に基づく規則、および蓄積されたユーザの入力を用いることによって生成され得る。例:u→you、r→are、Im→Iam更なる選択肢が、好ましくは予め定義されたリストを用いて、文法規則に基づいて生成され得る。少数の例は以下の通りである。単数形/複数形の規則:入力センテンスがleaffallofftreesintheautumnである場合、複数形の選択肢leavesが生成される。冠詞の規則:入力テキストがaoldladyである場合、冠詞の選択肢anおよびtheが生成される。前置詞の規則:入力テキストがIaminterestedoffootballである場合、前置詞の選択肢in、at、to、on、through、が生成される。動詞の活用規則:入力テキストがHeleavetheroomである場合、動詞の活用の選択肢left、leaves、hadleft、が生成される。単語の結合および単語の分割の規則:入力テキストがgetalotfitterである場合、選択肢alotが生成される。入力テキストがwehavetowatchoutである場合、選択肢watchが生成される。入力テキストがdomanysittupsである場合、選択肢situpsが生成される。本発明の好ましい実施形態の特有の特徴は、CFSおよびより具体的には特徴グラムなどの文脈情報を用いて訂正用選択肢を生成し、そしてそれはそのような文脈的に検索された訂正用選択肢にスコアを付けるためだけではないということである。CFSおよびより具体的には特徴グラムなどの、頻繁に生じる単語の組み合わせは、ユーザの電話テキスト以前の電子メール、smsメッセージ、および連絡などから、およびユーザのコンピュータ文書および電子メールなどから、および既存のコーパスインターネットコーパスなどから検索されうる。以下の例は本発明のこの態様を示している。入力センテンスがWaytogogirlThisismyDonnapremadma...である場合について。ここで、誤記premadmaは、音声上の置換でiがeとなり、スペースとoが脱落し、近接キーの置換でnがmとなり、nを二回打ち損じたことによる。単語premadmaは、単語primadonnaに対して、キーボード近接性において、音または書面上において充分に類似しているわけではなく、本発明のこの態様がなければ、primadonnaは選択肢の一つにならないかもしれない。本発明のこの態様によれば、smsメッセージ、メールメッセージ、および個人的な連絡などのユーザの小型キーボード装置またはユーザのパーソナルコンピュータで使用可能なテキストにおいて、nグラムmyDonnaの後に一般に現れる単語、すなわち、クエリmyDonnaにおいてとして見付かる全ての単語を探すことにより、以下の選択肢が検索される。madonnaprimadonnadonndiditagaindear本発明の好ましい実施形態によれば、文脈的に検索された選択肢はその後フィルタリングにかけられ、元々の単語この例ではpremadmaに対してキーボード近接性、音声上または書面上の類似性をいくらか有する文脈的に検索された選択肢のみが残る。この例では、最も高い音声上および書面上の類似性を有する選択肢、primadonnaが検索される。入力テキストが、音声テキストなどの外部システムによって自動的に生成される場合、追加の選択肢がそのようなシステムから直接受け取られてもよい。そのような追加の選択肢は、典型的には、そのようなシステムの動作の過程で生成される。例えば、音声認識システムでは、同じ音声の単語の単語選択肢が、選択肢として使用するためにそのシステムに供給され得る。クラスター中の各単語について全ての選択肢が生成されると、クラスター全体についてクラスター選択肢が生成される。そのために、各種選択肢の可能な組合せを全て突き止め、次に、コーパス中、好ましくはインターネットコーパス中でのその発生頻度に基づいてその組み合わせをフィルタリングする。以下の例が実例である。入力クラスターがsingelostである場合、単語singeに対する選択肢は、singsinglesingerであり、単語lostに対する選択肢は、lastlistlotである。以下のクラスターの選択肢が生成される。singlastsinglistsinglotsinglelastsinglelistsinglelotsingerlastsingerlistsingerlotここで図8を参照する。図8は、図2の綴り訂正機能において有用である、各種選択肢強化の文脈ベースおよび単語類似度ベースのスコア付けのための機能を例示する単純化したフローチャートである。図8に見られるように、各種訂正用選択肢の文脈ベースおよび単語類似度ベースのスコア付けは、以下の大まかなステージで進む。I.非文脈的なスコア付け-各種クラスター選択肢に、キーボードの近接性、書面上の見た目、および音の類似性の観点から、入力テキスト中のクラスターに対する類似度に基づいてスコアを付ける。このスコア付けは、与えられたクラスター以外のいかなる文脈的な類似度も考慮に入れない。II.インターネットコーパスを用いる文脈的なスコア付け-各種クラスター選択肢の各々にまた、図4を参照して上記で説明したようにして提供される、抽出された文脈特徴シーケンスCFSに基づいてスコアを付ける。このスコア付けは、以下のサブステージを含む。IIA.発生頻度の解析が行われる。これは、好ましくはインターネットコーパスを用いて、図6の機能によって作り出された各種クラスター訂正用選択肢に対し、図4を参照して上記で説明されたようにして抽出されたCFSの文脈において、為される。IIB.CFSの選択および各種CFSの重み付けが行われる。これは、サブステージIIAの発生頻度解析の結果にとりわけ基づいて行われる。重み付けはまた、各種CFSの相対的な固有の重要度にも基づく。CFSの一部にはゼロの重みが与えられ、選択されないようにしてもよいことは理解される。選択されたCFSには好ましくは相対的な重みが与えられる。IIC.発生頻度のメトリックが、サブステージIIBで選択されたCFSごとに、各訂正用選択肢に対して割り当てられる。IID.クラスター訂正用選択肢の縮小セットが生成される。これは、サブステージIIAの発生頻度解析、サブステージIICの発生頻度メトリック、および、サブステージIIBのCFSの選択と重み付けの結果にとりわけ基づいて行われる。IIE.ステージIの非文脈的な類似度の最も高いスコアを有するクラスターが、訂正基準クラスターとして使用するために、サブステージIIDの縮小セットから選択される。IIF.発生頻度のメトリックが、ステージIIBで選択されたCFSごとに、サブステージIIEの訂正基準クラスターに対して割り当てられる。IIG.比のメトリックratiometricが、サブステージIIBで選択されたCFSの各々に対して割り当てられる。これは、その特徴についての各訂正用選択肢の発生頻度メトリックの、サブステージIIEの基準クラスターに割り当てられた発生頻度メトリックに対する比である。III.最も好ましいクラスター訂正用選択肢が、ステージIの結果およびステージIIの結果に基づいて選択される。IV.信頼水準スコアが、最も好ましいクラスター訂正用選択肢に割り当てられる。ステージII-IVにおいて上述した機能のより詳細な説明は以下で与えられる。サブステージIIAに関して、訂正されるべきクラスターを含む全てのCFSは、図4において上述したようにして生成される。入力クラスターにおける誤り以外の誤りの疑いがあるものを含むCFSは除外される。CFSの各々におけるクラスターに対する訂正用選択肢の各々について、コーパス中、好ましくはインターネットコーパス中での発生頻度を示すマトリクスが生成される。全ての訂正用選択肢が発生頻度ゼロである全てのCFSは除外される。その後、少なくとも最小の閾値の発生頻度を有する他のCFSに完全に含まれる全てのCFSは除外される。以下の例は、発生頻度マトリクスの生成を示す。以下の入力テキストが提供される。pleasecskknetheminuteyouseethisここで、誤記cskkは、二つの隣接するキーの置換によって起こったものである。つまり、aが隣接キーsに、lが隣接キーkに2度置き換えられたものである。図5Aを参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。cskkne図6を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。askmevalenewcallmecakenearcallnewcellnew図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。‘cskkne’‘pleasecskkne’‘cskknethe’‘pleasecskknethe’‘cskknetheminute’‘pleasecskknetheminute’‘cskknetheminuteyou’ステージIIAに関して上述した機能を用いて、表8に見られるインターネットコーパス中での発生頻度のマトリクスが、上記リストのCFSにおける上記リストのクラスター訂正用選択肢について生成される。全ての訂正用選択肢で発生頻度がゼロとなったCFSは全て除外される。この例では、以下の特徴グラムは除外される。‘cskknetheminuteyou’その後、少なくとも最小の閾値の発生頻度を有する他のCFSに完全に含まれるCFSは全て除外される。この例では以下の特徴グラムは除外される。‘cskkne’‘pleasecskkne’‘cskknethe’‘pleasecskknethe’‘cskknetheminute’この例では、唯一残るCFSは、特徴グラム‘pleasecskknetheminute’である。その結果生じるマトリクスは表9に見られる通りとなる。上記の例は、本発明の好ましい実施形態に従うマトリクスの生成を示している。この例では、callmeが好ましい訂正用選択肢であることは明らかである。現実には、選択は通常このように直接的ではないことを理解すべきである。従って、以下に提示する更なる例では、訂正用選択肢の間でのはるかに難しい選択を行うための機能が提供される。サブステージIIBの考慮に戻って、任意には、残るCFSの各々には、図4を参照して上述したようにしてスコアが与えられる。付加的には、複数単語の入力の以前の訂正の繰り返しにおいて導入された単語を含み、かつ、所定の信頼水準の閾値を下回る信頼水準を有するCFSは、負にバイアスされる。一般的な場合において、サブステージIICにおいて上述したのと同様に、インターネットコーパス中での各CFSの正規化された発生頻度を示す正規化頻度マトリクスが生成されることが好ましい。正規化頻度マトリクスは通常、頻度マトリクスから、各CFSの頻度を、関連するクラスター選択肢の発生頻度の関数で割ることにより、生成される。正規化は、各種訂正用選択肢の全体の人気度における実質的な差の影響をなくすように機能する。好適な正規化係数は、特定のCFSに関係なく、全体として、コーパス中での各種訂正用選択肢の全体の発生頻度に基づく。以下の例は、正規化された発生頻度のマトリクスの生成を示す。以下の入力テキストが提供される。Ohthenareyouadwcentorastudentここで、誤記dwcentは、隣接するキーの置換によって起こったものである。つまり、oが隣接キーwに置き換えられたものである。図5Aを参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。dwcent図6を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。docentdecentdoesn’t図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。‘adwcent’‘dwcentora’本明細書においてステージIICに関して上述した機能を用いて、表10に見られる、インターネットコーパス中での発生頻度および正規化された発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。各種訂正用選択肢の全体の人気度における実質的な差のために、最も高い発生頻度を有する単語が、最も高い正規化された発生頻度を有するとは限らないことが上記の例より理解され得る。上記の例では、docentが最も高い正規化された発生頻度を有する。また、入力テキストの文脈から、decentではなく、docentの方が正しい単語であることが明らかである。decentの方がインターネットコーパス中での発生頻度は高いにもかかわらずである。本発明の特有の特徴は、各種訂正用選択肢の全体の人気度における実質的な差をなくす、正規化された発生頻度が、好ましくは、訂正用選択肢の選択に用いられることである。正規化された発生頻度以外の、発生頻度の他のメトリックが、代替的または付加的に、メトリックとして用いられ得ることを理解されたい。発生頻度が比較的低い場合、または著しく高い場合、付加的または代替的なメトリックは有益である。付加的な機能がしばしば、各種訂正用選択肢の選択において有用であることが以下の議論から理解されるであろう。これらの機能は以下に説明される。サブステージIIDにおいて、以下の2つのメトリックに従って、他のクラスター訂正用選択肢よりも好ましくない各クラスター訂正用選択肢が除外される。i.他よりも、単語類似度スコアが低いクラスター訂正用選択肢。ii.他よりも、CFSの全ての発生頻度が低く、好ましくは正規化された発生頻度も低いクラスター訂正用選択肢。以下の例は、上述したような訂正用選択肢の除外を示す。以下の入力テキストが提供される。Ileavunabighouseここで、誤記leavは、小型キーボード装置のキーパッドで、eと押したのが認識されない、押下キー脱落によって起こったものである。誤記unは、隣接キー置換によって起こったものである。つまり、iが隣接キーuに置き換えられている。図5Aを参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。leavun図6を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。leaveinliveinlovein図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。‘Ileavuna’‘leavunabig’本明細書においてステージIICに関して上述した機能を用いて、表11に見られる、インターネットコーパス中での発生頻度および正規化された発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。この例では、クラスター訂正用選択肢の非文脈的な類似度スコアは、表12に示される通りである。クラスター訂正用選択肢loveinは除外される。liveinよりも類似度スコアが低く、かつ、発生頻度および正規化された発生頻度も低いからである。クラスター訂正用選択肢leaveinは、この段階では除外されない。類似度スコアがliveinよりも高いからである。以上より理解され得るように、ステージIIDの機能の動作の結果、縮小された頻度マトリクスおよび、好ましくはまた、縮小された正規化頻度マトリクスを得る。これらは、縮小された複数のCFSの各々についての、縮小された複数の訂正用選択肢各々、類似度スコアを有するの各発生頻度および、好ましくはまた、正規化された発生頻度を示すものである。以下の例から分かるように、クラスター訂正用選択肢の縮小セットは、後続のクラスター選択肢の選択機能の全てで好ましくは用いられる。縮小された頻度マトリクスおよび、好ましくはまた、縮小された正規化頻度マトリクスにおける各訂正用選択肢に対し、最終選好性メトリックが生成される。1つまたは複数の以下の選択肢のメトリックが用いられ訂正用選択肢ごとに最終選好性スコアが生成されてもよい。用語頻度関数frequencyfunctionは、以下では、頻度、正規化頻度、または、頻度と正規化頻度との両方の関数を示すために用いられる。A.一つの可能な選好性メトリックは、一つまたは複数の縮小されたマトリクス中のCFSのいずれかについての、そのマトリクス中の各クラスター訂正用選択肢に対する最も高い発生頻度の関数である。例えば、各種クラスター訂正用選択肢に以下の通りにスコアが付けられる。以下の入力テキストが提供される。Abigrsgleintheskyここで、誤記rsgleは、隣接キーの2つの置換によって起こったものである。つまり、eが隣接キーrに置き換えられ、aが隣接キーsに置き換えられている。図5Aを参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。rsgle図6を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。regaleeagleangle図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。‘bigrsgle’‘rsgleinthesky’本明細書においてステージIICに関して上述した機能を用いて、表13に見られる、インターネットコーパス中での発生頻度および正規化された発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。この例では、クラスター訂正用選択肢の非文脈的な類似度スコアは、表14に示される通りである。選択肢eagleが選択される。最大の発生頻度と最も高い類似度スコアのCFSを有するからである。B.他の可能な選好性メトリックは、各訂正用選択肢についての、全てのCFSの発生頻度の平均の関数である。例えば、各種訂正用選択肢に以下の通りにスコアが付けられる。以下の入力テキストが提供される。Awhileagoyheeelived3dwarfsここで、誤記yheeeは、隣接キーの2つの置換によって起こったものである。つまり、tが隣接キーyに置き換えられ、rが隣接キーeに置き換えられている。図5Aを参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。yheee図6を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。thethereyoutree図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。‘agoyheeelived’‘yheeelived3’本明細書においてステージIICに関して上述した機能を用いて、表15および16に見られる、インターネットコーパス中での発生頻度、正規化された発生頻度、および平均の発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。平均の発生頻度に基づいてthereが選択されることに留意されたい。この例では、クラスター訂正用選択肢の非文脈的な類似度スコアは、表17に示される通りである。最も高い類似度スコアを有するクラスター訂正用選択肢は選択されないことに留意されたい。C.さらに可能な選好性メトリックは、加重和である。図4を参照して上述した機能によって算出されるようなCFSのスコアを掛け算された各CFSの発生頻度関数の、訂正用選択肢ごとの全CFSにわたる、加重和である。D.[特定の訂正用選択肢/CFS]の選好性メトリックが生成される。サブステージIIE-IIGを参照して上述したように、一つまたは複数の縮小されたマトリクス中の訂正用選択肢に対し以下の操作を、いずれか一つ以上、より好ましくは大部分、最も好ましくは全て、行うことによって、生成される。i.最も高い非文脈的な類似度スコアを有するクラスター訂正用選択肢を選択し、基準クラスターとする。ii.修正マトリクスが作成される。各選択マトリクスにおいて、各特徴グラムにおける各訂正用選択肢の発生頻度関数を、各訂正用選択肢の発生頻度関数の、基準クラスターの発生頻度関数に対する比に置き換えたものである。iii.iiにおいて上述したタイプの修正マトリクスが、さらに修正される。各選好性メトリックにおける比を、比の関数比の差が非常に大きいことの計算上の重要性を軽減させる関数に置き換えることによって修正される。好適なそのような関数は対数関数である。この操作の目的は、最も好ましい訂正用選択肢の最終選好性スコア付けにおいて、発生頻度の差が大きいことにあまり重点が置かれず、最も好ましくない訂正用選択肢の最終選好性スコア付け従って除去において、発生頻度の差が大きいことに依然として重点が置かれるようにすることである。iv.iiまたはiiiで上述したタイプの修正マトリクスが、追加的に修正される。各選好性メトリックにおける適用可能な比または比の関数に、適切なCFSスコアを掛けることによって修正される。これは、正しい文法の用法、およびCFSスコアに反映される他の要因を基にした強調を提供する。v.ii、iiiまたはivで上述したタイプの修正マトリクスが、追加的に修正される。適用可能な比、比の関数、発生頻度、および正規化された発生頻度の関数を生成することによって修正される。好ましい関数は、各選好性メトリックにおける適用可能な比または比の関数に、そのCFSの発生頻度を掛けることによって生成される。E.最終選好性メトリックが、Dで上述したような[特定の訂正用選択肢/CFS]の選好性メトリックに基づいて、各訂正用選択肢について算出される。訂正用選択肢の類似度スコアに、その[訂正用選択肢]の全てのCFSの[特定の訂正用選択肢/CFS]の選好性メトリックの和を掛けることによって、訂正用選択肢ごとに算出される。そのような修正マトリクスの使用を示す例は以下の通りである。以下の入力テキストが提供される。Iwillbeabletotachbasewithyounextweekここで、誤記tachは、文字oの脱落によって起こったものである。これは、不正確なタイプ打ちのために小型キーボード装置でoが記録されなかったものである。図5Aを参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。tach図6を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。teachtouch図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。‘abletotach’‘totachbase’上記においてサブステージIIAおよびIICに関して上述した機能を用いて、表18に見られる、インターネットコーパス中での発生頻度および正規化された発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。発生頻度と正規化された発生頻度の両方とも、ある特徴については、teachの方がtouchよりも大きいが、別の特徴については、touchの方がteachよりも大きいことに留意されたい。訂正用選択肢を正しく選択するために、サブステージIIGに関して上述した、比のメトリックは、以下に説明するようにして用いられることが好ましい。この例では、クラスター訂正用選択肢の非文脈的な類似度スコアは、表19に示される通りである。基準クラスターはteachであることがわかる。その類似度スコアが最も高いからである。それにも関わらず、上述した最終選好性スコアによれば、touchが選択される。teachが最も高い発生頻度と最も高い正規化された発生頻度を有することを示す上記マトリクスを考慮すれば認識され得るように、これはすぐには理解できない。この例では、最終選好性スコアは、teachではなくtouchを選択することを示している。touchを好む特徴の発生頻度の比は、teachを好む、他方の特徴の発生頻度の比よりもずっと大きいからである。F.任意に、訂正用選択肢が除去されてもよい。除去は、その訂正用選択肢について、および、基準クラスターについて、頻度関数の値および選好性メトリックの比較を基に、以下の決定規則の一つ以上を用いて行われる。1.所定の閾値を下回る類似度スコアを有し、かつ、CFSスコアが所定の閾値よりも高い少なくとも一つの特徴の基準クラスターのCFS頻度関数よりも小さいCFS頻度関数を有する訂正用選択肢を除去する。2.所定の閾値を下回る類似度スコアを有し、かつ、CFSスコアが別の所定の閾値よりも高い少なくとも一つの特徴について、所定の閾値よりも小さい選好性メトリックを有する訂正用選択肢を除去する。3.a.各CFSのCFSスコアを確かめる。b.各CFSについて、基準クラスターのCFS頻度関数と、訂正用選択肢のCFS頻度関数を確かめ、基準クラスターと訂正用選択肢のどちらがそのCFSについてより高い頻度関数を有するかを確かめる。c.訂正用選択肢が基準クラスターよりも高い頻度を有するCFSについて、そのCFSスコアを合計する。d.基準クラスターが訂正用選択肢よりも高い頻度を有するCFSについて、そのCFSスコアを合計する。e.cの和がdの和よりも小さい訂正用選択肢を除去する。以下の例は、上述した除去機能を示す。以下の入力テキストが提供されるIamfawllingimloveここで、誤記fawlingは、aに隣接するキーであるwの挿入によって起こり、誤記imは、nのかわりにmを押した結果である。それらは2つとも隣接キーである。図5Aを参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。fawllingim図6を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。fallingonfallinginfeelingonfeelingin図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。‘amfawllingim’‘fawllingimlove’‘amfawllingimlove’‘Iamfawllingim’本明細書においてサブステージIIAに関して上述した機能を用いて、表20に見られる、インターネットコーパス中での発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。少なくとも最小の閾値の発生頻度を有する他のCFSに完全に含まれる全てのCFSは除外される。例えば、以下の特徴グラムは除外される。‘amfawllingim’‘fawllingimlove’この例では、残るCFSは特徴グラム‘amfawllingimlove’‘Iamfawllingim’である。この例では、クラスター訂正用選択肢の非文脈的な類似度スコアは、表21に示される通りである。訂正用選択肢fallingon、feelingon、およびfeelinginは除去される。CFSのうちの一つについて発生頻度がゼロだからである。G.前記Fでの除去で残った訂正用選択肢について、A-Eで上述したようにして生じた最終選好性メトリックに基づいて、ステージIIIに関して上述したように、ランクが確定する。最も高い最終選好性スコアを有する訂正用選択肢が選択される。H.選択された訂正用選択肢に対し、ステージIVに関して上述したように、信頼水準が割り当てられる。この信頼水準は、以下のパラメータのうちの一つ以上に基づいて算出される。a.上記サブステージIIBで提供された選択されたCFSの個数、タイプ、およびスコア。b.CFSの文脈における、各種クラスター訂正用選択肢の発生頻度の統計的な有意性。c.各CFSの選好性メトリック、および、各種訂正用選択肢の単語類似度スコアに基づく、訂正用選択肢の選択に関するコンセンサスの度合い。d.所定の最小の閾値を上回る、選択されたクラスター訂正用選択肢の非文脈的な類似度スコアステージI。e.所定の最小の閾値を上回るCFSスコアを有し、かつ、別の所定の閾値を上回る選好性スコアを有する、縮小マトリクス中のCFSの個数によって示される、利用可能な文脈データの程度。信頼水準が所定の閾値を上回っている場合、選択された訂正用選択肢は、ユーザとの対話処理無しで実施される。信頼水準が所定の閾値よりも低いが、より低い所定の閾値よりも高い場合、選択された訂正用選択肢は実施されるが、ユーザとの対話処理が求められる。信頼水準が、より低い所定の閾値よりも低い場合、訂正用選択肢の優先順位を付されたリストに基づくユーザの選択が求められる。以下の例は、信頼水準のスコア付けの使用の実例である。以下の入力テキストが提供される。Hewasnotfeelingwekkwhenhereturnedここで、誤記wekkは、隣接キーの置換によって起こったものである。つまり、lがkと二回置き換えられている。図5Aを参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。wekk図6を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。weekwell図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。‘wasnotfeelingwekk’‘notfeelingwekkwhen’‘feelingwekkwhenhe’‘wekkwhenhereturned’本明細書においてサブステージIIAに関して上述した機能を用いて、表22に見られる、インターネットコーパス中での発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。以上の例は、上記Hで示した全ての基準により、weekよりもwellの選択が高い信頼水準を有することを示す。以下の例では、信頼水準は幾分低くなっている。訂正用選択肢backは、CFSbechinthesummerでbeachより発生頻度が高いが、beachは、CFSonthebeechinとthebechintheで、backより発生頻度が高いからである。訂正用選択肢beachが、基準Hcに基づいて中級の信頼水準で選択される。以下の入力テキストが提供される。Iliketoworkonthebechinthesummerここで、誤記bechは、押下キー脱落によって起こったものである。つまりaと押したのに、小型キーボード装置のキーパッドで記録されなかったものである。図5Aを参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。bech図6を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。beachbeechback図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。‘onthebechin’‘thebechinthe’‘bechinthesummer’サブステージIIAに関して上述した機能を用いて、表23に見られる、インターネットコーパス中での発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。訂正用選択肢beachが、基準Hcに基づいて中級の信頼水準で選択される。以下の例では、基準Haに基づいて、信頼水準はさらに低い。以下の入力テキストが受け取られる。Expetsarewhatweneednowreallyここで、誤記Expetsは、押下キーの脱落のよって起こったものである。つまり、rを押したのに、小型キーボード装置のキーパッドで記録されなかったものである。図5Aを参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。Expets図6を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。ExpertsExertsExpects図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。‘Expetsare’‘Expetsarerestoring’‘Expetsarerestoringthe‘ExpetsarerestoringtheBritish’サブステージIIAに関して上述した機能を用いて、表24に見られる、インターネットコーパス中での発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。全ての訂正用選択肢が発生頻度ゼロとなるCFSは全て除外される。この例では、以下の特徴グラムは除外される。‘Expetsarewhat‘Expetsarewhatwe‘Expetsarewhatweneed’この例では、唯一の残るCFSは、特徴グラム‘Expetsare’である。以上の例から分かるように、除去処理で残った唯一のCFSはExpetsareである。結果として、信頼水準は比較的に低い。一つのCFSのみに基づいての選択であり、そのCFSも比較的に短く、疑わしい単語を除けば、含まれる単語は一つだけであり、その単語も頻繁に発生する単語だからである。ここで図8を参照する。図8は、図3、図9および図10の誤用された単語および文法の訂正機能において有用である、各種訂正用選択肢の文脈ベースおよび単語類似度ベースのスコア付けのための機能を示す単純化したフローチャートである。図8に見られるように、各種訂正用選択肢の文脈ベースおよび単語類似度ベースのスコア付けは、以下の大まかなステージで進む。I.非文脈的なスコア付け-各種クラスター選択肢に、書面上の見た目および音の類似性の観点から、入力テキスト中のクラスターに対する類似度に基づいてスコアを付ける。このスコア付けは、与えられたクラスター以外のいかなる文脈的な類似度も考慮に入れない。II.インターネットコーパスを用いる文脈的なスコア付け-各種クラスター選択肢の各々にまた、図4を参照して上記で説明したようにして提供される、抽出された文脈特徴シーケンスCFSに基づいてスコアを付ける。このスコア付けは、以下のサブステージを含む。IIA.発生頻度の解析が行われる。これは、好ましくはインターネットコーパスを用いて、図6の機能によって作り出された各種クラスター訂正用選択肢に対し、図4を参照して上記で説明されたようにして抽出されたCFSの文脈において、為される。IIB.CFSの選択および各種CFSの重み付けが行われる。これは、サブステージIIAの発生頻度解析の結果にとりわけ基づいて行われる。重み付けはまた、各種CFSの相対的な固有の重要度にも基づく。CFSの一部にはゼロの重みが与えられ、選択されないようにしてもよいことは理解される。選択されるCFSには、好ましくは相対的な重みが与えられる。IIC.発生頻度のメトリックが、サブステージIIBで選択されたCFSの各々について、各訂正用選択肢に対して割り当てられる。IID.クラスター訂正用選択肢の縮小セットが生成される。これは、サブステージIIAの発生頻度解析、サブステージIICの発生頻度メトリック、および、サブステージIIBのCFSの選択と重み付けの結果にとりわけ基づいて行われる。IIE.訂正基準クラスターとして使用するために、入力クラスターが選択される。IIF.発生頻度のメトリックが、ステージIIBで選択されたCFSごとに、サブステージIIEの訂正基準クラスターに対して割り当てられる。IIG.比のメトリックが、サブステージIIBで選択された特徴の各々に対して割り当てられる。これは、その特徴についての各訂正用選択肢の発生頻度メトリックの、サブステージIIBの基準クラスターに割り当てられた発生頻度メトリックに対する比である。III.最も好ましいクラスター訂正用選択肢が、ステージIの結果およびステージIIの結果に基づいて選択される。IV.信頼水準スコアが、その最も好ましいクラスター訂正用選択肢に割り当てられる。ステージII-IVにおいて上述した機能のより詳細な説明は以下で与えられる。サブステージIIAに関して、訂正されるべきクラスターを含むCFSの全ては、図4において上述したようにして生成される。入力クラスター中の誤り以外の誤りが疑われるものを含むCFSは除外される。各CFSのクラスターに対する訂正用選択肢の各々について、コーパス中、好ましくはインターネットコーパス中での発生頻度を示すマトリクスが生成される。全ての訂正用選択肢が発生頻度ゼロであるCFSは全て除外される。その後、少なくとも最小の閾値の発生頻度を有する他のCFSに完全に含まれるCFSは全て除外される。以下の例は、発生頻度マトリクスの生成を示す。以下の入力テキストが提供される。Ifiddomeresearchalreadyここで、誤記fidは、dがfに置き換えられた隣接キー置換によって起こったものであり、誤記domeは、sがdに置き換えられた隣接キー置換によって起こったものである。図5Bを参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。fiddome図6を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。feedsomedidsomedidcomedeeddimpoddimepoddome図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。‘fiddome’‘Ifiddome’‘fiddomeresearch’‘Ifiddomeresearch’‘Ifiddomeresearchalready’サブステージIIAに関して上述した機能を用いて、表25に見られるインターネットコーパス中での発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。全ての訂正用選択肢が発生頻度ゼロとなるCFSは全て除外される。この例では、以下の特徴グラムは除外される。‘Ifiddomeresearchalready’その後、少なくとも最小の閾値の発生頻度を有する他のCFSに完全に含まれる全てのCFSは除外される。例えば、以下の特徴グラムは除外される。‘fiddome’‘Ifiddome’‘fiddomeresearch’この例では、唯一の残るCFSは、以下の特徴グラム‘Ifiddomeresearch’である。その結果生じるマトリクスは表26に見られる通りとなる。上記の例は、本発明の好ましい実施形態に従うマトリクスの生成を示している。この例では、didsomeが好ましい訂正用選択肢であることは明らかである。実際には毎回そんなにすんなりと選択されるものではないと認識される。従って、以下に提示する更なる例では、訂正用選択肢からの選択がはるかに難しいときの機能が提供される。サブステージIIBの考慮に戻って、任意には、残るCFSの各々には、図4を参照して上述したようにしてスコアが与えられる。付加的には、複数単語の入力の以前の訂正の繰り返しにおいて導入された単語を含み、かつ所定の信頼水準の閾値を下回る信頼水準を有するCFSは、負にバイアスされる。一般的な場合において、サブステージIICにおいて上述したのと同様に、好ましくは、インターネットコーパス中での各CFSの正規化された発生頻度を示す正規化頻度マトリクスが生成される。正規化頻度マトリクスは通常、各CFSの頻度を、関連するクラスター選択肢の発生頻度の関数で割ることにより、頻度マトリクスから生成される。正規化は、各種訂正用選択肢の全体の人気度における実質的な差の影響をなくすように機能する。好適な正規化係数は、CFSに関係なく、全体として、コーパス中での各種訂正用選択肢の全体の発生頻度に基づく。以下の例は、正規化された発生頻度のマトリクスの生成を示す。以下の入力テキストが、典型的には音声認識によって、提供される。Ohthenareyouadecentdocentorastudent図5Bを参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。decent図6を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。decentdecentdoesn’t図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。‘adecent’‘decentora’本明細書においてサブステージIICに関して上述した機能を用いて、表27に見られる、インターネットコーパス中での発生頻度および正規化された発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。各種訂正用選択肢の全体の人気度における実質的な差のために、最も高い発生頻度を有する単語が、最も高い正規化された発生頻度を有するとは限らないことが上記の例より理解され得る。上記の例では、docentが最も高い正規化された発生頻度を有する。また、入力テキストの文脈から、decentではなく、docentの方が正しい単語であることが明らかである。decentの方がインターネットコーパス中での発生頻度は高いにもかかわらずである。本発明の特有の特徴は、各種訂正用選択肢の全体の人気度における実質的な差の影響をなくす、正規化された発生頻度が、訂正用選択肢の選択に用いられることにある。正規化された発生頻度以外の、発生頻度の他のメトリックが、代替的または付加的に、メトリックとして用いられ得ることを理解されたい。発生頻度が比較的低い場合、または著しく高い場合、付加的または代替的なメトリックは有益である。付加的な機能がしばしば、各種訂正用選択肢の選択において有用であることが以下の議論から理解されるであろう。これらの機能は以下に説明される。サブステージIIDにおいて、以下の2つのメトリックに従って、他の訂正用選択肢よりも好ましくないクラスター訂正用選択肢が除外される。i.他よりも、単語類似度スコアが低いクラスター訂正用選択肢。ii.他よりも、CFSの全ての発生頻度が低く、好ましくは正規化された発生頻度も低いクラスター訂正用選択肢。以下の例は、上述したような訂正用選択肢の除外を示す。以下の入力テキストが提供される。Ileaveonabighouseここで、誤記leaveは、iがeaと置き換えられた音声置換によって起こったものであり、誤記onは、iがoと置き換えられた隣接キー置換によって起こったものである。図5Bを参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。leaveon図6を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。leaveinliveinlovein図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。‘Ileaveona’‘leaveonabig’本明細書においてステージIIEに関して上述した機能を用いて、表28に見られる、インターネットコーパス中での発生頻度および正規化された発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。この例では、クラスター訂正用選択肢の非文脈的な類似度スコアは、表29に示される通りである。クラスター訂正用選択肢loveinは除外される。liveinよりも類似度スコアが低く、かつ、発生頻度および正規化された発生頻度も低いからである。クラスター訂正用選択肢leaveinは、この段階では除外されない。類似度スコアがliveinよりも高いからである。以上より理解され得るように、サブステージIIDの機能の動作の結果、縮小された頻度マトリクスおよび、好ましくはまた、縮小された正規化頻度マトリクスを得る。これらは、縮小された複数のCFSの各々についての、縮小された複数の訂正用選択肢各々、類似度スコアを有する毎の発生頻度および、好ましくはまた、正規化された発生頻度を示すものである。以下の例から分かるように、クラスター訂正用選択肢の縮小セットは、後続のクラスター選択肢の選択機能の全てで好ましくは用いられる。縮小された頻度マトリクスおよび、好ましくは、縮小された正規化頻度マトリクスにおける各訂正用選択肢に対し、最終選好性メトリックが生成される。1つまたは複数の以下の択一のメトリックが用いられ訂正用選択肢ごとに最終選好性スコアが生成され得る。用語頻度関数は、以下では、頻度、正規化頻度、または、頻度と正規化頻度との両方の関数を示すために用いられる。A.一つの可能な選好性メトリックは、一つまたは複数の縮小されたマトリクス中のCFSのいずれかについての、そのマトリクス中の各クラスター訂正用選択肢に対する最も高い発生頻度の関数である。例えば、各種クラスター訂正用選択肢に以下の通りにスコアが付けられる。以下の入力テキストが提供される:Iamvarysatisfiedwithyourwork図5Bを参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。vary図6を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。varyvery図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。‘amvary’‘varysatisfied’Iamvarysatisfiedwith本明細書においてサブステージIICに関して上述した機能を用いて、表30および表31に見られる、インターネットコーパス中での発生頻度および正規化された発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。この例では、発生頻度および正規化された発生頻度の両方から、veryが最も高い頻度関数を有することが分かる。B.他の可能な選好性メトリックは、各訂正用選択肢についての、全てのCFSの発生頻度の平均の関数である。例えば、各種訂正用選択肢に以下の通りにスコアが付けられる。以下の入力テキストが提供される。Awhileagothelived3dwarfs図5Bを参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。the図6を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。thetheyshethere図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。‘agothelived’‘thelived3’本明細書においてサブステージIICに関して上述した機能を用いて、表32および表33に見られる、インターネットコーパス中での発生頻度、正規化された発生頻度、および平均の発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。thereは、その発生頻度がマトリクス中での最大の発生頻度となるCFSを有するにも関わらず、平均の発生頻度に基づいてtheyが選択されることに留意されたい。この例では、クラスター訂正用選択肢の非文脈的な類似度スコアは、表34に示される通りである。最も高い類似度スコアを有するクラスター訂正用選択肢は選択されないことに留意されたい。C.さらに可能な選好性メトリックは、加重和である。図4を参照して上述した機能によって算出されるようなCFSのスコアを掛け算された各CFSの発生頻度関数の、訂正用選択肢ごとの全CFSにわたる、加重和である。D.[特定の訂正用選択肢/CFS]の選好性メトリックが生成される。サブステージIIE-IIGを参照して上述したように、一つまたは複数の縮小されたマトリクス中の訂正用選択肢に対し以下の操作を、いずれか一つ以上、より好ましくは大部分、最も好ましくは全て、行うことによって、生成される。i.訂正のために選択された元々の入力テキストからのクラスターが選択されて、基準クラスターとなる。ii.修正マトリクスが作成される。各選択マトリクスにおいて、各特徴グラムにおける各訂正用選択肢の発生頻度関数を、各訂正用選択肢の発生頻度関数の、基準クラスターの発生頻度関数に対する比に置き換えたものである。iii.iiにおいて上述したタイプの修正マトリクスが、さらに修正される。各選好性メトリックにおける比を、比の関数比の差が非常に大きいことの計算上の重要性を軽減させる関数に置き換えることによって修正される。好適なそのような関数は対数関数である。この操作の目的は、最も好ましい訂正用選択肢の最終選好性スコア付けにおいて、発生頻度の差が大きいことにあまり重点が置かれず、最も好ましくない訂正用選択肢の最終選好性スコア付け従って除去において、発生頻度の差が大きさことに依然として重点が置かれるようにすることである。iv.iiまたはiiiで上述したタイプの修正マトリクスが、追加的に修正される。各選好性メトリックにおける適用可能な比または比の関数に、適切なCFSスコアを掛けることによって修正される。これは、正しい文法の用法、およびCFSスコアに反映される他の要因を基にした強調を提供する。v.ii、iiiまたはivで上述したタイプの修正されたマトリクスが、追加的に修正される。各選択マトリクスにおける適用可能な比または比の関数に、ユーザ不確実性メトリックの関数を掛け算することによって修正される。ユーザ入力不確実性メトリックのいくつかの例としては、ワードプロセッサで行われた入力単語またはクラスターに関する編集行為の回数その文書中の他の単語に対する編集行為と比較して、ワードプロセッサで行われた入力単語またはクラスターの書き込みのタイミングその文書中の他の単語の書き込みの時間と比較して、および音声認識入力機能で行われた入力単語またはクラスターの語りのタイミングそのユーザが他の単語を話す時間と比較してが挙げられる。ユーザ入力不確実性メトリックは、そのユーザの単語の選択の確実性の指標を提供する。このステップは、基準クラスターに対する算出されたバイアスを取得し、このクラスターについてのユーザの確実性または不確実性の関数によってそれを修正する。vi.ii、iii、ivまたはvで上述したタイプの修正マトリクスが追加的に修正される。適用可能な比、比の関数、発生頻度、および正規化された発生頻度の関数を生成することによって修正される。好ましい関数は、各選好性メトリックにおける適用可能な比または比の関数に、そのCFSの発生頻度を掛けることによって生成される。E.最終選好性メトリックが、Dで上述したような[特定の訂正用選択肢/CFS]の選好性メトリックに基づいて、各訂正用選択肢について算出される。訂正用選択肢の類似度スコアに、その[訂正用選択肢]の全てのCFSの[特定の訂正用選択肢/CFS]の選好性メトリックの和を掛けることによって、訂正用選択肢ごとに算出される。そのような修正マトリクスの例は以下の通りである。以下の入力テキストが提供される。Iwillbeabletoteachbasewithyounextweek図5Bを参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。teach図6を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。teachtouch図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。‘abletoteach’‘toteachbase’上記においてサブステージIIAおよびIICに関して上述した機能を用いて、表35に見られる、インターネットコーパス中での発生頻度および正規化された発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。発生頻度と正規化された発生頻度の両方とも、ある特徴については、teachの方がtouchよりも大きいが、別の特徴については、touchの方がteachよりも大きいことに留意されたい。訂正用選択肢を正しく選択するために、サブステージIIGに関して上述した、比のメトリックは、以下に説明するようにして用いられることが好ましい。この例では、クラスター訂正用選択肢の非文脈的な類似度スコアは、表36に示される通りである。基準クラスターはteachであることがわかる。その類似度スコアが最も高いからである。それにも関わらず、上述した最終選好性スコアによれば、touchが選択される。teachが最も高い発生頻度と最も高い正規化された発生頻度を有することを示す上記マトリクスを考慮すれば認識され得るように、これはすぐには理解できない。この例では、最終選好性スコアは、teachではなくtouchを選択することを示している。touchを好む特徴の発生頻度の比は、teachを好む、他方の特徴の発生頻度の比よりもずっと大きいからである。F.任意に、訂正用選択肢が除去されてもよい。除去は、その訂正用選択肢について、および、基準クラスターについて、頻度関数の値および選好性メトリックの比較を基に、以下の決定規則の一つ以上を用いて行われる。1.所定の閾値を下回る類似度スコアを有し、かつ、CFSスコアが所定の閾値よりも高い少なくとも一つの特徴の基準クラスターのCFS頻度関数よりも小さいCFS頻度関数を有する訂正用選択肢を除去する。2.所定の閾値を下回る類似度スコアを有し、かつ、CFSスコアが別の所定の閾値よりも高い少なくとも一つの特徴について、所定の閾値よりも小さい選好性メトリックを有する訂正用選択肢を除去する。3.a.各CFSのCFSスコアを確かめる。b.各CFSについて、基準クラスターのCFS頻度関数と、訂正用選択肢のCFS頻度関数を確かめ、基準クラスターと訂正用選択肢のどちらがそのCFSについてより高い頻度関数を有するかを確かめる。c.訂正用選択肢が基準クラスターよりも高い頻度を有するCFSについて、そのCFSスコアを合計する。d.基準クラスターが訂正用選択肢よりも高い頻度を有するCFSについて、そのCFSスコアを合計する。e.cの和がdの和よりも小さい訂正用選択肢を除去する。以下の例は、上述した除去機能を示す。以下の入力テキストが、典型的には音声認識機能によって、提供される。Iwanttwototooitemsplease図5Bを参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。twototoo図6を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。twototoo図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。‘Iwanttwo’‘wanttwoitems’本明細書においてステージIIAに関して上述した機能を用いて、表37に見られる、インターネットコーパス中での発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。訂正用選択肢tooおよびtoは除去される。CFSのうちの一つについて発生頻度がゼロだからである。他のCFSについて高い発生頻度があるにも関わらずである。このようにここで、唯一の残るCFSは、twoである。G.前記Fでの除去で残った訂正用選択肢について、A-Eで上述したようにして展開された最終選好性メトリックに基づいて、ステージIIIに関して上述したように、ランクが確定する。最も高い最終選好性スコアを有する訂正用選択肢が選択される。H.選択された訂正用選択肢に対し、ステージIVに関して上述したように、信頼水準が割り当てられる。この信頼水準は、以下のパラメータのうちの一つ以上に基づいて算出される。a.上記サブステージIIBで提供された選択されたCFSの個数、タイプ、およびスコア。b.CFSの文脈における、各種クラスター訂正用選択肢の発生頻度の統計的な有意性。c.各CFSの選好性メトリック、および、各種訂正用選択肢の単語類似度スコアに基づく、訂正用選択肢の選択に関するコンセンサスの度合い。d.所定の最小の閾値を上回る、選択されたクラスター訂正用選択肢の非文脈的な類似度スコアステージI。e.所定の最小の閾値を上回るCFSスコアを有し、かつ、別の所定の閾値を上回る選好性スコアを有する、縮小マトリクス中のCFSの個数によって示される、利用可能な文脈データの程度。信頼水準が所定の閾値を上回っている場合、選択された訂正用選択肢は、ユーザとの対話処理無しで実施される。信頼水準が所定の閾値よりも低いが、より低い所定の閾値よりも高い場合、選択された訂正用選択肢は実施されるが、ユーザとの対話処理が求められる。信頼水準が、より低い所定の閾値よりも低い場合、訂正用選択肢の優先順位を付されたリストに基づくユーザの選択が求められる。以下の例は、信頼水準のスコア付けの使用の実例である。以下の入力テキストが提供される。Hewasnotfeelingwalewhenhereturned図5Bを参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。wale図6を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。walewell図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。‘wasnotfeelingwale‘notfeelingwalewhen‘feelingwalewhenhe’‘walewhenhereturned’本明細書においてサブステージIIAに関して上述した機能を用いて、表38に見られる、インターネットコーパス中での発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。以上の例は、上記Hで示した基準の全てにより、waleよりもwellの選択が高い信頼水準を有することを示す。以下の例では、信頼水準は幾分低くなっている。訂正用選択肢backは、CFSbeechinthesummerでbeachより発生頻度が高いが、beachは、CFSonthebeechinとthebeechintheで、backより発生頻度が高いからである。訂正用選択肢beachが、基準Hcに基づいて中級の信頼水準で選択される。以下の入力テキストが提供される。Iliketoworkonthebeechinthesummer図5Bを参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。beech図6を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。beachbeechback図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。‘onthebeechin’‘thebeechinthe’‘beechinthesummer’ステージIIAに関して上述した機能を用いて、表39に見られる、インターネットコーパス中での発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。訂正用選択肢beachが、基準Hcに基づいて中級の信頼水準で選択される。以下の例では、基準Haに基づいて、信頼水準はさらに低い。以下の入力テキストが受け取られる。ExertsarerestoringtheBritishMuseum’sroundreadingroom図5Bを参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。Exerts図6を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。ExpertExertsExpects図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。‘Exertsare’‘Exertsarerestoring’‘Exertsarerestoringthe’‘ExertsarerestoringtheBritish’サブステージIIAに関して上述した機能を用いて、表40に見られる、インターネットコーパス中での発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。全ての訂正用選択肢が発生頻度ゼロとなるCFSは全て除外される。この例では、以下の特徴グラムは除外される。‘Exertsarerestoring’‘Exertsarerestoringthe’‘ExertsarerestoringtheBritish’この例では、唯一の残るCFSは、特徴グラム‘Exertsare’である。以上の例から分かるように、除去処理で残った唯一のCFSはExpetsareである。結果として、信頼水準は比較的に低い。一つのCFSのみに基づいての選択であり、そのCFSも比較的に短く、疑わしい単語を除けば、含まれる単語は一つだけであり、その単語も頻繁に発生する単語だからである。以下の例は、上記ステージDおよびEで説明した最終選好性スコアのメトリックの使用を示す。以下の入力テキストが提供される。Somekidsdontdoanysportandsitarounddoingnothingandgettingfastsoyouwillburnsomecaloriesandgetalotfitterifyouexercise図5Bを参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。fast図6を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。fatfast図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。andgettingfastgettingfastsofastsoyoufastsoyouwill本明細書においてサブステージIIAに関して上述した機能を用いて、表41に見られる、インターネットコーパス中での発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。この例では、クラスター訂正用選択肢の非文脈的な類似度スコアは、表42に示される通りである。上記ステージDおよびEで説明した最終選好性スコアのメトリックを用いて、訂正用選択肢fatが低い信頼度で選択される。ここで図9を参照する。図9は、欠落要素の訂正機能の動作を示す詳細なフローチャートである。欠落要素の訂正機能は、冠詞、前置詞、句読点、および入力テキスト中で主に文法的な機能を果たす他の要素について、その欠落の訂正をするように機能する。この機能は、図1の綴り訂正機能からの綴りを訂正された入力テキストの出力に対して機能することが好ましい。欠落の疑いのある要素の特定は、以下のようにして行われることが好ましい。先ず、綴りを訂正された入力テキストについて、特徴グラムが生成される。綴りを訂正された入力テキストにおける各特徴グラムの、コーパス中、好ましくはインターネットコーパス中での発生頻度FREQFGが確かめられる。各特徴グラムの予期される発生頻度EFREQFGは以下のように算出される。特徴グラムは、W1-Wnとして特定されるn個の単語を含むと想定される。Wiは、特徴グラム中のi番目の単語を示す。与えられた特徴グラムの予期される発生頻度は、特徴グラム中の単語の分割単語W1...Wn-1の各々に続く2つの連続部分への分割に基づいて、その特徴グラムの予期される頻度のうちで最も高いものになるように取られる。単語Wiに続く2つの連続部分への特徴グラム中の単語の分割に基づく特徴グラムの予期される頻度は、以下の通りに表すことができる。WiについてのEFREQFG=FREQ×FREQ/コーパス中での全ての単語の頻度の合計2つの連続部分への特徴グラム中の単語の全ての可能な分割に基づいて、各特徴グラムの予期される頻度が算出される。WiについてのFREQFG/EFREQFGが所定の閾値よりも小さい場合、Wiについての特徴グラムは、その特徴グラムにおいてWiとWi1との間で冠詞、前置詞、または句読点が欠落している疑いがあると考えられる。綴りを訂正された入力テキスト中の2つの連続する単語の間で欠落の疑いがある単語連結部は、好ましくは、最も多くの量の疑わしくない文脈データによって囲まれた単語連結部分を見い出す試みを行うことによって、訂正のために選択される。好ましくは、その付近において疑わしくない単語連結部の最も長い一つまたは複数のシーケンスを有する単語連結部が選択される。一つまたは好ましくは複数の挿入用選択肢が単語連結部ごとに生成される。好ましくは、もしかしたら欠落している、句読点、冠詞、前置詞、接続詞、その他の要素名詞、動詞または形容詞を通常含まないなどの所定のセットに基づいて生成される。各種挿入用選択肢の、少なくとも部分的に文脈ベースおよび単語類似度ベースのスコア付けが、図8を参照して上述し、かつ以下に説明される訂正用選択肢スコア付けアルゴリズムに好ましくは基づいて、提供される。以下の例が実例となる。以下の入力テキストが適用される。Ican’treadpleasehelpme図4を参照して上述した機能を用いて、以下の特徴グラムが生成される部分的なリスト。Icantreadcantreadpleasereadpleasehelppleasehelpme上述した機能を用いて、インターネットコーパス中での発生頻度のマトリクスが、上記リストの特徴グラムに対して生成され、それは、典型的には表43に見られる通りである。予期される発生頻度は、以下の式に従って、特徴グラム中の各単語Wiについて特徴グラムごとに算出される。WiについてのEFREQFG=FREQ×FREQ/コーパス中での全ての単語の頻度の合計それらの計算の一部の例示的な結果は、表44および表45に見られる。上記結果から分かるように、特徴グラムの各々の実際の発生頻度は、その予期される発生頻度よりも小さい。これは、句読点などの要素の不在が疑われることを示す。単語readに続く挿入用選択肢のリストが生成される。このリストは、句読点、冠詞、接続詞、および前置詞の所定のリストを含むことが好ましい。特には、ピリオド.を含めておく。選択肢の部分的なリストは、readpleasereadPleasereadofpleasereadapleaseである。図4を参照して上述した機能を用いて、以下のCFSが生成される。Icantreadreadpleasehelppleasehelpme図8のステージIIAで説明した機能を用いて、表46に見られる、インターネットコーパス中での発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。.がクラスターに含まれている場合、.を有するクラスターを含むCFSの発生頻度が、.の前後のテキストで別々に検索される。つまり、特徴グラムcan’treadPleaseは、2つの別の文法構文解析フレーズを含むため、生成されない。図8のステージDおよびEで説明した機能を用いて、最終選好性メトリックは、訂正用選択肢readPleaseを選択する。訂正された入力テキストは、Ican’treadPleasehelpmeである。以下の例は、欠落した前置詞を追加する機能を示している。以下の入力テキストが提供される。Isitthesofa後述する機能を用いて、以下のクラスターが訂正のために選択される。‘sitthe’後述する機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。sitonthesitofthesitthe図4を参照して上述した機能を用いて、以下のCFSが生成される。‘Isitthe’‘sitthesofa’図8のステージIIAで説明した機能を用いて、表47に見られる、インターネットコーパス中での発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。図8のステージIIDおよびIIEで説明した機能を用いて、最終選好性メトリックは、訂正用選択肢sitontheを選択する。訂正された入力テキストは、Isitonthesofaである。ここで図10を参照する。図10は、不要な要素の訂正機能の動作を示す詳細なフローチャートである。不要な要素の訂正機能は、冠詞、前置詞、句読点、および入力テキスト中で主に文法的な機能を果たす他の要素について、それが不要であるものを訂正するように機能する。この機能は、図1の綴り訂正機能からの綴りを訂正された入力テキストの出力に対して機能することが好ましい。図10の機能は、図9の機能と組み合わされてもよい。または代替的に、図9の機能と並行して行われてもよく、また、その前後に行われてもよい。不要である疑いのある要素の特定は、以下のようにして行われることが好ましい。検索は、綴りを訂正された入力テキストに対して行われ、不要である可能性がある句読点、冠詞、前置詞、接続詞、およびその他の要素名詞、動詞または形容詞を通常含まないについての所定のセットに属する要素を特定する。そのような要素ごとに、そのような要素を含む、誤用単語および文法を訂正され、綴りを訂正された入力テキストの全ての部分について、特徴グラムが生成される。そのような特徴グラムごとに、および、その要素を省略した該当する特徴グラムについて、発生頻度が算出される。その要素を省略した特徴グラムの発生頻度が、その要素が存在している該当する特徴グラムの発生頻度を上回っている場合、その要素は疑わしいと考えられる。誤用単語および文法を訂正され、綴りを訂正された入力テキスト中の疑わしい要素は、好ましくは、最も多くの量の疑わしくない文脈データによって囲まれた要素を見付ける試みによって、訂正のために選択される。好ましくは、その付近において疑わしくない単語の最も長い一つまたは複数のシーケンスを有する要素が選択される。可能な要素の削除が、疑わしい要素ごとに生成される。各種選択肢の少なくとも部分的に文脈ベースおよび単語類似度ベースのスコア付けすなわち、要素の削除または要素の不削除が、図8を参照して上述し、かつ以下に説明する訂正用選択肢スコア付けアルゴリズムに好ましくは基づいて、提供される。以下の例が実例となる。以下の入力テキストが提供される。Itisanicethingtowear入力テキストが検索され、例えば、句読点、前置詞、接続詞、および冠詞等のよく起こる不要である要素の所定のリストに属するあらゆる要素を特定するように検索される。この例では、カンマ,は、そのようなリストに属するものとして特定される。図4を参照して上述した機能を用いて、表48に見られるカンマ,を含む特徴グラムが生成され、カンマを有しない同一の特徴グラムもまた生成される部分的なリスト。上述した機能を用いて、インターネットコーパス中の発生頻度のマトリクスが、上記リストの特徴グラムに対して生成され、それは、典型的には表49に見られる通りである。上記マトリクスに見られるように、,を省略した特徴グラムの発生頻度は、,が存在する該当する特徴グラムの発生頻度を上回っている。従って、,は不要の疑いがあると考えられる。カンマの削除の可能性は、カンマを維持するものおよびカンマを省略するものの以下の選択肢の、文脈ベースのスコア付けに基づいて考慮される。‘nice’‘nice’図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。anicenicethingisaniceanicethingnicethingto図8のステージIIAを参照して上述した機能を用いて、表50に見られる、インターネットコーパス中での発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。少なくとも最小の閾値の発生頻度を有する他のCFSに完全に含まれるCFSは全て除外される。例えば、以下の特徴グラムは除外される。anicenicethingこの例では、残るCFSは特徴グラムisaniceanicethingnicethingtoである。上記図8のステージDおよびEで説明された最終選好性スコアを用いて、カンマを有しない訂正用選択肢niceが選択される。カンマ削除後の入力テキストは、Itisanicethingtowearである。以下の例は、不要な冠詞を削除する機能を示す。以下の入力テキストが提供される。Weshouldprovidethemafoodandwater図10を参照して上述した機能を用いて、以下のクラスターが訂正のために選択される。afood図10を参照して上述した機能を用いて、以下のクラスター訂正用選択肢が生成される部分的なリスト。afoodfood図4を参照して上述した機能を用いて、以下のCFSが生成される部分的なリスト。‘providethemafood’‘themafoodand’‘afoodandwater’本明細書においてサブステージIIAに関して上述した機能を用いて、表51に見られる、インターネットコーパス中での発生頻度のマトリクスが、上記リストのCFSにおいて上記リストのクラスター訂正用選択肢について生成される。図8に記載されたスコア付け機能を用いて、最終選好性メトリックは、訂正用選択肢foodを選択する。訂正された入力テキストは、Weshouldprovidethemfoodandwaterである。上記で具体的に示され、説明されたものに本発明は限定されないことが当業者には理解されるであろう。本発明の範囲はむしろ、上記で説明し、示した各種特徴の組み合わせおよび部分的組み合わせの両方、ならびに、上記の説明を読んだ当業者が想起するであろう、先行技術にはないそれらの修正を含む。"