(57)【要約】文書を分析し、これによって言語の単語の間の関連を判定する方法および装置（図３）。この方法には、文書の集合を提供すること（３０６）と、文書に現れる、第１の単語または単語列および第２の単語または単語列を選択することが含まれる。この方法には、さらに、範囲内の共通の単語または単語列の出現の頻度に基づいて、第１の単語または単語列および第２の単語または単語列を共通の単語または単語列に関連付けること（３０４）が含まれる。
2005532605.tif 000002
【特許請求の範囲】
【請求項１】
言語の単語を関連付ける方法であって、
少なくとも１つの文書を含む文書の集合を提供するステップと、
第１の単語または単語列および第２の単語または単語列を選択するステップと、
前記集合内での前記第１の単語または単語列および前記第２の単語または単語列の複数の出現を突き止めるステップと、
前記第１の単語または単語列を含む第１範囲と前記第２の単語または単語列を含む第２範囲とを前記集合内で定義するステップと、
複数の範囲に現れる共通の単語または単語列を、前記第１範囲および第２範囲から検索するステップと、
それぞれ前記第１範囲および第２範囲内の前記共通の単語または単語列の出現の頻度に基づいて、第１の単語または単語列および第２の単語または単語列を共通の単語または単語列に関連付けるステップと
を含む方法。
【請求項２】
第１の単語または単語列および第２の単語または単語列の前記関連付けが、前記共通の単語または単語列の出現のより高い頻度によって強化される、請求項１に記載の方法。
【請求項３】
第１の単語または単語列および第２の単語または単語列の前記関連付けが、前記共通の単語または単語列の出現のより低い頻度によって強化される、請求項１に記載の方法。
【請求項４】
前記第１の単語および／または単語列を、実質的に意味論的に同等の単語または単語列に置換するステップをさらに含む、請求項１に記載の方法。
【請求項５】
言語の単語を関連付ける方法であって、
少なくとも１つの文書を含む文書の集合を提供するステップと、
第１の単語または単語列および第２の単語または単語列を選択するステップと、
前記第２の単語および／または単語列の定義された近接範囲内の前記第１の単語または単語列の複数の出現を有するすべての文書を突き止めるステップであって、前記定義された近接範囲が、上限および下限を有するステップと、
前記第１の単語または単語列および前記第２の単語または単語列を含む範囲を、前記突き止められた文書内で定義するステップと、
共通の単語または単語列を前記範囲から検索するステップと、
前記範囲内の前記共通の単語または単語列の出現の頻度に基づいて、前記第１の単語または単語列および前記第２の単語または単語列を共通の単語または単語列に関連付けるステップと
を含む方法。
【請求項６】
第１の単語または単語列および第２の単語または単語列の前記関連付けが、前記共通の単語または単語列の出現のより高い頻度によって強化される、請求項５に記載の方法。
【請求項７】
第１の単語または単語列および第２の単語または単語列の前記関連付けが、前記共通の単語または単語列の出現のより低い頻度によって強化される、請求項５に記載の方法。
【請求項８】
前記定義された近接の前記上限および前記下限が等しい、請求項５に記載の方法。
【請求項９】
単一の言語で関連データベースを作成する方法であって、
少なくとも１つの文書を含む文書の集合を提供するステップと、
第１の単語または単語列を選択するステップと、
前記第１の単語または単語列の複数の出現を突き止めるステップと、
前記第１の単語または単語列の前記複数の出現のそれぞれに関して現れる範囲を、前記集合内で定義するステップと、
複数の範囲に現れる共通の単語または単語列を、前記範囲から検索するステップと、
前記範囲内の前記共通の単語または単語列の出現の頻度に基づいて、第１の単語または単語列を共通の単語または単語列に関連付けるステップと
を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ある状態から第２の状態への言語の変換に使用されるデータベースを作成する方法および装置に関する。
【背景技術】
【０００２】
関連出願
本願は、２００１年１２月２１日出願の米国特許出願第１０／０２４４７３号明細書の一部継続出願であり、２００１年３月１６日出願の米国特許出願第６０／２７６１０７号明細書および２００１年６月２１日出願の米国特許出願第６０／２９９４７２号明細書の利益を主張するものであり、これらの特許出願明細書のすべてが、参照によって本明細書に組み込まれる。
【０００３】
コンピュータプログラムリスティング付録
本願には、ディスク１内のコンピュータプログラムリスティング付録に、コンピュータプログラムリスティングである、２００２年５月２８日作成の１２キロバイトを含むファイルｐｒｏｇｒａｍ１．ｔｘｔ内のＰｒｏｇｒａｍ１、２００２年５月２８日作成の２キロバイトを含むファイルｐｒｏｇｒａｍ２．ｔｘｔ内のＰｒｏｇｒａｍ２、２００２年５月２８日作成の１７キロバイトを含むファイルｐｒｏｇｒａｍ３．ｔｘｔ内のＰｒｏｇｒａｍ３、および２００２年５月３１日作成の８キロバイトを含むファイルｐｒｏｇｒａｍ４．ｔｘｔ内のＰｒｏｇｒａｍ４が含まれる。
【０００４】
ある言語から別の言語へ文書を自動的に翻訳するデバイスおよび方法が周知である。しかし、これらのデバイスおよび方法は、しばしば、ある言語から別の言語へ文書を正確に翻訳することができず、長い時間がかかり、使用するのに不都合である可能性がある。人間の翻訳者の他に、他の周知のデバイスに、市販機械翻訳ソフトウェアが含まれる。これらの周知のシステムは、誤り、低速、不都合を許す短所がある。周知の翻訳デバイスおよび翻訳方法は、テキスト入力に対して常に正確な翻訳を返すことができず、したがって、頻繁に、校正および編集のための集中的なユーザ介入を必要とする。正確な機械翻訳は、文書の逐語翻訳を行うデバイスおよび方法の提供より複雑である。これらの逐語システムでは、翻訳が、しばしば、翻訳された文書の読者にとってほとんど意味をなさない。というのは、逐語法は、単語の選択を誤り、文法単位が一貫しないからである。
【０００５】
これらの不備を克服するために、周知の翻訳デバイスでは、数十年来、語彙、形態論、構文、および意味論のルールの組合せまたは組に基づいて、文の文脈内での単語翻訳を選択することが試みられてきた。これらのシステムを、当技術分野では「規則に基づく」機械翻訳（ＭＴ）システムと称するが、これらのシステムは、ルールに非常に多くの例外があり、一貫して正確な翻訳を提供できないので、欠陥を有する。
【０００６】
規則に基づくＭＴのほかに、最近１０年間に、「用例に基づく」と称するＭＴの新しい方法（ＥＢＭＴ）が開発された。ＥＢＭＴでは、２つの異なる言語でクロス言語データベース（ｃｒｏｓｓ−ｌａｎｇｕａｇｅ  ｄａｔａｂａｓｅ）に記憶された文（または、おそらくは文の部分）を利用する。翻訳照会がデータベース内の文と一致したときに、ターゲット言語の文の翻訳が、データベースによって作られ、第２の言語での正確な翻訳がもたらされる。翻訳照会の一部がデータベース内の文の一部と一致する場合に、このデバイスは、ソース言語の文にマッピングされた文のどの部分が照会の翻訳であるかを正確に判定しようと試みる。
【０００７】
ＥＢＭＴシステムは、クロス言語文のデータベースが、手作業で作成され、常に大部分が「不完全」であるので、幅広い言語の正確な翻訳を提供することができない。ＥＢＭＴのもう１つの短所は、部分的一致が確実に翻訳されないことである。ＥＢＭＴで使用される翻訳された文書の対を使用してクロス言語データベースの作成を自動化する試みが、行われてきた。しかし、これらの努力は、有意なサイズの意味ある正確なクロス言語データベースの作成に成功してはいない。これらの試みのどれもが、翻訳された文書の対からのかなりの数の単語および単語列の翻訳を確実に、正確に洗練するアルゴリズムを使用していない。
【０００８】
一部の翻訳デバイスでは、規則に基づくエンジンとＥＢＭＴエンジンの両方が組み合わされる。この手法の組合せは、一方のシステムだけよりも高い精度をもたらすことができるが、その結果は、まだ、ユーザによるかなりの介入および編集がなければ不適切である。
【０００９】
ある言語から別の言語への文書の翻訳を試みるときに直面する問題は、より一般的に、観念または情報を表すデータを、ある状態、たとえば単語から、別の状態で観念を表すデータ、たとえば数学記号に変換するという問題に当てはまる可能性がある。その場合には、ある状態のデータを第２の状態の同等のデータに関連付けるクロス観念関連データベース（ｃｒｏｓｓ−ｉｄｅａ  ａｓｓｏｃｉａｔｉｏｎ  ｄａｔａｂａｓｅ）を調べなければならない。したがって、異なる言語または状態（たとえば、単語、単語列、音、動きなど）での同等の観念を関連付ける辞書またはデータベースを作成し、文書によってある言語または状態で伝えられる観念を、文書によって第２の言語または状態で表される同一のまたは類似する観念に翻訳または変換する、改善されたより効率的な方法および装置が求められている。
【００１０】
本発明は、クロス観念関連データベースを使用する、内容の操作に関する。具体的には、本発明は、関連する観念のデータベースを作成する方法および装置を提供し、そのデータベースを使用して観念をある状態から他の状態に変換する方法および装置を提供する。
【００１１】
一実施形態で、たとえば、本発明によって、関連する観念のデータベースが２つの言語によって形成される、言語翻訳データベースを作成する方法および装置が提供される。本発明によって、その言語データベースを使用して、文書（観念を表す）をある言語から別の言語へ（より一般的には、ある状態から別の状態へ）変換する方法および装置が提供される。しかし、言語翻訳の好ましい実施形態を示すが、本発明は、言語翻訳に制限されない。本発明のデータベース作成態様は、ある形で関連するが異なる状態で表現される観念に適用することができ、本発明の変換態様は、ある状態から別の状態への観念の正確な翻訳に適用することができる。
【００１２】
もう１つの実施形態で、本発明のデータベース作成態様を使用して、人工知能アプリケーションで使用するために、単一の言語での観念の間の関連およびその互いの関係を作ることができる。
【００１３】
言語翻訳実施形態への本発明の応用を説明する。本明細書で使用される、変換、翻訳、および操作に関する用語は、その最も広義の意味で交換可能に使用される。
【発明の開示】
【発明が解決しようとする課題】
【００１４】
本発明の目的は、クロス観念関連データベースを作成し、補足する方法および装置を提供することによって、ある言語または状態から別の言語または状態への文書の効率的な翻訳を実現することである。このデータベースによって、一般に、特定の観念または情報を表す第１の形態または状態のデータが、同一の観念または情報を表す第２の形態または状態のデータに関連付けられる。
【００１５】
本発明のもう１つの目的は、第１の状態、形態、または言語のデータを含む第１文書から第２の状態、形態、または言語のデータを含む第２文書を作成し、その結果、第１および第２の文書が実質的に同一の観念または情報を表す方法および装置を提供することによって、ある言語または状態から別の言語または状態への文書の翻訳を実現することである。
【００１６】
本発明のもう１つの目的は、第１の状態、形態、または言語のデータを含む第１文書から第２の状態、形態、または言語のデータを含む第２文書を作成し、その結果、第１および第２の文書が実質的に同一の観念または情報を表す方法および装置であって、クロス観念関連データベースを使用することを含む方法および装置を提供することによって、ある言語または状態から別の言語または状態への文書の翻訳を実現することである。
【００１７】
本発明のもう１つの目的は、リアルタイムの形での文書の翻訳（広義の意味では、ある状態から別の状態への観念の変換）を提供することである。
【課題を解決するための手段】
【００１８】
本発明は、クロス観念データベースを作成する方法および装置を提供することによって、上記および他の目的を達成する。クロス観念データベースを作成する方法および装置に、複数の文書を提供することを含めることができ、各文書は、異なる言語であるが、実質的に同一の観念を表す。文書は、同一テキストの正確な翻訳すなわち平行テキスト文書とするか、全般的に関連するテキストを含む翻訳すなわち同等テキストとすることができる。本発明では、使用可能なクロス言語文書の第１言語での複数の出現を有するすべての単語および単語列の、少なくとも第１および第２の出現が選択される。次に、第２言語文書で少なくとも第１単語範囲および第２単語範囲を選択するが、第１および第２の単語範囲は、第１言語文書での選択された単語または単語列の第１および第２の出現に対応する。次に、第１単語範囲で見つかる単語および単語列を、第２単語範囲で見つかる単語および単語列と比較し、両方の単語範囲に共通する単語および単語列を突き止め、この突き止められた共通の単語および単語列を、クロス観念データベースに記憶する。次に、前記クロス観念データベース内で、下記で説明するように関連頻度（ａｓｓｏｃｉａｔｉｏｎ  ｆｒｅｑｕｅｎｃｙ）（再起の数）を調整した後に、第２言語の２つの範囲で突き止められた共通の単語または単語列を、第１言語の選択された単語または単語列に関連付け、関連頻度によってランキングする。平行テキストおよび同等テキストの言語にまたがる共通の単語および単語列をテストすることによって、さまざまな異なる言語で使用可能な平行テキストまたは同等テキストが増えるにつれて、データベースによってより多くの関連が解決されるようになる。
【００１９】
本発明では、文書をある状態から別の状態に変換する方法および装置を提供することによって、上記および他の目的も達成される。本発明によって、第２言語のデータセグメントに関連する第１言語のデータセグメントからなるデータベースが提供される（上記で説明した方法を介してまたは手動で作成される）。本発明では、上記で言及したデータベースにアクセスし、データベースに存在する翻訳される文書内の、文書の最初の単語から始まる最長の単語列（単語数によって測定される）を識別することによって、テキストが翻訳される。次に、このシステムでは、データベースから、第１言語の文書から突き止められた単語列に関連する第２言語の単語列を検索する。次に、このシステムでは、データベースに存在し、文書内の前に識別された単語列とオーバーラップする単語（またはその代わりに単語列）を有する文書内の第２単語列を選択し、データベースから第１言語の第２単語列に関連する第２言語の単語列を検索する。第２言語の単語列関連が、オーバーラップする単語（またはその代わりに単語列）を有する場合に、第２言語の単語列関連が組み合わされて（オーバーラップの冗長性を除去される）、翻訳が形成される。そうでない場合には、成功するまで、第１言語単語列に対する他の第２言語関連を検索し、単語のオーバーラップを介する組合せについてテストする。第１言語の文書内の次の単語列が、前に識別された第１言語単語列とオーバーラップする単語（またはその代わりに単語列）を有するデータベース内で最長の単語列を見つけることによって選択され、第１言語文書全体が第２言語文書に翻訳されるまで、上の処理が継続される。
【００２０】
本発明では、複数の単語または単語列の間の関連を判定するために頻度テーブルも作成され、その結果、ある状態から第２の状態への内容の変換に伴うものを含む他のアプリケーションで頻度テーブルを使用できるようになる。頻度テーブルは、所与の状態（たとえば所与の言語）の文書を検査し、テキスト内の単語または単語列への近接に基づいて２つの単語および／または単語列が関連する頻度を判定することによって作成される。したがって、たとえば、英語のテキストを検査することによって、「ｍｏｕｎｔａｉｎ」、「ｈｉｇｈｅｓｔ  ｐｌａｃｅ  ｉｎ  ｔｈｅ  ｗｏｒｌｄ」、「ｓｎｏｗ」、「ｃｌｉｍｂ」、「ｐｅｏｐｌｅ  ｄｉｅｄ」、および「ｃｏｌｄ」など、句「Ｍｏｕｎｔ  Ｅｖｅｒｅｓｔ」に関連する単語または単語列の頻度テーブルを確立することができる。これらの頻度テーブルを、スマートアプリケーションで任意の形で使用して、複数の頻度テーブルでの共通の関連を識別することによって、質問に答えることができる。スマートアプリケーションに関して作成されるデータベースは、単一の言語の文書から（または、その代わりにクロス言語テキストを使用して）作ることができる。
【発明を実施するための最良の形態】
【００２１】
本発明は、クロス観念データベースを作成し、補足し、クロス観念データベースを使用して、第１の言語または状態の文書を第２の言語または状態に翻訳する方法および装置を提供する。本明細書で言及する文書は、ある媒体に固定された記号および文字によって表される、観念としての情報の集合である。たとえば、文書は、磁気媒体または光媒体に記憶された電子文書、あるいは本などの紙文書とすることができる。文書に含まれる記号および文字は、文書のユーザによる理解を意図された表現の１つまたは複数の体系を使用して表現された観念または情報を表す。本発明では、第１状態であるすなわち、表現の１つの体系で表現された情報を含む文書を操作して、第２状態であるすなわち、表現の第２の体系を使用して表現された実質的に同一の情報を含む文書を作る。したがって、本発明によって、表現の体系の間で、たとえば英語、ヘブライ語、広東語などの書かれた言語および話された言語を他の言語に、文書を操作または翻訳することができる。
【００２２】
本発明の内容変換または内容操作方法の実施形態のシステムまたは装置を、図２に示されたコンピュータシステム２００とすることができる。コンピュータシステム２００には、バス２１４を介してメモリ２０８、入力デバイス２１０、および出力デバイス２１２に結合されたプロセッサ２０２が含まれる。コンピュータシステム２００に、ストレージデバイス２０４およびネットワークインターフェース２０６も含めることができる。プロセッサ２０２によって、メモリ２０８に記憶されたデータおよびプログラムがアクセスされる。メモリ２０８内のプログラムを実行することによって、プロセッサが、コンピュータシステム２００を制御することができ、データを操作するステップと、たとえば入力デバイス２１０、出力デバイス２１２、ストレージデバイス２０４、ネットワークインターフェース２０６、およびメモリ２０８を含むデバイスを制御するステップを実行することができる。メモリ２０８に記憶されたプログラムに、内容変換、単語および単語列の関連付け、ならびにデータベース作成方法および記憶方法などの、本発明の方法を実行するステップを含めることができる。
【００２３】
ストレージデバイス２０４によって、メモリ２０８プロセッサ２０２による後の検索のために情報が記録され、記憶され、ストレージデバイス２０４には、不揮発性メモリデバイス、磁気ディスクドライブ、テープドライブ、および光ストレージデバイスなどの当技術分野で周知のストレージデバイスを含めることができる。ストレージデバイス２０４に、プログラムおよびデータを記憶することができ、このデータには、プロセッサ２０２による使用のためにメモリ２０８に転送できるデータベースが含まれる。完全なデータベースまたはデータベースの諸部分を、プロセッサ２０２によるアクセスおよび操作のためにメモリ２０８に転送することができる。ネットワークインターフェース２０６によって、コンピュータシステム２００とインターネットなどのネットワーク２１６の間のインターフェースが提供され、コンピュータシステム２００からの信号が、ネットワーク２１６を介して伝送できるフォーマットにおよびその逆に変換される。入力デバイス２１０には、たとえば、メモリ２０８およびストレージデバイス２０４にデータを入力するキーボードおよびスキャナを含めることができる。入力データには、分析および内容変換のために文書データベースに記憶される文書のテキストを含めることができる。出力デバイス２１２に、コンピュータシステムユーザに情報を提示するデバイスを含めることができ、たとえば、モニタスクリーンおよびプリンタを含めることができる。
【００２４】
データベース作成の方法および装置ならびに変換の方法および装置を含む本発明の詳細な説明を、これから説明する。
データベース作成の方法および装置
本発明の方法では、文書内容の操作に、クロス観念データベースを利用する。図１に、クロス観念データベースの実施形態を示す。このクロス観念データベースの実施形態には、列１および２の関連するデータセグメントのリスティングが含まれる。データセグメントは、表現の体系での特定の観念または情報を表す文字のグループ化または記号である。文書の表現の体系が、たとえば単語言語である場合に、セグメントを、単語または単語の列とすることができる。したがって、列１の体系Ａセグメントは、表現Ａの仮定の体系でのさまざまな観念および観念の組合せＤａ１、Ｄａ２、Ｄａ３、およびＤａ４を表すデータセグメントである。列２の体系Ｂセグメントは、データセグメントＤｂ１、Ｄｂ３、Ｄｂ４、Ｄｂ５、Ｄｂ７、Ｄｂ９、Ｄｂ１０、Ｄｂ１２であり、これは、表現Ａの体系でのデータセグメントとの関連頻度によって順序付けられた、表現Ｂの仮定の体系でのさまざまな観念および観念の組合せの一部を表す。列３に、直接頻度（Ｄｉｒｅｃｔ  Ｆｒｅｑｕｅｎｃｙ）が示されており、これは、言語Ｂの１つまたは複数のセグメントが言語Ａのリストされたセグメント（１つまたは複数）に関連する回数である。列４に、減算後の頻度が示されており、これは、後で詳細に説明するように、言語Ｂのデータセグメント（１つまたは複数）がより大きいセグメントの一部として関連した回数を引いた後の、そのセグメントが言語Ａのセグメント（１つまたは複数）に関連した回数を表す。
【００２５】
図１からわかるように、単一のセグメント、たとえばＤａ１が、複数のセグメントすなわち、Ｄｂ３およびＤｂ４と一緒のＤｂ１と最も適切に関連することがありえる。データセグメントの間の減算後の頻度（本明細書で説明する）が高いほど、体系Ａのセグメントが体系Ｂのセグメントと同等である確率が高くなる。出現の総数によって調整された頻度を測定するほかに、調整された頻度を、たとえば、特定の体系Ａセグメントが特定の体系Ｂセグメントに対応した回数の比率を計算することによって、測定することもできる。データベースが、文書の翻訳に使用されるときに、最高のランクの関連するセグメントが、処理の最初にデータベースから検索される。しかし、翻訳の関連するセグメントの組合せをテストするのに使用される方法によって（後で説明する）、テストの後でより高いランクの関連を使用できないので、異なるより低いランクの関連をテストしなければならないと判定されることがしばしばである。たとえば、Ｄａ１に関する関連についてデータベースに照会する場合に、データベースは、Ｄｂ１＋Ｄｂ３＋Ｄｂ４を返す。Ｄｂ１＋Ｄｂ３＋Ｄｂ４が、翻訳のために実際にデータセグメントを組み合わせる処理によって使用不能と判定される場合に、データベースは、翻訳に関する別の関連セグメントとの正確な組合せに関するテストのために、Ｄｂ９＋Ｄｂ１０を返す。
【００２６】
一般に、本発明のクロス観念データベースを作成する方法には、平行テキストまたは同等テキストの検査および操作が含まれる。本発明の方法および装置は、２つの状態にまたがる関連すなわち正確な変換、またはより具体的にはある状態で表現される概念と別の状態で表現される概念の間の関連に関してデータベースが作成されるように使用される。２つの状態の間の翻訳および他の関連する関連は、本発明によって文書が検査され、操作されるに連れて強くなる、すなわち、頻度が高まり、十分に大きい「サンプル」の文書に対する動作によって、最も一般的な（および、ある意味で正しい）関連が、明白になり、この方法および装置が、変換に使用できるようになる。
【００２７】
本発明の一実施形態では、２つの状態によって、単語の言語（たとえば、英語、ヘブライ語、中国語など）が表され、本発明によって、ある言語の単語および単語列を第２言語の翻訳相当物に相関させるクロス言語データベースが作成される。単語列は、連続する隣接する単語のグループとして定義することができ、単語列には、しばしば、言語の表現で使用される句読点および他の記号が含まれる。この例では、本発明によって、２つの言語の文書を検査し、両方の言語で再起する単語または単語列ごとに翻訳のデータベースを作成することによって、データベースが作成される。しかし、本発明を、言語翻訳に制限する必要はない。本発明を用いると、ユーザが、観念のデータベースを作成でき、これらの観念を他の異なる観念に階層的な形で関連付けられるようになる。したがって、観念が、他の観念に関連付けられ、出現の頻度に従ってレーティングされる。出現頻度に与えられる特定の重みおよびこのように作成されるデータベースに適用される使用は、ユーザの要件に応じて変更することができる。
【００２８】
たとえば、ある言語から別の言語へのテキストの翻訳に関して、本発明は、英語と中国語の間の単語および単語列の言語翻訳を生成するように動作する。本発明によって、２つの言語にまたがる単語および単語列の間の関連のランキングが返される。十分に大きいサンプルサイズを与えられれば、最も頻繁に出現する単語および単語列が、英語の単語または単語列の中国語の同等物の１つになる。しかし、本発明では、英語の単語または単語列に関する他の中国語関連も返され、ユーザは、これらの関連を望み通りに操作することができる。たとえば、単語「ｍｏｕｎｔａｉｎ」が、本発明に従って操作されるときに、検査される言語での中国語の単語または単語列のリストを返すことができる。単語「ｍｏｕｎｔａｉｎ」の中国語の同等物は、最高のランキングになる可能性が最も高いが、本発明では、「ｓｎｏｗ」、「ｓｋｉ」、「ａ  ｄａｎｇｅｒｏｕｓ  ｓｐｏｒｔ」、「ｔｈｅ  ｈｉｇｈｅｓｔ  ｐｏｉｎｔ  ｉｎ  ｔｈｅ  ｗｏｒｌｄ」、または「Ｍｔ．Ｅｖｅｒｅｓｔ」など、「ｍｏｕｎｔａｉｎ」に関連する他の外国語の単語または単語列が返される。これらの単語および単語列は、「ｍｏｕｎｔａｉｎ」の翻訳よりもランキングが低い可能性が高いが、ユーザが望み通りに操作することができる。したがって、本発明は、自動化された関連データベースクリエータである。最も強い関連が、１つの意味の「翻訳」または「変換」を表すが、他の頻繁な（弱い）関連が、検査される観念に密に関連する観念を表す。したがって、このデータベースを、当技術分野で周知の人工知能アプリケーションを使用するアプリケーションによって使用することができる。これらのシステムでは、現在、アプリケーションの「ニューラルネットワーク（ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ）」として、不完全な手作業で作成された観念データベースまたは存在論が使用されている。人工知能アプリケーションに関する関連する観念のデータベースは、単一言語の文書からのユーザ定義の範囲を使用して作成することができる。
【００２９】
本発明のもう１つの実施形態では、従来技術で簡単に入手可能なタイプのパーソナルコンピュータシステムなどのコンピューティングデバイスが使用される。コンピューティングデバイスは、通常は、一般的なパーソナルコンピュータ（独立型またはネットワーク環境内のいずれか）であるが、ＰＤＡ、無線デバイス、サーバ、メインフレーム、および類似物などの他のコンピューティングデバイスが、同様に企図されている。しかし、本発明の方法および装置は、そのようなコンピューティングデバイスを使用することを必要とせず、クロス関連の手作業の作成を含めて、他の手段によって簡単に達成することができる。文書の「サンプル」を増補し、クロス関連データベースを作成するために連続する文書を検査する方法は、さまざまであり、文書を、手作業で、自動給紙（当技術分野で周知の自動紙ローダなど）によって、またはウェブクローラなどの関連文書を自動的に探し出すインターネット上の検索技法を使用することによって、分析および操作のためにセットアップすることができる。
【００３０】
本発明では、平行テキストに加えて（またはその代わりに）同等テキストを検査することによって、関連するデータベースを作ることができることに留意されたい。さらに、この方法では、ある言語の再起する単語または単語列を検索するときに、すべての使用可能な文書を集合的に調べる。
【００３１】
データベースの作成
本発明によれば、データベースを作成するために、文書が検査される。文書入力（やはり、２つの異なる言語で同一のテキストを表す文書の対の）の後に、本明細書に記載の方法および／または装置を使用する作成処理が開始される。
【００３２】
例示のために、２つの異なる言語の文書に同一の内容（または、一般的な意味で観念）が含まれると仮定する。文書Ａは言語Ａ、文書Ｂは言語Ｂで書かれている。これらの文書は、下記のテキストを有する。
【００３３】
【表１】
2005532605.tif 000003
【００３４】
本発明の第１ステップは、単語範囲を計算して、所与の単語または単語列の可能な関連の近似位置を判定することである。クロス言語逐語分析だけでは、生産的な結果が得られず（すなわち、文書Ａの単語１が、しばしば、文書Ｂの単語１の文字どおりの翻訳として存在しない）、ある言語の文の構造が、別の言語の文の異なる位置（または順序）に同等の観念を有する場合があるので、本発明のデータベース作成技法では、第１言語の各単語または単語列を、第２言語文書の選択された「範囲」内にある単語または単語列のすべてに関連付ける。ある言語では、ある観念が別の言語より長いまたはより短い単語列で表現されることがしばしばなので、これもまた重要である。範囲は、２つの文書を検査することによって判定され、第２の文書の単語および単語列を第１の文書の単語および単語列と比較するのに使用される。すなわち、第２文書の単語または単語列の範囲は、第１文書の各単語および単語列に関する可能な関連として検査される。範囲に対してテストすることによって、このデータベース作成技法では、第１言語の単語および単語列と同等であり、これに翻訳できる第２言語の単語または単語列の数が確立される。
【００３５】
第１言語文書の所与の単語または単語列に関する関連が探される、第２言語文書の範囲を確立するために判定しなけれればならない２つの属性がある。第１の属性は、範囲内の単語数によって測定される、第２文書での範囲の値またはサイズである。第２の属性は、範囲の中点の配置によって測定される、第２文書での範囲の位置である。両方の属性が、ユーザ定義であるが、好ましい実施形態の例を、下記で示す。範囲のサイズおよび位置を定義する際の目標は、分析される第１言語セグメントの、第２言語の単語または単語列の翻訳が含まれる確率を高くすることである。
【００３６】
文書の単語数に基づく正規曲線の導関数などの一般的な統計技法を含むさまざまな技法を使用して、範囲のサイズまたは値を決定することができる。正規曲線などの統計的技法を用いると、文書の先頭および末尾の範囲が、文書の中央の範囲より小さくなる。範囲の正規曲線形の頻度を用いると、文書内の単語の絶対数に従って、または文書内の単語のある比率に従ってのいずれかで導出される翻訳の外挿の適度な可能性が得られる。「ステップ」技法などの、範囲を計算する他の方法が存在し、「ステップ」技法では、単語のある比率に関してあるレベルに範囲が存在し、第２のより高いレベルが単語の他の比率に関して存在し、第３のレベルは、単語の残りの比率に関して第１レベルと等しい。この場合も、すべての範囲属性を、ユーザ定義とするか、第１言語の分析される単語または単語列の有用な関連を取り込むという目標に関する他の可能なパラメータに従って確立することができる。
【００３７】
第２言語文書内の範囲の位置は、２つの文書内の単語数の間の比較に依存するものとすることができる。範囲位置に関して文書としての資格を有するものは、ユーザ定義であり、ニュース記事、本の章、および複数のデータセグメントからなる内容の他の離散的に識別可能な単位によって例が示される。２つの文書の単語数が、ほぼ等しい場合には、第２言語の範囲の位置は、第１言語の分析される単語または単語列の位置におおむね一致する。２つの文書の単語数が等しくない場合には、ある比率を使用して、範囲の位置を正しく位置決めすることができる。たとえば、文書Ａが５０単語を有し、文書Ｂが１００単語を有する場合に、２つの文書の間の比は、１：２である。文書Ａの中央点は、単語位置２５である。しかし、文書Ａの単語２５が分析されている場合に、この中央点の位置（単語位置２５）を文書Ｂの範囲の中央点の配置として使用することは、効果的でない。というのは、この位置（単語位置２５）が、文書Ｂの中央点ではないからである。そうではなく、文書Ａの単語２５の分析に関する文書Ｂの範囲の中央点は、２つの文書の間の単語数の比（すなわち２５×２／１＝５０）によって、文書Ｂの中央点での手動の配置によって、または他の技法によって決定することができる。
【００３８】
文書内の単語または単語列の位置を調べ、上記で説明した範囲に含まれるすべての単語または単語列に留意することによって、本発明のデータベース作成技法では、分析される第１文書の各単語または各単語列に翻訳できる第２言語文書内の単語または単語列の可能な組が返される。本発明のデータベース作成技法が使用されるときに、可能な翻訳の資格を与えられる単語および単語列の組は、関連頻度が展開されるにつれて狭められる。したがって、文書の対を検査した後に、本発明によって、ある言語の単語および単語列の、第２言語の単語または単語列との関連頻度が作成される。本発明に従って複数の文書対を検査した後（したがって、多数のサンプルが作成された後）に、クロス言語関連データベース作成技法によって、どの単語または単語列についてもより高い関連頻度が返される。十分に多数のサンプルの後に、最高の関連頻度によって、可能な翻訳がもたらされる。もちろん、関連頻度が正確な翻訳とみなされる最終的な点は、ユーザ定義であり、他の解釈的翻訳技法（参照によって本明細書に組み込まれる２００１年３月１６日出願の「Ｍｅｔｈｏｄ  ａｎｄ  Ａｐｐａｒａｔｕｓ  ｆｏｒ  Ｃｏｎｔｅｎｔ  Ｍａｎｉｐｕｌａｔｉｏｎ」という名称の米国特許出願第６０／２７６１０７号明細書に記載のものなど）の対象である。
【００３９】
上記で示したように、本発明では、単語だけではなく、単語の列（複数の単語）もテストする。上述のように、単語列には、出現するすべての句読点および他の記号が含まれる。第１言語の単一の単語を分析した後に、本発明のデータベース作成技法では、２単語の単語列を分析し、次に３単語の単語列を分析し、増分的な形で分析を続ける。この技法によって、しばしば発生する、別の言語でより短いまたはより長い単語列（または単語）に翻訳される、ある言語の単語または単語列の翻訳が可能になる。単語または単語列が、第１の言語のすべての使用可能な文書に１回だけ現れる場合には、本発明の処理は、即座に次の単語または単語列の分析に進み、分析サイクルをもう一度行う。この分析は、すべての使用可能な平行テキストおよび同等テキストに第１言語で複数出現するすべての単語または単語列が分析されたときに停止する。
【００４０】
ある意味で、複数の文書が、集約され、この複数の文書を、単語または単語列の再起を探すために単一の文書として扱うことができる。本質的に、単語または単語列が繰り返されないためには、その単語または単語列が、すべての使用可能な平行テキストおよび同等テキストに１回だけ現れなければならない。さらに、もう１つの実施形態として、すべての使用可能な平行テキストおよび同等テキストに複数回現れるか否かに無関係に、すべての単語および単語列に対応する範囲を調べることが可能である。もう１つの実施形態として、照会の一部である特定の単語および単語列を解決することによって、データベースを作成することができる。翻訳のために単語または単語列が入力されるときに、本発明では、ウェブクローラおよび他のデバイスを使用してインターネット上でクロス言語テキストを突き止めることと、最後に、照会の分析に基づく欠けている関連および十分な使用可能なクロス言語材料の欠如を埋め合わせるようにユーザに求めることによって、まだ分析されていない、メモリに記憶されたクロス言語文書の単語または単語列の複数の出現を見つけることができる。
【００４１】
したがって、本発明は、単語の正しい位置（その単語列での）に依存する単語列を分析する形で動作し、単語選択の文脈ならびに語法、文体、または省略などの文法的特異性を考慮に入れる形で動作することができる。これらの単語列関連は、本明細書で説明する形での翻訳プロセスを提供する二重オーバーラップ翻訳技法にも有用である。
【００４２】
より大きい単語列のサブセットの単語または単語列が、より大きい単語列の関連として一貫性のある形で返される状況に、本発明が対処できることに留意することが重要である。本発明では、頻度戻り値を操作することによって、これらのパターンを考慮に入れる。たとえば、固有名詞は、時々、完全に提示される（「Ｊｏｈｎ  Ｄｏｅ」のように）、姓または名によって省略される（「Ｊｏｈｎ」または「Ｄｏｅ」）、または別の形で省略される（「Ｍｒ．Ｄｏｅ」）。本発明は、単語列を構成する単語が必ず個別にカウントされると同時に句の一部としてカウントされるので、単語列戻り値よりも個々の単語戻り値を返す可能性が高い（すなわち、フルネームの単語列「Ｊｏｈｎ  Ｄｏｅ」よりも姓または名の戻り値が多い）ので、ランキングを変更する機構を使用しなければならない。たとえば、どの文書でも、名前「Ｊｏｈｎ  Ｄｏｅ」が１００回出現し、「Ｊｏｈｎ」が、単独でまたはＪｏｈｎ  Ｄｏｅの一部として１２０回出現し、「Ｄｏｅ」が、単独でまたはＪｏｈｎ  Ｄｏｅの一部として１１０回出現する場合がある。通常の翻訳戻り値（本発明による）では、単語列「Ｊｏｈｎ  Ｄｏｅ」の分析を試みるときに、ランク「Ｊｏｈｎ」が、「Ｄｏｅ」より高く、この両方の単語が、単語列「Ｊｏｈｎ  Ｄｏｅ」より高い。より長い単語列の出現の数をサブセット（または個々の戻り値）の出現から引くことによって、正しい順序付けを達成することができる（もちろん、他の方法を使用して類似する結果を得ることができる）。したがって、１２０（単語「Ｊｏｈｎ」の出現回数）から１００（「Ｊｏｈｎ  Ｄｏｅ」の出現回数）を引くことによって、「Ｊｏｈｎ」の正しい戻り値が、２０になる。この分析を適用することによって、単語列「Ｊｏｈｎ  Ｄｏｅ」の出現回数として１００（この単語列の分析し、翻訳を試みるときに）、単語「Ｊｏｈｎ」の出現回数として２０、単語列「Ｄｏｅ」の出現回数として１０が作られ、正しい関連が作成される。
【００４３】
この問題が、固有名詞に制限されず、一般的な句および多数の異なる文脈でしばしば発生することに留意されたい。たとえば、単語列「Ｉ  ｌｏｖｅ  ｙｏｕ」が、別の言語の最も頻繁な単語列関連に翻訳されるたびに、他の言語の「ｌｏｖｅ」の単語が、そのたびに独立に関連付けられる可能性がある。さらに、この単語列が、分析される他のテキストで異なる形で翻訳されるときに、単語「ｌｏｖｅ」が、やはり関連付けられる可能性がある。これによって、分析が歪められ、第１言語の「Ｉ  ｌｏｖｅ  ｙｏｕ」の翻訳について、第２言語の「Ｉ  ｌｏｖｅ  ｙｏｕ」ではなく第２言語の「ｌｏｖｅ」が返される。したがって、やはり、このシステムでは、より長い列の関連をランキングするときに、すべてのサブセット関連の頻度から、より長い単語列関連の出現回数を引く。この概念が、図１にも反映されている。
【００４４】
さらに、データベースに、「ｉｔ」、「ａｎ」、「ａ」、「ｏｆ」、「ａｓ」、「ｉｎ」などの一般的な単語または任意の一般的な単語を、単語および単語列の関連頻度をカウントするときに無視するように指示することができる。これによって、そうでなければ所与の範囲の一部としての一般的な単語の非常に多くの出現によって歪められる真の関連頻度の数が、より正確に反映されるようになる。これによって、本発明の関連データベース作成技法によって、過度の減算計算なしに分析が歪められなくなる。これらまたは他の一般的な単語が関連データベースから「減算」されない場合に、本明細書で詳細に説明する二重オーバーラッププロセスによってそれらが受け入れられないので、それらが、最終的に、適切でなければ翻訳として承認されなくなることに留意されたい。
【００４５】
関連頻度を調整する他の計算を行って、単語および単語列の共通する出現の数の正確な反映を保証できることに留意されたい。たとえば、二重カウントを防ぐ調整は、分析される単語の範囲がオーバーラップするときに適切である可能性がある。調整は、このような場合に、より正確な関連頻度を構築するために望ましい。本発明によるクロス観念データベースを作成し補足する方法および装置の実施形態の例を、これから、上記で説明した２つの文書を例として使用して説明する。前の表をもう一度示す。
【００４６】
【表２】
2005532605.tif 000004
【００４７】
この実施形態では、単一の文書のみの再起する単語および単語列に焦点を合わせるが、これが主に例示のためであることにもう一度留意されたい。再起する単語および単語列は、すべての使用可能な平行テキストおよび同等テキストを全体として使用して分析される。
【００４８】
上にリストした２つの文書（第１の言語のＡと第２の言語のＢ）を使用すると、データベース作成技法について下記のステップが行われる。
ステップ１。まず、範囲のサイズおよび位置を決定する。上記で示したように、サイズおよび位置は、ユーザ定義とすることができ、あるいは、さまざまな方法によって近似することができる。この２つの文書の単語カウントは、ほぼ等しく（文書Ａで１０単語、文書Ｂで８単語）、したがって、範囲の中央点を、文書Ａの単語または単語列の位置に一致するように配置することができる（注：文書の間の単語カウントの比が、８０％なので、その代わりに、範囲の位置を分数４／５を適用することによって確立することができる）。この例では、３の範囲サイズまたは値によって、正規曲線を近似する最もよい結果をもたらすことができる。範囲は、文書の先頭および末尾で（±）１、中央で（±）２になる。しかし、上記で示したように、範囲（または範囲を決定するのに使用される方法）は、完全にユーザ定義である。
【００４９】
ステップ２。次に、文書Ａの最初の単語を調べ、文書Ａに対してテストして、その文書でのその単語の出現回数を判定する。この例では、文書Ａの最初の単語がＸであり、Ｘは、文書Ａで、位置１、４、および９に３回現れる。単語または単語列の位置番号は、単純にその単語または単語列の、他の単語に関する文書内の位置である。したがって、位置番号は、句読点を無視した文書内の単語の数に対応し、たとえば、文書に１０個の単語があり、単語「ｋｉｎｇ」が２回現れる場合に、単語「ｋｉｎｇ」の位置番号は、単に、その単語が現れる場所（１０個の単語のうちの）である。
【００５０】
単語Ｘは、この文書に複数回現れるので、この処理は、次のステップに進む。単語Ｘが１回だけ現れる場合には、その単語をスキップし、この処理は、次の単語に継続され、作成処理が継続される。
【００５１】
ステップ３。位置１の第１言語の単語Ｘの可能な第２言語の翻訳を返す：文書Ｂに範囲を適用することによって、文書Ｂの位置１および２（１±１）の単語すなわちＡＡおよびＢＢ（文書Ｂの位置１および２）がもたらされる。すべての可能な組合せすなわちＡＡ、ＢＢ、およびＡＡ  ＢＢ（単語列組合せとして）が、Ｘの可能な翻訳または関係する関連として返される。したがって、Ｘ１（単語Ｘの最初の出現）によって、関連としてＡＡ、ＢＢ、およびＡＡ  ＢＢが返される。
【００５２】
ステップ４。単語Ｘの次の位置を分析する。この単語（Ｘ２）は、位置４に出現する。位置４は、文書の中央付近なので、範囲（上記で説明した）は、位置４の両側２単語になる。文書Ｂの単語４を調べ、範囲（±）２を適用することによって、可能な関連が返され、したがって、単語４の前の２単語および単語４の後の２単語が返される。したがって、位置２、３、４、５、および６の単語が返される。これらの位置は、文書Ｂの単語ＢＢ、ＣＣ、ＡＡ、ＥＥ、およびＦＦに対応する。これらの単語（およびその組み合わされた単語列）のすべての順方向の順列を検討する。したがって、Ｘ２によって、可能な関連としてＢＢ、ＣＣ、ＡＡ、ＥＥ、ＦＦ、ＢＢ  ＣＣ、ＢＢ  ＣＣ  ＡＡ、ＢＢ  ＣＣ  ＡＡ  ＥＥ、ＢＢ  ＣＣ  ＡＡ  ＥＥ  ＦＦ、ＣＣ  ＡＡ、ＣＣ  ＡＡ  ＥＥ、ＣＣ  ＡＡ  ＥＥ  ＦＦ、ＡＡ  ＥＥ、ＡＡ  ＥＥ  ＦＦ、およびＥＥ  ＦＦが返される。
【００５３】
ステップ５。Ｘの最初の出現（位置１）の戻り値を、Ｘの第２の出現（位置４）の戻り値と比較し、一致を判定する。２つの範囲のオーバーラップに出現する同一の単語または単語列を含む戻り値を、単一の出現に減らさなければならないことに留意されたい。たとえば、この例では、位置２の単語が、ＢＢである。これは、Ｘの第１の出現（範囲によって操作される時）およびＸの第２の出現（範囲によって操作される時）の両方で返される。この同一の単語位置が、Ｘ１およびＸ２の両方について返されるので、この単語が、１つの出現としてカウントされる。しかし、同一の単語が、オーバーラップする範囲の２つの異なる単語位置から返される場合には、その単語を、２回カウントし、関連頻度を記録する。この場合に、単語Ｘの戻り値はＡＡである。というのは、単語（ＡＡ）が、Ｘ１およびＸ２の両方の関連戻り値であるからである。両方の関連戻理り値に出現する他の単語がＢＢであるが、上記で説明したように、その単語は、Ｘの第１および第２の出現の範囲の操作によって達する同一位置（したがって同一単語）なので、破棄することができることに留意されたい。
【００５４】
ステップ６。単語Ｘの次の位置（位置９）（Ｘ３）を分析する。（±）１の範囲（文書の末尾付近）を適用することによって、文書Ｂの位置８、９、および１０の関連が返される。文書Ｂは、８つの位置だけを有するので、結果が切り捨てられ、単語位置８すなわちＣＣだけが、Ｘの可能な値として返される（注：その代わりに、ユーザ定義パラメータによって、分析の一部として少なくとも２文字を要求することができ、この場合には、位置８および次に近い位置（位置７のＧＧ）が返される）。
【００５５】
Ｘ３の戻り値をＸ１の戻り値と比較することによって、一致がなく、したがって関連がないことがわかる。
ステップ７。単語Ｘの次の位置を分析する。しかし、文書Ａには単語Ｘのこれ以上の出現がない。この時点で、言語Ａの単語Ｘについて、言語Ｂの単語ＡＡに対する１の関連頻度が確立される。
【００５６】
ステップ８。単語Ｘがこれ以上出現しないので、この処理は、１単語だけ増分され、単語列をテストする。この場合に、検査される単語列は、文書Ａの最初の２単語、「Ｘ  Ｙ」である。ステップ２から７で説明したものと同一の技法を、この句に適用する。
【００５７】
ステップ９。文書Ａを調べることによって、単語列Ｘ  Ｙが１回だけ出現することがわかる。この時点で、増分処理が停止し、データベース作成は行われない。終点に達したので、次の単語を検査する（この処理は、単語列について一致が発生しないときに必ず行われる）。この場合には、文書Ａの位置２の単語が、「Ｙ」である。
【００５８】
ステップ１０。単語「Ｙ」についてステップ２から７の処理を適用することによって、下記が得られる。単語Ｙの２つの出現（位置２および７）が存在し、したがって、データベース作成処理が継続される（やはり、Ｙが文書Ａに１回だけ出現する場合には、Ｙは検査されない）。
位置２の範囲のサイズは、（±）１単語である。
文書Ｂに範囲を適用することによって（位置２、単語Ｙの最初の出現の位置）、文書Ｂの位置１、２、および３の結果が返される。
この返された位置にある対応する外国語単語は、ＡＡ、ＢＢ、およびＣＣである。
順方向の順列を適用することによって、Ｙ１の可能性すなわち、ＡＡ、ＢＢ、ＣＣ、ＡＡ  ＢＢ、ＡＡ  ＢＢ  ＣＣ、およびＢＢ  ＣＣが得られる。
Ｙの次の位置（位置７）を分析する。
位置７の範囲のサイズは（±）２単語である。
その範囲を文書Ｂ（位置７）に適用することによって、位置５、６、７、および８での結果すなわちＥＥ  ＦＦ  ＧＧおよびＣＣが返される。
すべての順列によって、Ｙ２の可能性すなわち、ＥＥ、ＦＦ、ＧＧ、ＣＣ、ＥＥ  ＦＦ、ＥＥ  ＦＦ  ＧＧ、ＥＥ  ＦＦ  ＧＧ  ＣＣ、ＦＦ  ＧＧ、ＦＦ  ＧＧ  ＣＣ、およびＧＧ  ＣＣが得られる。
Ｙ１からの結果を突き合わせることによって、唯一の一致としてＣＣが返される。
Ｙ１およびＹ２の一致を組み合わせることによって、Ｙの関連頻度としてＣＣが得られる。
【００５９】
ステップ１１。範囲増分の終り：単語Ｙに関する唯一の可能な一致（単語ＣＣ）が、Ｙの第１の出現の範囲の末尾に出現する（ＣＣは、文書Ｂの位置３に出現する）ので、範囲を第１の出現の位置で１つ増分することによって、位置１、２、３、および４すなわちＡＡ、ＢＢ、ＣＣ、およびＡＡ、または順方向の順列ＡＡ、ＢＢ、ＣＣ、ＡＡ  ＢＢ、ＡＡ  ＢＢ  ＣＣ、ＡＡ  ＢＢ  ＣＣ  ＡＡ、ＢＢ  ＣＣ、ＢＢ  ＣＣ  ＡＡ、およびＣＣ  ＡＡが返される。この結果を適用することによって、Ｙの可能な翻訳としてＣＣが得られる。返された一致が最初の出現（「Ｙ」のベース出現）の範囲の末尾にあったので、範囲が増分されたことに留意されたい。このパターンが範囲の終りに出現するときには、必ず、完全さを保証するサブステップ（または代替ステップ）として、増分が行われる。
【００６０】
ステップ１２。文書Ａには「Ｙ」のこれ以上の出現がないので、この分析では、文書Ａで１単語増分し、単語列「Ｙ  Ｚ」を検査する（単語Ｙの後の次の単語）。次の列（Ｙ  Ｚ）に増分し、この処理を繰り返すことによって、下記が得られる。
単語列Ｙ  Ｚは、文書Ａに２回、位置２および７に出現する。第１の出現（Ｙ  Ｚ１）のＹ  Ｚの可能性は、ＡＡ、ＢＢ、ＣＣ、ＡＡ  ＢＢ、ＡＡ  ＢＢ  ＣＣ、およびＢＢ  ＣＣである（その代わりに、言語Ａで分析される単語列が長くなる時の範囲のサイズの拡張を含む範囲パラメータを定義できることに留意されたい）。
第２の出現（Ｙ  Ｚ２）でのＹ  Ｚの可能性は、ＥＥ、ＦＦ、ＧＧ、ＣＣ、ＥＥ  ＦＦ、ＥＥ  ＦＦ  ＧＧ、ＥＥ  ＦＦ  ＧＧ  ＣＣ、ＦＦ  ＧＧ、ＦＦ  ＧＧ  ＣＣ、およびＧＧ  ＣＣである。
突合せによって、単語列Ｙ  Ｚの可能な関連としてＣＣが得られる。
範囲の拡張（範囲の末尾の増分）によって、Ｙ  Ｚに関して、ＡＡ、ＢＢ、ＣＣ、ＡＡ  ＢＢ、ＡＡ  ＢＢ  ＣＣ、ＡＡ  ＢＢ  ＣＣ  ＡＡ、ＢＢ  ＣＣ、ＢＢ  ＣＣ  ＡＡ、およびＣＣ  ＡＡが得られる。
この結果を適用することによって、やはり単語列Ｙ  Ｚの関連頻度としてＣＣが得られる。
【００６１】
ステップ１３。「Ｙ  Ｚ」のこれ以上の出現が文書Ａに存在しないので、この分析では、文書Ａで１単語増分し、単語列「Ｙ  Ｚ  Ｘ」（文書Ａの位置３の単語Ｚの次の単語）を検査する。次の単語列（Ｙ  Ｚ  Ｘ）に増分し、この処理を繰り返す（Ｙ  Ｚ  Ｘは、文書Ａに２回出現する）ことによって、下記が得られる。
Ｙ  Ｚ  Ｘの第１の出現の戻り値は、位置２、３、４、および５である。
順列は、ＢＢ、ＣＣ、ＡＡ、ＥＥ、ＢＢ  ＣＣ、ＢＢ  ＣＣ  ＡＡ、ＢＢ  ＣＣ  ＡＡ  ＥＥ、ＣＣ  ＡＡ、ＣＣ  ＡＡ  ＥＥ、およびＡＡ  ＥＥである。
Ｙ  Ｚ  Ｘの第２の出現の戻り値は、位置５、６、７、および８である。
順列は、ＥＥ、ＦＦ、ＧＧ、ＣＣ、ＥＥ  ＦＦ、ＥＥ  ＦＦ  ＧＧ、ＥＥ  ＦＦ  ＧＧ  ＣＣ、ＦＦ  ＧＧ、ＦＦ  ＧＧ  ＣＣ、およびＧＧ  ＣＣである。
この２つを比較することによって、単語列Ｙ  Ｚ  Ｘの関連頻度としてＣＣが得られる。やはり、可能な関連としてのＥＥの戻り値が、両方の場合に同一の単語（すなわち同一位置）で発生するので、破棄されることに留意されたい。
【００６２】
ステップ１４。次の単語列（Ｙ  Ｚ  Ｘ  Ｗ）に増分すると、１つの出現だけが見つかる。したがって、単語列データベース作成は、完了し、次の「単語」Ｚ（文書Ａの位置３）を検査する。
【００６３】
ステップ１５。上記で説明したステップをＺ（文書Ａに３回出現する）に関して適用することによって、下記が得られる。
Ｚ１の戻り値は、ＡＡ、ＢＢ、ＣＣ、ＡＡ、ＥＥ、ＡＡ  ＢＢ、ＡＡ  ＢＢ  ＣＣ、ＡＡ  ＢＢ  ＣＣ  ＡＡ、ＡＡ  ＢＢ  ＣＣ  ＡＡ  ＥＥ、ＢＢ  ＣＣ、ＢＢ  ＣＣ  ＡＡ、ＢＢ  ＣＣ  ＡＡ  ＥＥ、ＣＣ  ＡＡ、ＣＣ  ＡＡ  ＥＥ、およびＡＡ  ＥＥである。
Ｚ２の戻り値は、ＦＦ、ＧＧ、ＣＣ、ＦＦ  ＧＧ、ＦＦ  ＧＧ  ＣＣ、およびＧＧ  ＣＣである。
Ｚ１とＺ２を比較することによって、Ｚの関連頻度としてＣＣが得られる。
Ｚ３（位置１０）は、定義された範囲内の戻り値を有しない。しかし、言語Ａの単語または単語列のそれぞれについて少なくとも１つの戻り値が存在しなければならないというパラメータを追加すると、Ｚの戻り値はＣＣになる。
Ｚ３の戻り値をＺ１と比較すると、単語Ｚの関連頻度としてＣＣが得られる。しかし、この関連はカウントされない。というのは、単語位置８のＣＣが、上のＺ２の関連で既に考慮されているからである。オーバーラップする範囲によって、この処理で、ある出現の二重カウントが発生するときには、システムは、関連頻度を減らして、真の出現の回数をより正確に反映することができる。
【００６４】
ステップ１６。次の単語列に増分することによって、単語列Ｚ  Ｘが得られ、これは、文書Ａに２回出現する。上記で説明したステップをＺ  Ｘに関して適用することによって、下記が得られる。
Ｚ  Ｘ１の戻り値は、ＢＢ、ＣＣ、ＡＡ、ＥＥ、ＦＦ、ＢＢ  ＣＣ、ＢＢ  ＣＣ  ＡＡ、ＢＢ  ＣＣ  ＡＡ  ＥＥ、ＢＢ  ＣＣ  ＡＡ  ＥＥ  ＦＦ、ＣＣ  ＡＡ、ＣＣ  ＡＡ  ＥＥ、ＣＣ  ＡＡ  ＥＥ  ＦＦ、ＡＡ  ＥＥ、ＡＡ  ＥＥ  ＦＦ、およびＥＥ  ＦＦである。
Ｚ  Ｘ２の戻り値は、ＦＦ、ＧＧ、ＣＣ、ＦＦ  ＧＧ、ＦＦ  ＧＧ  ＣＣ、およびＧＧ  ＣＣである。
戻り値を比較することによって、単語列Ｚ  ＸとＣＣの間の関連が得られる。
【００６５】
ステップ１７。増分することによって、次の句はＺ  Ｘ  Ｗになる。これは１回だけ出現するので、文書Ａの次の単語（Ｘ）を調べる。
ステップ１８。単語Ｘは、最初の位置で既に検査されている。しかし、単語Ｘの第２位置は、他方の文書に関して、単語Ｘの可能な戻り値について検査されていない。したがって、単語Ｘ（第２位置の）を、単語Ｘの第１の出現と同様に操作して、文書内で前に進む。
位置４のＸの戻り値は、ＢＢ、ＣＣ、ＡＡ、ＥＥ、ＦＦ、ＢＢ  ＣＣ、ＢＢ  ＣＣ  ＡＡ、ＢＢ  ＣＣ  ＡＡ  ＥＥ、ＢＢ  ＣＣ  ＡＡ  ＥＥ  ＦＦ、ＣＣ  ＡＡ、ＣＣ  ＡＡ  ＥＥ、ＣＣ  ＡＡ  ＥＥ  ＦＦ、ＡＡ  ＥＥ、ＡＡ  ＥＥ  ＦＦ、およびＥＥ  ＦＦになる。
位置９のＸの戻り値は、ＣＣになる。
位置９の結果を位置４の結果と比較することによって、単語Ｘの可能な一致としてＣＣが得られ、関連頻度が与えられる。
【００６６】
ステップ１９。次の単語列に増分する（文書内で前を調べると、Ｘの第２の出現との比較に関してＸのこれ以上の出現がないので）ことによって、単語列ＸＷが得られる。しかし、この単語列は、文書Ａに複数回出現しないので、この処理は、次の単語（Ｗ）の検査に移る。単語「Ｗ」は、文書Ａに１回だけ出現し、したがって、増分が行われるが、単語「Ｗ」が１回だけ現れるので、次の単語列ではなく、文書Ａの次の単語「Ｖ」に移る。単語「Ｖ」は、文書Ａに１回だけ出現し、したがって、次の単語（Ｙ）が検査される。単語「Ｙ」は、文書Ａの位置７より先の位置に出現しないので、次の単語（Ｚ）を検査する。単語「Ｚ」は、位置８の後に、位置１０にも現れる。
【００６７】
ステップ２０。単語Ｚの第２の出現に関して上記で説明した処理を適用することによって、下記が得られる。
位置８のＺの戻り値は、ＧＧ、ＣＣ、およびＧＧ  ＣＣになる。
位置１０のＺの戻り値は、ＣＣになる。
位置１０の結果を位置８と比較することによって、単語Ｚの関連は作られない。
やはり、単語ＣＣが、可能な関連として返されるが、ＣＣは、位置８のＺと位置１０のＺの分析によって達する同一の単語位置なので、この関連は破棄される。
【００６８】
ステップ２１。１単語だけ増分することによって、単語列Ｚ  Ｘが得られる。この単語列は、文書Ａの他の（先の）位置に現れないので、この処理は、文書Ａの次の単語「Ｘ」で改めて開始される。単語Ｘは、文書Ａの他の（先の）位置に現れないので、処理を改めて開始する。しかし、文書Ａの終りに達しており、分析が停止する。
【００６９】
ステップ２２。最後の関連頻度を、表にし、上記からのすべての結果を組み合わせ、前に説明したように重複を減算する。
明らかに、文書Ａの単語および単語列に関する結論的な結果を返すのに十分なデータがない。上記で検査された関連を有する単語および単語列を含むより多くの文書対が検査されるときに、関連頻度が、統計的に信頼性が高まり、言語ＡおよびＢの間の単語または単語列によって、単語または単語列の可能な翻訳に関する強い関連が作られる。
【００７０】
コンピュータプログラムリスティング付録に記載のＰｒｏｇｒａｍ１は、データベース作成方法の実施形態を実施するプログラムの例である。Ｐｒｏｇｒａｍ１は、当技術分野で周知のタイプのコンピュータシステムで実行することができる。
【００７１】
上記で示したように、この実施形態は、関連を作成するのに使用される技法を表す。本発明の技法は、言語変換に制限する必要がない。広義の意味で、この技法は、本質において、異なる単語または単語列によって表される同一概念の対にされた関連として外国語翻訳が単純に存在する、関連付けることができる同一の観念の２つの表現に適用される。したがって、本発明は、すべての感覚（音、視覚、においなど）経験を表すことができる観念を含む、データ、サウンド、音楽、ビデオ、または観念として存在する広い範囲の概念の関連付けに適用することができる。必要なものは、本発明によって２つの実施形態（実施形態が文書の場合には言語翻訳で、音楽の場合は、実施形態を、楽譜のディジタル表現、同一の作曲を表すサウンド周波数などとすることができる）を分析することだけである。
【００７２】
もう１つの実施形態では、当技術分野で周知の、ある規則に基づくアルゴリズムを、クロス言語関連学習に組み込んで、名前、番号、日付など、文脈および意味において交換可能である（時々、潜在的に無限の派生物を有することができる）あるクラスのテキストを扱うことができる。
【００７３】
さらに、使用可能なクロス言語文書が、翻訳に関する統計的に有意な結果を備えない場合には、ユーザが、翻訳および他の関連の可能な選択肢を調べ、適切な選択肢を承認し、ランクを付けることができる。
【００７４】
上記で説明したように、翻訳された対のより多くの文書が関連頻度について分析されるにつれて、単語および単語列の間の関連頻度が強くなる。多くの言語対の文書が検査されるときに、本発明の方法および装置によって、互いに直接にではなく第３の言語に共通の関連を有する言語に基づいて、言語対の間の「演繹された関連」が満たされ始める。さらに、翻訳された文書が、複数の言語で存在するときに、すべての言語の間に唯一の共通する関連（翻訳である）が存在するまで、複数の言語にまたがって共通の関連戻り値を分析することができる。コンピュータプログラムリスティング付録に記載のＰｒｏｇｒａｍ２は、当技術分野で周知のタイプのコンピュータシステムと共に操作されるときに、これらの言語のデータが本発明の実施形態で使用される方法を提供するコンピュータプログラムの例である。
【００７５】
また、存在する状態での表現が、別の状態でのデータ点との人工的な特定の関連であり、データベースでカタログ化される場合に、この２つの状態の間の変換が可能である。たとえば、ある形態、状態、または言語で表される各「観念」が、電磁波（トーン）への関連を割り当てられる場合に、これによって、観念の「電磁表現」が作成される。ひとたび所与の数の観念が、対応する電磁表現に符号化されたならば、データ（観念の形での）を、電磁波に翻訳でき、通常の遠隔通信インフラストラクチャを介して一度に転送することができる。電磁波が宛先の機械に達したときに、その機械は、その波を別々の構成要素に合成し、関連（順序付けの指示、本明細書に記載の二重オーバーラップ技法の使用、および／または他の可能な方法と共に）を与えられれば、電磁表現によって表された個々の観念を提示する。
【００７６】
観念変換の方法および装置
本発明のもう１つの態様は、第１の状態、形態、または言語のデータを含む第１文書から、第２の状態、形態、または言語のデータを含む第２文書を作成し、その結果、第１および第２の文書が実質的に同一の観念または情報を表す方法および装置であって、クロス観念関連データベースを使用する方法および装置を提供することを対象とする。この翻訳方法のすべての実施形態で、ある状態から別の状態への観念の正確な翻訳を得るために、二重オーバーラップ技法が使用される。対照的に、従来技術の翻訳デバイスでは、個々の単語の翻訳に焦点を合わせるか、第１言語から第２言語への翻訳を実現する特殊な規則に基づくコードが使用される。本発明では、オーバーラップ技法を使用して、第２言語の単語または単語列を有機的に一緒に接続できるようにし、これらの単語および句が第２言語で書かれる正確な形での、正しい文脈での正確な翻訳にする。
【００７７】
本発明の実施形態では、データベース作成およびオーバーラップ技法の方法が、組み合わされて、正確な言語翻訳が提供される。言語は、あらゆるタイプの変換とすることができ、必ずしも話し言葉／書き言葉に制限されない。たとえば、変換に、コンピュータ言語、ＡＳＣＩＩなどの特定のデータ符号、および類似物を含めることができる。データベースは、動的である。すなわち、データベースは、内容が変換システムに入力されたときに成長し、翻訳システムが前に入力された内容を使用することを連続的に繰り返す。本発明の好ましい実施形態では、従来技術で簡単に使用可能なタイプのパーソナルコンピュータシステムなどのコンピューティングデバイスが使用される。しかし、このシステムは、そのようなコンピューティングデバイスである必要はなく、データベースの手動作成および変換方法を含む他の手段によって簡単に達成することができる。
【００７８】
本発明は、少なくとも表示手段、入力方法、および出力方法とプロセッサを有する一般的なコンピュータシステムで使用することができる。表示手段は、陰極線管、液晶ディスプレイ、フラットパネルディスプレイ、および類似物など、従来技術ですぐに使用可能なもののいずれかとすることができる。プロセッサ手段も、すぐに入手可能なもののいずれかとすることができ、コンピュータが本発明を実行するように動作できるようにする手段を提供するようにコンピューティング環境で使用される。最後に、入力方法は、クロス関連データベースを構築するための文書の入力を可能にするのに使用され、上記で説明したように、ディジタル形式への変換のための特定の入力手段は、ユーザの必要に応じて変更することができる。
【００７９】
二重オーバーラップ技法を介する手動のデータベース作成および翻訳
単語および単語列の翻訳についてユーザに照会することならびに二重オーバーラップ技法を使用してセグメント翻訳を自動生成することによってクロス言語データベースが開発される、本発明による第１言語から第２言語に文書を翻訳する方法および装置の実施形態の例を、これから説明する。
【００８０】
好ましい実施形態の説明において、英語のデータがヘブライ語のデータに翻訳される例を使用する。この選択は、説明のみを目的とし、第１言語および第２言語の選択を制限することを意図されたものではない。
【００８１】
本発明の好ましい実施形態によれば、コンピュータシステムが、英語からヘブライ語への翻訳の間の関連のデータベースを作成するように動作する。翻訳方法には、少なくとも下記のステップが含まれる。
【００８２】
第１に、英語のデータを、コンピュータシステムに入力する。
第２に、英語入力のすべての単語を、まず１単語ずつ検査する。データベースによって、ヘブライ語の既知の単語翻訳が返される。翻訳がデータベースに含まれない場合には、コンピュータシステムは、適切な翻訳を入力するようにユーザに問い合わせる形で動作する。したがって、データベースに、入力された英単語と同等のヘブライ語がない場合には、ユーザに、適切なヘブライ語の同等物を供給するように求める。ユーザは、翻訳を返し、前記翻訳をデータベースに入力する。後続の使用時に、コンピュータは、前の時点でユーザによって入力されたことによって翻訳が既知になるようにデータベースを操作する。したがって、第２ステップでは、入力データが、解析された状態（たとえば単語単位）で検査され、適切な翻訳が、返される（データベースの動作によって）か、データベースに入力される。
【００８３】
第３に、入力データが、解析されたセグメントを増分する形で検査される。たとえば、データが、まず単語単位で解析された場合に、本発明の翻訳方法では、次に、２単語の列を評価することによって入力を検査する。やはり、上記で説明したものに類似する形で、データベースによって、既知の場合に２単語列の翻訳が返され、未知の場合には、翻訳システムは、すべての可能な２単語列の適切な翻訳を入力するようにユーザに問い合わせるように動作する。オーバーラップする２単語セグメントのすべてが、データベースに記憶される。たとえば、単語列が、４単語からなる場合に、データベースによって、メモリ内の翻訳された組合せ、１、２と２、３と３、４を有するかどうかが検査される。ない場合には、ユーザに問い合わせる。データベースに、上のステップ２によって各単語の定義が必ず含まれるが、２単語列について特に符号化された翻訳だけが、正確な翻訳として返されることに留意されたい。
【００８４】
第４に、２つのオーバーラップする２単語の英語列のヘブライ翻訳が、オーバーラップする単語（１つまたは複数）を有する場合に、このシステムは、オーバーラップするセグメントを組み合わせる形で動作する。オーバーラップ内の冗長なヘブライ語セグメントを除去して、２つのオーバーラップする英語列を組み合わせる（および英語オーバーラップの冗長性を除去する）ことによって作成される３単語英語列のコヒーレントな翻訳を提供する。上のステップを、１から無限の個数のステップ（ｎ）まで繰り返して、適切な翻訳を提供することができる。この翻訳方法は、両方の言語の符号化された単語ブロックをオーバーラップを介してブリッジする一貫性のある列を検証することによって、自動的に動作する。両方の言語にまたがって一貫性を有するオーバーラップブリッジの自動承認によって、データベースが限界量に達したならば完全な精度を有する、２つの言語の間で翻訳する言語ネットワークがもたらされる。
【００８５】
例として、英語の句「Ｉ  ｗａｎｔ  ｔｏ  ｂｕｙ  ａ  ｃａｒ」を検討してみる。本発明の方法の動作時に、この句は、データベースを働かせるコンピュータに入力される。このコンピュータは、データベースに単語「Ｉ」、「ｗａｎｔ」、「ｔｏ」、「ｂｕｙ」、「ａ」、および「ｃａｒ」と同等のヘブライ語が含まれるかどうかを判定するように動作する。そのような同等物が既知である場合には、このコンピュータは、ヘブライ語の同等物を返す。そのような同等物が既知でない場合には、コンピュータによって、適切なヘブライ語翻訳を供給するようにユーザに問い合わせ、そのような翻訳が将来の使用のために記憶される。次に、コンピュータによって、文が、オーバーラップする形の２単語セグメント「Ｉ  ｗａｎｔ」、「ｗａｎｔ  ｔｏ」、「ｔｏ  ｂｕｙ」、「ｂｕｙ  ａ」、および「ａ  ｃａｒ」に解析される。コンピュータは、これらのセグメントのヘブライ語の同等物（すなわち、「Ｉ  ｗａｎｔ」のヘブライ語の同等物など）を返すように動作し、そのようなヘブライ語の同等物が未知の場合には、コンピュータによって、適切なヘブライ語翻訳を供給するようにユーザに問い合わせ、その翻訳を将来の使用のために記憶する。
【００８６】
本発明では、次に、３単語セグメント「Ｉ  ｗａｎｔ  ｔｏ」、「ｗａｎｔ  ｔｏ  ｂｕｙ」、「ｔｏ  ｂｕｙ  ａ」、および「ｂｕｙ  ａ  ｃａｒ」を検査する。処理のこの時点で、本発明では、２単語英語翻訳がオーバーラップするヘブライ語翻訳の各対を組み合わせることを試行し、各３単語英語翻訳照会を行うために組み合わせる（たとえば、「Ｉ  ｗａｎｔ」、「ｗａｎｔ  ｔｏ」を組み合わせて「Ｉ  ｗａｎｔ  ｔｏ」を形成する）ことを試みる。ヘブライ語のセグメントが、やはりそれらをうまく接続する共通のオーバーラップを有する場合に、この変換方法では、自動的に、ユーザ介入を必要とせずに、ヘブライ語に対する３単語英語単語列を翻訳として承認する。ヘブライ語セグメントがオーバーラップせず、組み合わされない場合には、ユーザに、正確な翻訳について問い合わせる。３単語英語列の適切な翻訳の試みの後に、この処理は、４単語の列などに進み、クロス言語オーバーラップを介して、検査されるセグメントが完了するまで（この例では、句全体「Ｉ  ｗａｎｔ  ｔｏ  ｂｕｙ  ａ  ｃａｒ」）翻訳の組合せの自動的な解決を試みる。本発明の方法は、この解析を行った後に、返された翻訳同等物を比較し、オーバーラップしたセグメントの冗長性を除去し、変換された句をユーザに出力する。
【００８７】
関連データベースおよび二重オーバーラップ技法を介する文書の翻訳
もう１つの好ましい実施形態では、本発明によって、上記で説明したクロス言語データベースを使用して文書内の単語および単語列の単語列翻訳を提供し、その後、上記で説明したクロス言語二重オーバーラップ技法を使用して第２言語のオーバーラップする単語列を組み合わせて、文書の翻訳を提供することによって、第１言語の文書を第２言語の文書に翻訳することができる。たとえば、英語で入力され、ヘブライ語に翻訳されることを意図された文「Ｉｎ  ａｄｄｉｔｉｏｎ  ｔｏ  ｍｙ  ｎｅｅｄ  ｔｏ  ｂｅ  ｌｏｖｅｄ  ｂｙ  ａｌｌ  ｔｈｅ  ｇｉｒｌｓ  ｉｎ  ｔｏｗｎ，Ｉ  ａｌｗａｙｓ  ｗａｎｔｅｄ  ｔｏ  ｂｅ  ｋｎｏｗｎ  ａｓ  ｔｈｅ  ｂｅｓｔ  ｐｌａｙｅｒ  ｔｏ  ｅｖｅｒ  ｐｌａｙ  ｏｎ  ｔｈｅ  Ｎｅｗ  Ｙｏｒｋ  ｓｔａｔｅ  ｂａｓｋｅｔｂａｌｌ  ｔｅａｍ」の構成要素を解決するのに十分なクロス言語文書にアクセスできるデータベースを検討してみる。
【００８８】
上記で説明した処理を介して、この操作方法によって、句「Ｉｎ  ａｄｄｉｔｉｏｎ  ｔｏ  ｍｙ  ｎｅｅｄ  ｔｏ  ｂｅ  ｌｏｖｅｄ  ｂｙ  ａｌｌ  ｔｈｅ  ｇｉｒｌｓ」が、ソース文書の最初の単語から始まり、データベース内に存在する、ソース文書からの最大の単語列であると判定される。この単語列が、データベース内でヘブライ語の単語列「ｂｅｎｏｓａｆ  ｌｔｚｏｒｅｃｈ  ｓｈｅｌｉ  ｌｉｈｉｏｔ  ａｈｕｖ  ａｌ  ｙｅｄａｙ  ｋｏｌ  ｈａｂａｈｕｒｏｔ」に関連する。この処理では、上記で説明した方法を使用して下記の翻訳を判定する。すなわち、翻訳されるテキストからの（かつ、データベースに存在する）前に識別された英単語とオーバーラップする１つの単語（またはその代わりに複数の単語）を有する最大の英単語列およびこのオーバーラップする英単語の２つのヘブライ語の翻訳が、オーバーラップするセグメントを有する。「ｌｏｖｅｄ  ｂｙ  ａｌｌ  ｔｈｅ  ｇｉｒｌｓ  ｉｎ  ｔｏｗｎ」は、「ａｈｕｖ  ａｌ  ｙｅｄａｙ  ｋｏｌ  ｈａｂａｈｕｒｏｔ  ｂｕｉｒ」に翻訳され、「ｔｈｅ  ｇｉｒｌｓ  ｉｎ  ｔｏｗｎ，Ｉ  ａｌｗａｙｓ  ｗａｎｔｅｄ  ｔｏ  ｂｅ  ｋｎｏｗｎ」は、「Ｈａｂａｈｕｒｏｔ  ｂｕｉｒ，ｔａｍｉｄ  ｒａｔｚｉｔｙ  ｌｉｈｉｏｔ  ｙａｈｕａ」に翻訳され、「Ｉ  ａｌｗａｙｓ  ｗａｎｔｅｄ  ｔｏ  ｂｅ  ｋｎｏｗｎ  ａｓ  ｔｈｅ  ｂｅｓｔ  ｐｌａｙｅｒ」は、「ｔａｍｉｄ  ｒａｔｚｉｔｙ  ｌｉｈｉｏｔ  ｙａｈｕａ  ｂｅｔｔｏｒ  ｈａｓａｈｋａｎ  ｈａｃｈｉ  ｔｏｖ」に翻訳され、「ｔｈｅ  ｂｅｓｔ  ｐｌａｙｅｒ  ｔｏ  ｅｖｅｒ  ｐｌａｙ  ｏｎ  ｔｈｅ  Ｎｅｗ  Ｙｏｒｋ  ｓｔａｔｅ  ｂａｓｋｅｔｂａｌｌ  ｔｅａｍ」は、「ｈａｓａｈｋａｎ  ｈａｃｈｉ  ｔｏｖ  ｓｈ  ｈａｙ  ｐａａｍ  ｓｉｈｅｋ  ｂｅｋｖｕｔｚａｔ  ｈａｋａｄｕｒｓａｌ  ｓｈｅｌ  ｍｅｄｉｎａｔ  ｎｅｗ  ｙｏｒｋ」に翻訳される。
【００８９】
データベースによるこれらの戻り値について、オーバーラップする単語および単語列を比較し、冗長性を除去する操作を行う。したがって、「Ｉｎ  ａｄｄｉｔｉｏｎ  ｔｏ  ｍｙ  ｎｅｅｄ  ｔｏ  ｂｅ  ｌｏｖｅｄ  ｂｙ  ａｌｌ  ｔｈｅ  ｇｉｒｌｓ」は、「ｂｅｎｏｓａｆ  ｌｔｚｏｒｅｃｈ  ｓｈｅｌｉ  ｌｉｈｉｏｔ  ａｈｕｖ  ａｌ  ｙｅｄａｙ  ｋｏｌ  ｈａｂａｈｕｒｏｔ」に翻訳され、「ｌｏｖｅｄ  ｂｙ  ａｌｌ  ｔｈｅ  ｇｉｒｌｓ  ｉｎ  ｔｏｗｎ」は、「ａｈｕｖ  ａｌ  ｙｅｄａｙ  ｋｏｌ  ｈａｂａｈｕｒｏｔ  ｂｕｉｒ」に翻訳される。本発明の技法を使用すると、システムによって、英語のセグメント「Ｉｎ  ａｄｄｉｔｉｏｎ  ｔｏ  ｍｙ  ｎｅｅｄ  ｔｏ  ｂｅ  ｌｏｖｅｄ  ｂｙ  ａｌｌ  ｔｈｅ  ｇｉｒｌｓ」および「ｌｏｖｅｄ  ｂｙ  ａｌｌ  ｔｈｅ  ｇｉｒｌｓ  ｉｎ  ｔｏｗｎ」がとられ、ヘブライ語のセグメント「ｂｅｎｏｓａｆ  ｌｔｚｏｒｅｃｈ  ｓｈｅｌｉ  ｌｉｈｉｏｔ  ａｈｕｖ  ａｌ  ｙｅｄａｙ  ｋｏｌ  ｈａｂａｈｕｒｏｔ」および「ａｈｕｖ  ａｌ  ｙｅｄａｙ  ｋｏｌ  ｈａｂａｈｕｒｏｔ  ｂｕｉｒ」が返され、オーバーラップが判定される。
【００９０】
英語では、句が、「Ｉｎ  ａｄｄｉｔｉｏｎ  ｔｏ  ｍｙ  ｎｅｅｄ  ｔｏ  ｂｅ  ｌｏｖｅｄ  ｂｙ  ａｌｌ  ｔｈｅ  ｇｉｒｌｓ」および「ｌｏｖｅｄ  ｂｙ  ａｌｌ  ｔｈｅ  ｇｉｒｌｓ  ｉｎ  ｔｏｗｎ」である。オーバーラップを除去することによって、「Ｉｎ  ａｄｄｉｔｉｏｎ  ｔｏ  ｍｙ  ｎｅｅｄ  ｔｏ  ｂｅ  ｌｏｖｅｄ  ｂｙ  ａｌｌ  ｔｈｅ  ｇｉｒｌｓ  ｉｎ  ｔｏｗｎ」が得られる。
【００９１】
ヘブライ語では、句が、「ｂｅｎｏｓａｆ  ｌｔｚｏｒｅｃｈ  ｓｈｅｌｉ  ｌｉｈｉｏｔ  ａｈｕｖ  ａｌ  ｙｅｄａｙ  ｋｏｌ  ｈａｂａｈｕｒｏｔ」および「ａｈｕｖ  ａｌ  ｙｅｄａｙ  ｋｏｌ  ｈａｂａｈｕｒｏｔ  ｂｕｉｒ」である。オーバーラップを除去することによって、「ｂｅｎｏｓａｆ  ｌｔｚｏｒｅｃｈ  ｓｈｅｌｉ  ｌｉｈｉｏｔ  ａｈｕｖ  ａｌ  ｙｅｄａｙ  ｋｏｌ  ｈａｂａｈｕｒｏｔ  ｂｕｉｒ」が得られる。
【００９２】
本発明では、次に、次に解析されるセグメントを操作して、処理を継続する。この例では、操作プロセスによって、句「ｔｈｅ  ｇｉｒｌｓ  ｉｎ  ｔｏｗｎ，Ｉ  ａｌｗａｙｓ  ｗａｎｔｅｄ  ｔｏ  ｂｅ  ｋｎｏｗｎ」が処理される。システムによって、英語のセグメント「Ｉｎ  ａｄｄｉｔｉｏｎ  ｔｏ  ｍｙ  ｎｅｅｄ  ｔｏ  ｂｅ  ｌｏｖｅｄ  ｂｙ  ａｌｌ  ｔｈｅ  ｇｉｒｌｓ  ｉｎ  ｔｏｗｎ」および新しい英単語の組「ｔｈｅ  ｇｉｒｌｓ  ｉｎ  ｔｏｗｎ，Ｉ  ａｌｗａｙｓ  ｗａｎｔｅｄ  ｔｏ  ｂｅ  ｋｎｏｗｎ」が解決される。ヘブライ語の対応する単語の組は、「ｂｅｎｏｓａｆ  ｌｔｚｏｒｅｃｈ  ｓｈｅｌｉ  ｌｉｈｉｏｔ  ａｈｕｖ  ａｌ  ｙｅｄａｙ  ｋｏｌ  ｈａｂａｈｕｒｏｔ  ｂｕｉｒ」であり、ヘブライ語の対応する単語の組は、「ｈａｂａｈｕｒｏｔ  ｂｕｉｒ，ｔａｍｉｄ  ｒａｔｚｉｔｙ  ｌｉｈｉｏｔ  ｙａｈｕａ」である。オーバーラップを除去すると、英語では「Ｉｎ  ａｄｄｉｔｉｏｎ  ｔｏ  ｍｙ  ｎｅｅｄ  ｔｏ  ｂｅ  ｌｏｖｅｄ  ｂｙ  ａｌｌ  ｔｈｅ  ｇｉｒｌｓ  ｉｎ  ｔｏｗｎ」および「ｔｈｅ  ｇｉｒｌｓ  ｉｎ  ｔｏｗｎ，Ｉ  ａｌｗａｙｓ  ｗａｎｔｅｄ  ｔｏ  ｂｅ  ｋｎｏｗｎ」が、「Ｉｎ  ａｄｄｉｔｉｏｎ  ｔｏ  ｍｙ  ｎｅｅｄ  ｔｏ  ｂｅ  ｌｏｖｅｄ  ｂｙ  ａｌｌ  ｔｈｅ  ｇｉｒｌｓ  ｉｎ  ｔｏｗｎ，Ｉ  ａｌｗａｙｓ  ｗａｎｔｅｄ  ｔｏ  ｂｅ  ｋｎｏｗｎ」になる。ヘブライ語では、オーバーラップ処理によって、「ｂｅｎｏｓａｆ  ｌｔｚｏｒｅｃｈ  ｓｈｅｌｉ  ｌｉｈｉｏｔ  ａｈｕｖ  ａｌ  ｙｅｄａｙ  ｋｏｌ  ｈａｂａｈｕｒｏｔ  ｂｕｉｒ」および「ｈａｂａｈｕｒｏｔ  ｂｕｉｒ，ｔａｍｉｄ  ｒａｔｚｉｔｙ  ｌｉｈｉｏｔ  ｙａｈｕａ」から、「ｂｅｎｏｓａｆ  ｌｔｚｏｒｅｃｈ  ｓｈｅｌｉ  ｌｉｈｉｏｔ  ａｈｕｖ  ａｌ  ｙｅｄａｙ  ｋｏｌ  ｈａｂａｈｕｒｏｔ  ｂｕｉｒ，ｔａｍｉｄ  ｒａｔｚｉｔｙ  ｌｉｈｉｏｔ  ｙａｈｕａ」が得られる。
【００９３】
本発明によって、翻訳される文書の残りの単語および単語列について、このタイプの動作が継続される。したがって、好ましい実施形態の例では、次の英語単語列が、「Ｉｎ  ａｄｄｉｔｉｏｎ  ｔｏ  ｍｙ  ｎｅｅｄ  ｔｏ  ｂｅ  ｌｏｖｅｄ  ｂｙ  ａｌｌ  ｔｈｅ  ｇｉｒｌｓ  ｉｎ  ｔｏｗｎ，Ｉ  ａｌｗａｙｓ  ｗａｎｔｅｄ  ｔｏ  ｂｅ  ｋｎｏｗｎ」および「Ｉ  ａｌｗａｙｓ  ｗａｎｔｅｄ  ｔｏ  ｂｅ  ｋｎｏｗｎ  ａｓ  ｔｈｅ  ｂｅｓｔ  ｐｌａｙｅｒ」になる。この句についてデータベースによって返されるヘブライ語の翻訳は、「ｂｅｎｏｓａｆ  ｌｔｚｏｒｅｃｈ  ｓｈｅｌｉ  ｌｉｈｉｏｔ  ａｈｕｖ  ａｌ  ｙｅｄａｙ  ｋｏｌ  ｈａｂａｈｕｒｏｔ  ｂｕｉｒ，ｔａｍｉｄ  ｒａｔｚｉｔｙ  ｌｉｈｉｏｔ  ｙａｈｕａ」および「ｔａｍｉｄ  ｒａｔｚｉｔｙ  ｌｉｈｉｏｔ  ｙａｈｕａ  ｂｅｔｔｏｒ  ｈａｓａｈｋａｎ  ｈａｃｈｉ  ｔｏｖ」である。英語のオーバーラップを除去すると、「Ｉｎ  ａｄｄｉｔｉｏｎ  ｔｏ  ｍｙ  ｎｅｅｄ  ｔｏ  ｂｅ  ｌｏｖｅｄ  ｂｙ  ａｌｌ  ｔｈｅ  ｇｉｒｌｓ  ｉｎ  ｔｏｗｎ，Ｉ  ａｌｗａｙｓ  ｗａｎｔｅｄ  ｔｏ  ｂｅ  ｋｎｏｗｎ  ａｓ  ｔｈｅ  ｂｅｓｔ  ｐｌａｙｅｒ」が得られる。ヘブライ語のオーバーラップを除去すると、「ｂｅｎｏｓａｆ  ｌｔｚｏｒｅｃｈ  ｓｈｅｌｉ  ｌｉｈｉｏｔ  ａｈｕｖ  ａｌ  ｙｅｄａｙ  ｋｏｌ  ｈａｂａｈｕｒｏｔ  ｂｕｉｒ，ｔａｍｉｄ  ｒａｔｚｉｔｙ  ｌｉｈｉｏｔ  ｙａｈｕａ  ｂｅｔｔｏｒ  ｈａｓａｈｋａｎ  ｈａｃｈｉ  ｔｏｖ」が得られる。
【００９４】
処理を継続すると、次の単語列は、「Ｉｎ  ａｄｄｉｔｉｏｎ  ｔｏ  ｍｙ  ｎｅｅｄ  ｔｏ  ｂｅ  ｌｏｖｅｄ  ｂｙ  ａｌｌ  ｔｈｅ  ｇｉｒｌｓ  ｉｎ  ｔｏｗｎ，Ｉ  ａｌｗａｙｓ  ｗａｎｔｅｄ  ｔｏ  ｂｅ  ｋｎｏｗｎ  ａｓ  ｔｈｅ  ｂｅｓｔ  ｐｌａｙｅｒ」および「ｔｈｅ  ｂｅｓｔ  ｐｌａｙｅｒ  ｔｏ  ｅｖｅｒ  ｐｌａｙ  ｏｎ  ｔｈｅ  Ｎｅｗ  Ｙｏｒｋ  Ｓｔａｔｅ  ｂａｓｋｅｔｂａｌｌ  ｔｅａｍ」である。対応するヘブライ語の句は、「ｂｅｎｏｓａｆ  ｌｔｚｏｒｅｃｈ  ｓｈｅｌｉ  ｌｉｈｉｏｔ  ａｈｕｖ  ａｌ  ｙｅｄａｙ  ｋｏｌ  ｈａｂａｈｕｒｏｔ  ｂｕｉｒ，ｔａｍｉｄ  ｒａｔｚｉｔｙ  ｌｉｈｉｏｔ  ｙａｈｕａ  ｂｅｔｔｏｒ  ｈａｓａｈｋａｎ  ｈａｃｈｉ  ｔｏｖ」および「ｈａｓａｈｋａｎ  ｈａｃｈｉ  ｔｏｖ  ｓｈ  ｈａｙ  ｐａａｍ  ｓｉｈｅｋ  ｂｅｋｖｕｔｚａｔ  ｈａｋａｄｕｒｓａｌ  ｓｈｅｌ  ｍｅｄｉｎａｔ  ｎｅｗ  ｙｏｒｋ」である。英語のオーバーラップを除去すると、「Ｉｎ  ａｄｄｉｔｉｏｎ  ｔｏ  ｍｙ  ｎｅｅｄ  ｔｏ  ｂｅ  ｌｏｖｅｄ  ｂｙ  ａｌｌ  ｔｈｅ  ｇｉｒｌｓ  ｉｎ  ｔｏｗｎ，Ｉ  ａｌｗａｙｓ  ｗａｎｔｅｄ  ｔｏ  ｂｅ  ｋｎｏｗｎ  ａｓ  ｔｈｅ  ｂｅｓｔ  ｐｌａｙｅｒ  ｔｏ  ｅｖｅｒ  ｐｌａｙ  ｏｎ  ｔｈｅ  Ｎｅｗ  Ｙｏｒｋ  ｓｔａｔｅ  ｂａｓｋｅｔｂａｌｌ  ｔｅａｍ」が得られる。ヘブライ語のオーバーラップを除去すると、「ｂｅｎｏｓａｆ  ｌｔｚｏｒｅｃｈ  ｓｈｅｌｉ  ｌｉｈｉｏｔ  ａｈｕｖ  ａｌ  ｙｅｄａｙ  ｋｏｌ  ｈａｂａｈｕｒｏｔ  ｂｕｉｒ，ｔａｍｉｄ  ｒａｔｚｉｔｙ  ｌｉｈｉｏｔ  ｙａｈｕａ  ｂｅｔｔｏｒ  ｈａｓａｈｋａｎ  ｈａｃｈｉ  ｔｏｖ  ｓｈ  ｈａｙ  ｐａａｍ  ｓｉｈｅｋ  ｂｅｋｖｕｔｚａｔ  ｈａｋａｄｕｒｓａｌ  ｓｈｅｌ  ｍｅｄｉｎａｔ  ｎｅｗ  ｙｏｒｋ」が得られるが、これは、翻訳が望まれるテキストの翻訳である。
【００９５】
この処理の完了時に、本発明は、翻訳された最終的なテキストを返し、そのテキストを出力するように動作する。
戻り値が、上記で説明した処理に従ってオーバーラップする関連を返すデータベースの最終的な結果であることに留意されたい。このシステムは、この処理を介して、オーバーラップを介する連続的な第２言語セグメントとの自然におさまる接続を有しない第２言語の戻り値を、最終的に許容しない。ヘブライ語の戻り値のいずれかが、連続するヘブライ語単語列関連との正確なオーバーラップを有しない場合には、その戻り値は、拒絶され、連続するヘブライ語単語列とオーバーラップするヘブライ語単語列関連によって置換される。
【００９６】
コンピュータプログラムリスティング付録に記載のＰｒｏｇｒａｍ３は、二重オーバーラップ技法を使用する手動データベース作成および翻訳の実施形態を実施するプログラムの例である。Ｐｒｏｇｒａｍ３は、当技術分野で周知のタイプのコンピュータシステムで実行することができる。
【００９７】
クロス言語関連データベースおよびクロス言語二重オーバーラップ翻訳技法の使用を組み合わせた上の実施形態は、当技術分野で周知の、音声認識ソフトウェア、ＯＣＲスキャニングデバイスなどの、ある状態の情報を別の状態の情報と等しくすることを試みる既存の技法の品質を改善する、他の潜在的な応用例を有する。これらの技法の両方によって、本発明の翻訳方法に対してこれらのシステムの結果をテストすることができる。翻訳が存在せず、したがって誤りが考えられるときに、ユーザに、警告を与え、照会することができ、あるいは、システムを、オーバーラップする翻訳を作るオーバーラップしない翻訳に近い、データベース内の代替物を探すようにプログラムすることができる。もちろん、ユーザへの戻り値のすべてが、元の言語に変換される。
【００９８】
本発明のもう１つの実施形態では、単一の言語内の関連データベースを作成する方法および装置、ならびにユーザによってポストされる照会または質問に対する回答を提供するのに関連データベースを使用する方法および装置が提供される。この実施形態では、単語および単語列の間の関連の判定および分析を可能にする関連データベースを編成し、情報を記憶することができる。関連プログラムによって、本発明の方法の一部を実施することができ、この関連プログラムを使用して、本発明のデータベースを構築し、データベースに記憶された情報を分析して、単語または単語列の間の関連を判定することができる。図３に、コンピュータシステム２００のメモリ２０８を示すが、このメモリ２０８に、プロセッサ２０２によるアクセスのために、スマートアプリケーション３０２、関連プログラム３０４、データベース３０６、およびオペレーティングシステム３０８が記憶される。関連プログラム３０４は、独立のプログラムとするか、スマートアプリケーション３０２に一体化された部分を形成することができる。関連プログラム３０４によって、スマートアプリケーション３０２からの照会に応答するか、入力デバイスを介してユーザによって直接にサブミットされた照会に応答するのいずれかで、データベース３０６を分析して、単語関連を判定することができる。
【００９９】
このシステムおよび方法は、システムに入力された文書のテキストを解析し、頻度関連データベースを作成することによって動作し、頻度関連データベースでは、解析されたテキストのセグメントが、たとえば文書の他の断片に対する特定の断片の出現の頻度および位置に基づいて、互いに関連付けられる。解析されるテキストのセグメントに、単語および単語列を含めることができる。本発明で使用される文書を文書データベースに記憶して、文書のアクセス、解析、および分析を容易にすることができる。
【０１００】
文書内で頻繁に互いに非常に近接して現れる単語および単語列を、質問に答えるか処置を実行するようにユーザがシステムに求めることができる人工知能またはスマートアプリケーションで使用することができる。スマートアプリケーションに本発明の関連データベースを使用する目的は、スマートアプリケーションによって選択される複数の単語または単語列の間の共通の第３の単語関連または単語列関連を判定することである。ユーザは、各選択された単語および／または単語列のそれぞれの出現に近接する任意の個数の単語および／または単語列として文書データベース内で範囲を定義することができる。システムは、共通の第３の単語または単語列であるその範囲に共通する単語および／または単語列を検索する。各選択された単語または単語列の範囲内の共通の第３の単語または単語列の出現の頻度を、表４および５に示されているように頻度関連データベースに記憶することができる。その代わりに、文書データベース内で再起する単語の出現の位置および頻度を、表６に例を示された、再起データベースとも称する再起単語および単語列データベースに記憶することができる。このデータベースを使用して、関連プログラム３０４によって、ユーザ定義の重みづけまたは他の判断基準に基づいて、スマートアプリケーション３０２によって選択された複数の単語または単語列によって共有される最高のランクの第３の単語および単語列関係を確立することができる。
【０１０１】
ユーザ定義範囲内での関連デーベース作成
テキスト内での互いの近接に基づいて、関係する単語および単語列のデータベースを作成するために単一の言語の文書に適用することができる、本明細書で頻度関連データベースと称する関連データベースの１タイプを作成する方法を開示する。頻度関連データベースの例を、表４に示す。この方法には、下記が含まれる。
【０１０２】
ａ．「文書データベース」内の単一言語のテキストのコーパスをアセンブルする。コーパスは大きいほどよい。
ｂ．文書データベース内での単語または列の複数の出現について、すべての単語または単語列を検索する。
【０１０３】
ｃ．分析される、単語または単語列の前後の単語または単語列のユーザ定義の個数を確立する。これは、範囲として働く。ある単語数として定義されるほかに、範囲は、特定のアプリケーションに関してユーザが定義できるところに従って、広く（単語または単語列が出現する特定のテキストのすべての単語）または狭く（分析される単語または単語列に正確に近接する指定されたサイズの単語列）定義することができる。
【０１０４】
ｄ．すべての単語および単語列が、分析される選択された単語または単語列の前後の範囲に現れる頻度を判定し、望まれる場合に、選択された単語または単語列との近接を判定する。
【０１０５】
単一言語の多数の文書の間での関連作成の例を、下に示す。表３に示された文１および文２は、コーパス全体が分析され、その結果のすべてが頻度チャートに追加される際の、文書データベース内の多数の文のうちの２つである。
【０１０６】
【表３】
2005532605.tif 000005
【０１０７】
システムは、再起する単語または単語列を探す。この２つの文の間の再起する単語および単語列は、次の通りである。「Ｉ」、「ｔｏ」、「ｔｈｅ」、「ｄｏｃｔｏｒ」、「ａｎｄ」、「ｓｎｅｅｚｉｎｇ」、「ａ」、「ｔｈａｔ」、「ｆｌｕ」、「ａｒｅ」、「ｒｅｓｔ」。
【０１０８】
米国特許出願第１０／０２４４７３号明細書に記載されているように、あるアプリケーションに関して、システムは、「Ｉ」、「ａ」、「ｔｏ」などの一般的な単語を認識し、無視するように指示される。しかし、これらの一般的な単語は、システムの特定のアプリケーションの目標に応じて、時々、検討され、データベースに含まれる。一般的な単語を破棄する場合には、これによって、下記が残される。「Ｄｏｃｔｏｒ」、「ｓｎｅｅｚｉｎｇ」、「ｆｌｕ」、および「ｒｅｓｔ」。
【０１０９】
範囲が、たとえば両側で３０単語までを含むものとして定義される場合に、このシステムでは、これらの単語のそれぞれの３０単語以内のすべての単語および単語列の出現の頻度を記録する。さらに、このシステムでは、分析される単語または単語列への各単語または各単語列の近接も記録することができる。これらの単語のそれぞれが、両方の文で他の単語のそれぞれから３０単語の範囲内に現れるので、各単語は、表４に示された他の単語のそれぞれに関する頻度を有する。表４には、頻度関連データベースの実施形態が示されている。
【０１１０】
【表４】
2005532605.tif 000006
【０１１１】
単語および単語列が、分析される単語および単語列の範囲内のどこかに現れる頻度に注目するほかに、関連データベースを、分析される単語または単語列から正確にＸ単語の位置に現れる単語および単語列の頻度に基づいて作成することができる。その場合、範囲は、分析される単語または単語列に正確に近接している特定のサイズの１単語または１単語列として、アプリケーション用にユーザによって狭く定義される。
【０１１２】
たとえば、このシステムは、文書データベースで使用可能な文書を分析して、句「ｇｏ  ｔｏ  ｔｈｅ  ｇａｍｅ」が１００００回含まれることを判定する場合があり、単語「Ｊｅｔｓ」から２０単語以内に「ｇｏ  ｔｏ  ｔｈｅ  ｇａｍｅ」を８７回見つける場合がある。さらに、このシステムは、単語「Ｊｅｔｓ」の前に正確に７単語に「ｇｏ  ｔｏ  ｔｈｅ  ｇａｍｅ」が８回（単語列の最初の単語「ｇｏ」から数えて）現れることを見つける場合がある。
【０１１３】
単語または単語列の再起するパターンの、その間の単語の数に基づく組合せのすべてを、記録することもできる。たとえば、単語「ｔｉｃｋｅｔｓ」が「ｇｏ  ｔｏ  ｔｈｅ  ｇａｍｅ」の９単語後に現れるときに、単語「Ｊｅｔｓ」が「ｇｏ  ｔｏ  ｔｈｅ  ｇａｍｅ」の３単語前に現れる文の、データベース内の個数を記録することができる。このパターンが、３回発生する場合があり、テキスト内のその単語パターンの頻度を、アプリケーションによって使用して、ユーザによる質問に対する回答を提供するのを助けるか、ユーザによって行われる要求を実行するのを助ける、観念の意味を演繹することができる。表３の文１および文２に基づいて、表４に示された頻度関連データベースを生成することができる。
【０１１４】
【表５】
2005532605.tif 000007
【０１１５】
表５からわかるように、文１および文２の範囲内で再起する単語のうちで、１つの単語「ｓｎｅｅｚｉｎｇ」だけが、検査される単語の１つの後、正確に４単語の位置に２回現れる。単語パターンの間の単語数によって測定される互いの近接に基づくテキスト内の正確な再起単語パターンを示すこれらの表は、一連の狭く定義された範囲を個別に使用して生成することができる。
【０１１６】
上の方法を使用して、上記で説明したように使用可能なテキストのすべての再起単語パターンの間の近接関係および頻度関係のすべてのデータベースを作成する場合には、多数の計算が必要になる可能性がある。この包括的な処理の結果として作成される多数の関係は、アプリケーションについて一度も使用されない可能性がある。以下の技法では、再起する単語列のインデクシング（ｉｎｄｅｘｉｎｇ）を使用して、絶対に使用されない可能性がある最前列の処理を回避する。
【０１１７】
下記のインデクシング処理を、上記で説明した、頻度関係および近接関係を自動的に判定する方法の代替処理として使用することができ、下記のインデクシング処理を使用して、上記で説明した範囲内の特定の単語または単語列の位置に基づく全般的な範囲頻度分析および正確なパターンの分析を実行することができる。本発明のこの実施形態は、再起する単語および単語列のデータベース（または再起データベース）を作成する方法であり、このデータベースには、１．使用可能なテキスト内の再起についてすべての単語および単語列を検索し、２．たとえば列内の最初の単語の単語番号および文書データベース内の文書番号を識別することによって、各単語および単語列の、それが出現する各文書内の位置を記録することによる、各単語および単語列の「位置」をデータベースに記録することによる、文書データベース内の各再起する単語および単語列の位置が含まれる。その代わりに、単語または単語列が突き止められた文書データベース内の文書の文書番号だけを記憶することができる。この場合に、単語または単語列の位置は、照会に応答して判定することができる。表６に、再起データベースのエントリの例を示す。
【０１１８】
【表６】
2005532605.tif 000008
【０１１９】
この表からわかるように、文書データベース内で複数回見つかった単語または単語列の出現のそれぞれが、頻度カウントに追加され、その位置が、文書内の単語番号位置ならびにそれが出現する文書を識別するために割り当てられた番号によって、または文書データベース内の単語または単語列の位置の他の識別子によって、記録される。
【０１２０】
再起データベースが、文書データベース内のすべての文書について十分に完全に生成された（単語番号位置ならびに文書番号を含めて）ならば、その位置情報によって、システムが、生成される一般的な頻度関係または上記で説明したように生成される特定の単語パターン頻度関係を計算できるようになる。
【０１２１】
さらに、再起データベースが、まだ完全に作られていない場合に、システムは、処理中に複数の範囲に対する頻度分析を実行することができる。システムが照会に応答する間に、再起データベースの分析を補足するために直接に文書データベース内の文書を分析することによって、まだ再起データベースに含まれない単語または単語列の再起を含めることができる。文書データベース内の文書の直接分析によって得られる情報を、それが生成された特定のタスクについて使用した後に、その情報を、将来の使用のために再起データベースに記憶することができる。システムが、再起データベースを使用する頻度分析を作るか、この関係が処理中に作成されるかにかかわらず、その結果は、スマートアプリケーションを適用できる単語および単語列の関連のデータベースである。
【０１２２】
図３を参照すると、共通頻度分析処理で、スマートアプリケーション３０２によって、関連プログラム３０４を介して頻度関連データベースまたは再起データベースに照会することができ、複数の単語または単語列によって、提示される単語列の一部またはすべてに頻繁に関連する他の第３の単語または単語列が確立される。システムは、共通頻度分析（Ｃｏｍｍｏｎ  Ｆｒｅｑｕｅｎｃｙ  Ａｎａｌｙｓｉｓ、ＣＦＡ）を実行するときに、１）独立共通頻度分析、または２）関係共通頻度分析という２つの異なる方法を使用することができる。さらに、システムは、さらに、この２つの処理のいずれかを使用した後に、これらを追加の１つまたは複数の世代に拡張するか、さらなるＣＦＡのためにＣＦＡの結果および／またはセグメントを組み合わせることによって、統計的分析を行うことができる。
【０１２３】
独立共通頻度分析（ＩＣＦＡ）
スマートアプリケーション３０２によって、関連プログラム３０４に、ＣＦＡに関する複数の単語および／または単語列が提示されるときに、このシステムによって、本発明の関連データベースを使用して、提示される単語に頻繁に関係するすべての単語および単語列が識別される。次に、システムによって、提示された単語および単語列の一部またはすべてに頻繁に関連する単語および／または単語列を識別することができる。
【０１２４】
次に、このシステムは、さまざまなユーザ定義の形で、提示された単語および／または単語列の間の共通の関連を使用する。たとえば、システムによって、頻度関連データベース内の提示された単語および／または単語列の共通のまたは第３の単語関連または単語列関連の頻度を加算（または乗算あるいは他のユーザ定義の重みづけ）によって、最高のランキングの共通の関連を識別することができる。ユーザ定義パラメータのもう１つの例として、提示された単語および／または単語列のすべてのテーブルでの最小頻度（総合ランク、生の数、または他の尺度）を要求することができる。
【０１２５】
再起データベース例のエントリを使用する際に、システムは、１つの分析として、すべての使用可能な文書内のユーザ定義の範囲内に「ｉｃｅ  ｃｒｅａｍ」および「ｋｉｄｓ  ｌｏｖｅ」がある頻度を判定でき、次に、「ｉｃｅ  ｃｒｅａｍ」および「ｂｅｆｏｒｅ  ｇｏｉｎｇ  ｔｏ  ｂｅｄ」が一緒に現れる頻度を記録することができる。独立の関係のそれぞれの頻度を、それぞれに相対値を与えるアプリケーションによって使用することができる。これは、「ｋｉｄｓ  ｌｏｖｅ」頻度テーブルおよび「ｂｅｆｏｒｅ  ｇｏｉｎｇ  ｔｏ  ｂｅｄ」頻度テーブルの両方でのｉｃｅ  ｃｒｅａｍランクの頻度の高さ（絶対値または相対値のいずれかとしてユーザが定義する）、または、単語列（たとえば「ｋｉｄｓ  ｌｏｖｅ」）が現れる回数の総数に対する、単語または単語列（たとえば、「ｋｉｄｓ  ｌｏｖｅ」）と一緒に関連（たとえば「ｉｃｅ  ｃｒｅａｍ」）が現れる回数の比率に基づく。やはり、「ｋｉｄｓ  ｌｏｖｅ」頻度テーブルおよび「ｂｅｆｏｒｅ  ｇｏｉｎｇ  ｔｏ  ｂｅｄ」頻度テーブルが、表にされ、選択された単語列「ｋｉｄｓ  ｌｏｖｅ」および「ｂｅｆｏｒｅ  ｇｏｉｎｇ  ｔｏ  ｂｅｄ」への近接に基づいて、定義された範囲内の第３の単語または単語列の出現がランキングされる。
【０１２６】
ユーザ定義の値に基づいて、この方法では、「ｉｃｅ  ｃｒｅａｍ」を分析した後に、相対頻度について「ｋｉｄｓ  ｌｏｖｅ」頻度テーブルで「ａ  ｗａｒｍ  ｈｕｇ」を突き止める（ユーザ定義の範囲またはアプリケーションの近接要件に基づいて）ことによって「ａ  ｗａｒｍ  ｈｕｇ」を分析し、次に、「ｂｅｆｏｒｅ  ｇｏｉｎｇ  ｔｏ  ｂｅｄ」頻度テーブルで「ａ  ｗａｒｍ  ｈｕｇ」を突き止めることができる。両方の頻度テーブルの他のすべての頻繁な関連（ユーザ定義）、たとえば「ｓｔａｙｉｎｇ  ｕｐ  ｌａｔｅ」が、比較され、両方のテーブルからの組み合わされた相対頻度のユーザ定義の値に基づいてスコアリングされる。各頻度関連のユーザ定義の重みづけに基づく最高のランキングの単語列が、システムによって作られる。この分析の結果は、システムによって、「ｋｉｄｓ  ｌｏｖｅ」および「ｉｃｅ  ｃｒｅａｍ」が「ｗａｒｍ  ｈｕｇｓ」より多いが、「ｋｉｄｓ  ｌｏｖｅ  ｗａｒｍ  ｈｕｇｓ」が「ｋｉｄｓ  ｌｏｖｅ  ｉｃｅ  ｃｒｅａｍ」および「ｂｅｆｏｒｅ  ｇｏｉｎｇ  ｔｏ  ｂｅｄ」より多いことが識別されることである。
【０１２７】
もう１つの例として、このシステムが、単語「ｋａｎｇａｒｏｏｓ」と、単語「ｆｉｎｄ」および単語列「ｉｎ  Ａｍｅｒｉｃａ」を提示される場合に、独立共通頻度分析について、表７に、文書データベース内の文書に基づいてアセンブルすることができる頻度テーブルを示す。
【０１２８】
【表７】
2005532605.tif 000009
【０１２９】
「Ａｕｓｔｒａｌｉａ」は、生の累算関連の総計に基づいて最も高くランキングされる。しかし、ユーザ定義パラメータによって、相対頻度に重みを付けることができる。１つの可能な方法の例が、最後に見つかった関連を１としてスコアリングし、より高い関連頻度を、その数の倍数としてスコアリングすることである。この場合に、「ｔｈｅ  Ｚｏｏ」が最も高くランキングされる。
【０１３０】
【表８】
2005532605.tif 000010
【０１３１】
関連の間の相対的な重みによって、上のユーザ定義パラメータに基づいてＺｏｏがどのような結果になるかが示される。共通の関連の間の相対バランスに重みを与えるために、特定の単語または単語列が照会のそれぞれに関連する回数をかけることによって、類似する結果を得ることができる。この例では、結果によって、「ｔｈｅ  Ｚｏｏ」が返される。
【０１３２】
１．「ｔｈｅ  Ｚｏｏ」
７０００×２０００×５０００＝７００００００００００
２．「Ａｕｓｔｒａｌｉａ」
２１０００×１０００×  ３００＝  ６１００００００００
３．「Ｎｅｗ  Ｚｅａｌａｎｄ」
１０００×  ５００×  １００＝      ５０００００００
他のユーザ定義判断基準を使用して、複数の提示される単語および／または単語列の間で共通する関連をランキングし、選択することができる。これには、あるカテゴリのある関連に、より大きい重みを付けることを含めることができる。たとえば、アプリケーションによって、「ｗｈｅｒｅ？」質問（たとえば、「ｗｈｅｒｅ  ｃａｎ  ｙｏｕ  ｆｉｎｄ  ｋａｎｇａｒｏｏｓ  ｉｎ  Ａｍｅｒｉｃａ？」）の「ｌｏｃａｔｉｏｎ」関連（たとえば、「ｉｎ  Ａｍｅｒｉｃａ」）により高い値を割り当てることができる。
【０１３３】
関係共通頻度分析（ＲＣＦＡ）
複数の提示される単語および／または単語列の間で共通する独立の関連を見つけるほかに、もう１つの実施形態では、分析される複数の単語または単語列を含む文書に限って、ユーザ定義の範囲内で見つかる単語または単語列の頻繁な出現を識別するために調べることができる。この実施形態では、下記のステップが使用される。
【０１３４】
ａ．複数の提示される単語および／または単語列に共通するすべての文書番号をデータベースから突き止める。
ｂ．すべての提示された単語および／または単語列の周囲のユーザ定義の範囲内の各単語および単語列を比較し、範囲内のすべての再起する単語および単語列の頻度を記録する。やはり、ユーザ定義の範囲は、狭いものとすることができ、ユーザ定義の範囲には、提示された単語または単語列への特定の近接を有する再起する単語または単語列が含まれる。
【０１３５】
例として、システムに、ＲＣＦＡに関して２つの単語列「ｋｉｄｓ  ｌｏｖｅ」および「ｂｅｆｏｒｅ  ｇｏｉｎｇ  ｔｏ  ｂｅｄ」が提示されると仮定する。データベースに、文書データベース内の文書の句に対応する下記のエントリが含まれる場合に、
「ｋｉｄｓ  ｌｏｖｅ  ａ  ｗａｒｍ  ｈｕｇ」
２０回
「ｋｉｄｓ  ｌｏｖｅ  ｉｃｅ  ｃｒｅａｍ」
８７３回
「ｋｉｄｓ  ｌｏｖｅ  ａ  ｗａｒｍ  ｈｕｇ  ｂｅｆｏｒｅ  ｇｏｉｎｇ  ｔｏ  ｂｅｄ」              １２回
「ｋｉｄｓ  ｌｏｖｅ  ｉｃｅ  ｃｒｅａｍ  ｂｅｆｏｒｅ  ｇｏｉｎｇ  ｔｏ  ｂｅｄ」                １０回
「ｋｉｄｓ  ｌｏｖｅ  ｓｔａｙｉｎｇ  ｕｐ  ｌａｔｅ  ｂｅｆｏｒｅ  ｇｏｉｎｇ  ｔｏ  ｂｅｄ」    １７回
「ｂｅｆｏｒｅ  ｇｏｉｎｇ  ｔｏ  ｂｅｄ」
６８４回
再起データベースによって、システムを、「ｋｉｄｓ  ｌｏｖｅ」および「ｂｅｆｏｒｅ  ｇｏｉｎｇ  ｔｏ  ｂｅｄ」の両方を有する、文書データベース内の文書に向けることができる。というのは、これらが、関連する同一の文書番号を有するからである。さらに、望まれる場合に、システムによって、単語列が、互いのユーザ定義の単語数以内にあるか、互いにユーザ定義の他の制限された近接内にある文書だけを突き止めることができる。
【０１３６】
システムによって、「ｂｅｆｏｒｅ  ｇｏｉｎｇ  ｔｏ  ｂｅｄ」への指定された近接内に「Ｋｉｄｓ  ｌｏｖｅ」を含む、文書データベース内のすべての文書が識別されたならば、このシステムによって、ユーザ定義範囲内のすべての再起する単語および単語列の頻度チャートを作成することができる。上の単語および単語列データベースの限られたサンプルに基づけば、「ｉｃｅ  ｃｒｅａｍ」が、少なくとも１０の頻度で現れ、「ｓｔａｙｉｎｇ  ｕｐ  ｌａｔｅ」が少なくとも１７の頻度、「ａ  ｗａｒｍ  ｈｕｇ」が少なくとも１２の頻度で現れることがわかる。これらの頻度のすべてが、「ｋｉｄｓ  ｌｏｖｅ」および「ｂｅｆｏｒｅ  ｇｏｉｎｇ  ｔｏ  ｂｅｄ」付近の同一のテキストに現れるが、直接に隣接しない（たとえば、「ｋｉｄｓ  ｌｏｖｅ  ｉｃｅ  ｃｒｅａｍ  ａｎｄ  ｏｔｈｅｒ  ｓｗｅｅｔｓ  ｂｅｆｏｒｅ  ｇｏｉｎｇ  ｔｏ  ｂｅｄ」）可能性があるので、これらの頻度は、これよりもはるかに高い可能性がある。
【０１３７】
照会「ｗｈａｔ  ｄｏ  ｋｉｄｓ  ｌｏｖｅ  ｂｅｆｏｒｅ  ｇｏｉｎｇ  ｔｏ  ｂｅｄ？」に対する応答は、多数の潜在的な「正しい」回答を有する。それでも、限界量のさまざまな代表的な意見を反映する文書があれば、さまざまなより高い頻度によって、質問に対する一致した見解が反映され、より低い頻度によって、既存の代替の見解が反映される。たとえば、「ｈｏｔ  ｓｈｏｗｅｒ」が、「ｋｉｄｓ  ｌｏｖｅ」および「ｂｅｆｏｒｅ  ｇｏｉｎｇ  ｔｏ  ｂｅｄ」の範囲内に３回現れる場合があるが、これは、他の意見ほど一般的でない好みのパターンを示す。
【０１３８】
ＩＣＦＡまたはＲＣＦＡのいずれかに関して、本発明の代替実施形態として、シソーラスあるいは他の既知または判定された単語列同等物を、検索された単語および単語列の代わりに使用して、これらの単語同等物の範囲の周囲の再起する単語および単語列を見つけることができる。たとえば、このシステムによって、「ｋｉｄｓ  ｌｏｖｅ」の代わりに「ｋｉｄｓ  ｌｉｋｅ」、「ｋｉｄｓ  ｒｅａｌｌｙ  ｌｏｖｅ」、「ｋｉｄｓ  ｅｎｊｏｙ」、「ｃｈｉｌｄｒｅｎ  ｅｎｊｏｙ」、「ｃｈｉｌｄｒｅｎ  ｌｏｖｅ」を検索することもできる。同一の技法を使用して、「ｂｅｆｏｒｅ  ｇｏｉｎｇ  ｔｏ  ｂｅｄ」を、「ｂｅｆｏｒｅ  ｂｅｄ」、「ｂｅｆｏｒｅ  ｇｏｉｎｇ  ｔｏ  ｓｌｅｅｐ」、「ｂｅｆｏｒｅ  ｂｅｄｔｉｍｅ」など、システムに既知の同等物に置換することができる。当技術分野で周知の単語シソーラス（ｗｏｒｄ  ｔｈｅｓａｕｒｕｓ）および／または本発明の共通頻度技法の組合せによって、多数の意味論的に同等の単語および単語列がもたらされる。関連データベースおよびスマートアプリケーション３０２を使用して、システムによって、共通頻度分析を介して意味論的に同等の単語列を見つける方法の全般的な説明を、説明する。このシステムでは、提示された単語および単語列に対するＩＣＦＡおよびＲＣＦＡが実行され、その結果が、ユーザ定義重みづけを使用して組み合わされる。
【０１３９】
第２レベル頻度分析
もう１つの実施形態で、システムによって、アプリケーションのために実行される分析に新しい情報を追加する、分析される２つの単語または単語列の間の共通頻度として、第１または第２のいずれかの単語または単語列と、選択された第３の単語または単語列との間の共通の関連を使用して、頻度分析を実行することができる。たとえば、「ｂｅｆｏｒｅ  ｇｏｉｎｇ  ｔｏ  ｂｅｄ」（第１）および「ｋｉｄｓ  ｌｏｖｅ」（第２）の共通範囲内のすべての単語および単語列の頻度の間の選択された共通関連が、「ｉｃｅ  ｃｒｅａｍ」（第３）である場合に、この実施形態では、「ｂｅｆｏｒｅ  ｇｏｉｎｇ  ｔｏ  ｂｅｄ」（第１）と「ｉｃｅ  ｃｒｅａｍ」（第３）の間または「ｋｉｄｓ  ｌｏｖｅ」（第２）と「ｉｃｅ  ｃｒｅａｍ」（第３）の間のいずれかの独立頻度分析または相対頻度分析のいずれかと、この２つの頻度分析に基づく関連の選択が生成される。さらに、複数の単語または単語列を、ユーザが定義する世代と同数の組合せで同一の技法を使用して分析することができる。特定のアプリケーションによって、関連頻度分析の各世代に対して実行される共通頻度分析を識別する自動分析が要求される。より複雑なアプリケーションによって、複数の独立の結果を組み合わせて使用する前に実行される、複数の頻度分析が識別される。
【０１４０】
単語の機能または意味を判定するための共通頻度分析の使用
米国特許出願第１０／０２４４７３号明細書に記載されているように、分析される単語および単語列と、翻訳ではないが密に関係する観念である、範囲内の単語および単語列との間で作られる高頻度の関連を、人工知能アプリケーションに使用することができる。人工知能またはスマートアプリケーションは、過去に回答するか実行することを必ずしも要求されたことがない質問に答えるか作業を実行することができるアプリケーションである。本発明では、関連データベースを使用して、カテゴリインジケータに関連する他の単語または単語列の機能または目的を識別するために、カテゴリインジケータとして使用できる単語または単語列の構成および／またはパターンを識別することができる。たとえば、単語の特定のパターンを、通常は、人の名前、食べ物の種類、または動作である単語に関連付けることができる。ＣＦＡを使用して、本発明では、文書を分析して、これらのパターンおよび他の単語または単語列との関連の存在を明らかにすることができる。この関連に基づいて、このシステムによって、これらのパターンに同様に関連する他の単語を分類することができる。というのは、同様に関連する他の単語が、類似するカテゴリに含まれる可能性が高いからである。したがって、このシステムによって、カテゴリインジケータの存在を識別でき、利用することができる。
【０１４１】
そのようなアプリケーションの１例が、前に説明した処理を使用して他の形で解決することができない翻訳を完了する際に本発明の翻訳方法を助けることである。たとえば、システムが、言語Ｘに翻訳される英語の照会「Ｉ  ｌｏｖｅ  Ｍｏｓｈｅ」を受け取ると仮定する。システムが、単語列「Ｉ  ｌｏｖｅ」の翻訳を有するが、「Ｉ  ｌｏｖｅ  Ｍｏｓｈｅ」または「ｌｏｖｅ  Ｍｏｓｈｅ」の翻訳を有しないと仮定する。
【０１４２】
関連データベースは、「ｍｙ  ｎａｍｅ  ｉｓ  Ｍｏｓｈｅ」、「Ｍｒ．Ｍｏｓｈｅ  Ｆｅｉｎ」、「ｈｉｓ  ｎａｍｅ  ｉｓ  Ｍｏｓｈｅ」などの単語列内に単語「Ｍｏｓｈｅ」を有する。ＣＦＡを使用して、これらの単語列と名前Ｍｏｓｈｅの間の関係を識別することができる。次に、ユーザが、名前に非常に相関し、したがって、カテゴリインジケータの特定のタイプである名前インジケータであるものとしてシステムにこの句を識別することができる。Ｍｏｓｈｅが、「名前インジケータ」句のユーザ定義の個数だけ（または比率で）現れたならば、システムは、「Ｍｏｓｈｅ」が、「名前インジケータ」であるテキストに現れるので、これが潜在的に名前であることの統計的な確信度を判定する。
【０１４３】
当技術分野で周知の他のシステムにも、この名前インジケータおよび、たとえば日付、番号、および他の特定のクラスの他のカテゴリインジケータが組み込まれているが、本発明では、名前を示す句などの手動で符号化されるインジケータを使用して、Ｍｏｓｈｅに似た名前および他の既知の名前も現れる他の句のすべてを識別することができる。たとえば、ユーザは、名前インジケータとして「ｔｈｅ  ｇｕｙ’ｓ  ｎａｍｅ  ｉｓ」を追加することを思い付かない可能性があるが、本発明によって、これおよび、この実施形態を使用するユーザが含めない他の多数の名前インジケータが提示される。各単語および単語列は、取り巻く単語および単語列の中で見つけることができる可能な代替の単語または単語列の制限付きの母集団（ｕｎｉｖｅｒｓｅ）を有する。この母集団には、それが置換する観念を正確に表す単語および単語列が含まれ、この母集団は、元々正確に反対の思想に対して表された観念から離れる範囲を有する。たとえば、句「Ｉ  ｌｏｖｅ  ｃｈｏｃｏｌａｔｅ」が検査される場合に、システムは、単語「ｌｏｖｅ」のすべての可能な置換を生成する。システムは、「Ｉ  ｒｅａｌｌｙ  ｌｏｖｅ  ｃｈｏｃｏｌａｔｅ」、「Ｉ  ａｄｏｒｅ  ｃｈｏｃｏｌａｔｅ」、「Ｉ  ｒｅａｌｌｙ  ｅｎｊｏｙ  ｃｈｏｃｏｌａｔｅ」などの同等物および同等に近い物ならびに、「Ｉ  ｔｏｌｅｒａｔｅ  ｃｈｏｃｏｌａｔｅ」および「Ｉ  ｈａｔｅ  ｃｈｏｃｏｌａｔｅ」などの非同等物および反対物を生成する。システムは、独立共通関連頻度分析（またはその代わりに関連共通関連頻度分析の実施形態）を使用して、単語ｌｏｖｅ以外の全体を満たさない単語の再起頻度を見つけない。たとえば、この分析でデータベースによって、「Ｉ  ｆｉｓｈ  ｃｈｏｃｏｌａｔｅ」、「Ｉ  ｙｏｕ  ｃｈｏｃｏｌａｔｅ」、「Ｉ  ｗｈｏ  ｃｈｏｃｏｌａｔｅ」は作られない。
【０１４４】
Ｍｏｓｈｅが名前であり、「Ｉ  ｌｏｖｅ」が名前インジケータである（しかし、Ｍｏｓｈｅが現れる例がない）ことが確立されたならば、変換エンジンは、言語Ｂの「Ｍｏｓｈｅ」の翻訳を有する場合に、オーバーラップなしで言語Ｂの「Ｉ  ｌｏｖｅ」の翻訳にそれを付加することができる。言語Ｂの「Ｍｏｓｈｅ」の翻訳が既知でない場合には、英語から言語Ｂへの字訳機能を使用して、名前「Ｍｏｓｈｅ」の言語Ｂ表現を生成し、オーバーラップなしで「Ｉ  ｌｏｖｅ」の言語Ｂの翻訳に付加することができる。
【０１４５】
名前として他の単語および／または単語列に明らかに関係する名前は、観念を表現する単語列の間の共通の統計的関係を識別するユーザを、スマートアプリケーションに活用される全般的な意味によって分類できる形の単純な例である。さらに、すべての単語列が、他の関係する概念および観念に対する動的関係を有し、これは、言語で表現されるときに互いに密に近接する頻度に基づいて、関係する観念をリストする言語内関連データベースによって示される。コヒーレントな観念を構成する各単語列は、所与の文脈での観念の意味の可能性をシステムが抽出するための、互いのある近接以内でテキスト内で頻繁に再起するパターン内の関係する観念の母集団を有する。
【０１４６】
たとえば、翻訳照会に、明らかに名前とは言えない単語が含まれる場合に、関係する観念の間の頻度を、隣接する単語および単語列の次レベルで検査して、さらなる文脈を提供することができる。たとえば、言語Ｂに翻訳される英語の照会が、「Ｉ  ｌｏｖｅ  Ｆａｉｔｈ」である場合に、Ｆａｉｔｈが、名前または「証拠なしの信頼の情」のいずれかである可能性があるので、この照会は、多少曖昧である。
【０１４７】
完全な翻訳照会の句「Ｉ  ｌｏｖｅ  Ｆａｉｔｈ」の近くの他の隣接単語が、「ｈｅｒ」および「ｓｈｅ」であって「ｇｏｄ」、「ｒｅｌｉｇｉｏｎ」、「ｃｈｕｒｃｈ」などではない場合には、システムは、頻度、近接、ならびにデータベースに存在する関連に対する他のカテゴリインジケータに重みを付ける式を適用し、「証拠なしの信頼の情」ではなく「名前」Ｆａｉｔｈの翻訳を選択すべきことを「知る」。他の観念への頻繁な関連の組を有する他の隣接する単語および単語列によって、統計的な優位性によって回答が確定されるまで、話者の意図のさらなる証拠がもたらされ、あるいは、情報の欠如に基づいてシステムがユーザに説明を求める。これは、たとえば、照会全体が「Ｉ  ｌｏｖｅ  Ｆａｉｔｈ」であった場合に発生する。この照会は多少曖昧なので、人間の翻訳者であっても、「単語Ｆａｉｔｈは人を指すのか」と質問するであろう。
【０１４８】
英語の場合に、ほとんどの先頭の大文字によって、「名前」Ｆａｉｔｈが意図されていることが示される。これは、Ｆａｉｔｈがおそらく名前であることを判定するためにシステムが扱うことのできるもう１つの属性である。多くの非ラテン文字に基づく言語は、大文字小文字がなく、したがって、この種の問題は、テキストでの互いの頻繁な近接によって関係する単語列の間の純粋にレベルごとの関係と、言語の他の表現（音声、記号、信号など）に頼る。
【０１４９】
意味論的に類似する単語を突き止めるための共通頻度分析の使用
特定の観念を表す、ある言語の単語および単語列は、しばしばパターンで現れる。このパターンは、特定の単語および単語列が、特定の単語の直前（英語では、特定の単語の左）ならびに特定の単語に続いて（英語では特定の単語の右）で見つかる頻度によって表すことができる。したがって、類似する観念を表す単語および単語列は、単語および単語列の前後に連なる単語および単語列のタイプおよび順序に共通性を有する。
【０１５０】
情報を生成するための単語パターンの使用のもう１つの例が、包括的な単語および単語列の同等物のシソーラスの作成である。システムは、別の単語と同一またはほとんど同一の意味を有する単語を識別する、すなわち、意味論的に類似する単語を識別するように要求される場合に、その単語に関連する単語および単語列の頻度を見つけ、その言語で、それに最もよく一致する関連頻度を有する単語を探すことができる。通常、２つの単語および／または単語列は、その間の構成が類似していればいるほど、意味が類似する。時々、反対語が、高頻度の共通関連を有するが、反対語は、アプリケーションに関してシステムにも与えることができる「反対語シグネチャ」パターンを作成する、ある重要な定性的な関連で強く離反する。
【０１５１】
単語または単語列によって表される観念と、単語または単語列によって表される他の観念との間の関連の特性すなわち「関連シグネチャ」が、システムによって明らかにされる。システムは、関連データベースを使用して、観念とそれに関連して近接する他の観念との間の関係を定義する、観念を取り巻く単語パターンを検出するように調整されたユーザ定義の範囲内で、特定の単語構成を検出する。コンピュータプログラムリスティング付録に記載のＰｒｏｇｒａｍ４が、意味論的に同等または類似する単語を突き止めるために共通頻度分析を使用するプログラムの例である。
【０１５２】
たとえば、ＩＣＦＡを使用する単語または単語列の周囲の特定の単語構成を使用する実施形態の１つが、意味論的値（すなわち意味）において任意の単語または単語列と同等またはほぼ同等である単語および単語列を識別するためのものである。この実施形態では、下記が用いられる。ステップ１、同等性について分析される単語または単語列（照会単語）を要求する照会を受け取り、最高の頻度を伴って出現するユーザ定義サイズの単語列（返される単語）ならびに返される単語の出現頻度を返すこと。ただし、返される単語は、ＩＣＦＡを使用して、すべての使用可能な文書内の照会単語のすぐ左に位置する。ユーザ定義単語列が長いほど、最終的な結果の精度が高くなる。ステップ２、分析される各単語または単語列の右の１単語または１単語列の範囲を使用して（１単語または１単語列の範囲は、ステップ２で分析される単語または単語列のそれぞれに右の最もよく再起する単語および単語列をランキングすることを意味する）ステップ１のユーザ定義の個数の最高のランキングの結果のそれぞれに対してＩＣＦＡを実行する。ステップ２で作られるすべての共通の単語および単語列のすべての頻度を、加算する。ステップ３、照会のすぐ右側のユーザ定義の個数の単語の範囲を使用して、照会に対してＩＣＦＡを行う（やはり、通常は、精度のために、少なくとも２つ以上の単語が望ましい）。ステップ４、分析される単語および単語列のそれぞれのすぐ左の１単語または単語列の範囲を使用して、ステップ３から返された、ユーザ定義の個数の最高のランキングの単語および単語列のそれぞれに対してＩＣＦＡを行う（やはり、分析される単語または単語列のすぐ左の１単語範囲または１単語列範囲の結果によって、ステップ４で分析される各単語および単語列に最もしばしばつながる単語および単語列が頻度によってランキングされる）。ステップ４でもたらされるすべての共通する単語および単語列の頻度を、加算する。ステップ５で、ステップ２および４の両方で作られた各単語および単語列を識別する。ステップ２で返される共通の単語および単語列のそれぞれの頻度数に、ステップ４で作られた共通する単語または単語列の頻度数をかける。ステップ２およびステップ４の結果からの頻度の積に基づく最高のランキングの単語または単語列が、意味論的に照会に最も同等または類似する単語および単語列である。
【０１５３】
システムの文書データベース内のすべての単語同等物および単語列同等物のシソーラスを作る実施形態の例で、単語「ｄｅｔａｉｎｅｄ」が、システムに既知のすべての単語同等物および単語列同等物を判定するためにユーザによって入力されると仮定する。
【０１５４】
ステップ１で、説明を簡単にするために上位３位までの結果（ユーザ定義）だけを採用すると、システムは、まず、「ｄｅｔａｉｎｅｄ」のすぐ左にある最も頻繁な３つの単語列（ユーザ定義）が、下記であると判定する。
【０１５５】
１．「ｔｈｅ  ｓｕｓｐｅｃｔ  ｗａｓ」
２．「ｗａｓ  ａｒｒｅｓｔｅｄ  ａｎｄ」
３．「ｃｏｎｔｉｎｕｅｄ  ｔｏ  ｂｅ」
ステップ２で、システムは、下記のように、上の３つの返された３単語の列の右に最も頻繁に続く単語および単語列を見つける。
【０１５６】
１．「ｔｈｅ  ｓｕｓｐｅｃｔ  ｗａｓ」
ａ．「ａｒｒｅｓｔｅｄ」（２４０回）
ｂ．「ｈｅｌｄ」（１２０回）
．「ｒｅｌｅａｓｅｄ」（９０回）
２．「ｗａｓ  ａｒｒｅｓｔｅｄ  ａｎｄ」
ａ．「ｈｅｌｄ」（２５０回）
ｂ．「ｃｏｎｖｉｃｔｅｄ」（１５０回）
ｃ．「ｒｅｌｅａｓｅｄ」（１００回）
３．「ｃｏｎｔｉｎｕｅｄ  ｔｏ  ｂｅ」
ａ．「ｈｅａｌｔｈｙ」（２００回）
ｂ．「ｃｏｎｆｉｄｅｎｔ」（１５０回）
ｃ．「ｏｐｔｉｍｉｓｔｉｃ」（１２０回）
次に、ステップ２の共通戻り値の頻度を加算する。ステップ２の共通戻り値は、下記だけである。
【０１５７】
ａ．「ｈｅｌｄ」          １２０＋２５０＝２７０
ｂ．「ｒｅｌｅａｓｅｄ」    ９０＋１００＝１９０
ステップ３で、システムは、データベース内の文書で、選択された照会「ｄｅｔａｉｎｅｄ」のすぐ右に最も頻繁に現れる２単語の列（ユーザ定義）を３つ（ユーザ定義）判定する。
【０１５８】
ｌ．「ｆｏｒ  ｑｕｅｓｔｉｏｎｉｎｇ」
２．「ｏｎ  ｃｈａｒｇｅｓ」
３．「ｄｕｒｉｎｇ  ｔｈｅ」
ステップ４で、システムは、下記のように、ステップ４の３つの返された結果のすぐ左に現れる最も頻繁に現れる単語および単語列を識別する。
【０１５９】
１．「ｆｏｒ  ｑｕｅｓｔｉｏｎｉｎｇ」
ａ．「ｈｅｌｄ」（３００回）
ｂ．「ｗａｎｔｅｄ」（１５０回）
ｃ．「ｂｒｏｕｇｈｔ  ｉｎ」（１００回）
２．「ｏｎ  ｃｈａｒｇｅｓ」
ａ．「ｈｅｌｄ」（３５０回）
ｂ．「ａｒｒｅｓｔｅｄ」（２００回）
ｃ．「ｂｒｏｕｇｈｔ  ｉｎ」（１５０回）
３．「ｄｕｒｉｎｇ  ｔｈｅ」
ａ．「ｂｅａｕｔｉｆｕｌ」（５００回）
ｂ．「ｈａｐｐｙ」（４００回）
ｃ．「ｐｅｏｐｌｅ」（２５０回）
次に、ステップ４の共通の結果のすべてを加算する。この例の２つの共通の結果は、次の通りである。
【０１６０】
ａ．「ｈｅｌｄ」              ３００＋３５０＝６５０
ｂ．「ｂｒｏｕｇｈｔ  ｉｎ」  １００＋１５０＝２５０
ステップ５、次のように、ステップ２および４の共通の結果の頻度をかけることによる積を返す。
【０１６１】
１．「ｈｅｌｄ」          ６５０×２７０＝１７５５００
２．「ａｒｒｅｓｔｅｄ」  ２００×２４０＝  ４８０００
上の例は、文書データベース内の比較的少数の文書に基づく。文書データベースは、より大きくすることができ、文書データベースに、インターネットなどのネットワークを介してシステムからリモートアクセス可能な文書を含めることができる。
【０１６２】
上の実施形態は、本発明によってＩＣＦＡ（またはその代わりにＲＣＦＡ）を使用して、単語および単語列によって表される観念に関する特性および単語または単語列と他の単語または単語列の間の関係の特徴を識別できる多数の形の１つである。より複雑な問題を解決するために、他のカテゴリインジケータと共に、言語の頻度および互いの近接によって定義される観念の間の関係を活用するという同一の核になる発想に基づく他の方法を使用することができる。これには、セグメントの複数の異なる組に対する共通頻度分析の実行およびユーザ定義の形での組み合わされた結果の使用を含めることができる。
【０１６３】
識別できるより複雑な関係の１つの例が、互いに反対である単語または単語列のシグネチャの比較によって形成されるパターンである。このパターンを識別するためには、ユーザが、システムに単語（たとえばｈｏｔ）を入力する。システムは、この単語の周囲に再起する単語および単語列の頻度のすべてを識別する（これによって単語「シグネチャ」が生成される）。次に、ユーザは、システムに、反対の観念を表す単語または単語列（たとえばＣｏｌｄ）の周囲の再起する単語および単語列の頻度のすべてを識別するように要求する。システムは、単語ｈｏｔの左側とｃｏｌｄの右側の間およびｃｏｌｄの左側とｈｏｔの右側の間のオーバーラップする観念について共通パターンを探す。
【０１６４】
その結果は、２つのシグネチャの比較によって形成されるパターンであり、システムは、これを使用して、シグネチャの比較によって形成される類似するパターンを有する他の単語対または単語列対を識別することができる。したがって、システムが、反対語を探す形で単語または単語列によって照会される場合に、システムは、（１）その照会の周囲のすべての単語および単語対を識別し、（２）照会に似たシグネチャを有するが、類義語としてそれらを識別する類似性のレベルにはない単語および単語列のリストを識別し、（３）これらの関係する（同義ではない）単語および単語列のシグネチャを照会と比較し、（４）ステップ３で識別された比較を、前に識別された反対の単語対または単語列対のシグネチャと比較する。ステップ３で生成される比較のいずれかが、既知の反対語の間のシグネチャ比較によって形成されるパターンに十分に似た（ユーザ定義）パターンを有する場合に、システムは、パターンを形成するために、照会と対照するステップ２からの単語または単語列を識別し、照会の反対語としてこれを識別する。
【０１６５】
システムが単語列同等物（または他の関係）を作るためのユーザ定義パラメータに、照会に非常に近接するが照会の左右に直接には隣接しない単語列を含められることにも留意されたい。ユーザ定義パラメータの調整は、意味論的意味の表現が、通常は非効率的であるか構造的に慣習的でない（たとえば、インターネット「チャットルーム」媒体に固定された会話および他のタイプの会話）場合への応用に望ましい。
【０１６６】
その核心で、関連データベース作成技法に、（ｉ）線形または順序付きの形で編成されたグループ化された１単位のデータをとり、（ｉｉ）データのグループを全体のすべての可能な連続するサブセットに分割し、（ｉｉｉ）データのすべてのサブセットの間の関係を、グループ化されたデータのすべての使用可能な単位内の互いの頻繁に再起する（一般に近い）近接に基づいて作成することが含まれる。ＣＦＡの核心で、システムは、全般的な「データシグネチャ」に関係するデータに関する一般化された情報を提供する「データシグネチャ」を定義する、ある再起するパターンを識別するのを助けるために、ユーザに、サブセットデータセグメントの間の頻繁に再起する近接関係を提供する。したがって、データベース作成に使用される同一の技法、および共通頻度分析を使用して、多数の他のタイプのデータマイニング、テキストマイニング、ターゲット認識、およびパターンの認識を必要とするあらゆる他のアプリケーションに関してパターンを認識することができる。
【０１６７】
当業者なら理解することができるように、本発明の趣旨および範囲から逸脱せずに、上記で説明した装置および方法の多数の変更を、当業者が加えることができる。
【０１６８】
【表９−１】
2005532605.tif 000011
【０１６９】
【表９−２】
2005532605.tif 000012
【０１７０】
【表９−３】
2005532605.tif 000013
【０１７１】
【表９−４】
2005532605.tif 000014
【０１７２】
【表９−５】
2005532605.tif 000015
【０１７３】
【表９−６】
2005532605.tif 000016
【０１７４】
【表９−７】
2005532605.tif 000017
【０１７５】
【表９−８】
2005532605.tif 000018
【０１７６】
【表９−９】
2005532605.tif 000019
【０１７７】
【表９−１０】
2005532605.tif 000020
【０１７８】
【表９−１１】
2005532605.tif 000021
【０１７９】
【表９−１２】
2005532605.tif 000022
【０１８０】
【表９−１３】
2005532605.tif 000023
【０１８１】
【表９−１４】
2005532605.tif 000024
【０１８２】
【表９−１５】
2005532605.tif 000025
【０１８３】
【表９−１６】
2005532605.tif 000026
【０１８４】
【表９−１７】
2005532605.tif 000027
【０１８５】
【表９−１８】
2005532605.tif 000028
【０１８６】
【表９−１９】
2005532605.tif 000029
【０１８７】
【表９−２０】
2005532605.tif 000030
【０１８８】
【表９−２１】
2005532605.tif 000031
【０１８９】
【表９−２２】
2005532605.tif 000032
【０１９０】
【表９−２３】
2005532605.tif 000033
【０１９１】
【表９−２４】
2005532605.tif 000034
【０１９２】
【表９−２５】
2005532605.tif 000035
【０１９３】
【表９−２６】
2005532605.tif 000036
【図面の簡単な説明】
【０１９４】
【図１】本発明によるクロス観念データベースの実施形態を示す図である。
【図２】本発明の方法を実施する、本発明のコンピュータシステムの実施形態を示す図である。
【図３】本発明の方法を実施するプログラムを含む、本発明のコンピュータシステムのメモリデバイスを示す図である。
【図１】
2005532605.tif 000037
【図２】
2005532605.tif 000038
【図３】
2005532605.tif 000039
【国際調査報告】
2005532605.tif 000040
2005532605.tif 000041