(57)【要約】  変換されるデータのコンテキストを参照することなくデータを第１形態から第２形態へ変換する、コンピュータベースのツールおよび方法。変換は、ソースデータを、データの変換のための規則（たとえば、コンテキスト特有規則）を含む外部情報（たとえば、公共および／または個人スキーマ）にマッチングすることによって容易となり得る。マッチングは、 最適化されたインデックス文字列マッチング技術に基づいて行われ得る。インデックス文字列マッチング技術は、ソースデータまたは識別された外部情報のコンテキストを具体的に識別することなく、ソースデータをコンテキスト依存の外部情報に対してマッチングするように動作可能であり得る。これにより、データの変換が教師なし機械学習環境において行なわれ得る。
2015531499.tif 000002
【特許請求の範囲】
【請求項１】
データを第１形態から第２形態へ変換するコンピュータベースのツールの動作に使用する方法であって、
コンピュータベースのツールを使用して、第１形態から第２形態へ変換されるデータの集合を識別するステップを備え、前記データの集合はコンテキスト不定であり、方法はさらに、
コンピュータベースのツールを使用して、データの特定のコンテキスト内でデータを変換するための１つ以上の変換規則を各々が含む複数のスキーマにアクセスするステップを備え、前記１つ以上の変換規則は少なくとも部分的に前記特定のコンテキストに基づき、方法はさらに、
コンピュータベースのツールを使用して、インデックス付き文字列マッチングにより、前記データの集合を前記複数のスキーマの少なくとも一部と比較するステップを備え、前記インデックス付き文字列マッチングは、前記データの集合および前記複数のスキーマとは独立して行われ、方法はさらに、
コンピュータベースのツールを使用して、前記比較するステップに少なくとも部分的に基づいて、選択されるスキーマを前記複数のスキーマから選択するステップと、
前記第１形態から前記第２形態へ前記データの集合を変換するために、前記選択されるスキーマの前記１つ以上の変換規則を前記データの集合に適用するステップとを備える、方法。
【請求項２】
前記アクセスするステップは、公共スキーマを識別するステップを含み、前記公共スキーマは、前記データの集合に関連付けられた任意の主体もしくは主体のグループとは独立して主題領域に概して適用可能な変換規則を含み、主題領域の少なくとも一部を理解するための構造を確立する、請求項１に記載の方法。
【請求項３】
前記公共スキーマには、セマンティックオブジェクトの容認された公共定義が伴う、請求項２に記載の方法。
【請求項４】
前記アクセスするステップは、個人スキーマを識別するステップを含み、前記個人スキーマは、主題もしくは全体として前記公共より小さい主体のグループに特有の変換規則を含み、主題の少なくとも一部を理解するための構造を確立する、請求項１に記載の方法。
【請求項５】
前記インデックス付き文字列マッチングは、
前記データの集合および前記複数のスキーマの各々を１つ以上の特徴として表すことを含み、前記データの集合はソース特徴として表され、前記複数のスキーマは目標特徴として表わされ、前記インデックス付き文字列マッチングはさらに、
前記目標特徴に対応するインデックスをコンパイルすることを含み、前記インデックスは、各目標特徴を前記目標特徴を含む前記複数のスキーマの各々にマッピングすることを含み、前記インデックス付き文字列マッチングはさらに、
前記データの集合に関連して類似性メトリックが計算される前記複数のスキーマのサブセットを判定することを含み、前記複数のスキーマの前記サブセットは、前記複数のスキーマの全体よりも少なく、前記インデックス付き文字列マッチングはさらに、
前記複数のスキーマの前記サブセットに対する前記データの集合についての類似性メトリックを計算することを含み、前記類似性メトリックは、少なくとも部分的に前記目標特徴と前記ソース特徴との間の共通性に基づく、請求項１に記載の方法。
【請求項６】
前記方法はさらに、
コンピュータベースのツールを使用して、前記ソース文字列と前記目標文字列との間の最小類似性メトリックを確立するステップと、
コンピュータベースのツールを使用して、少なくとも部分的に前記最小類似性メトリックに基づいて、判定動作における考慮からソース特徴を除去するステップとを備え、前記除去されたソース特徴は、前記最小類似性メトリックを超えることができない前記サブセットの複数のスキーマの目標特徴に対応する、請求項５に記載の方法。
【請求項７】
前記方法はさらに、
コンピュータベースのツールを使用して、前記ソース文字列と前記目標文字列との間の最小類似性メトリックを確立するステップと、
コンピュータベースのツールを使用して、少なくとも部分的に前記最小類似性メトリックに基づいて前記インデックスから少なくとも１つのマッピングを取り除くステップとを備え、前記取り除く動作は、前記最小類似性メトリックを超えることができない前記複数のスキーマのものに対応するインデックスに目標特徴のみが含まれるように、前記インデックスから取り除かれる前記目標特徴の一部を判定することを含む、請求項５に記載の方法。
【請求項８】
第１形態から第２形態へデータを変換するコンピュータベースのツールの動作に使用する方法であって、
前記第１形態から前記第２形態へ変換されるデータの集合を識別するステップと、
複数のスキーマの各々を１つ以上の目標特徴として表わすステップと、
前記複数のスキーマに対応するインデックスをコンパイルするステップとを備え、前記インデックスは、各目標特徴について、前記目標特徴を含む前記複数のスキーマの各々に対するマッピングを含み、方法はさらに、
前記変換されるデータの集合を１つ以上のソース特徴として表わすステップと、
変換される特定のデータセットの解析とは独立して、少なくとも１つの主題領域の外部知識に各々が基づく複数のスキーマにアクセスするステップとを備え、前記複数のスキーマの各々は、前記スキーマの主題領域の対応するコンテキスト内でのデータ変換に使用される１つ以上の変換規則を含み、方法はさらに、
類似性メトリックが計算される前記複数のスキーマのサブセットを判定するステップを備え、前記複数のスキーマの前記サブセットは、前記複数のスキーマの全体よりも少なく、方法はさらに、
前記複数のスキーマの前記サブセットに対し、前記変換されるデータの集合についての類似性メトリックを計算するステップを備え、前記類似性メトリックは、少なくとも部分的に前記目標特徴と前記ソース特徴との間の共通性に基づき、方法はさらに、
少なくとも部分的に前記類似性メトリックに基づき、前記複数のスキーマのうち少なくとも１つ選択されるスキーマを選択するステップと、
前記第１形態から前記第２形態へ前記データを変換する処理において前記少なくとも１つの選択されるスキーマの含まれる変換規則を使用するステップとを備える、方法。
【請求項９】
類似性メトリックが計算される前記複数のスキーマのサブセットは、少なくとも１つのソース特徴と共通の１つの目標特徴を少なくとも含む、請求項８に記載の方法。
【請求項１０】
各特徴に特徴重みを割り当てるステップをさらに備え、前記特徴の前記重みは、前記類似性メトリックへの前記特徴の寄与の尺度に対応し、前記ソース特徴にはソース特徴重みが割り当てられ、前記目標特徴には目標特徴重みが割り当てられ、前記ソース特徴重みは前記目標特徴重みとは異なる、請求項９に記載の方法。
【請求項１１】
前記特徴重みは、少なくとも部分的に前記複数のスキーマにおける前記特徴の頻度に基づき、上側閾値を超える頻度を有する特徴または下側閾値を下回る頻度を有する特徴には、低い頻度重みが与えられる、請求項１０に記載の方法。
【請求項１２】
前記選択するステップは、変換される前記データの特定の主題もしくはコンテキスト、または前記複数のスキーマの主題もしくはコンテキストを参照することなく行われる、請求項８に記載の方法。
【請求項１３】
前記アクセスするステップは、公共スキーマを識別することを含み、前記公共スキーマは、前記データの集合に関連付けられた任意の主体もしくは主体のグループとは独立して前記主題領域に概して適用可能な変換規則を含み、前記主題領域の少なくとも一部を理解するための構造を確立する、請求項８に記載の方法。
【請求項１４】
前記公共スキーマには、セマンティックオブジェクトの容認された公共定義が伴う、請求項１３に記載の方法。
【請求項１５】
前記アクセスするステップは、個人スキーマを識別することを含み、前記個人スキーマは、主体もしくは全体として公共より小さい主体のグループに特有の変換規則を含み、前記主題領域の少なくとも一部を理解するための構造を確立する、請求項８に記載の方法。
【請求項１６】
前記使用するステップは、変換される前記データの少なくとも一部のオブジェクト、属性、または属性値を識別するように、前記含まれた変換規則に鑑みて、変換される前記データを解釈するための論理を実行することを含む、請求項１に記載の方法。
【請求項１７】
前記使用するステップは、前記第１のスキーマによって規定されたオブジェクト、属性、または属性値の対応する集合に対し、前記オブジェクト、前記属性、または前記属性値の比較を行うことを含む、請求項１に記載の方法。
【請求項１８】
前記比較は、前記第１のスキーマによって規定されたオブジェクト、属性、または属性値の集合に対し、前記オブジェクト、前記属性、または前記属性値に対応する類似性メトリックを利用することを含む、請求項１７に記載の方法。
【請求項１９】
第１形態から第２形態へコンテキスト不定データを変換するために使用されるシステムであって、
コンピュータベースの文字列解析ツールによって実行可能であり、複数のスキーマの各々を複数のスキーマ特徴として表すように動作可能な特徴モジュールと、
コンピュータベースの文字列解析ツールによって実行可能であり、マッピングを含むインデックスをコンパイルするように動作可能なインデックス付けモジュールとを備え、前記マッピングは、各スキーマ特徴を、前記スキーマ特徴を含む前記複数のスキーマの各々に相関させ、システムはさらに、
コンピュータベースの文字列解析ツールによって実行可能であり、前記第１形態から前記第２形態へ変換されるデータの集合間の類似性メトリックを計算するように動作可能な類似性メトリックモジュールを備え、前記データの集合はコンテキスト不定であり、前記複数のスキーマの選択される部分の各々は、前記ソース文字列と共通する少なくとも１つの特徴を有し、前記類似性メトリックは、前記データの集合と前記複数のスキーマの選択される部分の各々との間の特徴の共通性に関する定量値を含み、システムはさらに、
コンピュータベースの文字列解析ツールによって実行可能であり、最小類似性メトリック閾値に基づく考察からの特徴の除去に少なくとも部分的に基づいて類似性メトリックが計算される前記複数のスキーマの前記選択される部分を判定するように動作可能な最適化モジュールと、
少なくとも１つの選択されるスキーマを識別するためにデータの集合と前記複数のスキーマの前記選択される部分との間の類似性メトリックに基づいて選択するように動作可能な変換モジュールとを備え、前記変換モジュールは、前記選択されるスキーマのコンテキスト依存変換規則を前記データの集合に対して適用し、前記データの集合を前記第１形態から前記第２形態へ変換するように動作可能である、システム。
【請求項２０】
前記変換モジュールは、前記変換されるデータの集合の前記コンテキストとは独立して動作する、請求項１９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照 
本件出願は、「セマンティックメタモデル開発における教師なし学習のための構成要素としてのスケーラブル文字列マッチング（SCALABLE STRING MATCHING AS A COMPONENT FOR UNSUPERVISED LEARNING IN SEMANTIC META-MODEL DEVELOPMENT）」と題され、２０１２年８月２８日付けで出願された米国特許出願第１３／５９６，８４４号の一部継続出願であり、その全体が引用によりここに援用される。
【０００２】
分野
本開示は、概して、第１形態から第２形態へデータを変形させるコンピュータベースのツールの使用に関し、特定的には、教師なし学習処理に関連してインデックス付き文字列マッチングを利用し、コンテキスト依存スキーマのインデックス付き文字列マッチングに少なくとも部分的に基づいて選択されるスキーマを用いて、コンテキストが不定のデータをソースデータの変換に用いるためソースデータに変換し得るコンピュータベースのツールに関する。
【背景技術】
【０００３】
背景
様々な用途において、データを第１（もしくは入力）形態から第２（もしくは目標）形態へ変換することが望ましいものとなり得る。このような変換には、たとえば、言語、構文、および／または形式に対するデータの変更が伴い得る。これに関し、言語の違いは、異なる言語の使用によるものであり得る、または単一の言語内における、用語、商標名、省略形、特有の表現もしくは構造の異なる使用、ならびに場所、地域、事業体もしくは事業部門、取引、機関などのに特有の他の事項によるものであり得る。また、本目的のための言語の違いの範囲内においては、異なる通貨、異なる重量および測定の単位、ならびに他の体系的な違いである。構文は、用語の表現、順序付け、および編成、ならびにそれに関連する文法および他の規則に関するものであり得る。形式の違いは、データベースもしくは他のアプリケーションに関連付けられたデータ構造または規約、および関連付けられたツールに関連し得る。
【０００４】
これらの形態の違いのうちの１つ以上は、変換処理に関連して有利に対処され得る。変換環境の一部の例として、１つ以上のレガシーのシステムからターゲットシステムへのデータのインポート、１つ以上の規定された情報の集合に関連した外部入力（検索クエリなど）の相関または解釈、１つ以上の外部文書、ファイル、もしくは他のデータのソースに関連した外部入力の相関または解釈、システム間における情報の交換の促進、および単語、句、もしくは文書の翻訳などが含まれる。これらの場合のすべてにおいて、マシンベースの（たとえば、コンピュータベースの）ツールが、入力環境と目標環境との間における言語、構文、および／または形式の違いに対処するための試みに使用され得る。
【０００５】
マシンベースの変換ツールに関連付けられた１つの困難は、コンテキスト依存変換を適切に取扱うことに関連する。このような場合において、考察中のコンテキスト依存項目の適切な変換は、項目が使用されるコンテキストについての何かを理解することに依存し得る。たとえば、製品説明のコンテキストにおいて、「１インチ」の属性値は、考察中の製品に依存し、１インチの長さ、１インチの半径、またはその他の寸法を指し得る。これに関し、「１インチ」が使用されるコンテキストは、「１インチ」の（たとえば、長さ、半径、または他の寸法への）許容可能および／または適切な変換を決定し得る。他の例において、翻訳のコンテキストでは、「歩く（walking）」の用語は、「歩く靴（walking shoe）」の句において「歩いて通勤する（walking to work）」とは異なる機能となる。したがって、これらの例およびその他多くの例において、考察中の項目のコンテキストについての何かを理解することが、変換を促進し得る。
【０００６】
情報を明確化する、またはそれ以外に適切に変換する際におけるコンテキストの値は良好に認識されるが、この概念をマシンベースのツールに対して、特に教師なし機械学習において適用する際には、実現される成功は限られたものとなっていた。たとえば、変換される特定のデータは、高度に非体系的であり得る、および／またはそれ以外にコンテキスト的に不定であり得る。このようなことから、ソースデータが使用されるコンテキストを示す指標（たとえば、データに内在する、または外部のソースから利用可能であり得る）をデータが有さない場合もあり得る。すなわち、データはコンテキスト的に不定であり得て、データのコンテキストが容易に識別不可能なものとなる。さらに、ソースデータは、複数の異なるコンテキストを含み得て、ソースの異なるサブセットのコンテキストがデータ内にあり得る。この点で、コンテキスト依存の変換は、コンテキスト依存データの変換において使用するためのコンテキストの識別の従来の手法を使用して行うことができなくなり得る。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
概要
上記に鑑み、コンテキスト依存データの「コンテキストブラインド」変換を行うために利用され得るコンピュータベースのツールの実施形態がここに記載される。たとえば、ここに記載される実施形態は、コンテキスト不定であるがコンテキスト依存であるデータを、データが使用されるコンテキストを最初に判定することなく変換するために利用され得る。すなわち、データのコンテキストは、データの変換において使用するために確認可能となり得ない。たとえば、コンテキスト不定のデータは、コンテキストの手がかりが利用可能でないデータ、相反するコンテキストの手がかりを有するデータ、容易に識別できるよりも多くのコンテキストの手がかりを有するデータ、またはデータのコンテキストの識別を正確に行なうことを困難もしくは不可能にする他の特性を含み得る。
【０００８】
この点に関し、ソースデータおよびスキーマのコンテキストのマッチングではなく、関連する特徴に基づいて変換されるデータに類似する外部情報（たとえば、スキーマ）を識別するために、インデックス付き文字列マッチング処理が利用され得る。変換されるデータを関連するスキーマ（たとえば、特定のコンテキストに特有の変換規則を含むスキーマ）を用いてマッチングすることにより、コンテキスト依存データは、データが使用されるコンテキストの判定なくしてそのコンテキスト依存データが使用されるコンテキストに関して変換され得て、「コンテキストブラインド」の態様で変換される。すなわち、データのコンテキストが変換前に具体的に判定され得ない一方、類似のスキーマの判定（たとえば、インデックス付き文字列マッチング処理による）により、ソースデータが使用されるコンテキストを識別することなくしても、コンテキスト依存の変換規則に基づいてデータを変換することが可能となり得る。
【０００９】
特定的には、ここに記載される実施形態は、変換されるデータに適用可能なコンテキスト関連スキーマを、変換されるデータのコンテキストまたは関連スキーマのコンテキストを考慮することなく識別し得る。すなわち、実施形態は、ソースデータのコンテキストについての知識がなくともソースデータにコンテキストが関連する１つ以上のスキームを識別する「コンテキストブラインド」の態様で動作するように作用し得る。この点に関して、本開示は、機械学習のコンテキストにおける用途、特定的には、コンテキスト不定のデータ、容易に利用可能なコンテキスト情報のないデータ、またはデータにおいて示される多くの異なるコンテキストを有するデータが変換される、教師なし機械学習に特に適切であり得る。
【００１０】
たとえば、ここに記載される方法および装置に係る、変換されるデータは、少なくとも部分的に非体系的であり得る。このようなことから、教師なし機械学習への従来の手法は適用が難しくなり得る。たとえば、データ構造を潜在的に欠く場合、教師あり学習処理において使用される品質トレーニングデータはほとんどない。この点に関して、データのコンテキストが所与の主題に関連する程度に、データのコンテキストが不明瞭となり得て、機械学習処理においてコンテキストが容易に確認可能とならない。これにより、容易に確認可能なコンテキスト情報の欠落と潜在的コンテキスト依存変換処理とが組み合わさることにより、このような変換される非体系的なデータは、実質的な介在（たとえば、人間のユーザによる）なしに第１形態から第２形態へ変換することが難しいものとなり得る。この点に関して、このような非体系的なデータの変換は、コストがかかるものとなり得る、および／または変換が非効率となり得る。
【００１１】
しかしながら、ここに記載される１つの手法は、インデックス付き文字列マッチングを使用して類似性メトリックを展開することを含む。類似性メトリックは、変換されるデータのコンテキスト、または変換への使用に利用可能なスキーマを参照することなく、変換されるデータと複数のスキーマとの間の共通性を示す。文字列解析ツールの一部の実施形態は、決定論的マッチング手法およびファジーマッチング手法の両方が備わった利点を利用することにより、文字列（たとえば、ソースデータまたはスキーマ）の分析のための迅速な領域独立処理を行い得る。
【００１２】
概して、ここに記載される文字列解析ツールは、文字列（たとえば、ソースデータおよび／またはスキーマ）を特徴として表すように動作し得る。ソース文字列の特徴は、目標文字列の特徴と比較され、ソース文字列と目標文字列との間の類似性メトリックが計算され得る。類似性メトリックは、ソース文字列と目標文字列との間の類似性を示す定量的測度（たとえば、数値）であり得る。たとえば、例において、類似性メトリックが１である場合は、ソース文字列と目標文字列とが同一であることを表わし得て、類似性メトリックが０である場合は、ソース文字列と目標文字列とが完全に非類似であることを表わし得る。 
【００１３】
しかしながら、非常に大きな目標文字列のコーパスについては、コーパスにおける各目標文字列についての類似性メトリックの計算には、分析のコストおよび時間が抑えられ得るように大きな量の計算リソースが必要となり得る。これにより、特定の処理において対象となるソース文字列と目標文字列との間の類似性の最小量を表わす最小類似性メトリックが展開され得る。最小類似性メトリックは、文字列解析ツールの性能を調節するために調整可能であり得る。この点に関して、最小類似性メトリックは、ユーザによって確立され得る規定の値であり得る。たとえば、最小類似性メトリックが高ければ、より小さい計算リソースがマッチングを行うために必要とされ、それでもなお特定の結果が結果から排除され得る。最小類似性メトリックが低ければ、より大きな計算リソースがマッチングを行うために必要とされ、結果はより包括的なマッチングのリストを含み得る。いずれの点においても、最小類似性メトリックが結果に対して適用され得て、特定のマッチングが結果から排除され、最小類似性メトリックが最小類似性メトリック閾値として機能する。最小類似性メトリック閾値は、マッチングツールによって実行可能な最適化処理において使用され得る。たとえば、以下で詳細に記載するように、最小類似性メトリック閾値を下回る類似性値との一致は、結果から除外され得る、および／または一致についての類似性メトリックの実際の計算から除外され得る。
【００１４】
この点に関して、ここに記載される文字列解析ツールの一実施形態は、類似性メトリックが目標文字列の一部についてのみ計算されるように計算される類似性メトリックの数を減少させ得る最適化モジュールを採用し得る。類似性値が計算される目標文字列の識別は、所定の最小類似性メトリック閾値に基づき得る。最小類似性メトリック閾値（たとえば、ユーザが事前に決定した最小類似性メトリックから導き出される、またはこれに対応する）を利用することにより、ツールのこの実施形態は、文字列分析において考察から排除され得る特徴（たとえば、ソース文字列および／または目標文字列もの）を識別し得る。たとえば、 排除される特徴が最小類似性メトリック閾値を超える類似性メトリックを返す可能性がないという判定に基づき、特徴は考察から排除され得る。
【００１５】
本開示において示される少なくとも１つの実施形態において、目標文字列の特徴は、ソース文字列を受け取る前であっても排除され得る。このようなことから、ソース文字列を受け取る前に少なくともいくつかの事前計算が行なわれ得る。さらに、ソース文字列からの特徴は、目標文字列におけるソース特徴の既知のパラメータに基づいて考察から排除され得る。この点に関して、目標文字列における特徴の分布または頻度に関連する情報を含むインデックスがコンパイルされ得る（たとえば、ソース文字列を受け取る前に事前にコンパイルされ得る）。施工例において、インデックスは、各特徴と特徴の発生する目標文字列との間のマッピングを含む転置インデックスであり得る。このようなことから、インデックスが採用され、文字列から識別された特徴に関連する情報が提供され得る。
【００１６】
この点に関して、インデックス付き文字列マッチング処理が、データ変換ツールにおける複数個所において使用され得る。たとえば、インデックス付き文字列マッチング処理は、ソースデータの類似するクラスタ化部分を返し得る。この点に関して、多くの潜在的なコンテキストが含まれる、変換されるデータの大きなコーパスについて、データのクラスタ化により、異なるコンテキストに潜在的に設けられるデータを線引きすることができる。この点に関して、ソースデータの線引きされたサブセットは、個別に外部データにマッチングされ、データのサブセットの特定のコンテキストが変換に利用され得る。このため、多くのコンテキストに対応するデータを含む大きなデータセットについて、クラスタ化がデータの関連するサブセットの識別を支援し得る。
【００１７】
さらに、変換のためにソースデータを受け取る前に外部データ（たとえば、コンテキスト依存変換規則を含むスキーマ）がインデックス付けされ得ることにより、対応する計算されたインデックスを伴う外部データ（たとえば、公共スキーマまたは個人スキーマなどのスキーマ）のライブラリが、後に受け取られるソースデータの変換への適用のために維持され得る。この点に関して、変換されるソースデータが受け取られると、または識別されると、ソースデータまたはその一部が事前に設定されたライブラリにおける外部データと急速に比較され、スキーマの１つ以上の部分が急速に識別され、その特徴に対して、ソースデータが類似すると識別されたスキーマに対応する変換規則が検索され得る。重要なことに、特徴の類似性は、ソースデータのコンテキストを明示的に見分けることなく、インデックス付き文字列マッチングを使用して行われ得る。したがって、ここに記載される実施形態を採用する教師なし機械学習ツールは、データもしくは関連するトレーニングデータのコンテキストを具体的に識別する必要はない。むしろ、ソースデータと類似の特徴を有するスキーマに対してソースデータをマッチングすることにより、コンテキストもしくはトレーニングデータが無くともコンテキスト依存変換が達成され得る。
【００１８】
この点に関して、ここに示される第１の局面は、第１形態から第２形態へデータを変換するコンピュータベースのツールの動作に使用される用法を含む。方法は、コンピュータベースのツールを使用して、第１形態から第２形態へ変換されるデータの集合を識別することを含み、データの集合はコンテキスト不定である。すなわち、データの集合のコンテキストは、解明が困難または不可能であり得る（たとえば、コンテキストの手がかりが利用可能でないことから、相反するコンテキストの手がかりが有り、データは、容易に識別できるものよりも多くのコンテキストの手がかりを有する）。方法は、コンピュータベースのツールを使用して、データの特定のコンテキスト内でデータを変換するための１つ以上の変換規則を各々が含む複数のスキーマにアクセスすることをさらに含み、１つ以上の変換規則は、少なくとも部分的に特定のコンテキストに基づく。方法は、コンピュータベースのツールを使用して、データの集合のコンテキストおよび複数のスキーマとは独立して行われるインデックス付き文字列マッチングを用いて複数のスキーマの少なくとも一部に対してデータの集合を比較することをさらに含む。方法は、コンピュータベースのツールを使用して、少なくとも部分的に比較に基づいて複数のスキーマからスキーマを選択し、選択されたスキーマの１つ以上の変換規則をデータの集合に適用し、データの集合を第１形態から第２形態へ変換することも含む。
【００１９】
いくつかの特徴の改善および追加の特徴が第１の局面に対して適用可能である。これらの特徴の改善および追加の特徴は、個別に、または任意の組み合わせで使用され得る。このようなことから、 説明される以下の特徴の各々は、任意の他の特徴と合わせて、または第１の局面の特徴の組み合わせで使用され得るが、必須ではない。
【００２０】
たとえば、アクセスすることは、公共スキーマを識別することを含み得て、公共スキーマは、データの集合と関連付けられた任意の主体または主体のグループとは独立した主題領域に対して概して適用可能な変換規則を含み、主題領域の少なくとも一部を理解するための構造を確立する。公共スキーマは、セマンティックオブジェクトの認められた公共の定義を含み得る。対照的に、アクセスすることは、個人スキーマを識別することを含み得て、個人スキーマは、主体または全体として公共より小さい主体のグループに特有の変換規則を含み、主題の少なくとも一部を理解するための構造を確立する。
【００２１】
実施形態において、インデックス付き文字列マッチングは、データの集合および複数のスキーマの各々を１つ以上の特徴として表すことを含み得て、データの集合はソース特徴として表され、複数のスキーマは目標特徴として表される。また、文字列マッチングは、目標特徴に対応するインデックスをコンパイルすることを含み、インデックスは、各目標特徴を目標特徴を含む複数のスキーマの各々に対してマッピングすることを含む。同様に、マッチングは、データの集合に関連して類似性メトリックが計算される複数のスキーマのサブセットを判定することを含み、複数のスキーマのサブセットは、複数のスキーマの全体よりも少なく、複数のスキーマのサブセットに対するデータの集合についての類似性メトリックが計算され、類似性メトリックは、少なくとも部分的に、目標特徴とソース特徴との間の共通性に基づく。
【００２２】
実施形態において、方法は、コンピュータベースのツールを使用して、ソース文字列と目標文字列との間の最小類似性メトリックを確立することと、コンピュータベースのツールを使用して、少なくとも部分的に最小類似性メトリックに基づいて判定動作における考察からソース特徴を排除することとを含み、排除されたソース特徴は、最小類似性メトリックを超過することのできないサブセットの複数のスキーマの目標特徴に対応する。加えて、または代替的に、方法は、コンピュータベースのツールを使用して、ソース文字列と目標文字列との間の最小類似性メトリックを確立することと、コンピュータベースのツールを使用して、少なくとも部分的に最小類似性メトリックに基づいてインデックスから少なくとも１つのマッピングを取り除くこととを含み得て、取り除く動作は、最小類似性メトリックを超過することができない複数のスキーマのうちのいくつかに対応するインデックスに目標特徴のみが含まれるように、インデックスから取り除くことができる目標特徴の一部を判定する。
【００２３】
第２の局面は、第１形態から第２形態へデータを変換するコンピュータベースのツールの動作に使用される方法を含み、方法は、前記第１形態から前記第２形態へ変換されるデータの集合を識別することと、複数のスキーマの各々を１つ以上の目標特徴として表すことと、複数のスキーマに対応するインデックスをコンパイルすることとを含み、インデックスは、各目標特徴を、目標特徴を含む複数のスキーマの各々にマッピングすることを含む。また、方法は、変換されるデータの集合を１つ以上のソース特徴として表すことと、変換される特定のデータ集合の分析から独立した少なくとも１つの主題領域の外部知識に各々が基づく複数のスキーマにアクセスすることとを含み、複数のスキーマの各々は、スキーマの主題領域の対応するコンテキスト内におけるデータの変換に使用される１つ以上の変換規則を含む。方法は、類似性メトリックが計算される複数のスキーマのサブセットを判定することをさらに含み、複数のスキーマのサブセットは、複数のスキーマの全体よりも小さく、複数のスキーマのサブセットに対して変換されるデータの集合のための類似性メトリックが計算され、類似性メトリックは、少なくとも部分的に目標特徴とソース特徴との間の共通性に基づく。方法は、少なくとも部分的に類似性メトリックに基づいて複数のスキーマのうち少なくとも１つの選択されたスキーマを選択することと、第１形態から第２形態へデータの集合を変換する処理において少なくとも１つの選択されたスキーマの変換規則を使用することとをさらに含み得る。
【００２４】
いくつかの特徴の改善および追加の特徴は、第２の局面に適用可能である。これらの特徴の改善および追加の気功は、個別または任意の組み合わせで使用され得る。このようなことから、説明される以下の特徴の各々は、第２の局面の任意の他の特徴もしくは特徴の組み合わせで使用され得るが、必須ではない。
【００２５】
実施形態において、類似性メトリックが生産される複数のスキーマのサブセットは、少なくとも１つのソース特徴と共通の１つの目標特徴を少なくとも含む。また、方法は、各特徴に特徴重みを割り当てることを含み得て、特徴の特徴重みは、類似性メトリックに対する特徴の寄与の尺度に対応し、ソース特徴にはソース特徴重みが割り当てられ、目標特徴には目標特徴重みが割り当てられ、ソース特徴重みは目標特徴重みとは異なる。特徴重みは、複数のスキーマにおける特徴の頻度に少なくとも部分的に基づき得て、上側閾値を超える頻度または下側閾値を下回る頻度を有する特徴には、減少した頻度重みが与えられる。
【００２６】
実施形態において、選択するステップは、変換されるデータの任意の特定の主題もしくはコンテキスト、または複数のスキーマの主題もしくはコンテキストを参照することなく行われる。すなわち、コンテキスト不定データであっても選択が適用され得るように、選択することは「コンテキストブラインド」であり得る。したがって、ソースデータが関連するコンテキストを正確に識別せずとも、コンテキスト不定データは、それが設けられるコンテキストに対して変換され得る。
【００２７】
実施形態において、アクセスするステップは、公共スキーマを識別することを含み得て、公共スキーマは、前記データの集合に関連付けられた任意の主体もしくは主体のグループとは独立した前記主題領域に概して適用可能な変換規則を含み、主題領域の少なくとも一部を理解するための構造を確立する。公共スキーマには、認められたセマンティックオブジェクトの定義を伴い得る。代替的に、アクセスするステップは、個人スキーマを識別することを含み、個人スキーマは、主体または全体として公共よりも小さい主体のグループに特有の変換規則を含み、主題領域の少なくとも一部を理解するための構造を確立する。 
【００２８】
実施形態において、使用するステップは、含まれた変換規則に鑑み、変換されるデータを解釈する論理を実行し、変換されるデータの少なくとも一部のオブジェクト、属性、もしくは属性値を識別することを含み得る。使用するステップは、オブジェクト、属性、もしくは属性値を、前記第１のスキーマによって規定されたオブジェクト、属性、もしくは属性値の対応する集合と比較することを含み得る。比較は、オブジェクト、属性、もしくは属性値に対応する類似性メトリックを、第１のスキーマによって規定されたオブジェクト、属性、もしくは属性値の対応する集合に対して利用することを含み得る。
【００２９】
第３の局面は、第１形態から第２形態へコンテキスト不定データを変換することに使用されるシステムを含む。システムは、特徴モジュールを含み、特徴モジュールは、コンピュータベースの文字列解析ツールによって実行可能であり、複数のスキーマの各々を複数のスキーマ特徴として表すように動作可能である。また、システムは、インデックス付けモジュールを含み得て、インデックス付けモジュールは、コンピュータベースの文字列解析ツールによって実行可能であり、マッピングを含むインデックスをコンパイルするように動作可能であり、マッピングは、各スキーマ特徴を、スキーマ特徴を含む複数のスキーマの各々に対して相関させる。また、システムは、類似性メトリックモジュールをさらに含み得て、類似性メトリックモジュールは、コンピュータベースの文字列解析ツールによって実行可能であり、第１形態から第２形態へ変換されるデータの集合の間の類似性メトリックを計算するよう動作可能であり、データの集合はコンテキスト不定であり、複数のスキーマの選択される部分の各々は、ソース文字列と共通の少なくとも１つの特徴を有し、類似性メトリックは、データの集合と複数のスキーマの選択された部分の各々との間の特徴の共通性に関する定量値を含む。また、システムは、最適化モジュールと変換モジュールとを含み、最適化モジュールは、コンピュータベースの文字列解析ツールによって実行可能であり、最小類似性メトリック閾値に基づく考察から特徴を除去することに少なくとも部分的に基づいて、類似性メトリックが計算される複数のスキーマの選択される部分を判定するように動作可能であり、変換モジュールは、データの集合と複数のスキーマの選択された部分の各々との間の類似性メトリックに基づいて選択し、少なくとも１つの選択されたスキーマを識別するよう動作可能である。このようなことから、変換モジュールは、選択されたスキーマのコンテキスト依存変換規則をデータの集合に適用し、データの集合を第１形態から第２形態へ変換するよう動作可能である。
【００３０】
いくつかの特徴の改善および追加の特徴が第３の局面に適用可能である。これらの特徴の改善および追加の特徴は、個別または任意の組み合わせで使用され得る。このようなことから、説明される以下の特徴の各々は、第３の局面の任意の他の特徴とともに、または特徴の組み合わせにより使用され得るが、必須ではない。
【００３１】
たとえば、変換モジュールは、変換されるデータの集合のコンテキストとは独立して動作する。さらに、システムは、上記の特徴の一部またはすべてを第１および第２の局面に対して行なうように動作可能であり得る。
【図面の簡単な説明】
【００３２】
【図１】本発明に従うセマンティック変換システムを示す概略図である。
【図２】本発明に従うセマンティック変換処理を示すフロー図である。
【図３】図１のシステムを使用して実施され得る変換の例を示す概略図である。
【図４】本発明に従う変換処理における公共および個人スキーマの使用を示す概略図である。
【図５】本発明に従う例示的なユーザインターフェイスを示す図である。
【図６Ａ】本発明に従う例示的なユーザインターフェイスを示す図である。
【図６Ｂ】本発明に従う例示的なユーザインターフェイスを示す図である。
【図７】本発明に従うシステムの設定モード動作を示す概略図である。
【図８】本発明に従って実施される検索アプリケーションを示す概略図である。
【図９】本発明に従う分類システムを示す図である。
【図１０】本発明に従う分類システムを示す図である。
【図１１】本発明に従う解析木構造を確立する処理を示すフロー図である。
【図１２】本発明に従う検索アプリケーションを実施するシステムを示す概略図である。
【図１３】図１２のシステムによって実施され得る処理を示すフロー図である。
【図１４】本発明に従う、レガシーの情報を処理するために知識ベースを使用するシステムを示す概略図である。
【図１５】文字列解析ツールの実施形態に関連付けられたハードウェアの実施形態を示す概略図である。
【図１６】文字列解析ツールの実施形態を示す概略図である。
【図１７】文字列解析処理の実施形態を示すフロー図である。
【図１８】文字列解析ツールから導出され得る文字列クラスタの実施形態を示す図である。
【図１９】図１７の文字列クラスタに基づく教師なし学習によって導出され得る分類法の一部を示す図である。
【発明を実施するための形態】
【００３３】
詳細な説明
本発明は、様々な変更および代替的な形態とする余地がある一方、その特定の実施形態は、図面における例として示され、ここに詳細に記載される。しかしながら、本発明は開示される特定の形態に限定することを意図しておらず、発明は、請求項によって規定される発明の範囲内におけるすべての変更、均等物、および代替物を包含することを意図している。
【００３４】
本発明は、第１もしくはソース形態から第２もしくは目標形態へのデータの変換に関する。上記のように、このような変換は、たとえば、情報システムにデータをインポートすること、もしくは情報システムを事前設定すること、検索クエリを処理すること、情報システム間で情報を交換すること、および翻訳に関連する様々な用途において望ましいものとなり得る。さらに、このような変換は、ソース形態のデータのコンテキストに少なくとも部分的に依存し得る。たとえば、使用されるコンテキストに応じ、「ＢＬＫ」は、あるコンテキストから、「ブランクの（blank）」、「ブラックの（black）」、または「ＢＬＫ」がソース形態で使用され得るコンテキストに応じた一部の他の変形体に変換され得る。上記のように、このようなデータのコンテキスト依存変換は、コンテキスト教師なし機械学習においては特に困難である。
【００３５】
たとえば、このようなコンテキスト依存データは、コンテキスト不定でもあり得る。すなわち、ソース形態におけるデータの少なくとも一部は、ソース形態のデータが現れるコンテキストを判定するために識別可能となり得ない。たとえば、上記の例について続けると、「BLKテープ（BLK TAPE）」は、第１のコンテキストにおいては変換「ブランクのテープ（BLANK TAPE）」に対応し得る、または第２のコンテキストにおいては変換「ブラックのテープ（BLACK TAPE）」に対応し得る。さらに、特定のソースデータについてどのコンテキストが適切かどうかを判定するための識別可能なコンテキストが無い場合がある。このコンテキスト情報が無い場合、コンテキストが容易に解析され得ないことから、データの変換は実行が困難または不可能となり得る。この点に関して、不適切に識別されたコンテキストに基づいた不正確な変換が起こり得る。
【００３６】
しかしながら、本開示は、コンテキスト依存情報の「コンテキストブラインド」変換を提供し得るコンピュータベースの変換ツールに関連するシステムおよび実施形態について記載する。たとえば、ソースデータは、インデックス付き文字列マッチング処理における文字列として比較された場合に、ソースデータとスキーマとの類似性に基づき、コンテキスト依存スキーマに対してマッチングされ得る。この点に関して、ソースデータのコンテキストが分離して解析され得ない場合であっても、コンテキスト依存のスキーマに対する類似性マッチングにより、ソースデータのコンテキストを具体的に識別しなくとも、ソースデータを適切なコンテキストに基づいて変換することができる。すなわち、コンテキスト依存スキーマは、スキーマにおけるソースデータの識別されたコンテキストをマッチングするのではなく、ソースデータの類似性に基づいてソースデータに対してマッチングされ得る。
【００３７】
このため、以下の記載は、概して、データを変換するためのスキーマの用途について記載する。その後、インデックス付き文字列マッチングの使用についての具体的な例が開示される。最後に、スキーマに対してマッチングされたソースデータのコンテキストブラインド変換のための具体的な実施形態が記載される。たとえば、製品適応データ（たとえば、事業からのレガシーの製品情報）の変換を特定的に参照するなどして、具体的な例について説明することが理解され得る。しかしながら、ここで提供される記載は、コンテキストを参照することなく第１形態から第２形態へデータを変換することに概して適用されることが理解される。このようなことから、ここに記載される実施形態は、制限なくして様々な用途および分野において利用され得る。たとえば、たとえば、事業データ、医療記録データ、科学研究データなどの分析および管理など、様々な分野において以下の開示が適用され得る。
【００３８】
データ変換におけるスキーマの使用
ソースデータから目標形態への変換におけるスキーマの使用は、概して米国特許第８，１９９，９８５に記載されており、その全体が引用によりここに援用される。たとえば、以下の記載において、製品適応属性句を含むソースストリームの処理に関連する例が記載される。このようなストリームは、１つ以上の属性および関連する属性値の仕様と合わせて製品もしくは製品型式を識別する情報を含み得る。たとえば、ソースストリーム（たとえば、レガシーの情報システムからの検索クエリもしくは製品記述子）は、「８ｏｚ．のセラミックコーヒーカップ」の情報を含み得る。この場合において、製品は、「コーヒーカップ」という句によって定義され得て、大きさおよび材料についての暗黙属性は、それぞれ「８ｏｚ．」および「セラミック」の属性値を有する。
【００３９】
製品適応属性句を含むこのようなソースストリームは、ここに記載される様々な局面を示す有用な機構を提供し、事実上、重要な商業での実施を示す一方、記載はこのような環境に限定されないことを理解すべきである。実際には、ここに見出される記載は、たとえばスピーチおよび形態の一部などの対象となる環境に対して適切な論理構成により、必要に応じて製品属性および属性値などの概念を置き換え、実質的に任意の他の変換環境に適用可能であると考えられている。また、上記のように、変換規則は単一の属性句もしくは類似形の要素に限定されず、別個の句において規定されたオブジェクトを含むオブジェクト間の関係を伴い得る。これにより、以下の具体的な例は、例示であって限定でないと理解すべきである。
【００４０】
少なくとも一部の変換は、フレーム−スロットアーキテクチャの支援を伴って実行され得る。このようなフレーム−スロットアーキテクチャは、所与の変換用途のための完全な変換モデルを規定するために独立して機能し得る（たとえば、変換モデルのコンテキストに依存する）、または変換モデルを規定するための１つ以上の解析木構造と連動して機能し得る。後者に関して、フレーム−スロットアーキテクチャおよび解析木構造は、主題に対して重複し得る。
【００４１】
上記のコーヒーカップの例は、この点を表わすものである。ソース文字列である「８ｏｚ．のセラミックコーヒーカップ」を、製品データベース、電子カタログ、ウェブベースの製品情報、または他の製品一覧に相関させることが望ましい場合がある。このような製品一覧は、様々な製品型式を含み得て、その各々が関連する属性および文法規則を有し得る。この点に関して、製品型式および属性は、１つ以上の解析木構造によって体系化され得る。米国特許第８，３９６，８５９に記載されて示されるこれらの解析木構造は、概して、所与の主題を所望の細分化レベルまでクラスおよびサブクラスなどの階層に体系化し、これらは、変換の正確性を向上させること、および数ある中で文法を構築する効率を向上させることに有用である。この場合において、「コーヒーカップ」は、「カップ」の解析木ノードに入り、そして「家庭用品」に入る「容器」の親ノードに入る。同様に、同じまたは他の解析木は、「ｏｚ．」の用語、または「オンス」などの正規表現（たとえば、文法によって定義される）を「液体測定」のノードにグループ化し（オンスは、曖昧性除去のための適切な文法規則を用いて「重量」などの標題においても現れ得る）、そして親ノードである「測定」などに入れ得る。
【００４２】
上記のように、このような解析木構造は、変換処理に関連する特定の効率を有する。しかしながら、一部の場合において、たとえば、大きなデータシステムに関連付けられた用語の処理に関連し、非常に深い解析が必要となる。また、このような用語は、全体の記録レベルではなく、データの個別フィールドとして処理される場合が多く、これにより、変換の正確性を向上させ得るコンテキストの手がかり（ある場合）が潜在的に失われるとともに、内容偏差を識別して所与の情報オブジェクトについての有効な属性もしくは値を定義するための個人スキーマを実施する機会が失われる。最後に、このような解析木処理は、特定の主題コンテキストへの適用可能性を制限する堅い構造をかけ得て、これによって文法セグメントの再使用が制限される。
【００４３】
対照的に、フレーム−スロットアーキテクチャは、全体の記録レベルにおける、またはこれに近いソースストリーム情報の考察を可能とする。含まれる文法および属性値によって認識されるオントロジーおよび構文、たとえば属性句についての集合的な考察の実質的な統一が可能となる。また、このアーキテクチャは、特定のソースデータコンテキストに基づいて変換規則の考察を可能とする（たとえば、複数のこのようなスキーマから識別され得るコンテキスト特有スキーマを適用することによる）。コーヒーカップの例において、フレーム−スロットアーキテクチャは、「８ｏｚ．コーヒーカップ」のソースストリームの全体についての考察を可能とする。この点に関して、このストリームは、オブジェクトとして「コーヒーカップ」を有する属性句として認識され得る。このオブジェクトもしくはこのオブジェクトを含むクラスに特有の文法規則、または公共スキーマの規則（たとえば、以下により詳細に記載される態様で選択され得る）は、「ｏｚ．」が「オンス」を意味し、このコンテキストにおける「オンス」が流体の尺度であって重みの尺度ではないことを認識することを可能とし得る。ユーザ定義スキーマ、たとえばソースもしくは目標情報所有者の個人スキーマは、コーヒーカップのコンテキストにおける「オンス」に関連付けられた有効な定量値を、たとえば「６」、「８」および「１６」に限定し得る。この場合において、スキーマによる「８」の認識は、変換に関する確信度を高める。値が「１２」であって、この例におけるスキーマに準拠していない場合、これは、適切な対応を行うように、たとえば、迅速に異常を識別する（たとえば、レガシーのデータシステムから目標システムへ記録をマッピングする場合）、または不完全一致を識別する（たとえば、検索クエリの場合）ように機能し得る。
【００４４】
したがって、フレーム−スロットアーキテクチャは、ストリームセグメントを認識し、ストリーム（ある場合）の中または外部からコンテキストの手がかりを取得し、ストリームセグメントの主題に特有の文法規則にアクセスし、ストリームセグメントを変換するための有用性を包含する。これにより、深い解析木が回避され、変換の確信性および正確性を高めることができる。また、高い文法の柔軟性が可能となり、他の変換コンテキストにおける潜在的な再使用の度合いを高めることができる。加えて、スキーマを参照してこのような処理を実行することにより、コンテキストに関連する解析を向上させることができる。つまり、変換は、人間による処理と類似の態様で、周辺および外部のコンテキストの手がかりからの利益を受ける。しかしながら、利用可能なスキーマの数は比較的大きく、コンテキストが多様であり得て、同じデータに関するコンテキスト情報がない場合において特に適切かつコンテキストの妥当なスキーマを識別することが難しくなり得ることが理解され得る。
【００４５】
上記のように、フレーム−スロットアーキテクチャは、トップダウン法またはボトムアップ法において確立され得る。たとえば、データの所与のコンテキストについてのオブジェクト、関連付けられた属性、および有効な属性値は、データに加えられるスキーマとして定義され得る。この点に関して、スキーマは、所与のコンテキストに基づき得る。したがって、複数のスキーマが、異なる潜在的なコンテキストに対して確立され得る。コーヒーカップの例において、スキーマの属性のすべては、製品在庫管理の解析またはレガシーの情報システムの構造に基づいて定義され得る。加えて、または代わりに、スキーマは、独立して生じ得る（たとえば、所与の主題もしくはコンテキストに対して）。いずれの場合においても、スキーマは、量に関する有効値を定め得る（たとえば、コーヒーカップの例において、６、８、および１６とする）。スキーマに準拠しない情報は、識別され、異常として処理され得る。逆に、有効値は、データに基づいて定義され得る。たとえば、レガシーの情報システムからのファイルは、入力情報の関数として生じる有効属性値を規定するために使用され得る。
【００４６】
図１は、このような変換処理を実施するためのシステム１００を示す。示されるシステム１００は、ソース情報を目標形態へ変換するための様々な文法規則および変換規則を実行するように動作する変換エンジン１０２を含む。示される実施形態において、システム１００は、フレーム−スロットアーキテクチャ法および解析木構造法の両方を実行するように動作する。しかしながら、フレーム−スロットアーキテクチャは協働する解析木環境が無い場合に実行され得ることが理解される。
【００４７】
示される変換エンジン１０２は、ユーザインターフェイス１０４に関連付けられたワークステーションを介して、入力を受ける、および／または出力を提供する。たとえば、設定モードにおいて、ユーザは、ユーザインターフェイスを介して、処理のための用語を選択し、関連付けられる関係および文法規則を作成し得る。検索システムのコンテキストにおいては、ユーザインターフェイス１０４を介して、検索クエリが入力され得て、検索結果が受け取られ得る。この点に関して、変換エンジン１０２は、ユーザインターフェイス１０４に関連付けられたワークステーションに常駐し得る、またはローカルもしくは広域ネットワークを介してこのようなワークステーションと通信し得る。
【００４８】
ソース内容１０６は、変換されるソース文字列を含む。特定の用途に応じて、この内容１０６は様々なソースのいずれかからもたらされ得る。したがって、１つ以上のレガシーの情報システムから目標情報システムへの情報の伝達を伴う用途の場合において、ソース内容１０６は、レガシーのシステムからアクセスされ得る。検索エンジンの用途の場合において、ソース内容はクエリから導出され得る。他の場合において、ソース内容１０６は、翻訳または変換されるテキストから取得され得る。ソース内容１０６は、変換を容易にするために前処理され得る、または未加工の状態であり得る。前処理の場合において、未加工の内容には、たとえば句の境界を示すマーカーが補われ得て、内容１０６は、以下により詳細に記載するインデックス付き文字列マッチング技術を介して、または他の態様でクラスタ化され得る。このような前処理は、設定モード処理において提供され得る。加えて、一部のこのような情報は、レガシーのシステムに有り得て、変換エンジン１０２によって使用され得る。内容１０６のソースおよびその性質には実質的に制限がないことが理解される。
【００４９】
示される変換エンジン１０２は、いくつかの機能を実行する。この点に関して、エンジン１０２は、ソース内容１０６を処理し、内容を潜在的なオブジェクトおよび属性に分解し、関連付けられた属性値を識別するように動作する。そして、エンジン１０２は、解析木構造１１０および／またはフレーム−スロットアーキテクチャ１１１を使用してソース内容１０６の関連する部分を変換するように動作し、変換された出力を、たとえばユーザまたは目標システムに提供する。
【００５０】
解析木構造１００に関して、このような構造は、設定モードにおいて変換エンジン１０２を使用することによって生じ得る、または以下により詳細に説明するようにソースデータ１０６または他のソースから生成され得る。実施形態において、解析木構造１１０のノードは、考察により、またはデータセットの分析に基づいて、主題に精通している人によって定義され得る。また、以前の変換用途に関連して生じた特定の構造は、設定処理を容易にするためにインポートされ得る。このような設定処理は、引用により援用される米国特許第８，３９６，８５９に記載されている。高いレベルにおいて、この設定には、木の階層構造を定義すること、木の様々なノードを事前設定すること、標準的な用語および構文、関連付けられた文法、木に関連付けられた変換規則を展開すること、ならびにソース内容の変形を標準的な用語および構文にマッピングすることが伴う。
【００５１】
フレーム−スロットアーキテクチャ１１１の場合において、変換エンジン１０２は、ソース内容１０６を取得し、潜在的なオブジェクト、属性、および属性値を識別する。この点に関して、ソース内容１０６は、上で説明したように分解され得る。加えて、エンジン１０２は、文字列解析ツール１５００（たとえば、図１５に示され、以下により詳細に記載されるもの）と通信するように動作し得る。文字列解析ツール１５００は、ソース内容１０６を、フレーム−スロット変換に特有のスキーマに対してマッチングさせるように動作可能であり得る。たとえば、「コーヒーカップ」に関連して使用される場合に「オンス」の用語が流体の（重量ではない）寸法であることを示す情報は、主題の変換用途のために展開された個人スキーマによって定義定義され得る、または文字列解析ツール１５００によってソース内容１０６に対してマッチングされた外部情報ソースの解析によって導出され得る。
【００５２】
フレーム−スロットアーキテクチャのコンテキストにおいて、変換エンジンは、潜在的なオブジェクト、属性、および属性値を識別する、オブジェクト、属性、および属性値に関係する特定の記憶した情報に関するこのような情報を処理する、関連付けられた文法および変換規則にアクセスする、ならびにソース形態から目標形態へ情報を変換するように動作する。この点に関して、示されるシステム１００は、記憶されたオブジェクト情報１１４、記憶された属性情報１１６、および記憶された属性値情報１１８を含む。この情報は、公共もしくは個人スキーマによって、または考察される主題に関する外部情報への参照によって定義され得る（たとえば、文字列解析ツール１５００によってソース内容１０６に対してマッチングされ得る）。
【００５３】
たとえば、オブジェクト情報１１４は、フレーム−スロットアーキテクチャが適用可能な認識されたオブジェクトのリストを、オブジェクトを有効な属性および／または属性値に関連付ける情報ならびにそのオブジェクトに関連付けられた他の変換規則とともに含み得る。属性情報１１６は、オブジェクトについての有効な属性の定義を、関連付けられた属性値ならびに関連付けられた文法および変換規則に関する情報とともに含み得る。最後に、属性値情報１１８は、所与の属性についての有効な属性値の定義を、文法および変換規則に関する関連付けられた情報とともに含み得る。
【００５４】
図２は、上記のような変換システムによって実施され得る処理２００を示すフロー図である。図２に示される様々な処理ステップは、シーケンスまたはその以外について組み合わされ得る、または変更され得ることが理解される。また、示される処理２００は、解析木構造およびフレーム−スロットアーキテクチャを実行するシステムに関する。本発明に従うフレーム−スロットアーキテクチャは任意の関連付けられた解析木構造とは独立して実施され得ることが理解される。
【００５５】
示される処理２００は、データストリームをデータソースから受け取る（２０２）ことによって開始される。このようなデータストリームは、ユーザによって入力され得る、またはレガシーもしくは他の情報システムからアクセスされ得る。そして、データストリームのセグメントが変換のために識別される（２０４）。たとえば、セグメントは、集合的な態様で有用に処理され得る属性句または任意の他のソースデータのチャンクを含み得る。このようなセグメントは、検索クエリなどの入力の全体、レガシーもしくは他の情報システムからのファイルの全体もしくは一部として識別され得る、または変換処理の目的で句の境界がマーキングされる事前の処理ステップに基づいて、または共に処理される属性句もしくは他のチャンクを認識するための論理に基づいて識別され得る。たとえば、セグメントは、ソース内容１０６に対して行われるクラスタ化処理に基づいて判定され得る。
【００５６】
そして、示される処理２００において、識別されたセグメントは処理され、セグメント内の潜在的なオブジェクトが識別される（２０６）。上記のコーヒーカップの例において、オブジェクトは「カップ」もしくは「コーヒーカップ」の用語として識別され得る。潜在的なオブジェクトは、個別の用語を識別されたオブジェクトと比較することによって、またはメタデータがソース内容に対応付けられてオブジェクトを含む構成要素が識別される前処理ステップに基づいて識別され得る。そして、潜在的なオブジェクトは、フレーム−スロットアーキテクチャの既知のオブジェクトのリストと比較される（２０８）。上で説明した様に、所与の主題において、フレーム−スロット処理が可能な定義されたサブセットがあり得る。示される処理２００において、一致（２１０）が識別されると、システムは、フレーム−スロットアーキテクチャに従う処理のために、関連付けられた文法およびスキーマにアクセスする（２１４）。それ以外に、セグメントは解析木構造を使用して処理される（２１２）。さらに他の代替例として、オブジェクトが認識されなかった場合、エラーメッセージが生成され得る、または、たとえば語彙および関連付けられた文法規則を拡張するように、語彙外用語についての設定処理のために強調され得る。特定のスキーマ（たとえば、コンテキスト特有フレーム−スロットアーキテクチャおよび／または解析木構造を含む）は、コンテキスト特有であり得て、ソース内容１０６に関連して選択され得る。
【００５７】
フレーム−スロットアーキテクチャを使用する処理の場合において、オブジェクトに関連付けられた属性が識別される（２１６）。コーヒーカップの例において、「セラミック」または「８ｏｚ．」の用語は属性を反映したものとして識別され得る。このような識別は、文法規則に基づいて、またはこのような用語が関連付けられたメタデータに基づいて達成され得て、これによってこのような用語が特定の属性フィールドに対応付けられる。そして、関連付けられた属性値は、有効値と比較される（２１８）。たとえば、「８ｏｚ．」の値は、「コーヒーカップ」のコンテキストにおける「流体測定」の属性についての有効値のリストと比較され得る。これらの有効値は、たとえば主体の製品カタログに限定される個人スキーマによって規定され得る、他の外部情報に基づき得る（たとえば、スピーチの一部に基づいて有効な単語形態を規定する）。一致が見つかった場合（２２０）、属性句が認識され、関連付けられた文法および変換規則に従って適切な変換処理が実行される（２２３）。そして、処理２００は、追加のストリーム情報（２２４）が処理に利用可能かを判定し、追加の情報を処理する、または実行を終了する。
【００５８】
属性値が有効値に一致しない場合、異常処理が実行される（２２２）。どのように異常が処理されるかは、概して用途およびコンテキストに依存する。たとえば、設定処理時に異常が識別された場合、異常属性値が確認され、有効値リストに加えられ得る。たとえば、コーヒーカップの例において、属性値が「１２ｏｚ．」であり、以前に規定された有効値にその値が一致しないが、実際には有効な在庫管理入力を表わす場合、「１２ｏｚ．」（またはその標準版）の用語が、「コーヒーカップ」のコンテキストにおける「流体測定」の属性についての有効値リストに加えられ得る。
【００５９】
代替的に、さらに他の処理により、属性値が誤っていることが示され得る。たとえば、属性値が「６パック」であった場合、解析のエラーが示され得る。この場合において、適切なエラーメッセージが生成され得る、またはセグメントが再処理され、代替の属性タイプ、たとえば「オブジェクト量」が考慮中の用語に対応付けられ得る。 
【００６０】
他のコンテキストにおいて、異なる異常処理が実行され得る。たとえば、検索クエリを処理する場合において、不正値が無視され得る、または最も近い一致アルゴリズムが実行され得る。さらに、追加のスキーママッチングが行われ得て、他のスキーマに設けられる異なるテキストに対して属性値が対応付けられたかどうかが判定される。したがって、「１２ｏｚ．のコーヒーカップ」を対象としたクエリの場合において、検索結果が生成され得る、または一般的なコーヒーカップもしくは８および１６ｏｚ．のコーヒーカップに関連する在庫管理に対して連結が実行され得る。本発明に従えば、多くの他のタイプの以上処理が可能であることが理解される。
【００６１】
上記の例において、変換システムは、フレーム−スロットアーキテクチャおよび解析木構造の両方を実施することができる。このアーキテクチャおよび構造は、より詳細に記載される。まず図４を参照すると、本発明に従う変換システム４００の概略図が示される。示される変換システム４００は、ソース４０４からの入力ストリーム４０３を解析および変換し、目標システム４１２による使用のための形態の出力ストリーム４１１を提供するために使用されるパーサー４０２を含む。この場合において、ソースストリーム４０３は、「平坦なバー（１ｍｍ×１″×１′）」という内容を含む。望ましい変換を達成するために、パーサー４０２は、公共スキーマ４０６、個人スキーマ４０８、および文法４１０からの情報を使用する。この点に関して、公共スキーマ４０６、個人スキーム４０８、および文法４１０がソース内容４０４に対する類似性に基づいて複数の外部ソースから選択され得ることが理解される。公共スキーマ４０６は、概して主題に適用可能な様々なタイプの情報のいずれかを含み得て、任意の主体または主体のグループに特有のものではない。この点に関して、図５は、例示的な構造５００を示している。構造５００は、どのようにして主題の領域に関連する公共情報が変換規則を規定するために使用され得るのかを示す。示されるように、新しい構造５００は、公共スキーマ５０２の一部を形成する辞書５０４を含む。パネル５０６は、「平坦なバー」というオブジェクトに関連する定義を示す。具体的に、「バー」は、「広いよりも長い真っ直ぐなピース」として定義され、「平坦な」は、「大きい面が明確に小さい面よりも大きい」ことを含むものとして定義される。このような定義は、たとえば、汎用辞書、主題に特有の辞書、主題の専門家、または任意の他の適切なソースから取得され得て、以下により詳細に記載されるように、内容４０４に一致し得る。これらの定義は、パネル５０８に示されるような規則を定義するために翻訳される。具体的には、関連付けられた規則は、「長さは幅よりも大きく、幅は厚さよりも大きい」ことを示す。そして、この規則は、マシンベースの変換ツールの論理に書き込まれ得る。図４を再び参照すると、この規則は、公共スキーマ４０６のファイル４０７に反映される。これにより、スキーマは、コンテキスト特有変換規則（たとえば、この場合においては、「平坦なバー」の特定の定義に関連する）を含み得る。
【００６２】
パーサー４０２は、示される例において、個人スキーマ４０８からの入力情報も受け取る。個人スキーマ４０８は、主体または全体として公共より小さい主体のグループに特有の変換規則を含み得る。たとえば、個人スキーマ４０８は、目標システム４１２に関連付けられた主体など、関係する主体のカタログまたは在庫管理に基づいて所与の属性についての有効値を規定し得る。関連付けられたユーザインターフェイス６００が図６Ａに示される。たとえば、ユーザインターフェイス６００は、所与の属性についての有効値を事前設定するためのスタートアップモードにおいて使用され得る。この場合において、ユーザインターフェイスは、電子カタログの作成などの特定のプロジェクト６０２に対応付けられる。示されるユーザ・インターフェイス６００は、データ構造パネル６０４を含み、この場合においては解析木構造およびフレーム−スロット構造を反映する。インターフェイス６００は、個人スキーマパネル６０５をさらに含む。この場合において、個人スキーマパネル６０５は、目標の会社の製品在庫管理を規定するいくつかのウィンドウ６０６および６０８を含む。この場合において、＃６機械ねじについてのテーブルに関連付けられた長さフィールド６１０は、＃６機械ねじについての属性値に対応するパネル６０４のノードにおいて有効属性値６１２を規定するために使用される。関連付けられた有効値情報は、図４において個人スキーマ４０８のファイル４０９として示される。理解され得るように、いくつかの個人スキーマ４０８は、変換されるデータの特定のコンテキストに各々が一致し得るように展開され得る。
【００６３】
ユーザインターフェイスセグメント６２０のさらに他の例が図６Ｂに示される。具体的には、図６Ｂは、解析木グラフィックスパネル６２２および解析木ノードマップパネル６２４を示す。例示を目的として、これらのパネル６２２および６２４は、積み重ねた配置で示される。しかしながら、パネル６２２および６２４は、これ以外にユーザインターフェイス画面上に配置され得る、または別個の画面上に設けられ得ることを理解すべきである。パネル６２２は、特定の製品記述子についての解析木を示す。この場合において、製品記述子は、解析木のベースレベル６２６において「ruler 12" 1/16" divisions」として示される。層６２８から６３０は、解析木の親ノードを示す。特定の対象において、「12"」および「1/16"」の両方のチャンクは、これらのチャンクの各々が長さの寸法を示すという解析ツールによる認識を反映する高レベルノード「[length_unit]」に関連付けられる。
【００６４】
解析木構造がこれ以上深くまで行かず、利用可能なフレーム−スロット論理が無かった場合、これら２つの長さ寸法は曖昧なものとなり得る。しかしながら、人間の読み手は、定規のコンテキストにおいて「12"」が定規の全長を表わす可能性が高いこと、および「1/16"」が測定の増分を表わす可能性が最も高いことを容易に認識し得る。フレーム−スロットアーキテクチャの場合において、このような論理は、解析ツールがこのようなコンテキストの手がかりを認識および適用し、深い解析なくして正確な解釈を提供することを可能とする規則によって取り込まれ得る。
【００６５】
この場合において、このような規則は、パネル６２４の解析木ノードマップ内に反映される。具体的に、定規（および、恐らく他の長さ測定装置）のコンテキストにおける「長さ単位」の指定を解釈するための規則は、「定規」ノード下で符号化される。示されるように、規則は、関連付けられた属性値が１測定単位（ｕｏｍ）より大きい場合には、所与の「長さ単位」 が「測定長さ」を示すものとして解釈し、関連付けられた属性値が０．２５ｕｏｍより小さい場合には、「長さ単位」が「増分」を示すものとして処理する。これにより、このコンテキストにおける長さ単位の明確化および変換のための特定の構造的に効率的な機構が提供される。また、プロジェクト内（たとえば、巻き尺または直定規について）内の他のコンテキストにおいて、および他のプロジェクトにおいて再使用可能となることが理解される。
【００６６】
また、文法４１０は、パーサー４０２に情報を提供し得る。文法は、変換処理のための辞書、構文、およびオントロジーを規定する様々な情報のいずれかを提供し得る。この点に関して、文法は、米国特許第８，３９６，８５９に記載される標準的な用語の定義を伴い得る。したがって、示される例において、ファイル４１３は、標準的な「インチ」、「フィート」、および「ミリメートル」を様々な代替的な形態に関連付ける。公共および／または個人スキーマと同様に、文法４１０は、インデックス付き文字列マッチング処理を介してソースデータ１０６にマッチングされ得る外部情報を示し得る。
【００６７】
そして、パーサー４０２は、公共スキーマ４０６、個人スキーマ４０８、および文法４１０からの入力を使用し、入力ストリーム４０３を解釈し、目標４１２に出力ストリーム４１１を提供し得る。この場合において、記載の入力ストリーム４０３は、「平坦なバー−１′の長さ、１″の幅、および１ｍｍの厚さ」として解釈される。
【００６８】
図３を参照すると、フレーム−スロットアーキテクチャ３００に関連するさらに他の例が示される。アーキテクチャ３００は、この場合において「伝達のためのベアリング−１００ミリボア」であるソースストリーム３０２を処理するために使用される。たとえば、このソースストリームは、レガシー情報システムまたは検索クエリからの記録であり得る。上述のように、このソースストリーム３０２の処理は、コンテキスト特有スキーマ、またはコンテキスト特有変換規則を含む他の外部情報を利用し得る。これらの規則は、以下に記載されるインデックス付き文字列マッチング処理によってソースストリーム３０２に対してマッチングされ得る。
【００６９】
フレーム−スロットアーキテクチャ３００は、ソースストリーム３０２からのオブジェクト３０６を識別するために利用され得る。上記のように、これには、ストリーム３０２内の用語を識別すること、および認識されたオブジェクトのリストに対して用語を比較すること、またはそれ以外に論理を使用して入力用語と認識されたオブジェクトとを関連付けることが伴い得る。したがって、示される例において、識別されたオブジェクトである「ローラーベアリング」は、ストリーム３０２の任意の特定のセグメントに文言上対応しない。むしろ、「ローラーベアリング」のオブジェクトは、ストリーム３０２からの「ベアリング」の用語から認識される（たとえば、ストリーム３０２の内容に含まれる「伝達」の用語と、恐らく同じストリーム３０２に一致した外部情報との間の類似性によって提供される適用可能なスキーマと合わせて）。ベアリングに関する情報の外部ソースを含む他のソースが、この点について、ストリーム３０２をオブジェクト３０６にマッチングさせるための論理（たとえば、インデックス付き文字列マッチング）によって利用され得る。
【００７０】
オブジェクト３０６に基づき、属性３０８および属性値３１４に関する情報がアクセスされ得る。上述のように、このような情報は、公共および／または個人スキーマから導出され得る。たとえば、属性タイプ３１０は、オブジェクト３０６について識別され得て、対応する有効な属性値３１２が判定され得る。この場合において、「ローラーベアリング」のオブジェクトに関連付けられた１つの属性は、「筒状、テーパー状、および球状」の有効値を有する「タイプ」である。ストリーム３０２は、精査されたオブジェクト３１６を判定するためにこの情報を使用して処理され得る。この場合において、精査されたオブジェクトは、「筒状ローラーベアリング」として判定される。再び、この精査されたオブジェクト３１６は、ストリーム３０２から文言上導出されたものではなく、例示された例においては、マッチングされた外部ソースから導出された情報の特定のコンテキストおよび特定の変換処理に基づいて判定される。従って、ストリーム３０２は、ソースストリーム３０２とローラーベアリングのタイプに関する外部情報との間の類似性に基づいて「筒状ローラーベアリング」を識別する外部スキーマにマッチングされたソースストリーム３０２の内容に含まれる「伝達」および「ボア」の用語に関連する情報のコンテキストに基づいて「筒状」の属性値に一致するよう判定される。属性３０８および属性値３１４に関する情報は、再び、この精査されたおじぇくと３１６に基づいてアクセスされ、さらなる属性３１８および関連付けられた属性値３２０が取得される。なお、これらの属性３１８および属性値３２０は、属性３１０および属性３１２に依存するものととして示されるが、代わりにオブジェクト３０６に関連付けられた独立した属性および属性値であり得る。しかしながら、示される例において、「サイズパラメータ」の属性は、精査されたオブジェクト「筒状ローラーベアリング」に基づいて有効値「内径」および「外径」と関連付けられる。
【００７１】
この場合において、属性３１８および属性値３２０は、特定の外部情報と合わせて使用され、さらに精査されたオブジェクト３２２が規定される。この場合において、さらに精査されたオブジェクト３２２は、「筒状ローラーベアリング内径」として規定される。有効値「内径」と「外径」との間の選択は、ストリーム３０２の内容に含まれる用語「ボア」とボアの属性を含む類似の外部情報との一致に基づいて行われる。このさらに精査されたオブジェクト３２２に基づき、属性３０８および属性値３１４に関する情報が使用され得て、さらに他の属性３２４および関連付けられた有効値３２５が識別される。この場合において、属性３２４は「有効寸法」であり、関連付けられた有効値３２５は「５０，６０，７０，８０，９０，１００，１５０，５００」として規定される。これらの値は、この例の目的のためにミリメートルで与えられるものとして仮定する。この場合において、入力ストリーム３０２は、属性３２４および有効値３２５に鑑みて処理され、「１００ｍｍ ＩＤ 筒状ローラーベアリング」として識別された出力３２６が規定される。この点に関して、ストリーム用語「１００ミリ」が見出され、筒状ローラーベアリング内径のコンテキストにおいて属性「有効寸法」について「１００」の有効値とマッチングされる。したがって用語「ミリ」が、標準化もしくは変換処理に基づいて、「ｍｍ」の指定にマッチングされたことが理解される。なお、この点に関して、ソース用語「１００ミリ」を有効値「１００ｍｍ」にマッチングすることが成功することにより、さらなる確信が正しく正確に行われた。
【００７２】
様々な変換用途を反映する様々なタイプの出力が、この点に関して提供され得る。したがって、レガシーデータベースからの入力ファイルを目標情報システムの出力態様へ変換する場合において、入力ストリーム３０２が「１００ｍｍ ＩＤ 筒状ローラーベアリング」として書き換えられ得る。ソースストリーム３０２が検索クエリを示す場合において、出力は、ユーザを適切なウェブページにリンクすること、または関連付けられた情報を検索結果ページにことによって提供され得る。出力の他のタイプは、他の変換環境に提供され得ることが理解される。
【００７３】
また、上記のように、変換エンジン１０２は、変換処理のために解析木構造を実施し得る。このような変換処理は、たとえば、以下に記載される検索システムまたは他の情報変形システムに関連付けられ得る。概して、このような検索システムは、設定モードおよび使用モードの２つのモードで動作可能であり得る。設定モードにおいて、変換エンジン１０２は、潜在的な検索用語および／またはソース用語のリストにアクセスする、標準的な集合または用語の集合を展開する、分類構造を確立する、標準的な用語を分類構造に関連付ける、および必要に応じて用語を選択的に変形する（たとえば、翻訳する）。理解され得るように、これらの処理は、以下により詳細に記載されるような文字列解析ツール１５００の機能を活用し得る。
【００７４】
図７は、本発明に従う、スタートアップモードで動作する検索システム７００を示す概略図である。概して、システム７００は、制御部７０２と、用語リスト７０４、解析木構造７０６、および構造化標準用語７０８を記憶するように構成された記憶装置とを含む。システム７００は単一のプラットフォーム７１０上で実施されるように示されるが、システム７００の機能は、たとえばローカルもしくは広域ネットワークによって相互接続された複数のプラットフォームにわたって分布し得ることが理解される。
【００７５】
実施形態において、文字列解析ツール１５００は、制御部７０２に接続され得て、事前に展開された解析木構造７０６にアクセスする、または構造７０６を展開する。この点に関して、解析木構造７０６は、概していくつかの分類を規定し、分類の各々は、概して、主題領域を集合的に規定する１つ以上の下位分類を含む。例が以下に示される。分類および下位分類の層数は、概して主題の性質に依存する。多くの場合において、多くのこのような分類は、たとえば、カタログの見出しおよび副見出し、または対象の主題の他の既存の下位区分に対応して利用可能である。他の場合において、主題の専門家は、主題の解析に基づいて分類および下位分類を展開する。
【００７６】
たとえば、以下で理解され得るように、主題に関連する情報に対してクラスタ化処理を行うことにより、分類文字列解析ツール１５００に対して構造が与えられ得て、制御部７０２を使用し、処理される用語リスト７０４にアクセスすることができる。上記のように、このような用語リスト７０４は、潜在的な検索用語、ソースデータ集合からのソース用語、またはこれら両方を含み得る。潜在的な検索用語の場合において、用語は、既存のリストから取得され得る、または使用により展開され得る。たとえば、潜在的な検索用語は、対象となる主題のコンテキストにおいてユーザが入力した検索用語の記憶された集合から引き出され得る。たとえば、クリック課金検索エンジンの管理に関連して展開されたリストなど、様々なコンテキストにおいて追加のソースが利用可能であり得る。リストは、検索要求の監視に基づき、時間の経過とともに更新され得る。たとえば、オンラインショッピング用途のコンテキストにおいて、ソースリストが電子製品カタログまたは他の製品データベースから引き出され得る。
【００７７】
用語リストへアクセスした後、文字列解析ツール１５００は、標準化および分類を含むいくつかの機能の実行を支援し得る。標準化は、用語リスト７０４からの用語を、概してより小さい集合である標準用語の第２の集合にマッピングすることをいう。この方法により、スペルミス、省略形、俗称、同意語、複数のレガシーシステムの異なる言語／構文規約、および他の特異事項に対処することができ、標準用語のリストが、元の用語リスト７０４に対して実質的に減少する。以下の説明から理解され得るように、このような標準化により、たとえば翻訳などの一部のコンテキストにおいて望まれ得る検索機能および変形機能の実行が容易となる。標準化は、ソース用語リスト７０４と構造化標準用語７０８との間の類似の特徴を識別することを含み得る。
【００７８】
そして、得られた標準用語７０８のリストは、解析木構造７０６に対してマッピングされ得る。以下に記載されるように、これは、グラフィカルユーザインターフェイス上での単純なドラッグアンドドロップ動作によって実行され得る。加えて、または代わりに、マッピングは、用語を解析木構造７０６にマッチングすることによって容易となり得る（たとえば、解析木構造７０６に対する類似性、または解析木構造７０６に既に存在する他の値のいずれかによる）。したがって、たとえば、特定のポストイットノート製品を識別する、ソースリストからの項目は、たとえば、「接着剤ノートパッド」など、適切なベースレベルの分類に関連付けられ得る。同様に、「粘着パッド」など、潜在的な検索用語リストからの用語は、同じベースレベルの分類に関連付けられ得る。所与の用語は２つ以上のベースレベルの分類に関連付けられ得て、所与のベースレベルの分類は、２つ以上の親分類に対応付けられ得ることが理解される。
【００７９】
上記のように、このようなベースレベルの分類は、親分類、祖父母分類などに対応付けられ得る。これらの関係のすべては、考察される用語がベースレベルの分類に対応付けられる場合に継承される。結果として、標準用語は、解析木構造７０６の分類および下位分類の文字列に対応付けられる。たとえば、これらの関係は、ＸＭＬタグシステムにおいて、または用語に対応付けられた他のメタデータ表現において反映され得る。得られた構造化標準用語は、データベースなどの記憶構造７０８内に記憶される。
【００８０】
したがって、示される実施形態において、ソース用語および潜在的な検索用語の両方が同じ解析木構造の要素にマッピングされ得ることが理解される。これは、図８に示される。示されるように、ソース集合からの複数の用語８０２は、解析木構造８００へマッピングされる。同様に、潜在的な検索用語リスト８０４からの複数の用語は、解析木構造８００の対応する要素にマッピングされる。この方法により、ユーザによって入力された特定の検索用語は、入力された検索用語とソース集合からの対応する項目との間に重複が無くとも、共通の分類または下位分類に基づいてソース集合から応答情報を識別するために使用され得る。所与の用語８０２または８０４を解析木８００の２つ以上の分類または分類系統にリンクさせるのが望ましいことが理解される。これには、特定の製品または製品カテゴリーを複数の潜在的な検索ストラテジーにマッチングさせること、たとえば、「筆記用具」または「オフイスギフト」を含む検索に「ペン」をマッピングすることに関係する特定の利益がある。
【００８１】
特定の検索用語に対するこの処理の例は、図９に示される。特に、図９は、事務備品倉庫の電子カタログなどの特定の主題についての解析木９００の一部を表わすユーザインターフェイスを示す。この場合において、文字列解析ツール１５００は、検索用語９０２および９０４と解析木９００との関連付けを確立し得る。具体的に、この場合において「粘着パッド」である検索用語９０２は、「接着剤」と「粘着」との間の識別された類似性に基づき、「接着剤」とラベル付けされた、またはそれに関連付けられた解析木９００のノード９０６上にドラッグアンドドロップされ得る。このノード９０６または分類は、最後の「オフィス用品」９１２の下位分類である「紙製品」９１０の下位分類である「ノートパッド」９０８の下位分類である。同様に、この場合において「デイタイマー」である用語９０４は、最後の「オフィス用品」３９１２の下位分類である「オーガナイザー」９１８の下位分類である「非電子」９１６の下位分類である分類「アポイントメント帳」に関連付けられ得る。データ文字列９２０および９２２は、分類関係を反映した、得られた構造化用語を示す（標準ＸＭＬタグ構文などの他の構文を使用して分類構造が反映され得る）。図９の例が用語標準化の選択的なステップを省略していることが理解される。すなわち、潜在的な検索用語「粘着パッド」は、代替的に、まず、解析木に関連付けられる前に、「ポストイットノート」などの標準用語にマッピングされ得る。このような標準化は、以下により詳細に記載される。
【００８２】
図１０は、分類をソース集合からの項目に関連付けるためにどのように同じ解析木９００が使用され得るかを示す。たとえば、このようなソース集合は、電子カタログまたは事業の他のデータベースから引き出され得る。この場合において、「3-pack, 3x3 Post-it notes (Pop-up)-Asst'd」と示されたソース用語１００２は、「粘着パッド」が前の例にあったように、同じノード９０６に対応付けられる。同様に、「2005 Daytimer- Weekly-7x10-Blk」と示された用語１００４は、潜在的な検索用語「デイタイマー」が前の例にあったように、同じノード９１４に対応付けられる。以下の説明から理解されるように、解析木９００に対するこのような共通の関連付けにより、検索が容易となる。
【００８３】
知識ベースを確立するためのこの処理は、図１１のフロー図において要約され得る。示される処理１１００は、いくつかの分類および下位分類の点から対象となる主題を規定する解析木を展開する（１１０２）ことによって開始される。上記のように、主題のこのような解析は、望ましい細度で主題を分割するのに十分なレベルを用いて実施され得る。そして、処理１１００は、潜在的な検索用語についての分類およびソース集合からの項目についての分類の確立に関連する２つの別個の経路に進む。これら２つの経路は、任意の順序で、または同時に実行され得ることが理解される。潜在的な検索用語の経路において、処理には、潜在的な検索用語リストを取得または確立する（１１０４）ことが伴う。上記のように、既存のリストが取得され得る、新しいリストが展開され得る、またはこれらの処理のいくつかの組み合わせが生じ得る。そして、ノードもしくはノードの既存の要素に類似の項目をマッチングすること、またはクラスタ化処理により、用語は解析木構造にマッピングされる（１１０６）。ソース用語処理の線において、処理１１００は、ソース用語リストを取得または展開する（１１０８）ことによって進められる。再び、ソース用語リストは、既存のソースから取得され得る、主題の専門家によって展開され得る、またはこれらの処理のいくつかの組み合わせが生じ得る。そして、個別の用語は、再び、たとえば類似性マッチングにより、解析木構造に対してマッピングされる（１１１０）。示されてはいないが、処理１１００は、潜在的な検索用語およびソース用語を標準形態で書き換えるステップをさらに含み得る。
【００８４】
本発明の検索システムは、使用モードにおいても動作し得る。これは、図１２に示される。示されるシステム１２００は、ユーザ１２０４から検索要求を受け取るための入力構造１２０２を含む。システム１２００が実施される特定のネットワークコンテキストに応じて、検索要求は、マシン実行の検索システムにおいて直接的に入力され得る、またはローカルもしくは広域ネットワークを介してプラットフォーム１２０６に相互接続された遠隔ノードにおいて入力され得る。これに伴い、入力構造１２０２の性質は様々となる。検索要求は、制御部１２０８によって処理され、出力構造１２１０を介してユーザ１２０４へ送信される応答情報が得られる。再び、特定のネットワーク実施に応じて出力構造１２２０の性質は様々となり得る。
【００８５】
示される実施において、応答情報を取得するために、制御部は知識ベース１２１２へアクセスする。知識ベース１２１２は、検索要求から用語を識別する、用語を標準形態に書き換える、必要に応じて用語を変形させる、および用語の分類関係を反映する用語に関連付けられたメタデータを取得するのに十分な記憶情報を含む。そして、制御部は分類情報と合わせて標準用語を使用し、ソースデータ１２１４からの応答情報にアクセスする。
【００８６】
図１３は、対応する処理１３００を示すフロー図である。処理１３００は、たとえばキーボード、グラフィカルユーザインターフェイス、またはネットワークポートから検索要求を受け取る（１３０２）ことにより開始される。そして、システムは、検索要求からの検索用語を識別する（１３０４）ように動作する。この点に関して、任意の適切な検索クエリ構文が支持され得る。たとえば、検索用語は、事前に定義されたブール演算子を含むテンプレートを介して入力され得る、または自由形式で入力され得る。既存の技術により、入力された検索用語の識別が可能である。そして、検索用語は標準形態で書き換えられる（１３０６）。これには、以下においてより詳細に記載されるように、スペルミスの集成、選択された標準用語に対する複数の同意語のマッピング、所定の構文および文法の実施などが伴い得る。得られた標準形態の用語は、現在の検索パラメータとして設定される（１３０８）。
【００８７】
示される実施において、検索は、解析木構造の階層にわたって反復して進められる。具体的には、これは、現在の検索パラメータを使用してソースデータエースを検索する（１３１０）ことによって開始される。結果が取得された場合（１３１２）、これらの結果が出力され得る（１３２０）。結果が取得されなかった場合、解析木の次のレベルにおける親分類が識別される（１３１４）。そして、その親分類は現在の検索パラメータとして設定され（１３１６）、処理が繰り返される。選択的に、このような分類検索に関してユーザに対して問い合わせが行われ得る（１３１８）。たとえば、ユーザは、「一致が見つかりませんでした。同じ分類における他の製品を検索しますか？」などの質問に答えるよう促され得る。加えて、処理制御部によって実行される論理は、望ましくない結果を返すことを回避するために、このような検索を３つの解析レベル（親、祖父母、曾祖父母）以下にするなど、解析木構造の特定のレベルに限定し得る。代わりに、または加えて、このような検索は、応答項目の特定の数に限定され得る。ユーザに提示される応答項目は、解析木構造における検索用語に対する近接度合いに関連して判定される関連性に基づいて順序付けされ得る、またはそれ以外に優先付けされ得る。
【００８８】
上述のような検索機能は、外部の者によるウェブサイトまたは電子カタログの検索に限定されず、様々な検索環境およびデータベース統合環境においてより広く有用であることが理解される。図１４は、知識ベース１４０４を使用して複数のレガシーデータベース１４０１〜１４０３から情報にアクセスするためのシステム１４００を示す。多くの組織は、たとえば製品データベースおよび会計データベースなど、様々なレガシーデータベースに記憶された関連情報を有する。これらのレガシーデータベースは、異なる個人によって展開または事前設定され得る、またはそれ以外には言語および構文に関する異なる規約を含み得る。
【００８９】
示される例において、示される例において、最初のレガシーデータベース１４１０の第１の記録１４０６は、製造者（「Ａｃｍｅ」）および製品（「３００Ｗ ＡＣ電気モーター」）を識別するための特定の規約を反映する。他のレガシーデータベース１４０３に関連付けられた記録１４０７は、とりわけ、製造者（「Ａｃｍｅ社」）の異なる識別およびスペルミス（「Ｍｏｔｅｒ」）を含む異なる規約を反映する。
【００９０】
この場合において、内部もしくは外部のユーザは、プロセッサ１４０５を使用し、この場合においては「Ａｃｍｅ社 電力機器」など実質的に自由形式の検索要求を入力することができる。たとえば、このような検索要求は、レガシーデータベース１４０１〜１４０３のすべてからすべての関連情報を検索することを希望して入力され得る。これは、示される実施形態において、知識ベース１４０４を使用して検索要求を処理することによって適合される。知識ベース１４０４は、用語の標準化、用語と分類構造との関連付けなどに関連する、上で説明されたとともに以下でより詳細に記載される機能を実行する。したがって、知識ベース１４０４は、まず検索クエリを処理し、検索用語の標準化および／または分類を行い得る。たとえば、Ａｃｍｅ社は、標準用語「Ａｃｍｅ」に関連付けられ得る。用語「電力機器」は、標準用語もしくは分類「モーター」に関連付けられ得る。これらの用語／分類の各々は、次に、データベース１４０１〜１４０３の関連付けられたレガシー形態に関連付けられ、データベースの各々からの応答情報が検索される。統合機能などの追加の従来の機能が実施され得て、検索結果としてプロセッサ１４０５に提供される応答情報が識別および優先付けされる。この方法により、レガシーデータシステムの検索または統合が最小の追加コードに適合される。
【００９１】
上記の説明から、１つの形態から他の形態、たとえば潜在的な検索もしくはソース用語の未加工のリストから標準化、分類、および恐らく翻訳された用語の集合もしくは複数の集合へのデータの変形に、実質的な労力が伴い得ることが理解される。本システムは、 この点に関して使用されるセマンティックメタデータモデル（ＳＭＭ）などの変形モデルの展開において確立される情報の共有にも適合する。このような情報の共有により、たとえば知識ベースの作成に複数のユーザが同時に関わることができるとともに、新しい知識ベース作成プロジェクトの開始にこのような情報の構成要素を利用することができる。この機能は、米国特許第８，３９６，８５９に詳細に記載されており、その全体が引用によりここに援用される。
【００９２】
文字列マッチング
上に概して示されるように、インデックス付き文字列マッチング処理を使用することは、前述の変換処理のいくつかの局面において有用となり得る。このようなことから、 以下には、前述の変換処理において利用され得るインデックス付き文字列マッチングの実施形態、または以下でより詳細に説明される教師なし機械学習の実施形態が示される。 
【００９３】
教師なし機械学習の分野において、文字列マッチング、または２つの文字列間の重複の度合いは、多くのデータ品質処理に重要な構成要素である。単純な例において、２つの文字列は、単一の文字の乱れなどにより異なり得る。たとえば、文字列「Mississippi」および「Mississippe」は、単一の文字に関して異なる。しかしながら、関連する文字列間の違いは、かなり複雑なものとなり得る。ソーステキストを目標テキストにマッチングするコンテキストにおいて、ソースおよび目標文字列の以下の例について考慮する。
【００９４】
【表１】
2015531499.tif 000003
【００９５】
これらの例において、単純な文字列マッチング技術は、文字列の意味が類似または同じであるという事実にも関わらず、ソースおよび目標テキスト文字列が非常に異なることを示唆し得る。以前に直面した教師なし機械学習環境における困難は、同じものを言うこれらの文字列をどのように判定するか、さらには非常に大きなデータ集合に対してどのように解決を図るかであった。
【００９６】
文字列マッチング解析を行うために提案された以前の手法の例は、たとえば、決定論的マッチングおよびファジーマッチングを含み得る。決定論的マッチングは、一致が発生するとシーケンスが停止するマッチングシナリオのカスケード化シーケンスを伴う。ファジーマッチングアルゴリズムは、最小化される費用または距離機能を通常使用して２つの文字列のマッチングを図る。これらの手法の各々には欠点がある。したがって、文字列マッチング解析手法が必要とされ続けている。
【００９７】
本開示は、概して、文字列解析、および教師なし機械学習環境における文字列解析の実施に関する。速い実施（たとえば、ランタイムで）を可能とする技術および最適化を提供する、文字列解析のためのツールの実施形態が記載される。このようなことから、極端に大きなデータ集合であっても、文字列解析がランタイムで効率的に行われ得て、文字列解析を行うために必要な計算リソースが最小化され、解析が迅速にランタイムで行われる。これにより、ソースおよび目標文字列間の類似性を示す定量的類似性メトリックが提供され得て、複数の用途において教師なし機械学習環境を提供するために利用され得る。このような定量的類似性メトリックは、教師なし機械学習環境において利用され得る様々な方法において使用され得る。たとえば、ソースおよび目標文字列間で得られた解析により、機械学習環境において支援するツールとして、文字列のマッチング、検索、およびクラスタ化が可能となり得る（たとえば、上記の１つ以上の処理）。
【００９８】
この点に関して、実施形態において、コンピュータベースの文字列解析ツールが、複数の文字列の解析を行うために提供され得る。様々な実施形態において、文字列は、異なるタイプのデータに対応し得る。実施形態において、文字列は、データ品質用途のコンテキストなどにおけるテキストに対応し得る。たとえば、文字列は、製品情報に対応し得る（たとえば、事業によって維持されるレガシーデータベースに含まれる製品情報）。他の実施形態において、文字列は、複数の他のデータソースおよび／または文書、ウェブページ、生物学的シーケンス（たとえば、ＤＮＡシーケンス）、ランダムデータ集合、科学データなどのコンテキスト、または２つの文字列間の類似性の判定がデータを第１形態から第２形態へ変換するのに有益となり得る任意の他のコンテキストを表わし得る、またはこれに対応し得る。たとえば、ソースデータの変換に使用する外部情報（たとえば、スキーマ）を識別するために文字列マッチングを使用する用途において、ソースデータは、ソース文字列からなり得て、利用可能な外部情報のコーパスは目標文字列を含み得る。
【００９９】
概して、ここに記載される文字列解析ツールの実施形態によって行われる文字列解析は、ソース文字列と目標文字列との間の類似性（たとえば、定量的類似性メトリック）を判定するために使用され得る。この点に関して、類似性メトリックは、２つの文字列間の類似性を示す数値であり得る。たとえば、完全に同一であるソース文字列および目標文字列は、１００％または１の類似性メトリックを有し得て、完全に非類似であるソース文字列および目標文字列は、０％または０の類似性メトリックを有し得る。以下の説明で理解されるように、ここに記載される文字列解析は、検索機能、マッチング機能、クラスタ化機能、またはソース文字列と１つ以上の目標文字列との間の定量的類似性メトリックに基づく他のデータ解析を可能とするために使用され得る。結果として、教師なし学習環境に提供され得る文字列類似性出力が生成され得て、教師なし学習環境は、機械学習技術を行うために文字列解析ツールを採用し得る、または機械学習技術は、以下により詳細に記載されるように文字列類似性出力に適用され得る。
【０１００】
図１５を参照すると、ここに記載される文字列解析ツール１５００の実施形態を実行するために使用され得るハードウェアの実施形態が示される。この点に関して、メモリ１５３０と動作通信するプロセッサ１５４０が提供され得る。メモリ１５３０は、以下により詳細に記載されるように、文字列解析ツール１５００を含む１つ以上のモジュールを記憶し得る。この点に関して、文字列解析ツール１５００、および／または文字列解析ツール１５００を含むモジュールは、非遷移的なコンピュータ可読命令としてメモリ１５３０に記憶され得る。非遷移的なコンピュータ可読命令は、プロセッサ１５４０によってアクセス可能であり得て、以下に記載するように、文字列解析ツール１５００を含む各モジュールに関連付けられた機能を実行するようにプロセッサ１５４０に指示することができる。
【０１０１】
プロセッサ１５４０は、ディスプレイ１５６０とも動作通信し得る。さらに、プロセッサ１５４０は、ユーザ制御装置１５７０と動作通信し得る。この点に関して、プロセッサ１５４０は、ディスプレイ１５６０上に表示される表示部分を含むユーザインターフェイス１５６５を実行するように動作可能であり得る。さらに、ユーザ制御装置１５７０は、ユーザインターフェイス１５６５と関連してユーザ入力を受け取るように動作し得る。このようなことから、 ユーザインターフェイス１５６５は、少なくとも部分的に、ユーザが文字列解析ツール１５００と対話すること、またはこれを制御することを可能とし得る。 
【０１０２】
プロセッサ１５４０は、データベース１５５０とも動作通信し得る。データベース１５５０は、たとえば、ソース内容１５１０および／または目標内容１５２０を記憶するように動作し得る。アプリケーションにおいて、ソース内容１５１０は、フレーム−スロットアーキテクチャもしくは解析木構造を使用する変換に関して、上記のソース内容１０６に対応し得る。加えて、データベース１５５０は、たとえば、文字列および／または特徴に関する情報、文字列および／または特徴に関する確率データ、文字列および／または特徴に関する重み付けパラメータ、または文字列解析において採用され得る他のデータを含む追加のデータを記憶し得る。さらに、データベース１５５０は、たとえば、上記のような前出の変換システム１００に対応する１つ以上のモジュールなど、教師なし機械学習に関するデータを含み得る。
【０１０３】
図１６を参照すると、文字列解析ツール１５００の実施形態が示される。文字列解析ツール１５００は、ここに記載される文字列マッチングの１つ以上の異なる局面を実行するように機能し得る１つ以上の構成要素を含み得る。理解され得るように、ここに記載される構成要素は、以下に記載されるような機能を実行することができる１つ以上のハードウェアまたはソフトウェアモジュールに対応し得る。また、明瞭化のために記載されているが、１つ以上の構成要素が単一の構成要素に統合され得ることが理解され得る。さらに、追加の別個のモジュールが以下に記載のものに追加され得る。
【０１０４】
図１６に戻り、文字列解析ツール１５００の実施形態は、概して、特徴モジュール１６１０、特徴重み付けモジュール１６２０、インデックス付けモジュール１６３０、および最適化モジュール１６４０を含み得る。以下の記載は、各モジュールの記載を含む。その後、例示的な解析処理について記載される。
【０１０５】
特徴モジュール１６１０は、ソースもしくは目標文字列を特徴として表すように動作可能であり得る。特徴は、文字列、または文字列が引き出されるデータ記録から導出され得る文字列の任意の特性であり得る。この点に関して、特徴は、文字列に関連付けられたメタデータを利用し得る。特徴モジュール１６１０は、ソース内容１５１０もしくは目標内容１５２０にアクセスするように動作可能であり得る。ソース内容１５１０は、解析のためにソース文字列を含み得る、またはこれを受け取るように動作可能であり得る。この点に関して、ソース内容１５１０は、一実施形態において、ユーザからクエリを受け取ることが可能なクエリインターフェイスであり得る。他の実施形態において、ソース内容１５１０は、目標内容１５２０の一部であり得る。たとえば、以下により詳細に記載されるように、目標内容１５２０からの所与の目標文字列は、解析においてソース文字列として機能し得る。さらに、ソース内容１５１０は、第１形態から第２形態へ変換されるデータの一部であり得る。
【０１０６】
ソース内容１５１０および／または目標内容１５２０に関し、上述のように、ソース内容１５１０および／または目標内容１５２０は、様々な異なるデータタイプおよび／またはデータソースを示す文字列を含み得る。一実施形態において、ソース内容１５１０および／または目標内容１５２０は、テキストデータを含み得る。たとえば、テキストデータは、たとえば製品説明、電子カタログ、在庫管理データ、会計データ、マーケティング データ、または事業に関連する他のテキスト情報などの事業データを表わし得る。 
【０１０７】
一実施形態において、特徴モジュール１６１０は、文字ｎグラムとして文字列を表わすよう動作可能であり得て、各文字ｎグラムは特徴に対応する。文字ｎグラムは、隣接する文字の固定幅シーケンスである。文字ｎグラムは、計算が容易であり、コンテキストに依存せず、テキストマッチングのコンテキストに特に適し得る。
【０１０８】
たとえば、特徴を生成するために使用され得るｎグラムの一例は、トリグラムである。トリグラムは、３文字の固定幅シーケンスを有する。したがって、文字列は、文字列の連続した３文字シーケンスに対応する複数の特徴によって表され得る。たとえば、「RES 10 OHM 1/4 WATT 5%」を考慮する。文字列は、複数のトリグラムによって、<B>re, res, es<E>, <B>10, 10<E>, <B>oh, ohm, hm<E>, <B>1/, 1/4, /4<E>, <B>wa, wat, att, tt<E>, <B>5%, 5%<E>として表され、<B>は先行するスペースを示し、<E>は特徴における後続のスペースを示す。理解され得るように、ｎグラムでの文字列の表現は、領域およびコンテキストに依存せず、識別可能である場合、特徴の生成は、データのソース、形式、またはコンテキストに従うことなく適用され得る。このようなことから、特徴生成が様々な領域およびコンテキストに対して非常に容易に適用され得ることが理解され得る。しかしながら、柔軟なアーキテクチャは、所与の領域またはデータセットについての良好に調整されたカスタマイズも可能である。
【０１０９】
実施形態において、特徴モジュール１６１０は、文字列中に見出される単語レベルのトークンに基づいて１つ以上の特徴として文字列を表わすように動作可能であり得る。たとえば、特徴の生成は、止め印特有の知識を活用し得る。一例としては、製品部品番号または電話番号がどのようにして構築されるかについての知識を利用することであり得る。この点に関して、１０桁の電話番号のリストは、最初の３桁が番号についてのエリアコードを表わすという既知の知識を利用し得る。したがって、各番号のうち最初の３つの数字を使用して、エリアコードに対応する特徴が生成され得る。番号の残りは、たとえば、これらの数字がランダムである、またはエリアコードに帰する基礎的な意味を欠いていることを理解した上でのｎグラムもしくは他の特徴などの異なる特徴表現を利用して処理され得る。 加えて、または代わりに、言語知識、分類学、文法、構文、または他のスキーマデータが特徴の生成に使用され得る。これにより、特徴は、共通の省略方法についてのヒューリスティックスを反映し得て、テキスト構造特徴、または他の言語知識が文字列を特徴として表すために使用され得る。
【０１１０】
文字列解析ツール１５００の実施形態は、特徴重み付けモジュール１６２０も含み得る。特徴重み付けモジュール１６２０は、特徴モジュール１６１０と動作通信し得る。このようなことから、特徴重み付けモジュール１６２０は、ソース内容１５１０および／または目標内容１５２０に基づいて特徴モジュール１６１０によって生成された特徴を受け取るように動作可能であり得る。特徴重み付けモジュール１６２０は、各特徴に対して、特徴がどの程度文字列解析に寄与するか（または寄与しないか）を判定するために使用される重みを提供するように動作可能であり得る。重み付けの例は、各特徴が解析において均等に寄与するように各特徴に対して１．０のスコアを与えること、ソース内容１５１０および／または目標内容１５２０からの特徴に関する頻度情報を使用して特徴に重み付けをすること（たとえば、確率のマイナスログを使用する）、または特徴の頻度順位を使用することを含み得るが、これらに限定されない。
【０１１１】
重み付け技術の１つの特定の例は、頻度順位にわたってベータ分布を使用することを含み得る。このコンテキストにおいて、高い頻度の特徴は情報価値がない傾向にあることから、高い頻度の特徴に対しては小さな重みが与えられる。非常に頻度の低い特徴は、ノイズが大きい傾向があることから、非常に小さい重みが与えられ得る。結果として、上側閾値を下回るとともに下側閾値を上回る頻度を有する特徴には、比較的大きな重みが与えられ得る。これらの特徴は、情報価値が高く、高い頻度および低い頻度の特徴が受ける雑音を受けにくいためである。
【０１１２】
たとえば、目標文字列が文書を含む場合、トリグラム特徴「the」が目標文字列において非常に高い頻度を有し得る。すなわち、文書において用語「the」は非常に多く洗われ得る。しかしながら、用語「the」の出現は、目標文書における頻度が高いことから、特徴「the」を含むソース文字列および特徴「the」を含む目標文字列の類似性に関して、非常に情報価値が低くなり得る。他方、特徴「<B>z<E>」は、目標文書において非常に低い頻度を有し得る。しかしながら、目標文書における特徴「<B>z<E>」の存在は、雑音の対象となり得て、目標文書におけるこの特徴の出現は、特徴「<B>z<E>」を含むソース文字列および特徴「<B>z<E>」を含む目標文字列の類似性に関して、情報価値の低いものとなり得る。したがって、特徴「the」および「<B>z<E>」の両方には、ツールによって行われる文字列解析において、比較的低い重みが与えられる。
【０１１３】
ツール１５００の実施形態は、インデックス付けモジュール１６３０も含み得る。インデックス付けモジュール１６３０は、上述のような特徴モジュール１６１０の動作ごとに、ソース文字列および／または目標文字列の表現を特徴として受け取るように、特徴モジュール１６１０と動作通信し得る。インデックス付けモジュール１６３０は、文字列もしくは文字列の集合の各特徴についてのインデックスを計算するように動作可能であり得る。たとえば、特徴を複数の文字列に関連させる逆インデックスが作成され得て、各特徴から、その特徴を含む各文字列へのマッピングが確立される。この点に関して、インデックスは、特徴とその特徴を含む１つ以上の文字列との関係に関する情報を提供し得る（たとえば、所与の特徴を含む複数の目標文字列における特徴と各文字列との間のマッピングを含む）。
【０１１４】
ツール１５００の実施形態は、類似性メトリックモジュール１６４０も含み得る。類似性メトリックモジュール１６４０は、ソース文字列と目標文字列との間の類似性を記載する定量的類似メトリックを計算するように動作可能であり得る。上述のように、類似性メトリックは、０％から１００％の範囲におよぶ、ソース文字列と目標文字列との間の直観的な類似性スコアであり得る。この点に関して、ソース文字列と目標文字列とが完全に重複すると類似性メトリックは１００％となり、ソース文字列と目標文字列とが重複しない場合は類似性メトリックが０％となり得る。他の実施形態において、０から１の範囲などの他のファジーメトリックが使用され得る。所与のソース文字列および目標文字列についての類似性メトリックの計算は、比較される各文字列ペアについて上記の特徴表現を特徴モジュール１６１０に対して使用することにより、ソース文字列と目標文字列との間の特徴の共通性に基づいて類似メトリックを計算することを含み得る。この点に関して、類似性スコアは、ソース文字列と目標文字列との間で共有される特徴を観察することによって、および／またはソース文字列もしくは目標文字列の一方にあるが共有されていない特徴を観察することによって計算され得る。当該技術において知られる複数の異なる類似性メトリックのうちの１つ以上が採用され得る。例は、すべての特徴において共通の特徴重みの比率としての重み平均、Jaccard類似性指標、共通の特徴を有する確率を計算するBayesian手法などが含まれるが、これらに限定されない。採用され得る潜在的な類似性メトリックのさらに他の例が、Dekang Linによる「An Information-Theoretic Definition of Similarity」ICML '98, Proceedings of the Fifteenth International Conference on Machine Learning, Morgan Kaufmann Publishers Inc., San Francisco, 296-304 (1998)において検討され、その全体が引用によりここに援用される。
【０１１５】
ツール１５００の実施形態は、最適化モジュール１６５０も含み得る。示されるように、最適化モジュール１６５０は、特徴重み付けモジュール１６２０およびインデックス付けモジュール１６３０と動作通信し得る。最適化モジュール１６５０は、類似性メトリックモジュール１６４０と特徴重み付けモジュール１６５０／インデックス付けモジュール１６３０との間に設けられ得る。このようなことから、最適化モジュールは、解析中のソース文字列および／または目標文字列の特徴に対して最適化を何度か行うように動作可能であり得る。最適化モジュール１６５０によって行われる最適化は、ソース文字列と複数の目標文字列との間の類似性メトリックを計算するために必要な計算リソースを減少させ得る。たとえば、従来の文字列解析において、ソース文字列と目標文字列との間の類似性メトリックを判定する場合、処理には、各ソース文字列／目標文字列のペアについて類似性メトリックを計算することが伴い得る。非常に大きな目標文字列のコーパスについては、解析が不可となり得るほどに非常に大きな計算リソースの使用が必要となり得る。たとえば、公共スキーマ、個人スキーマ、または他の外部データなどの外部情報を、変換されるソースデータにマッチングする際潜在的に大きなソースの配列からの外部情報の非常に大きなコーパスがあり得る。このようなことから、ソースデータの所与の部分を拡張データの各部分と比較する試みは、実行し難い。さらに、ソース文字列／目標文字列のペアについて計算された類似性メトリックの多くは、取るに足らないものとなり得る。なぜなら、多くのソース文字列／目標文字列のペアについての類似性メトリックは、情報価値が低い、またはゼロに近いためである。
【０１１６】
しかしながら、最適化モジュール１６５０は、ソース文字列と複数の目標文字列との間の任意の所与の解析のために計算しなければならない類似性メトリックの合計数を減少させることにより、類似性メトリックを判定するための効率的な処理を提供し得る。この点に関して、最適化モジュール１６５０は、ソース特徴を考察から除去する、目標文字列を考察から除去するように動作可能であり得る、またはインデックスからの文字列マッピングへの特徴を除去することを含み得る。これらの手法の一部またはすべてが、ソース文字列と目標文字列のコーパスとの間の類似性メトリックの生成に関連付けられた類似性メトリックモジュール１６４０によって拡張された処理オーバーヘッドを減少させ得ることが、以下の説明から理解され得る。以下により詳細に記載されるように、マッチング処理において文字列を考察から除去することは、最小類似性メトリックに基づき得る。最小類似性メトリックは、予め定められた（たとえば、ユーザにより）値であり得る。最小類似性メトリックは調節され得て、最適化処理が調整され、結果の総合性に対する計算および時間のリソースの均衡が保たれる。たとえば、最小類似性メトリックは、最小類似性メトリック閾値としてマッチング結果に適用され得て、閾値を下回る類似性メトリック値との一致は、考察から除去される。
【０１１７】
たとえば、最適化モジュール１６５０によって行われる第１の最適化は、ソース文字列との類似性の無い目標文字列を類似性メトリック計算において考察から除去することに関連し得る。すなわち、最適化モジュール１６５０は、インデックス付けモジュール１６３０によってコンパイルされたインデックスを採用し、ソース文字列と共通の少なくとも１つの特徴をどの目標文字列が含むかを判定し得る。このようなことから、ソース文字列と共通の少なくとも１つの特徴を有する目標文字列のみが考察に残され得る。このようなことから、最小類似性メトリックは、０より大きい任意の値であり得る。
【０１１８】
加えて、最適化モジュール１６５０によって行われる第１の最適化技術は、文字列の多くの集合に共通の特徴の分布の重要な性質を活用することによって拡張され得る。たとえば、特徴は、概して、少しの特徴が非常に頻繁に起こり、多くの特徴が稀に起こるZipfian分布に従い得る。したがって、目標文字列についての特徴は、非常に頻繁な一部の特徴と、非常に稀な他の特徴とを含む。異なる言い方をすると、ソース文字列の一部の特徴は多くの候補となる目標文字列を検索し得て、他の特徴は非常に少ない候補となる目標文字列を検索し得る。
【０１１９】
最適化モジュール１６５０は、インデックスから取得した既知の頻度分布を利用し得て、目標文字列の候補が高い頻度の特徴を探し、最小類似性メトリック 閾値を確立することによって高い頻度の特徴が除去され得る（たとえば、最小類似性メトリックに基づく、またはこれから導出される）。次に、最小類似性メトリック閾値を超える類似性メトリックを有する目標文字列が外されていないことを補償するために問い合わせなければならないソース文字列からの特徴の数が計算され得る。これにより、最小類似性メトリック閾値を超える類似性メトリックを有する目標文字列を返すためだけに問い合わせる必要のある特徴の数に関連するこの計算値がひとたび分かると、それは、ソース文字列の最も頻繁な特徴を考察から除去するために使用され得て、目標文字列の候補の数が大きく減少し得る。すなわち、ソース特徴の数が減少すると、少なくとも１つのソース情報を有する、返され得る目標文字列の数の減少も起こり得る。この最適化技術についての例示的な手法が以下に詳細に記載され得る一方、この手法が、以下に気視される特定の技術の代替として採用され得る幅広い異なる種類の特徴、特徴重み付けスキーム、および類似性メトリックにも適用され得ることが理解される。
【０１２０】
ソース特徴の数を減少させるための技術の１つの例示的な適用が以下に記載される。技術は、概して以下で始まる。
【０１２１】
【数１】
2015531499.tif 000004
【０１２２】
ｔ１はソース文字列を表わし、ｔ２は目標文字列を表わし、common（ｔ１，ｔ２）はｔ１およびｔ２の両方に共通の特徴を返す関数であり、Ｆ（ｔ１）はｔ１の特徴を返す関数である。また、式１において、値Ｉ（Ｆ（ｔ））は、以下のように表わされる。
【０１２３】
【数２】
2015531499.tif 000005
【０１２４】
Ｐ（ｆ）は、単に、目標文字列中に表われる特徴の回数をすべての特徴が見られた合計回数で割ることによって計算することができる特徴の確率である。
【０１２５】
上の式１は、ソース特徴または目標特徴に対する重み付けパラメータを含むように書き換えられ得る。このようなことから、式３が導出され得る。
【０１２６】
【数３】
2015531499.tif 000006
【０１２７】
ｗ１およびｗ２は重み付けパラメータである。重み付けパラメータは、ｗ１およびｗ２の合計が１となるような重み付け平均に値がなるように変更され得る。結果として、重み付け平均の概念を重み付けパラメータに代入すると、式４が導出され得る。
【０１２８】
【数４】
2015531499.tif 000007
【０１２９】
次に、ソース特徴が考察から除去される上記の最適化技術が式４に対して採用され得る。最初のステップとして、式４が不等式に書き換えられ得る。
【０１３０】
【数５】
2015531499.tif 000008
【０１３１】
ここで、y=sim(t1, t2)、C=I(common(t1, t2))、A=I(F(t1))、およびB=I(F(t2))である。この点に関して、各ソース文字列／目標文字列のペアについて式４を計算するのではなく、式５が使用され、最小類似性メトリック閾値ｙに基づいてどのソース特徴が除去され得るのかが判定される。w*Aはソース文字列のみに依存することから、各ソース文字列／目標文字列のペアについて、w*Aの項は変更されないことが知られ得る。Ｂの値はすべてのソース文字列／目標文字列のペアとは異なり得ることから計算することができない一方、以下の比率の最低値は、式５の有効性を保証するために計算され得る。 
【０１３２】
【数６】
2015531499.tif 000009
【０１３３】
式６は、値ｘを表わし、どの程度小さいｘを与えることができるかが判定され、Ｂはソース文字列／目標文字列のペアの各々について異なり得る。ｘの最小値を判定することができる場合、C(I(common(t1, t2)))の最小値が判定され得る。なぜなら、Ａはソーステキスト単独について計算できるためである。Ｃの最小値が分かった場合、最小値を下回るＣの値を有するソース特徴が上記の候補探索ステップにおいて考慮から除去され得て、ソース特徴と共通の特徴を共有する目標文字列のみが考察に残る。すなわち、最適化後の考察に残る特徴のみがインデックスを使用して探索され得る。このため、ｘはｙによって解かれ得る。
【０１３４】
これを達成するために、最も悪い可能な値（すなわち、考察から特徴を取り除く能力をＢが最大限に抑制する）が考慮される。これは、Ｂ＝Ｃの場合に起こる。これは、Ｂが最大限に類似性スコアに寄与することを意味する。この代入を使用し、Ａを式５において与えられる値に代入することにより（Ａを解く）、式４が式７となる。
【０１３５】
【数７】
2015531499.tif 000010
【０１３６】
ｘを解くと、式８となる。
【０１３７】
【数８】
2015531499.tif 000011
【０１３８】
式８は、与えられた最小 類似性メトリック閾値よりも大きくなる機会をｙに与えるためにＣの最小限必要な値を判定するために使用される。この与えられたＣの最小値により、インデックスから候補目標文字列を判定する場合に考慮する必要のないソース特徴が、考察のために残された少なくとも１つの共通の特徴を有する目標文字列のみを考慮することによって除去され得る。
【０１３９】
１つの潜在的な方法は、頻度の降順でソース特徴をソートすることである。順序付けられたソース特徴の情報の合計は、合計がＣを超えないように計算され得る。そして、残りの（およびより情報価値の高い）特徴は、コーパスから候補目標文字列を集めるために使用され、類似性メトリックは、ソース文字列と、残りのソース特徴と特徴を共有するインデックスから判定されたこれらの候補目標文字列の各々との間のみで計算される。
【０１４０】
上記の最適化技術の一例は、以下の特徴を有する目標文字列のコーパスに適用され得る。それぞれの情報計算は以下のとおりである。
【０１４１】
【表２】
2015531499.tif 000012
【０１４２】
ここで、ソース文字列（ｔ１）は以下の特徴Ｆ（ｔ１）＝｛Ｆ１、Ｆ３、およびＦ５｝を有し、目標文字列の一方は以下の特徴Ｆ（ｔ２）＝｛Ｆ５｝を有すると仮定する。ｔ１とｔ２との類似性は、以下のとおりである（ｗ＝０．５と仮定する）。
【０１４３】
【数９】
2015531499.tif 000013
【０１４４】
以下の特徴（Ｆ（ｔ３））＝｛Ｆ１、Ｆ３、Ｆ４｝を有する他の目標ストリングｔ３を仮定する。ｔ１およびｔ３の類似性は以下のとおりである。
【０１４５】
【数１０】
2015531499.tif 000014
【０１４６】
ｔ１とＦ５を含むすべての目標文字列との間の類似性の与えられた高い確率（たとえば、Ｆ５が同じ目標テキストにおいて２度発生しない場合、コーパスの１０％程度）を計算する必要があり得る。理解され得るように、これは、非常に小さく情報価値の低い類似性メトリックを返し得る、計算リソースの非常に高い利用を表わす。対照的に、Ｆ３およびＦ５は、それぞれ、コーパスの０．１％および０．００１％の類似性を計算する必要があり得る。したがって、Ｆ５を使用して類似の候補を集めることは、高価であり不適切である（２０％の類似性を８４％の類似性と対照する）。このため、ｙ＝０．５の最小スコア閾値が確立され得て、ソース特徴Ｆ５が考察から取り除かれる。式８からのｘの計算は以下のとおりである。
【０１４７】
【数１１】
2015531499.tif 000015
【０１４８】
A=I(F(t1))についての値は、以下のとおり計算され得る。
A=I(F(t1)=29.9
C=I(common(t1, t2))についての値は、以下のとおり計算され得る。
【０１４９】
C = w * A * x = 0.5 * 29.9 * 0.667 = 9.967
再び、Ｃは、最小類似性メトリック閾値に達するために、ソース文字列および目標文字列によって共有されなければならない情報の最小量を表わす。再び、これは、ＣおよびＢが同じであるという最悪の場合のシナリオについてである。Ｃのこの値は、ここでソース文字列に適用することができ、特徴を除去し、インデックスを参照することによって候補目標文字列を収集する。たとえば、Ｆ５（最も頻度の高いｔ１の特徴）は、その情報（Ｃの値）が３．３２であり、９．９６７よりも小さいため、除去され得る。しかしながら、Ｆ３（次に最も頻度の高いｔ１の特徴）は、Ｆ５とＦ３との合計が１３．２９であってＣよりも大きいため、除去することができない。このため、特徴Ｆ１およびＦ３を有するすべてのテキストが収集され、Ｔ１に対するそれらの類似性が計算される。これは、Ｆ５がＦ３よりも１００倍共通してることから、考慮しなければならない候補の数は約１００分の１に減少することを表わす。
【０１５０】
なお、Ｆ３の情報はＣよりも僅かに大きい。このため、Ｆ３を含むＢについての最悪の場合のシナリオは、Ｆ（ｔ４）＝｛Ｆ３｝となるようなｔ４である。上記の計算が有効であると仮定して、ｔ１とｔ４との間の類似性は、所定の最小類似性メトリック閾値である０．５よりも大きくあるべきである。ｔ１とｔ４との間の類似性メトリックを計算すると、以下の結果となる。
【０１５１】
【数１２】
2015531499.tif 000016
【０１５２】
理解され得るように、ｔ１とｔ４との間の類似性メトリックは、所定の最小類似性メトリック閾値である０．５よりも大きく、これは、ソース特徴を考察から除去することによって、インデックスから検索される目標文字列が、最小類似性メトリック閾値を超える類似性メトリックのみを返すことができることを表わす。したがって、行なう必要のある類似性メトリック計算の数は、最適化モジュール１５０によって最小類似性メトリック閾値を確立および適用することによって動的に減少し得る。
【０１５３】
最適化モジュール１６４０によって採用され得る他の最適化技術は、インデックスが作成された後に特徴対文字列マッピングをインデックスから取り除くために使用されるパラメータとして最小類似性メトリック閾値を確立させることであり得る。たとえば、所与の最小類似性メトリック閾値について目標文字列候補が外れていないことを補償するためにマッピングされなければならない特徴の数が確立され得る。最小類似性メトリック閾値に関連付けられた計算値がひとたび分かると、それは、特徴対文字列マッピングをインデックスから取り除くために使用され得る。再び、インデックスから特徴対文字列マッピングを取り除くための例示的な手法が以下に詳細に記載される一方、以下に述べられる特定の技術の代替として採用され得る様々な種類の特徴、特徴重み付けスキーム、および類似性メトリックに適用され得ることが理解される。
【０１５４】
式５は、便宜のためここで繰り返され、以下で式９という。
【０１５５】
【数１３】
2015531499.tif 000017
【０１５６】
ここで、y=sim(t1, t2)、C=I(common(t1, t2))、A=I(F(t1))、およびB=I(F(t2))である。再び、t1はソース文字列を表わし、t2はインデックスにおいて見出される目標文字列インスタンスである。上述のように、特徴と文字列とのマッピングを含むインデックスにおいて表される目標文字列が検討され得て、どの目標特徴が所与の最小スコア閾値および目標文字列重み（たとえば、特徴重み付けモジュール１６２０によって確立される）についてのインデックスにマッピングされるかが判定される。 この点に関して、特徴対文字列マッピングは、インデックスから取り除かれ得て、インデックスから取り除かれた特徴のみを有する対応する目標文字列は、類似性メトリックが計算される候補目標文字列として返され得ない。この手法において、式１０におけるｘの最小値は、式９が真であることを補償するために計算される。
【０１５７】
【数１４】
2015531499.tif 000018
【０１５８】
式１０の比率は、受け取られ得る異なるソース文字列についてＡが変化する場合に与えられ得る値ｘの最小値の概念を表わす。ｘの最小値が計算され得て、式９が真であり続ける場合、Ｃの最小値が判定され得る。なぜなら、Ｂは、任意のソース文字列を受け取る前にインデックスにおいて各目標文字列について計算され得るためである。従って、Ｃの最小値が知られている場合、インデックスからの特徴は、最小値を超えない目標特徴に対応して除去され得る。Ａについての最悪の可能な値は、Ａ＝Ｃの場合に起こる（すなわち、考察から特徴を除去する能力をＡが最大限に抑制する場合）。これは、Ａが類似性スコアに対して最大限に寄与することを意味する。この代入を使用して、式１０において与えられる値をＢに代入する（Ｂを解く）と、式９は以下のとおりとなる。
【０１５９】
【数１５】
2015531499.tif 000019
【０１６０】
ここで、ｙによりｘが解かれ得る。結果は、以下の通りとなる。
【０１６１】
【数１６】
2015531499.tif 000020
【０１６２】
式１２は、Ｃの要求される最小値を判定するために使用され得て、ｙは、与えられた最小類似性メトリック閾値よりも大きくなる機会がある。計算されたＣの最小値により、インデックスから除去され得る目標文字列（ｔ２）の特徴が識別され得る。１つの方法は、頻度の降順でｔ２の特徴をソートすることである。その順序での特徴の情報が計算され得て、合計は、計算されたＣの値を超えない。これにより、残りの（より情報価値の高い）特徴が、特徴が上記により除去された、除去済みインデックスに基づいて、識別されたソース文字列および目標文字列の間の類似性メトリックの計算における考察のためのインデックスに残される。この最適化の動作を一般化するために、ｗの値（ソース文字列についての重みパラメータ）が小さければ、より多くの目標特徴がインデックスから除去され得る。同様に、ｙの値が大きければ、より多くの特徴がインデックスから除去され得る。 
【０１６３】
図１７に戻り、文字列解析ツール１５００の実施形態は、ユーザインターフェイス１６６０を含み得る。ユーザインターフェイス１６６０は、文字列解析ツール１５００とユーザが対話し得るディスプレイおよび／または入力特徴を含み得る。この点に関して、上述の様々な要素は、ユーザインターフェイス１６６０を用いた対話を介してユーザによって制御可能であり得る。たとえば、ソース文字列の識別および／または受け取りは、ユーザインターフェイス１６６０を介してユーザによって提供され得る。さらに、最小類似性メトリック閾値などの所定の値は、ユーザインターフェイス１６６０を介してユーザによって入力され得る。さらに、文字列類似性出力は、ユーザインターフェイス１６６０を介してユーザに対して表示され得る。
【０１６４】
この点に関して、上述の文字列解析ツールは、上記の最適化技術を使用し、効率的かつ迅速な態様でランタイムで文字列解析を行い得る。この点に関して、上述の手法は、決定論型およびファッジー論理型解析の両方の利点を活用し得て、決定論型の決定は、解析における考察から特徴を除去するために行われ得て、領域およびコンテキストに依存しないファジー論理型解析は、ソースと目標文字列との間の類似性メトリックを提供するために行われ得る。このようなことから、上述の文字列解析は、文字列の類似性解析が有用であるいくつかのコンテキストにおいて使用され得る。
【０１６５】
例示的な文字列解析法１６７０の一実施形態は、図１８に示される。方法１６７０は、複数の目標文字列の識別１６７２を含み得る。上述のように、目標文字列は、複数の異なるデータタイプおよび／またはデータソースに対応し得る。方法１６７０は、目標文字列の特徴表現を作成すること１６７４も含み得る（特徴モジュール１６１０に関して上記したように）。方法１６７０は、目標文字列についてインデックスをコンパイルすること１６７６も含み得る。再び、インデックスは、目標特徴と、インデックス付けモジュール１６３０に関して上記したような各目標特徴を含む目標文字列との間のマッピングを含み得る。 
【０１６６】
方法１６７０は、ソース文字列を識別すること１６７８も含み得る。上記のように、ソース文字列は、検索クエリ、目標文字列に鑑みて解析することが望ましいデータの一部、または目標文字列の他の部分に鑑みて解析された目標文字列に対応し得る。方法１６０は、ソース文字列についての特徴表現を作成すること１６８０を含み得る。ソース文字列を表わす特徴は、目標文字列の特徴と類似し得る、または異なり得る。これに関して、方法１６７０は、ソース文字列と共通の少なくとも１つの特徴を有する目標文字列を識別すること１６８２を含み得る。このようなことから、最適化モジュール１６４０に関して上記したものと同様の方法で、事前にコンパイルされたインデックスを参照して判定されたソース文字列にある特徴に対してマッピングされた目標文字列のみが返される。
【０１６７】
方法１６７０のさらに他の部分において、最小類似性メトリック閾値が受け取られ得る１６８４。最小類似性メトリック閾値は、ソース文字列に対する目標文字列について計算される類似性メトリックの最小値に対応し得る。すなわち、最小類似性メトリック閾値は、最小類似性メトリック閾値を下回る値を有する目標文字列が、計算された類似性メトリックを有し得ない値であり得る。このようなことから、方法１６７０は、最小類似性メトリック閾値を超える類似性メトリックに寄与することができないために考察から除去され得る特徴（たとえば、ソース文字列または目標文字列のもの）を解析すること１８６を含み得る。たとえば、他の類似性メトリックを利用する上記の処理または他の処理は、最小類似性メトリック閾値を超える類似性メトリックを返すことができない特徴を判定するための解析において使用され得る。このようなことから、方法１６７０は、最小類似性メトリック閾値を超える類似性メトリックを有する、解析１６８６に基づいた目標文字列のみについてソース文字列に対する類似性メトリックを計算すること１６８８を含み得る。
【０１６８】
さらに、以下により詳細に記載されるように、方法１６７０は、文字列類似性出力を生成すること１６９０を含み得る。文字列類似性出力は、計算された１６８８各目標文字列、１つ以上の一致した目標文字列、目標文字列クラスタ、または計算された１６８８類似性メトリックに関連する他のデータについての類似性値であり得る。この点に関して、方法１６７０は、以下により詳細に記載されるように、文字列類似性出力を教師なし機械学習環境もしくはツールに対して提供すること１６９２を含み得る。
【０１６９】
このような文字列解析が有用となり得る１つのコンテキストは、検索のコンテキストにおいてである。この点に関して、検索クエリがソース文字列として受け取られ得る。検索可能なコーパスは目標文字列に対応し得る。この点に関して、検索可能なコーパスの目標文字列は、上記の態様で特徴として表され得る。さらに、特徴対文字列マッチングを引き起こすインデックスが作成され得る。たとえば、インデックスは、検索クエリを受け取る前にコンパイルされ得る。
【０１７０】
この点に関して、１つ以上の最適化技術と連動したインデックスを使用して上述の文字列マッチング解析が行われ、従来の検索方法において必要とされるよりも短い時間で検索結果が返される。たとえば、以前のファジー論理手法において、類似性メトリックは、ソース文字列に対して各目標文字列について計算することが必要となり得る。しかしながら、上述の文字列解析を利用すると、クエリから選択された特徴および／またはインデックスにおいてマッピングされた目標特徴は、解析における考察から除去され得る。したがって、ソース文字列（検索クエリ）に基づいた目標文字列（検索可能なコーパス）から検索結果を返す場合に、計算する必要のある類似性メトリックがかなり少なくなり得る。この点に関して、検索のコンテキストにおいて、いくつかの目標文字列が検索における結果として返され得る。たとえば、検索結果、一部の閾値を超える類似性メトリックを有する結果、または順序付けされた結果（たとえば、類似性メトリックの降順で配置される）のリストの所定の上位数が検索クエリへの応答として返され得る。
【０１７１】
他の実施形態において、ソース文字列を目標文字列に対してマッチングさせるコンテキストにおいて上述の文字列解析が使用され得る。この点に関して、検索のコンテキストにおいて、ソース文字列および目標文字列が特徴として表され、特徴対文字列マッピングのインデックスがコンパイルされた後、選択されたソース特徴および／または目標特徴が、類似性メトリックを計算する際の考察から除去するために識別され得て、各目標文字列およびソース文字列について類似性メトリックを計算する必要が無くなる。これにより、１つ以上の一致した目標文字列がソース文字列への一致として返され得る。たとえば、特定の閾値を超える類似性メトリックを有する目標文字列は、一致として指定され得る。代わりに、高い類似性メトリックを有する目標文字列は、ソース文字列への一致として返され得る。
【０１７２】
さらに他の実施形態において、上述の文字列解析が使用され、高度に類似した目標文字列からグループ化もしくはクラスタ化された文字列が返され得る。たとえば、上記のように、複数の目標文字列が目標内容１５２０として格納され得る、または受け取られ得る。目標文字列の各々は、特徴として表され得る。特徴対文字列マッピングを含むインデックスは、目標文字列についてコンパイルされ得る。
【０１７３】
加えて、目標文字列の各々は、目標文字列の他のものに対する、上述の態様に基づいて計算される類似性メトリックを有し得る。すなわち、各目標文字列は、上記のように、文字列解析におけるソース文字列として使用され得る。この点に関して、目標文字列からの各文字列は、目標文字列における他の物に対して計算された類似性メトリックを有し得る。この処理は、上記の最適化技術を含み得て、所与の目標文字列についての類似性メトリックは、最小類似性メトリック閾値に基づく考察から特徴を除去することに基づき他の目標文字列の一部とともに計算され得る。
【０１７４】
ひとたび目標文字列について類似性メトリックが計算されると、関連する目標文字列（すなわち、すなわち、互いに比較的類似したメトリックを有する文字列）がクラスタ化され得る。文字列のクラスタ化は、互いに所定の閾値を超える目標文字列からのすべての文字列をクラスタ化することを含み得る。与えられる類似性に基づいて目標文字列をクラスタ化するために任意の方法が使用され得る。目標文字列クラスタ１９００の１つのこのような例は、図１９に示される。 
【０１７５】
文字列解析ツールの実施形態は、教師なし学習環境（たとえば、ビッグデータ環境のコンテキストにおける）と連動し得ることが理解され得る。この点に関して、文字列解析ツールは、教師なし機械学習（たとえば、ソース文字列と目標文字列との間の一致を判定するための） の過程で使用され得る、または、文字列解析ツールは、データに対して教師なし機械学習を適用する前にデータを「クリーン化」する（オーダーデータをクラスタにする）ために使用され得る。これにより、文字列解析は、個別に、または教師なし学習処理における他の技術と連動して使用され得る（たとえば、ほとんど知られていないデータのコーパスから隠れた構造を「学習」する、ソース形態と目標形態との一致を判定するなど）。
【０１７６】
教師なし学習への文字列マッチングの適用
この点に関して、文字列分析は、上述のように、一致、複数の結果、または文字列クラスタのうちの１つ以上に対応する文字列類似性出力を提供し得る。そして、文字列類似性出力は、教師なし学習環境に提供され得る。教師なし学習環境は、文字列解析ツールを活用する、または文字列類似性出力を教師なし学習環境への入力として利用する技術を実行するための複数の機械学習ツールを含み得る。たとえば、機械学習技術は、データからの意味を考慮しない、データを体系化する（たとえば、階層クラスへ）、データに関する規則を作成もしくは適用する、または他の機械学習技術であり得る。
【０１７７】
たとえば、上述の技術が採用され得る１つの特定のコンテキストは、レガシーデータベース動作の分野である。すなわち、多くの組織は、製品リストおよび属性を含む製品データベースなどの様々なレガシーデータベースに記憶された情報を有する。レガシーデータベースは、異なる主体によって展開または事前設定されたものであり得る、またはそれ以外に、言語および構文に関連する異なる規約を含み得ることが理解され得る。以下で理解され得るように、ここで記載される文字列解析は、様々な機械学習において活用され得る。ここに記載される文字列解析ツールと連動して使用され得る機械学習技術の例は、米国特許第７，８６５，３５８号、米国特許第７，５３６，６３４号、米国特許出願公開第２００９／０２８１７３２号、および米国特許出願公開第２０１１／００９３４６７号に開示される様々な技術を含み、これらの各々は現在の譲受人によって共通して所有され、各々がここに引用として援用される。
【０１７８】
実施形態において、教師なし学習環境は、１つ以上の外部知識ソースを文字列類似性出力に適用し得る。たとえば、外部知識ソースは、辞書、用語索引、構文規則、既知の構文、スキーマ（たとえば、公共もしくは個人）、フレーム−スロットアーキテクチャ、または任意の他の外部知識ソースを含み得る。たとえば、マッチング技術は、文字列類似性出力のすべてまたは一部に対する外部知識ソースの適用可能性を判定するために使用され得る。 
【０１７９】
たとえば、ここに援用される上記の文献に記載されるように、一部のインスタンスにおいて、データ変形を容易にするためにセマンティックメタデータモデルが展開され得る。セマンティックメタデータモデルは、コンテキスト依存の規則および用語を利用し、ソース形態と目標形態との間の変形の正確性を向上させ得る。この点に関して、セマンティックメタデータモデルは、用語もしくは項目の間の関係を規定する分類を採用し得る。多くの場合、セマンティックメタデータモデルの分類は、データのコンテキストについての知識を有する主題の専門家によって長い時間をかけて作成されなければならない。
【０１８０】
対照的に、ここに記載される一実施形態において、ここに記載される文字列解析ツール１００を採用して教師なし機械学習を行うことができる入力を提供することが考えられる。たとえば、図４に示されるクラスタ２００は、上記の文字列解析ツール１００を使用して製品データベースに関する複数のテキスト文字列から生成され得る。クラスタ２００は、教師なし機械学習環境に対して提供され得る。この点に関して、機械学習環境は、図５に示されるようにクラスタから分類２１０を導出するように動作し得る。図５に示される分類２１０は、クラスタから導出される大きな分類を含み得て、一部は明瞭化のために示されていない。理解され得るように、クラスタ２００は、同様の性質を有する複数の文字列を含み、分類２１０に現れる多くの下位分類は、クラスタ２００の解析から導出され得る。たとえば、教師なし機械学習を使用して、クラスタ２００の各文字列が、関連する文字列の各々において現れる「バッテリー」として、バッテリーの製品リストに対応することが認識され得る。さらに他の下位分類は、クラスタ化された文字列の小さいサブセットに共通する特徴を認識することによって導出され得る。たとえば、いくつかの文字列は、文字列におけるこの特徴もしくは類似の特徴の出現に基づいて、バッテリーのタイプ「ウルトラボルト」に関連すると判定され得る。このようなことから、 ウルトラボルト製品のクラスが生成され得る。この特徴もしくは類似の特徴を欠く文字列は、分類２１０における「レギュラー」サブクラスに属し得る。クラスタ２００の分類の生成は、分類２１０に示されるように、たとえば、バッテリー電圧、パッケージ型式、およびパックごとのバッテリーの数に関連する文字列における特徴の有無を認識することによって、さらに展開され得る。
【０１８１】
特に興味深い点は、バッテリーまたはバッテリーのパッケージングに関するコンテキストの知識なくしてクラスタ２００からこの分類２１０が導出され得るという事実にある。すなわち、クラスタ２００に属する文字列の解析された構造は、教師なし機械学習に対し、十分なコンテキストを与え、主題の専門家の介入なくして分類を展開し得る。この点に関して、分類は、複数のクラスタに与えられ、クラスタ２００が導出される目標文字列の大きなコーパスを記載する別個もしくは統合された分類が展開され得る。
【０１８２】
さらに、他のクラスタに対して追加の分類を生成することにより、教師なし機械学習環境が文字列解析ツール１００のマッチング技術を活用し、展開されたクラスまたはサブクラスを他のクラスタ分類とともに、個別のクラスタに基づいて作成された統合された別個の分類に一致させ得る。
【０１８３】
教師なし機械学習環境において文字列解析ツール１００の実施形態を利用する他の方法も提供され得る。たとえば、文字列対用語についての既知の辞書エントリーに対する文字列のマッチングは、文字列解析ツール１００を使用することによって機械学習環境によって達成され得る。たとえば、特定の目標文字列は、文字列「PRNTD CRCT BRD」の多くのインスタンスを含み得て、機械学習環境によって採用された辞書は、「PRINTED CIRCUIT BOARD」のエントリーを含み得る。しかしながら、機械学習環境は、「PRNTD CRCT BRD」が「PRINTED CIRCUIT BOARD」の一形態であることを認識し得ないため（人間にとってこれが明白であったとしても）、機械学習環境は、文字列間の関係を認識することに失敗する。
【０１８４】
しかしながら、文字列解析ツール１００の実施形態が採用され、「PRNTD CRCT BRD」が「PRINTED CIRCUIT BOARD」にマッチングされ、機械学習環境は、これら２つが関連する、または同じであると認識し得る。この点に関して、機械学習ツールは、辞書における各エントリーを、文字列解析ツール１００への入力のためのソース文字列として設定し得る。文字列解析ツール１００が実行されると、機械学習ツール１００の辞書におけるエントリーに対応するソース文字列と目標文字列との間の類似性メトリックが使用され、文字列間の１対１の同一性がなくとも、関連または対応する形態が識別され得る。
【０１８５】
機械学習環境への入力を生成する、または機械学習環境における使用のための、文字列解析ツール１００の実施形態のさらに他の使用が考えられる。たとえば、文字列解析ツール１００は、上述のように、１つ以上の規定された情報の集合に関連して外部入力（検索クエリなど）を相関または解釈すること、１つ以上の 外部文書、ファイル、もしくはデータの他のソースに関連して外部入力を相関または解釈すること、システム間の情報の交換を容易にすること、単語、句、もしくは文書を翻訳すること、一貫性が無い、もしくは体系化されていないデータに対して公共もしくは個人スキーマを生成もしくは適用すること、コンテキスト情報を認識すること、データにおけるフレーム／スロットアーキテクチャを認識すること、有効な属性および／または属性値を生成すること、または、マッチング、検索、もしくはクラスタ化によって活用され得る、もしくは容易となり得る他の機械学習機能において使用され得る。
【０１８６】
たとえば、実施形態において、上記のインデックス付き文字列マッチング処理に関連して、上記のいずれか１つの特徴は、ソースデータを第１形態から第２形態へ変換するために教師なし学習環境において利用され得る。たとえば、第１のステップにおいて、ソースデータに対してクラスタ化処理が施され、１つ以上のデータのサブセットが全体としてソースデータ内で識別され得る。この点に関して、ソースデータ（ソース文字列としての）の各部分は、ソースデータの他の部分の各々（目標文字列として）比較され得て、上記のようにソースデータ内の類似データがグループ化もしくはクラスタ化され得る。理解され得るように、ソースデータの特徴はクラスタ化処理の前にインデックス付けされ得ることから、クラスタ化処理を行うために必要な競合リソースが、上記の最適化処理に基づいて減少し得る。ソースデータからのデータのクラスタ化されたサブセットの類似性に基づき、すべてのクラスタ化データがソースデータにおける同じコンテキスト利用に属することが仮定される。したがって、多くの異なるコンテキスト利用を伴うソースデータ集合であっても、データの各クラスタ化サブセットは独立して処理され得て、コンテキスト依存変換のためにデータの各サブセットが情報の対応する外部にマッチングされる。
【０１８７】
この点に関して、ひとたびソースデータがクラスタ化されると、教師なし学習ツールは、ソースデータから識別されたデータクラスタのサブセットの各々に対してインデックス文字列マッチングを採用し得て、マッチング処理を行い、データのサブセットに対する類似性を有する外部データが判定される。この点に関して、マッチングされた外部データは、ソースデータを第１形態から第２形態へ変換する用途のために、ソースデータの特定のサブセットに対する適用のために利用可能となり得る。たとえば、１つの実施において、コンテキスト依存の１つ以上の公共および／または個人スキーマは、クラスタ化ソースデータを含むソース文字列がインデックス付き文字列マッチングを介して比較される目標文字列として設定され得て、上述の処理に従う類似性インデックスが生成される。
【０１８８】
このようなことから、選択された公共および／または個人スキーマは、ソースデータのサブセットと選択されたスキーマとの間の類似性によってソースデータに対してマッチングされ得る。再び、選択されたスキーマまたはソースデータのコンテキストを参照せずともこのマッチングが行われ得て、変換に適用されるスキーマにおけるソースデータの特徴間の類似性に基づいてマッチングが単独で行われ得ることが理解され得る。次に、インデックス付き文字列マッチングに基づいてひとたびスキーマがソースデータの適用について識別されると、スキーマは、上述のように、ソースデータを第１形態から第２形態へ変換するために、フレームスロットアーキテクチャまたは解析木構造を使用した変換に関連して利用され得る。
【０１８９】
特に、以前の教師なし機械学習環境とは対照的に、変換されるソースデータの特定のコンテキストを識別することは不必要となり得る。むしろ、上述のように、ソースデータの特徴と外部データの１つ以上の部分との類似性が利用され、適用される外部ソースデータの適切な部分が選択され得る。さらに、インデックス付き文字列マッチングを採用する教師なし学習処理は、変換処理におけるガイドとして変換されるソースデータから教師なし学習に提供される構造化データまたはトレーニングデータは不要となり得る。むしろ、規則もしくは他の変換コンテキストの単一のソースが、ソースデータに適用される外部情報に基づいて与えられ得て、ソースデータのコンテキストを解決する必要が全くなくなる。
【０１９０】
実施形態において、上述の教師なし機械学習処理の一部またはすべては、ローカルで行われ得る（すなわち、データの所有者もしくは発信者に関係する前提で）、または処理のためにクラウドコンピューティング環境に供給され得る。この点に関して、たとえば、上述の処理の少なくとも一部は、複数のハードウェアローカル（すなわち、「クラウドで」）にわたって分布した態様で行われ得る。さらに、教師なし機械学習の少なくとも一部が前提として行われる。たとえば、データは、前提として、データの変換に使用するための外部データへのマッチングのためのクラウドコンピューティング環境へ提供される前に、ここに記載される処理の一部（たとえば、標準化および分類）を受け得る。ひとたびマッチング環境が、変換のために適用される外部情報の適切な部分を識別すると、実際のデータの変換がローカルまたはクラウドコンピューティング環境において行なわれ得る。このようなことから、ソース文字列へのマッチングのために大きな外部情報へアクセスすることに関連付けられた利点により、大量の計算リソースおよびメモリリソースを活用するクラウドコンピューティング環境は、変換に使用するためのマッチングされた外部情報（公共または個人スキーマ）を識別することに利点を与え得る。
【０１９１】
図面および上の記述において発明が詳細に例示および記載されたが、このような例示および記載は、性質として例示であって限定ではないと考えられる。たとえば、上記の特定の実施形態は、他の記載された実施形態と組み合わせることができる、または他の方法で配置され得る（たとえば、処理要素は他のシーケンスで行われ得る）。このため、好ましい実施形態およびその変形例のみが示されるとともに記載され、すべての変更および変形は、保護を求める発明の精神の範囲内にあると理解すべきである。
【図１】
2015531499.tif 000021
【図２】
2015531499.tif 000022
【図３】
2015531499.tif 000023
【図４】
2015531499.tif 000024
【図５】
2015531499.tif 000025
【図６Ａ】
2015531499.tif 000026
【図６Ｂ】
2015531499.tif 000027
【図７】
2015531499.tif 000028
【図８】
2015531499.tif 000029
【図９】
2015531499.tif 000030
【図１０】
2015531499.tif 000031
【図１１】
2015531499.tif 000032
【図１２】
2015531499.tif 000033
【図１３】
2015531499.tif 000034
【図１４】
2015531499.tif 000035
【図１５】
2015531499.tif 000036
【図１６】
2015531499.tif 000037
【図１７】
2015531499.tif 000038
【図１８】
2015531499.tif 000039
【図１９】
2015531499.tif 000040
【手続補正書】
【提出日】平成26年3月31日(2014.3.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
データを第１形態から第２形態へ変換するコンピュータベースのツールの動作に使用する方法であって、
コンピュータベースのツールを使用して、第１形態から第２形態へ変換されるデータの集合を識別するステップを備え、前記データの集合はコンテキスト不定であり、方法はさらに、
コンピュータベースのツールを使用して、データの特定のコンテキスト内でデータを変換するための１つ以上の変換規則を各々が含む複数のスキーマにアクセスするステップを備え、前記１つ以上の変換規則は少なくとも部分的に前記特定のコンテキストに基づき、方法はさらに、 
コンピュータベースのツールを使用して、インデックス付き文字列マッチングにより、前記データの集合を前記複数のスキーマの少なくとも一部と比較するステップを備え、前記インデックス付き文字列マッチングは、前記データの集合および前記複数のスキーマとは独立して行われ、方法はさらに、 
コンピュータベースのツールを使用して、前記比較するステップに少なくとも部分的に基づいて、選択されるスキーマを前記複数のスキーマから選択するステップと、 
前記第１形態から前記第２形態へ前記データの集合を変換するために、前記選択されるスキーマの前記１つ以上の変換規則を前記データの集合に適用するステップとを備える、方法。
【請求項２】
前記アクセスするステップは、公共スキーマを識別するステップを含み、前記公共スキーマは、前記データの集合に関連付けられた任意の主体もしくは主体のグループとは独立して主題領域に概して適用可能な変換規則を含み、主題領域の少なくとも一部を理解するための構造を確立する、請求項１に記載の方法。
【請求項３】
前記公共スキーマには、セマンティックオブジェクトの容認された公共定義が伴う、請求項２に記載の方法。
【請求項４】
前記アクセスするステップは、個人スキーマを識別するステップを含み、前記個人スキーマは、主題もしくは全体として前記公共より小さい主体のグループに特有の変換規則を含み、主題の少なくとも一部を理解するための構造を確立する、請求項１に記載の方法。
【請求項５】
前記インデックス付き文字列マッチングは、
前記データの集合および前記複数のスキーマの各々を１つ以上の特徴として表すことを含み、前記データの集合はソース特徴として表され、前記複数のスキーマは目標特徴として表わされ、前記インデックス付き文字列マッチングはさらに、
前記目標特徴に対応するインデックスをコンパイルすることを含み、前記インデックスは、各目標特徴を前記目標特徴を含む前記複数のスキーマの各々にマッピングすることを含み、前記インデックス付き文字列マッチングはさらに、
前記データの集合に関連して類似性メトリックが計算される前記複数のスキーマのサブセットを判定することを含み、前記複数のスキーマの前記サブセットは、前記複数のスキーマの全体よりも少なく、前記インデックス付き文字列マッチングはさらに、 
前記複数のスキーマの前記サブセットに対する前記データの集合についての類似性メトリックを計算することを含み、前記類似性メトリックは、少なくとも部分的に前記目標特徴と前記ソース特徴との間の共通性に基づく、請求項１に記載の方法。 
【請求項６】
前記方法はさらに、
コンピュータベースのツールを使用して、前記ソース特徴と前記目標特徴との間の最小類似性メトリックを確立するステップと、 
コンピュータベースのツールを使用して、少なくとも部分的に前記最小類似性メトリックに基づいて、判定動作における考慮からソース特徴を除去するステップとを備え、前記除去されたソース特徴は、前記最小類似性メトリックを超えることができない前記サブセットの複数のスキーマの目標特徴に対応する、請求項５に記載の方法。 
【請求項７】
前記方法はさらに、
コンピュータベースのツールを使用して、前記ソース特徴と前記目標特徴との間の最小類似性メトリックを確立するステップと、
コンピュータベースのツールを使用して、少なくとも部分的に前記最小類似性メトリックに基づいて前記インデックスから少なくとも１つのマッピングを取り除くステップとを備え、前記取り除く動作は、前記最小類似性メトリックを超えることができない前記複数のスキーマのものに対応するインデックスに目標特徴のみが含まれるように、前記インデックスから取り除かれる前記目標特徴の一部を判定することを含む、請求項５に記載の方法。
【請求項８】
類似性メトリックが計算される前記複数のスキーマのサブセットは、少なくとも１つのソース特徴と共通の１つの目標特徴を少なくとも含む、請求項５に記載の方法。
【請求項９】
各特徴に特徴重みを割り当てるステップをさらに備え、前記特徴の前記重みは、前記類似性メトリックへの前記特徴の寄与の尺度に対応し、前記ソース特徴にはソース特徴重みが割り当てられ、前記目標特徴には目標特徴重みが割り当てられ、前記ソース特徴重みは前記目標特徴重みとは異なる、請求項８に記載の方法。
【請求項１０】
前記特徴重みは、少なくとも部分的に前記複数のスキーマにおける前記特徴の頻度に基づき、上側閾値を超える頻度を有する特徴または下側閾値を下回る頻度を有する特徴には、低い頻度重みが与えられる、請求項９に記載の方法。
【請求項１１】
前記選択するステップは、変換される前記データの特定の主題もしくはコンテキスト、または前記複数のスキーマの主題もしくはコンテキストを参照することなく行われる、請求項１に記載の方法。 
【請求項１２】
前記適用するステップは、変換される前記データの集合の少なくとも一部のオブジェクト、属性、または属性値を識別するように、前記１つ以上の変換規則に鑑みて、変換される前記データの集合を解釈するための論理を実行することを含む、請求項１に記載の方法。
【請求項１３】
前記適用するステップは、前記選択されたスキーマによって規定されたオブジェクト、属性、または属性値の対応する集合に対し、前記オブジェクト、前記属性、または前記属性値の比較を行うことを含む、請求項１６に記載の方法。
【請求項１４】
前記比較は、前記選択されたスキーマによって規定されたオブジェクト、属性、または属性値の集合に対し、前記オブジェクト、前記属性、または前記属性値に対応する類似性メトリックを利用することを含む、請求項１３に記載の方法。
【請求項１５】
第１形態から第２形態へコンテキスト不定データを変換するために使用されるシステムであって、
コンピュータベースの文字列解析ツールによって実行可能であり、複数のスキーマの各々を複数のスキーマ特徴として表すように動作可能な特徴モジュールと、  
コンピュータベースの文字列解析ツールによって実行可能であり、マッピングを含むインデックスをコンパイルするように動作可能なインデックス付けモジュールとを備え、前記マッピングは、各スキーマ特徴を、前記スキーマ特徴を含む前記複数のスキーマの各々に相関させ、システムはさらに、 
コンピュータベースの文字列解析ツールによって実行可能であり、前記第１形態から前記第２形態へ変換されるデータの集合間の類似性メトリックを計算するように動作可能な類似性メトリックモジュールを備え、前記データの集合はコンテキスト不定であり、前記複数のスキーマの選択される部分の各々は、前記複数のスキーマ特徴と共通する少なくとも１つの特徴を有し、前記類似性メトリックは、前記データの集合と前記複数のスキーマの選択される部分の各々との間の特徴の共通性に関する定量値を含み、システムはさらに、 
コンピュータベースの文字列解析ツールによって実行可能であり、最小類似性メトリック閾値に基づく考察からの特徴の除去に少なくとも部分的に基づいて類似性メトリックが計算される前記複数のスキーマの前記選択される部分を判定するように動作可能な最適化モジュールと、 
少なくとも１つの選択されるスキーマを識別するためにデータの集合と前記複数のスキーマの前記選択される部分との間の類似性メトリックに基づいて選択するように動作可能な変換モジュールとを備え、前記変換モジュールは、前記選択されるスキーマのコンテキスト依存変換規則を前記データの集合に対して適用し、前記データの集合を前記第１形態から前記第２形態へ変換するように動作可能である、システム。 
【請求項１６】
前記変換モジュールは、前記変換されるデータの集合の前記コンテキストとは独立して動作する、請求項１５に記載のシステム。
【国際調査報告】
2015531499.tif 000041
2015531499.tif 000042
2015531499.tif 000043