(57)【要約】統語論、役割、主題、及びドメイン抽出を含む数種類の抽出を利用するフリーテキスト記録の解釈および構造化のためのシステム、方法、及び製品を開示する。また、解釈的抽出と構造データを統合し、データマイニング、視覚化ツール、または他のツールを用いて分析可能な統一された構造にするためのシステム、方法、及び製品を開示する。
2006509307.tif 000002
【特許請求の範囲】
【請求項１】
処理部と、
前記処理部によるデータへのアクセスを提供する１又は１以上のデータアクセスポートと、
前記処理部により読み取り可能な１又は１以上の一組の入力デバイスと、
（１）前記一組の入力デバイスを通じて一組のデータタプルを含む顧客の構造データのデータベースを参照する第一アクセス参照を読み、
（２）前記一組の入力デバイスを通じて前記構造データの前記データタプルに関連付けることができるフリーテキストを含む顧客の非構造データのソースを参照する第二アクセス参照を読み、
（３）前記第二アクセス参照を通じて前記非構造データのソースへアクセスし、
（４）前記非構造データの前記フリーテキストを解釈し、前記フリーテキスト中に含まれる少なくとも１つのリレーショナルファクトを反映する前記構造データのデータタプルに関連付けることができる一組の解釈されたデータを作成し、
（５）前記構造データのデータベースにアクセスし、
（６）前記作成したデータを前記構造データの前記データタプルに統合する、
機能を実行する前記処理部により実行可能な指示を含む記憶装置と、
から構成される構造データ及び非構造データを統合するサービスを提供するシステム。
【請求項２】
前記非構造データの前記ソースへアクセスする処理は、前記構造データのデータベース中に含まれるテキストにアクセスする請求項１記載のシステム。
【請求項３】
前記第一アクセス参照と前記第二アクセス参照とは別個のデータソースを参照する請求項１記載のシステム。
【請求項４】
前記指示は更に、前記フリーテキストの解釈を実行しながら格フレームを適用する機能を遂行することが実行可能である請求項１記載のシステム。
【請求項５】
前記指示は更に、
（７）前記一組の入力デバイスを通じて製品データベースの位置を提供する記憶参照を読み、
（８）前記統合により作成された前記統合されたデータを含む新たなデータベースを作成し、
（９）前記記憶参照により参照された前記位置に前記新たなデータベースを保存する、
機能を遂行することが実行可能である請求項１記載のシステム。
【請求項６】
前記指示は更に、前記作成済データを統合する処理を遂行しながら、前記作成済データを前記第一アクセス参照によって参照される構造データの前記データベースへ挿入する機能を遂行することが実行可能である請求項１記載のシステム。
【請求項７】
前記指示は更に、前記作成済データを統合する処理を遂行しながら新たなデータベースを作り出す機能を遂行することが実行可能である請求項１記載のシステム。
【請求項８】
前記指示は更に、前記統合によって作成された前記統合データを含む新たなリレーショナルデータベースを作成することが実行可能である請求項７記載のシステム。
【請求項９】
前記指示は更に、前記統合により作成された前記統合データを含むファイルを作成することが実行可能である請求項７記載のシステム。
【請求項１０】
前記指示は更に、ＸＬＭ、キャラクタセパレイティドバリュ（character separated value）、スプレッドシート形式、及びファイルベースのデータベース構造のグループの中から選択された形式を有するファイルを作成することが実行可能である請求項９記載のシステム。
【請求項１１】
前記指示は更に、前記作成済みデータを統合する処理を遂行しながら統合済みデータベースを保存することが実行可能である請求項１記載のシステム。
【請求項１２】
前記作成済みデータを統合する処理の遂行により作成された前記統合済みデータは解釈済みデータ用の前記オリジナルフリーテキストへの参照情報を含む請求項１記載のシステム。
【請求項１３】
前記指示は更に、前記統合済みデータのデータマイニングを遂行することが実行可能である請求項１記載のシステム。
【請求項１４】
前記指示は更に、前記統合済みデータの一部または全部を視覚表示することが実行可能である請求項１記載のシステム。
【請求項１５】
前記一組の入力デバイスを通じて一組のデータタプルを含む顧客の構造データのデータベースを参照する第一アクセス参照を読み、
前記一組の入力デバイスを通じて顧客の非構造データのソースを参照する第二アクセス参照を読み、前記構造データの前記データタプルに関連付けることができるフリーテキストを含み、
前記第二アクセス参照を通じて前記非構造データのソースへアクセスし、
前記非構造データの前記フリーテキストを解釈し、前記フリーテキスト中に含まれる少なくとも１つのリレーショナルファクトを反映する前記構造データのデータタプルに関連付けることができる一組の解釈されたデータを作成し、
前記構造データのデータベースにアクセスし、
前記作成したデータを前記構造データの前記データタプルに統合する、
ステップを含む構造データ及び非構造データを統合するサービスを提供する方法。
【請求項１６】
前記非構造データのソースへアクセスする処理は、前記構造データのデータベース内に含まれるテキストへアクセスする請求項１５記載の方法。
【請求項１７】
前記第一アクセス参照及び前記第二アクセス参照が別個のデータソースを参照する請求項１５記載の方法。
【請求項１８】
前記ステップは更に、前記フリーテキストを統合する処理を遂行しながら格フレームを適用するステップを含む請求項１５記載の方法。
【請求項１９】
前記ステップは更に、
（７）前記一組の入力デバイスを通じて製品データベースの位置を提供する記憶参照を読み、
（８）前記統合により作成された前記統合されたデータを含む新たなデータベースを作成し、
（９）前記記憶参照により参照された前記位置に前記新たなデータベースを保存する、
ステップを含む請求項１５記載の方法。
【請求項２０】
前記ステップは更に、前記作成済みデータを統合する処理を遂行しながら、前記作成済みデータを前記第一アクセス参照により参照された前記構造データのデータベースへ挿入するステップを含む請求項１５記載の方法。
【請求項２１】
前記ステップは更に、前記作成済みデータを統合する処理を遂行しながら新たなデータベースを作り出すステップを含む請求項１５記載の方法。
【請求項２２】
前記ステップは更に、前記統合により作成された前記統合済みデータを含む新たなリレーショナルデータベースを作成するステップを含む請求項２１記載の方法。
【請求項２３】
前記ステップは更に、前記統合により作成された前記統合済みデータを含むファイルを作成するステップを含む請求項２１記載の方法。
【請求項２４】
前記作成済みファイルは、ＸＬＭ、キャラクタセパレイティドバリュ（character separated value）、スプレッドシート形式、及びファイルベースのデータベース構造のグループの中から選択した形式を有する請求項２３記載の方法。
【請求項２５】
前記ステップは更に、前記作成済みデータを統合する処理を遂行しながら統合済みデータベースを保存するステップを含む請求項１５記載の方法。
【請求項２６】
前記作成済みデータを統合する処理の遂行により作成された前記統合済みデータは解釈済みデータ用の前記オリジナルフリーテキストへの参照情報を含む請求項１５記載の方法。
【請求項２７】
前記ステップは更に、前記統合済みデータをデータマイニングするステップを含む請求項１５記載の方法。
【請求項２８】
前記ステップは更に、前記統合済みデータの一部または全部を視覚表示するステップを含む請求項１５記載の方法。
【発明の詳細な説明】
【関連する出願】
【０００１】
本出願は、２００２年１２月６日に出願された、米国仮出願番号第６０／４３１，５３９、第６０／４３１，５４０、及び第６０／４３１，３１６の利益を主張する。上記各出願は全体として参照することによりここに含まれる。
【技術分野】
【０００２】
本出願は、概して、フリーテキスト記録からリレーショナルファクトの性質を有する構造データを関連的に生成するために機能するコンピューティングシステムに関し、特に、解釈的フリーテキスト情報と構造データ記録を関連的に統合するために機能するコンピューティングシステム、フリーテキスト記録からリレーショナルファクトを抽出するため機能するシステム、または、データマイニングやデータの視覚化を目的とした解釈済みフリーテキスト記録を関連的に構造化するためのシステムに関する。
【発明の開示】
【０００３】
統語論抽出、役割抽出、主題抽出、及びドメイン抽出を含む数種類の抽出を利用するフリーテキスト記録を解釈し、関連的に構造化するためのシステム、方法、及び製品について以下に開示する。また、構造データを有する解釈的なリレーショナルファクト抽出物を、データマイニング、視覚化ツールや他のツールを用いて分析することができる、統一された構造にするためのシステム、方法、及び製品について開示する。本発明の多様な実施例に関する詳細な情報は、以下の詳細な説明に示される。
【０００４】
以下、いくつかの実施例の詳細を見ていく。
【発明を実施するための最良の形態】
【０００５】
以下は関連的に構造化されたデータ（又、時には単純に構造データ）について考察する。関連的に構造化されたデータは、データのリレーショナルモデルに基づき自動的なプログラムによる処理を促進するため、データを関連的構造に組織化することが目的であると一般的に理解されている。関連的な構造化は、将来の処理ステップにおいてデータを配置するのにそのデータの解釈を必ずしも必要としない一組の規則によるデータの拾上げを可能とする。データのリレーショナル構造の例としては、リレーショナルデータベース、テーブル、スプレッドシートファイル等がある。データのフォーマットと記憶場所が規則的なパターンに従っている場合は、紙による記録もまた構造データを含むことがある。それゆえ紙による記録が、ＯＣＲ（オーシーアール）処理を介してスキャンされ、文字処理され、構造化データが個別の記録ごとに既知の記憶場所に取り込まれる場合がある。
【０００６】
その一方、フリーテキストは言語規則に基づく人間が理解可能な言語における表現である。しかし、必ずしも構造的規則にのっとるものではない。本出願において詳細に開示されるシステムおよび方法はコンピュータコード化形式における、英語言語におけるフリーテキストを例として使用しているが、コンピュータ読取可能な表現である他のいかなる人間語、例えばASCII(アスキー)、ＵＴＦ８（ユーティーエフ８）、ピクトグラフ、音声記録、及び話し言葉、書き言葉、印刷された文書の画像、またはジェスチャーの人間語等を含み、それらに限定されない。
【０００７】
以下で複数種類の格フレームも参照する。一般的に、格フレームは、ある言語構成を特定し、抽出されるその言語構成の要素を特定するものである。例えば、統語論の格フレームは構文解析された文章に適用され、主語及び能動態動詞を含む節を特定し、主語動詞句を抽出する。統語論の格フレームはまた、語彙フィルタを使用してその特定プロセスを律即する。例えば、「訴える」という単数能動態動詞の主語を抽出する格フレームを作ることにより法律文章における原告の名前を抽出したい場合がある。主題役割のような他の格フレームのタイプが作られ、そのパターンが統語論構文にではなく、主題役割関係に適用される場合がある。一つ以上の格フレームが一つの文章に適用される場合がある。数々の事情においてはそれが望まれない場合や不必要な場合があるが、必要であれば、選択プロセスが、ある特定の文章に適用する格フレームの数を減少させるために利用されることがある。
【０００８】
今日、多数の組織がコンピュータシステムを利用して自らの事業活動に関するデータの収集を行っている。この情報は時に、購入依頼や発送記録、または金銭取引等の取引に関するものである。情報は、電話記録やイーメールによる通信のような他の事項であることがある。あるビジネスにおいては、顧客サービスの詳細な記録、顧客の身元を時には含む付帯情報等の記録情報、商品識別、データ、プロブレムコード、または言語問題の記述、問題を解決するためにとられるステップの言語学的記述、また時には提案済の解決法等を保管する。過去においては自動ツールが無いことや、それらの活動の高い人件費により、それら記録の言語学的要素の研究や分析を行うことは好まれていなかった。むしろ、調査目的で後々必要になったときのために、単に保管されていた。
【０００９】
コンピュータ機器がさらに強力で手ごろな値段になってくるにつれ、多数の組織が事業活動において収集したデータの解析を遂行する意味を理解するようになってきた。そのような分析プロセスの例として、商品モデルによる部品交換の傾向、特定の地理的地域における販売商品数、４半期における営業マンの生産性等がある。コンピュータ実行されるそれらの分析プロセスにおいて、形式が高度に組織化され、コンピュータにより容易に読取可能で、解釈可能な、例えば表形式のようなデータが利用される。それにより、今日のほとんどのデータ収集活動が、例えば、主語が１から５までの中から１つの数を選択することを可能にすることや、主語の満足や不満足を表示するチェックボックスを選択すること等の簡単な構造の形式にデータを収集することに集中している。
【００１０】
表構造データまたはリレーショナル構造データは、コンピュータ分析へ極めて修正可能なデータである。なぜなら広く認知され、効率のよいデータベースモデルであるリレーショナルデータベースにおける使用に適しているからである。実に、数々のビジネスにおいてインフォメーションテクノロジー（ＩＴ）システムやデータ収集手順の中核として、リレーショナルデータベースマネージメントシステム（ＲＤＢＭＳ（アールディービーエムエス））が使用されている。リレーショナルデータベースモデルは、ビジネス分析にうまく使われている。なぜなら、事実、事象（及びそれらの属性）をリレーショナル構造形式にコード化するからである。その事実、事象、及びそれらの属性は、しばし後にカウントされ総計される要素であって、統計的に処理されてビジネスプロセスへの洞察を得る。例として、食料品店のチェーンで何の商品が売られているかを追跡する在庫管理システムを考える。顧客は２斤の食パン、１房のバナナ、及びピーナッツバター１瓶を購入する。在庫管理システムはそれらの決済を３つの購買事象として記録し、各々の事象が、購入された品目の種類、価格、購入量、及び店舗の場所の属性を有している。これら事象と対応する属性は表形式に記録され、各行（又はタプル）が事象を表し、各列が属性を表す：
【００１１】
【表１】
2006509307.tif 000003
【００１２】
一つのチェーンにおけるすべての店舗からの購買事象でこのように埋められたテーブルは、おそらく数百万のタプルとなる非常に大きなテーブルとなることがある。人間は、そのような膨大な量の生データを解釈し、傾向を見つけることは困難であるが、ＲＤＢＭＳ（アールディビーエムエス）を含むシステムと補助的な分析ツールが管理可能な仕事へとその努力を支援する。
【００１３】
例えば、仮にＲＤＢＭＳがストラクチャードクエリーラングエッジ（Structured query language（以下、SQL））コマンドを受入れるように使用された場合、以下のようなコマンドがシカゴ店において売られる品目の平均価格を見つけるのに使用される場合がある。
SELECT AVG (PRICE)
FROM PURCHASE_TABLE
WHERE STORE_LOCATION=CHICAGO
（平均（価格）を選択
購入テーブルから
店舗の位置はどこ＝シカゴ）
【００１４】
ＲＤＢＭの使用は、共通の列を通して、一つのテーブルの行を他のテーブルの行と連結させることができる。前述の例において、ユーザは購買事象テーブルと従業員の給与テーブルを店舗位置列で連結させることができる。これにより、各店舗において支払われる合計給与に対する購入された品目の平均価格の比較を可能とする。行及び列においてテーブルを列の価値を介して連結し、平均、合計、集計等の統計処理を実行する能力により、リレーショナルモデルが強力で望ましいデータ分析プラットフォームになる。
【００１５】
しかしながら、リレーショナル構造データはある組織により収集されたデータの一部分のみしか表さない場合がある。利用可能な非構造データの量は、しばしば構造データの量を超えることがある。その非構造データはしばしば、テキスト記録や文章、または文書全体の小さな収集物であり、ＲＤＢＭによって簡単には行と列の構造にすることができない情報を伝達する自然言語やフリーテキストの形式をとる場合がある。従って、通常のＲＤＢＭ処理はそのようなフリーテキストを含んだ情報の抽出、検索要求、選別、または操作を行う能力がほとんどない。
【００１６】
いくつかのＲＤＢＭは文字または他の処理不可能な内容をデータの単数塊、ＢＬＯＢ（ビーオーエルビー（binary large object（バイナリーラージオブジェクト）））として保存する能力を有する。そのデータはリレーショナルデータベースとして保存されるが、システムは処理不可能な雑データの種類ととらえる。１テーブルの１列がＢＯＬＢｓを含むよう定めることができ、それによりフリーテキストをそのテーブルに保存することを可能とする。過去においては、このアプローチは非構造データのための保存機構を提供するためだけに有用であり、リレーショナルデータベース検索要求がそれらデータを処理するほど高性能で無かったため、あらゆるレベルの処理や分析を実行することはなかった。そのため、ビジネス分析のためのリレーショナルデータベースに含まれた、非構造フリーテキスト（キャラクタストリング、ＢＬＯＢは別として）に捕らえられたデータの処理は技術的に知られていなかった。
【００１７】
今日、多数のビジネスにおいて、例え自動的に分析されなくとも、テキストデータの収集は行われている。これらのデータは、コード化機構によるものより、より内容を豊富にして事業活動の履歴的記録の事象として保存される。これは例えば、特定の顧客との関係の記録を提供する等、有用である。また、例えば、電器製品の製造業者は、コールセンターを維持し、それにより顧客が製品を使用しているときに援助が必要な場合、電話をかけたり、製品の不具合を通報したり、サービスを申し込むことができる。顧客が電話した際、製造業者の取次者は記録を取り、後にもしその同じ顧客が電話した時、異なる取次者がその顧客の履歴を参照する。
【００１８】
今日、組織がテキスト形式で保存する情報量は膨大であり、日々増え続けている。典型的な組織のデータは、事実上、９０パーセントがテキストである。テキストベースのデータ価値は、外部からデータを組織に取り込む環境、例えば、コールセンターを介しての顧客との相互関係やディーラーサービスセンターを介する保証記録等においては特に高い。
【００１９】
ビジネスにおいては、手動の分析手順を介した上述のコールセンターの例のような低いレベルでフリーテキストデータの分析が遂行されることがある。その活動においては、アナリストのグループが、コールセンターの記録の代表サンプルから顧客相互関係情報収集物における傾向と外れ値を読む。アナリストは、もしテキストから抽出でき構造データタプルに変換できるならリレーショナルテーブルに保存することができるであろう事実や事象、属性を見つける場合がある。
【００２０】
上述のグローサリーストアの例では、購買事象の情報はリレーショナル構造のテーブルの行及び列へコード化される。その同じ情報が、「ジョンは、シカゴ店で２本の食パンを各々２．８７ドルで購入した」等の自然言語でも保存される。あるビジネス状況や実務では、上述の顧客サービスセンタの例にあるように、主に自然言語記録が保存されることを必要とする。他の状況においては、構造データと自然言語記録の両方を、少なくともそれらの記録が事象や他の関連により関係付けられた状態で、保管することが望ましいであろう。自然言語記録から情報を抽出するために、その情報を分析に適した形式に翻訳する解釈ステップを実行することがある。そしてその翻訳後の情報は統合または連結ステップであり、リレーショナル構造データの拡大されたセットに対する分析を可能とする構造データソースと組み合わされる場合がある。
【００２１】
フリーテキストから分析用に抽出物を生成する方法の一例を図１で説明する。事業や他の事業体の活動を通し、ある量のフリーテキストがデータベース１００に収集される。データベース１００は自然言語解釈ステップを介さずには簡単な処理が不可能なフリーテキストデータを含む入力を含む。解釈ステップ１０２が実行され、そこでデータベース１００のフリーテキストデータが解釈処理を受ける。一組の構文解析や他の解釈規則による解釈によって解釈されたデータである抽出物１０４が生成される。抽出物１０４は例えばディスクに保存される場合もあるし、次のステップのための中間データとして短期間保存メモリに保存される場合もある。好適例の一つの方法として、解釈ステップ１０２は、統語論格フレームを含む。他の方法として、解釈ステップ１０２は役割／関係抽出の生成を含む。そして抽出物１０４は、後述するいくつかの例のように、表にされ１０６、または処理が簡便になるよう表形式に編成される。そして表にされた結果物は、分析１１０の入力の役目をはたすデータベース１０８へ保存される。
【００２２】
他の好適な混合データ、構造データ、非構造データの統合方法を、図２により説明する。本例においては、テキストデータベースはフリーテキストの各値を含んだものが与えられている。事業活動を介し、構造データはデータベース２０６に収集される。データベース２０６は、互いの関係における価値等を解釈する自然言語構文解析ステップを必要としないデータである例えば、シリアル番号、名前、データ、数値、実行可能スクリプト等、構造データを含む入力を含む。データベース２００及び２０６（そして上述の１００）はリレーショナルデータベースマネージメントシステム（ＲＤＢＭＳ）に保持されている場合がある。しかし、データベースはコンピュータによりアクセス可能な、例えばフラットファイル、スプレッドシート形式、ＸＭＬ、ファイルベースのデータベース形式、または他の一般に良く使われる形式のような、どんな形式でもよい。データベース２００及び２０６は説明のため、異なる実体のものとして示したが、これらのデータベースは分離する必要はない。他の例のシステムにおいては、２値の埋め込みオブジェクトや文字列の形式で、構造データ２０６のタプルに含まれるデータベース２００のフリーテキストが入力され、ベース２００及び２０６は同じものである。他の好適なシステムにおいては、例えば、フリーテキストと構造データ両方の組を特定するＸＭＬの入力のように、フリーテキスト及び構造データの両方が共通の形式で保存されている。その他の多数の形式も好まれて使用される場合がある。解釈２０２は図１の方法のように、抽出物２０４を生成する。
【００２３】
テキストデータベース２００に含まれるフリーテキスト情報は、明示または暗示のリファレンスや他のリレーショナル情報と共に提供され、フリーテキスト情報が構造データ２０６の一またはそれ以上の入力と関連することを可能とする。第２のステップ２０８において、抽出物２０４は構造データ２０６と結合し、もっと完全な結合データベース２１０を形成する。データベース２１０はデータソースと分離したデータベースとして示したが、統合または結合データが、例えばもとの構造データ２０６の追加の列等に返される場合がある。そしてデータベース２１０は、後述の例で説明するように、分析活動２１２の入力として使用される場合がある。
【００２４】
データの収集物の多様な実施においては、いくらかの非構造フリーテキストに加えて構造データが収集されるというような数々の場面がある。例えば、ある特定の問題、場面、状況に対応するコードや適合させたキーフレーズを定める場合がある。それらのコードやフレーズを定めるにあたり、ある一定量の予想及び／または洞察が有用でありそうなコードの組を作り出すのに用いられる。例えば、ソフトウエアプログラムは「エラー４５：ディスクがいっぱい」という一組のコードやフレーズを用いる場合がある。そのソフトウエアプログラムは、ソフトウエアが使用される際、何がうまくいかないかを開発者が理解することにより定められ、データ収集プロセスにおいて使用される一組のエラーコードをもともと含む。
【００２５】
もっとも単純な製品に対しても、デザイナーはテスト環境や開発外においてその製品がどのように機能するかについて限られた理解しかない。ほとんど起こることが想定されないある問題は、もっと頻繁にまたもっと重要度を持って対処される。ある製品の販売後、またはコード設定後、予想しない問題が発生することもある。更に多数の製品が、多数の製品バージョンで製造設備、販売チャネル、そして市場の各段階を経る。製品が新しい段階に入ると、コードが定められていないことで新しい状況や問題に遭遇することがある。
【００２６】
従って、データの収集においては、ある人が適合するコードを持たない状況に遭遇する場合がある。そしてその人は、例えば雑コードを使用したりノート部分にフリーテキストを入力したりして状況の詳細をメモに残す。これらの非構造であるメモの入力は、自然言語解釈ステップなしではＲＤＢＭＳや他の分析処理プログラムによって直接的に処理可能ではない。そのため、そのメモの入力情報は、先行のシステムにおいて人間の分析なしでは分析が難しい場合がある。
【００２７】
いくつかの開示されたシステムは、構造またはコード化情報と組み合わせたビジネス状況や、単独のビジネスにおいて有用なメモ情報からの情報抽出を提供する。顧客サービスセンターは今日、例えば顧客ごとに整理された大量のデータやメモ情報を収集する。多数の製品製造業者は、修理の際品物が戻されるように、製品の個別をトラブルチケット上に入力されたシリアルナンバーで追跡している。そのようなトラブルチケットの情報は技術者により入力され、取られるべき診断や修正のアクションが示されている。同様にして、航空会社は、例えば飛行機の維持記録や個別の乗客のルートデータ等、多量の情報をその運営の中で収集する。航空会社は、例えば重大な可動部の磨耗のような、分類できない問題の早期特定を望んでいる場合がある。航空会社はまた、フリーテキストを含む場合がある乗客の体験のような乗客からのフィードバックを収集し、そのフィードバックとルート、飛行機の型、チケットセンターまたは人事を関連付ける場合がある。
【００２８】
同様に自動車製造業者は、サービスとして保証に組み込まれている市場における共通の問題及びその解決方法を特定する。兆候、行動、及び顧客の経験を反映したほとんどの情報は、事実上文字であり、自動車修理のための一組のコードは、手に負えないほど大きなものであることがある。電気通信業界、エンターテイメント業界、公益事業会社もまた、サービスマンから膨大な量の文字情報を収集する。小売及び販売組織もまた、開示システムの使用により、特定の販売員に関連付けすることができる解釈後の顧客のコメントの追跡を通し、利益を得ることができる。
【００２９】
開示のシステム及び方法は、例えば新たな法律が施行されるときに、法律施行機関によっても使用される。交通ルールの召喚状は、特定の交通違反のカテゴリ別のコードと共に、綴りに印刷される。施行機関はコードに表示されない文字コメントを収集することがあり、繰り返し違反される法律の施行への対策を講じる（即ち、運転手は子供たちの行動が抑制されないよう繰り返し停止させられる）。同様に、保険会社も開示のシステム及び方法から利益を得ることがある。それらの組織は、膨大な量の文字情報、即ちクレーム情報、診断、評価、調整等の情報を収集する。その情報は、もし分析されると、被保険者個々人、また精算人、管理人、代理人の行動パターンを明らかにする。その分析は、それらの人々の不正使用を発見したり、不正なクレームや精算を潜在的に発見したりするのに有益な場合がある。同様に、文字データの分析は、従業員への不正な支払等、他の不正使用の形式の発見を導くこともある。開示のシステム及び方法は、実に多数の事業活動や状況への適用ができることがわかる。
【００３０】
開示の方法のうちのいくつかにおいて、統合記録及びデータベースが作られる。統合記録は構造データベース記録からのデータ及び対応するフリーテキスト解釈からの抽出済リレーショナルファクトデータの組み合わせである。統合記録は、構造記録からのデータ及び解釈データ間に関連が維持されるが、例えばテーブルの行のような、データ構造と同じように組み合わされる場合や、異なるファイル、記録または他の構造で存在することもある。
【００３１】
フリーテキストの解釈はいろいろな方法により有利に遂行されることがあり、その方法のいくつかが開示される。一解釈的方法において、統語論格フレームは統語論的抽出物を生み出すのに用いられる。他の解釈的方法においては、主題役割は言語学的構造で特定され、それらの役割は、属性価値対に対応する抽出を提供するのに用いられる。更に関連する解釈的方法において、主題格フレームは特異なまたは独特な属性抽出が成されるのを減少させるために適用される。他の関連する解釈的方法は更に、ドメイン役割に主題役割を割り当て、リレーショナルファクト抽出物を生成する。
【００３２】
ここに開示の解釈的方法は、言語学的構文解析のステップにより当初遂行される。本言語学的構文解析ステップにおいて、構造は文法的部分を含み、そしていくつかの場合、役割を処理済テキスト記録中に含む。他の構造が使用される場合もあるが、構造は言語学的構文解析ツリーの構造をとる。構文解析ステップは名詞、動詞、前置詞、副詞、形容詞、その他文章の文法的部分に対応する単語や句を含む構造を生成する。説明のため、次のような単純な文章を使用する。
【００３３】
（１）John gave some bananas to Jane.
（（１）ジョンはジェーンに何本かのバナナをあげた。）
文章（１）において、構文解析ツールは次の出力を生成する。
CLAUSE: 
NP
John
VP
gave
NP
ADJ
Some
bananas
PP
PREP
to
NP
Jane
（節：
名詞句
ジョン
動詞句
あげた
名詞句
形容詞
何本かの
バナナ
前置詞句
前置詞
へ
名詞句
ジェーン）
【００３４】
出力は統語論格フレームの適用のためには十分であるが、ごくわずかな解釈情報を含んでいる。もっと洗練された言語学的構文解析ツールは、わずかな解釈情報を生成することがある。
CLAUSE: 
NP (SUBJ)
John [noun, singular, male]
VP (ACTIVE VOICE)
gave [verb, past tense]
NP (DOBJ)
some [quantifier]
bananas [noun, plural]
PP
to (preposition)
NP
Jane [noun, singular, feminine]
（節：
名詞句（主語）
ジョン［名詞、単数、男性］
動詞句（能動態）
あげた［動詞、過去形］
名詞句（直接目的語）
何本かの（修飾語）
バナナ［名詞、複数］
前置詞句
へ（前置詞）
名詞句
ジェーン［名詞、単数、女性］）
【００３５】
上記出力は文章の各単語の話し言葉のパーツを示しているだけでなく、能動態や受動態かの動詞の態、文章の主語の属性、主語や直接目的語の役割割当も示している。言語学的構文解析ツールは幅広い種類が存在し、複雑さの度合いが異なる出力情報を提供する場合がある。例えばいくつかの構文解析ツールは、主語や直接目的語統語論役割を割当てなかったり、他のものは統語論分析をより深く実行することもある。一方、更に他のものはパターン認識技術や規則セットの適用を通して言語学的構造を推論するものもある。統語論役割情報を提供する言語学的構文解析は、入力を主題役割の特定や解釈の次のステップへ送るのに望ましい。
【００３６】
主題役割は一般的に、統語論役割が特徴付けられ抽出可能になると、言語学的構文解析の段階の後に特定される。主語、直接目的語、間接目的語、前置詞の目的語、等が特定される。統語論役割を抽出に使用すると、非常に異なる統語論役割をもつ文字の意味的に類似する断片を幅広い範囲で生成する。例えば、次の文章が文章（１）として同じ情報を伝達するが、非常に異なる言語学的構文解析出力を有する：
(2) Jane was given some bananas by John. 
(3) John gave Jane some bananas. 
(4) Some bananas were given to Jane by John. 
（（２）ジェーンはジョンから何本かのバナナをもらった。
（３）ジョンは、ジェーンに何本かのバナナをあげた。
（４）何本かのバナナがジョンからジェーンにあげられた。）
【００３７】
この曖昧さを避けるために、言語学的構文解析ツール製品は更にテキスト記録のアクションにおいて、各要素がどの役割を担うかを決定するのに使用される場合がある。即ち、主題役割を割当てる。次の表は、そのような割当に有用な主題役割の部分的な組を示す。
【００３８】
【表２】
2006509307.tif 000004
【００３９】
各文章（１）から（４）は、３つの主題役割が一貫している。ジョンは動作主でジェーンが受領者、そして目的物はバナナである。
【００４０】
主題役割の割当の使用は、各文法的置換のため対応するカテゴリを排除する効果を有するある特定の文法の情報を減少したり、排除したりすることによって、テキスト記録に含まれた情報の形式を単純化することができる。そのため、ほとんどテキスト記録のカテゴリゼーションが解釈のプロセスにおいて生成されず、それが、現に説明している格フレームの適用を単純化している。文章（１）については、役割情報が付加された解釈的中間構造は、次のような形式を取る場合がある：
CLAUSE: 
NP (SUBJ) [THEMATIC ROLE: ACTOR]
John [noun, singular, male]
VP (ACTIVE＿VOICE)
gave [verb, past tense]
NP (DOBJ) [THEMATIC ROLE: OBJECT]
some [quantifier]
bananas [noun, plural]
PP
to (preposition)
NP [THEMATIC ROLE: RECIPIENT]
Jane [noun, singular, feminine]
（節：
名詞句（主語）［主題役割：動作主］
ジョン［名詞、単数、男性］
動詞句（能動態動詞）
あげた［動詞、過去形］
名詞句（直接目的語）［主題役割：目的物］
何本かの［修飾語］
バナナ［名詞、複数］
前置詞句
へ（前置詞）
名詞句［主題役割：受領者］
ジェーン［名詞、単数、女性］）
【００４１】
主題役割抽出は、続く解釈の段階へのきっかけを与える追加情報を含むことも望ましい場合もあるが、主題役割情報以上のものは何も含んでいないこともある。主題役割情報は分析活動において有用な場合があり、必要であれば、解釈的ステップの出力である場合がある。
【００４２】
構文解析と主題役割の割当の後、主題格フレームは抽出されるべきテキスト記録の要素を特定するのに適用される場合がある。その適用は特定の主題役割の特定や、文字の断片に対するアクションを提供し、生成した抽出物をフィルタにかける。例えば、あげる（giving）という行動の特定のための主題格フレームは、次のように表される：
ACTION: giving
ACTOR-        Domain Role: Giver-Filter: Human 
RECIPIENT-    Domain Role: Taker-Filter: Human 
OBJECT-        Domain Role: Exchangeable item 
（行動：あげる
行動主−ドメイン役割：あげる主−フィルタ：人間
受領者−ドメイン役割：受取主−フィルタ：人間
目的物−ドメイン役割：交換可能品目）
【００４３】
本例格フレームによると、条件は（１）行動主は人間、（２）受領主は人間、そして（３）目的物は交換可能、である。この格フレームは、あげる事象が動詞“give（あげる）”の周辺形式に焦点を当てた行動として限定され、そして状況に応じて同義の他の動詞形式と組み合わさって、役割抽出物が“あげる”事象に関連して見出されたときいつでも適用することができる。
【００４４】
解釈は指定の役割のみを考慮することもあり、指定しない役割の有無を考慮することもある。例えば、解釈はワイルドカードになる指定しない役割条件を考慮することがある。それにより、上記例の主題役割格フレームが場所や時間、その他の役割を有する言語と適合したり、対応する役割を提示しない文章と適合したりするのを示すことができる。格フレームはまた、特定の分析活動の目的で、詳細すぎたり不完全すぎる文章の断片を排除するために、例えば時間のような役割の有無のみを要求することもある。
【００４５】
多数の状況下において、被試験属性との関連を有する単語や句を含む辞書が使用されることがある。例えば辞書は、“バナナ”が交換可能な品目であることを示す入力を有する場合がある。しかし、単数の文章における情報は、特定の役割が主題格フレームの条件に合うかどうかの決定のためには十分でない場合がある。例えば、文章（１）は動作主の名前（ジョン）及び受領者（ジェーン）の名前を与えるが、ジョンとジェーンがどんな分類に属するか特定していない。ジョンとジェーンは更なる情報がなくとも人間であることが類推されるが、ジョンとジェーンは、文章に含まれる情報のみの使用からは、チンパンジーである可能性が排除できない。したがって、もっと高度な解釈方法は、例えばテキスト記録全体や同じ段落内における節や文章に注目して、フリーテキスト記録中の他の節や文章から必要な情報を探すこともある。解釈はまた、もし別個の参照物、本、記事等の他の情報ソースが入力として利用可能な場合、もしその情報が解釈中の文字に対する関連しそうな情報を含んでいると分かる場合は参照することもある。もし周辺の節、文章、段落または他の関連する構成要素が解釈中の場合、主題格フレームの適用は、他の構成素材が処理されるまで保留になる場合もある。必要であれば、格フレームの適用はいくつかのパス中で進み、“簡単な”文字の断片が最初に、そしてもっと不明瞭なものへ順に進んでゆく。
【００４６】
テキスト記録は複数のテーマや主題役割を含むことがある。例えば、文章「給与の支払を受けたジョンは、ジェーンに数本のバナナをあげた」は２つの役割を含んでいる。第一の役割はジョンがジェーンにバナナをあげたという動作における受領主に関わる。第二の役割はジョンが給与の支払を受けたという動作における受領主に関わる。解釈のプロセスは、扱いやすいように役割の数を節に対して１つに保つことが、ある状況下においては望ましい場合もあるが、句、文章、記録ごとのテーマの抽出の数を限定する必要がない。
【００４７】
解釈の出力は役割であることがあり、主題格フレームの適用を通し更にフィルタにかけられることがある。他の解釈方法においては、ドメイン役割が割当てられることがある。ドメイン役割は、より詳細な情報を伝える。上記の“あげる”格フレームにおいては、行動主は“あげる者（giver）”、受領者は“受取る者（taker）”、そして目的物は“交換した品目（exchanged item）”として認定される場合がある。それらのドメイン識別の割当は、更なる情報の提供や、より正確なカテゴリゼーションを提供する分析において有用である。例えば、フリーテキストの本体において、交換するすべての品目を認定することが望ましい場合がある。
【００４８】
多数のドメインが与えられた動詞形式や動詞形式カテゴリのために存在する。次のテーブルは基本動詞“ヒット（hit）”と関わりを持ついくつかのドメインの概要である。
【００４９】
【表３】
2006509307.tif 000005
【００５０】
従って、単数の一般的な主題格フレームはいくつかのドメインに適用可能である。ある状況においては、データベース中の情報の本質が、どのドメインが考慮するのに最適であるかを検知する。他の状況においては、解釈のプロセスはドメインを選択し、その選択したドメインは、解釈においてテキスト記録中に含まれる情報や、周辺の文字や、データベースの他の文字に含まれる他の情報を利用する。主題格フレームは、重要でないドメインの情報を取除いて必要なドメインの情報を特定し抽出物を出力することにより、検討中のテキストの一部用にドメインの種類を特定するよう詳細に作られることがある。
【００５１】
従って、解釈ステップの出力は詳細なドメインや、情報をフィルタにかけたドメインを含むことがある。そのような出力は一般的に、リレーショナルファクト抽出、または単にリレーショナル抽出とよばれる。リレーショナル抽出物は、データベーステーブルにリレーショナル抽出物の保存し、それゆえデータの比較と分析を容易にする比較的コンパクトな情報をその抽出物に含むことから、特に有益であることがある。リレーショナル抽出物はまた、構文解析プロセスに関連する表現よりはむしろ自然言語用語を利用することで、人間が分析や分析の解釈を行う能力を向上させることができる。
【００５２】
特に主題役割の割当が遂行されない場合、解釈プロセスは、統語論格フレームの使用を介してリレーショナル抽出物を追加で、または代わりに生成することがある。統語論格フレームは更に限定されてリレーショナル情報を生成する。例えば、上述の“あげる（giving）”主題格フレームに対応する統語論格フレームは以下のように置き換えられる：
ACTION: giving
SUBJECT-             Domain role: Giver-Filter: Human
PREP-OBJ: TO-        Domain role: Taker-Filter: human
DIRECT OBJECT-       Domain role: Exchanged Item
（行動：あげる
主語−              ドメイン役割：あげる主−フィルタ：人間
前置詞−目的物：へ−ドメイン役割：受領者−フィルタ：人間
直接目的物−        ドメイン役割：交換可能品目）
【００５３】
この統語論格フレームは例文（１）及び（２）に適用されるが、例文（３）及び（４）には適用されないことに留意すべきである。統語論格フレームは、例えば、文字の断片における文法の形式（名詞、動詞、等）のある具体的な配置や具体的な動詞の形式のように、具体的な文法規則により文章の部分または文章の断片をテストしているので、ある特定の統語論格フレームは通常一つの動詞や配置の組み合わせ以上とは適合しない。そのため、１セットとしての統語論格フレームの使用は、1セットごとに動詞／配置の組み合わせが都合良い。多数の格フレームが必要となり、また文法的複雑性があるため、主題格フレームの使用が多数の状況において使用される。
【００５４】
使用される解釈プロセスの種類に関わらず、結果物はリレーショナル抽出物や、抽出物の記録のセットであり、各抽出物は、必要に応じて、その各抽出物が抽出されたテキスト記録を参照することができる。それら参照を含包することは、オリジナルのフリーテキストを表示する統合データの視覚的表示から、ユーザ指示の受領を受けた分析的見地からの文字を含んでいる記録（または他のソース）において、具体的な位置にまで掘り下げることを可能とする。抽出の記録は、例えばＸＭＬ形式（エックスエムエル形式）を使用した人間により視認可能な形式及び／または編集可能な形式で出力される場合があり、新たなデータベースや中間データとしてメモリに出力される場合がある。抽出の記録はまた、ローカルディスクに保存されたり、後に使用するため中間データベースに保存されたり、またはデータストリームとして他のプロセスやコンピュータシステムに転送されることがある。
【００５５】
多数の状況下において、抽出の記録において役割及び／またはリレーショナルデータを合体させ、数を減少させ続く分析を単純化することが望ましい。例えば、抽出物は必要ない語彙の変化を含むことがある。文章“ウィンドウズは不具合がある…”、“ウィン９５は不具合がある…”、“処理システムは不具合がある…”、”ウィンドウズ９５は不具合がある…”等は、すべて同じ処理システムを参照する。処理ステップにおいて、これらの個別の表現は独立して数えられる。これらの表現は、共通のシンボルに統一され、分析プロセスがそれら表現を、傾向やつながり、関連、または他の特徴を見つける目的のためのグループとして特定する。論理的な規則の収集がこの機能を遂行するのに有効に利用され、抽出済み表現を置換えることによる最終的なデータベースが一貫した結果物を含むことになる。それらの規則は、正確なストリングの適合、基本的な表現の適合、または意味クラスの適合に基づいて表現された属性と適合する。
【００５６】
他の好適な方法として、事象が合体する場合がある、抽出記録において、関係や行動もまた望まないばらつきを有することがある、例えば、文字の断片“ウィンドウズは不具合がある…”、“ウィンドウズが故障した…”、“ウィンドウズがだめになった…”、そして“ウィンドウズが正しく動作しなかった…”はすべて同様の、ウィンドウズの処理システムの機能不良という事象を含んでいる。これらの変化各々は、異なる主題格フレームである少しずつ異なる抽出メカニズムにより抽出される。方法は意味的に同様な表現を認識し、同様な役割を減少させる。その方法は、関係や行動をいくつかの方法で表現する、関係や行動の分類を利用する。上述した例においては、次の分類が有用である：
Engineering issues
Product failures
Explicit failures (failed, did not operate, stopped working, etc.)
Destructions (blew up, fell into pieces, etc.)
Intermittent issues...
Marketing issues
Feature requests
Nice-to-have feature requests
Must-have feature requests
（技術の問題
製品不具合
明示の不具合（故障した、動作しなかった、動かない、等
破壊（壊れた、粉々になった等）
中間的問題…
マーケティング問題
特徴の要望
特徴の要望を持つ−のは−よい
特徴の要望を持つ−べきである）
【００５７】
上記分類を使用すると、“装置不具合”は“明示的不具合”と見なされ、その事象を“製品不具合”や“技術の問題”とする。この分類や他の分類方法の適用は集約や抽象の複数のレベルにおいてリレーショナルファクトの分析を可能とする。
【００５８】
実務上、そのような分類方法の適用はリレーショナルファクト抽出システムの一部として、データベース上や他の構造、またはその両方に存在する場合がある。例えば、“不具合”や“動作しなかった”を“明示の不具合”として、解釈プロセスにおいて認識すること、バックエンドで必要なプロセスを減少させること等小さな変形が言語学的レベルでなされることがある。変形はまた、分析的活動中に遂行されることがあり、そのために親−子関係のテーブルが分析的プロセスシステムへ送出される抽出物の記録と対になることがある。
【００５９】
リレーショナルファクトの抽出したセットをテーブルに変更するとき、分析的システムは通常、文字から抽出されたデータ中にあることが期待される属性の種類と適合する属性の種類の組を有する。そのようなテーブルは、それらの期待される属性の各々のために列を有することがある。例えば、もしシステムが原告、被告、訴訟の管轄を抽出した場合、訴訟テーブルはそれらの訴訟役割の各々を表示する各属性用の列で組み立てられる。
【００６０】
最初のアプローチとして、おそらくリレーショナルファクトのように組み合わせた後で、役割全体やデータセット中の関係について検討が行われる。その検討中に、直面した関係や各々の関係に結果として付随する役割によりライブラリが構築される。このアプローチは、ライブラリは正確に抽出データを適合するように構築されるため有効である。しかし、検討のプロセスは、かなりの時間を費やすことがある。加えて、もし、周期的に動作するシステムの場合のように、目的データベースが既に存在する場合、テーブルの構造が新たな抽出の結果により変化する場合、追加のハウスクリーニング及び／または維持管理が必要になる。
【００６１】
他のアプローチにおいては、目的データベースのための標準的なスキーマが構築されることがある。そのアプローチにおいては、主題格フレームは、単にそれら格フレームがリレーショナルファクト抽出物を生成し前記スキーマに変化される場合に使用される。どんなアプローチが使用されるかに関わらず、目的は、目的データベースを、適当なテーブル構造及び／またはデータ取込用の定義と共に分析的使用（ときには“データウェハウス”や“データマート”と呼ばれる）することである。そしてそれらテーブル構造／定義は、続く処理や分析的ステップ用に与えられる出力データ中に供給される。
【００６２】
方法の一例において、役割及び／または関係の情報が表形式で生成される。それら表形式のうちの一つにおいて、関係は、同じ名前のテーブル中のリレーショナルファクトの種類にマッピングされる。それらのテーブル中で、役割は属性にマッピングされる。即ち、事象のテーブル中にドメイン名として同じ名前の列に、マッピングされる。従って上記の表形式においては、関係は、テーブルとして保存されるリレーショナルファクトの種類と同一視でき、役割はテーブル中に列として保存される属性と同一視できる。
【００６３】
解釈プロセスは、最終的に複数の形式で出力を生成する。一つの形式は、上述したように、一以上のファイルであり、リレーショナル構造が、そのファイル中にそこで人間が出力を検討及び／または編集するＸＬＭ形式にコード化される。キャラクタ分離価値（ＣＳＶ）（キャラクタが望まれるキャラクタ、例えばカンマ）や他のキャラクタを使用した分離のような、他の形式が使用される場合がある。同様に、編集や処理のために簡単にプログラムに取込むことができるスプレッドシートの適用ファイルが使用されることもある。他のファイルベースのデータベース構造、例えば、ディーベースフォーマット済みファイルや他のものが使用されることがある。
【００６４】
解釈プロセスの出力はＲＤＢＭＳ（リレーショナルデータベースマネジメントシステム）の入力と組まれる場合がある。ＲＤＢＭＳの使用は、典型的に素早い検索と並べ替えに使用され、そうでなくとも効率的であるので多数の状況で有効である。もし目的ＲＤＭＢＳ（データウェアハウスやデータマートとして知られている）が解釈プロセスにアクセス不可能である場合、データベースは物理的メディアやネットワークを介して保存され、ＲＤＢＭＳシステムへ転送される。多数のＲＤＢＭＳは、形式の数だけファイルデータベース取込ユーティリティを含み、それら形式のうちの一つは必要に応じて出力において有利に使用される。
【００６５】
解釈プロセスの出力は、分析的観点からみると、以前から存在するどの構造データを独立して使用するのにも十分である。しかし、いくつかの状況下においては、以前から存在するリレーショナル構造データと抽出プロセスの出力の組み合わせは、もっと完全な、有益な分析的処理するシステムのためのデータセットを提供する。ある方法においては、解釈プロセス出力は以前から存在する構造データと関係なく生成される。その生成は必ずしもデータベース中の記憶装置やファイルの書き込みに完結しないが、例えばメモリ等の中間形式として存在することができる。そして以前から存在する構造データは、処理の出力に統合され、新たなデータベースを作る。他の方法においては、構造データは繰り返され、そのデータの各断片を考慮する。どんなフリーテキストもその構造データのために配置され、解釈される。そして、結果の属性／価値情報は以前から存在するオリジナル構造データに再統合される。第３の方法においては、２以上のデータベースが、例えばレポートや事件番号のような共通識別によりリンクして作られる。
【００６６】
上記に開示した多数の解釈ステップが、並行処理を介して最適化されることがある。より詳細には、構文解析、統語論格フレームの適用、そしていくつかの場合には主題格フレームの適用のステップは、単文や文章の断片に含まれる情報を超えた情報を必要とすることはない。それゆえ、それらの場合においての解釈作業は、一台のコンピュータまたは別個のコンピュータにおいて複数の処理によって実行される小さな処理“塊”に分けられる。それらの状況において、特に大きなデータベース及び／または大きなテキスト本体が含まれると、並行処理が望まれることがある。
【００６７】
同様に、文字の断片、役割、関係の処理は、他のステップに依存するステップを別にすれば特定の方法に秩序化される必要がない。それゆえ、秩序化はデータカテゴリ、完了までの推定時間によるソース素材の秩序に基づくことがある。
【００６８】
解釈プロセスが概念的に図３に示されている。フリーテキスト要素のグループは、この場合、識別（１）から拡張する多くの記録と関連する。それらの要素は言語学的構文解析処理にかけられ、その後、主題格フレーム３０２が適用される。行動“crash（クラッシュする）”のための主題格フレームが示されている。本格フレームにおいて役割は、不具合のあった品目の動作主、不具合のあった品目の目的物、そして具体的な時間を有して伝わる。次のステップは、属性及びリレーショナルファクトタイプ３０３を組み合わせる。図３の例においては、２つの文章が共通のリレーショナルファクト−製品不具合事象を共有している。そして関係３０４が、オリジナル認定の参考“（１）”及び“(２)”を維持し、各文章のために生成される。そしてテーブル３０５は、識別番号（“Rec＃”）の列及び“不具合のある品目”、“原因”及び“時間”の列を含んだ複数の列を有して生成される。テーブル３０５が主題格フレームが適合した各解釈後記録のための行を含み、この場合、（“１”）及び（“２”）、及び図に示されない他の適合記録を含んでいる。
【００６９】
他の解釈プロセスが概念的に図４ａに示されている。この例によると、テキストデータ（ノーツ領域）及び構造データの両方が同じデータベーステーブル４００ａの領域に存在する。ユーザはソーステーブルのどの領域が文字か、どの領域が構造データか、そしてその領域が無視されるべきか（本例の場合無視される領域はない）、を特定する。文字領域の内容は４０４で処理され、リレーションタイプ及びそこに含まれる属性を抽出する。そしてそれら抽出物のリレーションタイプ及び属性は、表形式４０６に収納される。存在する構造データ領域及び選択された構造データ領域はまたソーステーブル４０２から抽出されるが、解釈はそこでは実行されない。むしろ、それら領域における情報は、オリジナル形式にパスされ、４０６中の生成された表データと４０８が組み合わされる。これら２データの組み合わせは単テーブル４１０に作られ、すべての入ってくる領域の列を含む場合がある。本例においては、入ってくる領域は顧客番号、電話の日付、時間、製品識別、不具合番号、不具合タイプ、構成要素、行動、であり、最後の３つはオリジナルテーブル中のテキストノート領域から来るものである。
【００７０】
図４ｂは図４ａにおけるプロセスと同様のプロセスを示す。異なる部分は、オリジナルデータが分離したテーブル４００ｂ１及び４００ｂ２にあり、共通キー領域を介して顧客番号とリンクしていることである。ユーザはどの領域が文字で、どの領域が構造データで、そしてどの領域が無視されるべきか、を特定する。本例によると、ユーザはまた、条件として１以上のテーブルを特定し、必要であれば、どれがリンクするキー領域かを特定する。
【００７１】
図４ａ及び図４ｂは、単体の統合記録を生成するプロセスを示しているが、組み合わせプロセスは各々の入ってくる領域用の列を含む単体のテーブルか、あるいは、キー領域によってリンクされたいくつかのテーブルのどちらでも生成するよう設定される。しばし、この後者のアプローチのほうが良い場合がある。ノート領域中の、例えば、顧客の不満事象、製品不具合、および安全インシデントのようないくつものリレーションタイプ（今関心がある事業の事象に対応する）を追跡するコールセンタを考えてみる。図４ａ及び図４ｂの例においては、ユーザは４つの目的テーブルを作成することを決めることができる。既存の表領域を含むものと、３つのノートから発生した事象タイプの各々を含むものである。これらの４つのテーブルは、例えば、顧客の身分証明書番号及び電話証明番号等の共通のキー領域のセットを介してリンクされる。共通キー領域の使用は、１以上の統合記録が構造記録ごとに生成される場合特に有用であり、抽出済み情報と構造記録の間で多数対１のマッピングを可能する。
【００７２】
フリーテキスト解釈プロセスの製品は複数の情報活動を遂行する。フリーテキストから抽出されるリレーショナルファクトはデータマイニング処理への入力として使用され、それは一般的に、情報を配置するデータ処理や、生データでは読取るのが困難な関係や興味の事実を処理する。例えば、データマイニングはデータ中の傾向や相互関係を発見するのに使用される。それらの傾向は一度特定されると、収益性の向上、顧客サービスや他の利益の向上のための事業実務を形成するのに有益である。データマイニング処理の出力は、単純な統計学的データから、簡単に読めて理解しやすいフォーマットの処理済データ等、たくさんの形式をとることができる。データマイニング処理はまた、強くみえる相互関係を特定し、データを理解するのに更なる助力を提供する。
【００７３】
他の情報活動は、データの視覚化である。この活動において、データセットはそのデータの視覚的表現を形成するよう処理される。それら表現はチャートである場合もあるし、グラフ、マップ、データプロット、または多数の他の視覚的提示である場合もある。その表現されたデータは、収集されたものである場合もあるし、例えば、統計学エンジンやデータマイニングエンジンを介して処理されたものである場合もある。昨今のビジネス状況においては、リアルタイムやほとんどリアルタイムのデータ視覚化がますます一般的になってきており、ユニットの生産、電話の受領、ネットワークステータス等、多種多様なビジネス活動において、最新情報を提供する。それらの視覚化は、例えば管理職や経営者などの場合のように、分析的又は統計学的活動に熟練していない人がデータの意味を見つけ、理解することを可能にしている。フリーテキストソースから抽出されたデータの使用は、多数の状況下において、以前は可能でなかったかなりの量のデータを可視可能とすることができる。
【００７４】
データマイニングとデータ視覚化を実行するのに適する商品がいくつかある。一つはワシントン州シアトルのインサイトフルコーポレーションが提供する“S-Plus Analytic Server 2. 0”(視覚化ツール)と“Insightful Miner”(データマイニングツール)である。ウェブサイトはhttp://www.insightful.com。他のデータマイニング／視覚化商品はイリノイ州シカゴのアルテリアンインコーポレイテット、ウェブサイトhttp://www.alterian.com、が提供する“The Alterian Suite”である。これらの商品は、データマイニング及びデータ視覚化の例として提示したが、他にも開示のシステムに使用できるものがあると思われ、必要であれば含めることができる。
【００７５】
ここに開示の方法は、多数の構成を用いて実行されており、その中からいくつかを概念的に図５ａ、図５ｂ及び図６において示す。図５ａは、フリーテキストから抽出し、状況に応じて他の構造データと統合する表データを作成するための入力データが限られた量である小さな企業において使用される統合システムを示す図である。そのシステムはコンピュータ、オペレーションシステム５１２を搭載したワークステーションまたはサーバ５００を含む。コンピュータ５００は、処理装置とのデータ通信のためであり、オペレーティングシステム５１２の一部であるか、別途取り付けられたインフラストラクチャ５１０を含む。インフラストラクチャ５１０はオープンデータベースコネクティビティ（ＯＤＢＣ）リンケージ、ジャバデータベースコネクティビティ（ＪＤＢＣ）リンケージ、ＴＣＰ／ＩＰソケット、ネットワークレイヤ、そして通常のファイルシステムサポートを含む。本例においては、リレーショナルデータベースサポートは、オラクル、マイエスキューエル、ポストグレスキューエル、または他のＲＤＢＭＳプログラムであってもよいＲＤＢＭＳデーモン５０４によって提供される。解釈エンジン５０６は、解釈及び／またはフリーテキストデータの統合に関連する活動を実行するために提供され、インフラストラクチャ５１０を介してデータベースへアクセスし、デーモン５０４を介してリレーショナルデータベース、またはファイルシステムサポートを介してファイルへアクセスする。同様に、解釈エンジン５０６は製品データベースを配置し、デーモン５０４により管理されるデータベースか、インフラストラクチャ５１０により管理されるファイルシステムへアクセスする。ローカルコンソール５０８が解釈エンジン５０６の活動をコントロールまたはモニタするために状況に応じて提供される。その代わりとして、別個のコンピュータ５０２のオペレーティングシステム５１６を利用するリモートコンソール５１４がローカルコンソールだけでなく他のあるロケーションからのネットワークを介して解釈エンジン５０６をコントロールまたはモニタする。解釈エンジンは必ずしもコンソールを有する必要は無く、スクリプトや、スピーチや手書きのような多数の他の手段を介して、指揮される場合もある。
【００７６】
図５ｂは、図５ａと同様のシステムで、発掘及び／または視覚化ツールがコンピュータ５００にインストールされていることが追加されたシステムを概念的に示す図である。ツール５１８が、ローカルインフラストラクチャ５１０かデーモン５０４によって管理されるファイルシステム上の解釈エンジンの製品データベースにアクセスする。ツール５１８は効率的にアクションが実行される処理負荷を実行し、データ付近で分析または視覚化する。ツール５１８は、例えば結果物をファイルシステムに落としたり、ローカルコンソール上に結果物を表示したり、表示、保存、表現のためにネットワーク上で他のコンピュータに結果物を通信したり等、多数の可能な方法を通じてユーザに結果物を提供する。
【００７７】
図５ｃは図５ｃと同様の他のシステムを概念的に示す図であるが、1つのコンピュータを使用するというより、複数のコンピュータが使用される。それらのコンピュータ５００ａ、５００ｂ、５００ｃの各々は、それぞれ５１２ａ、５１２ｂ、５１２ｃのオペレーティングシステムを含む。先行する図で示したインフラストラクチャは簡略化のため本例には図示されていない。図５ｃのシステムは、それぞれ別のコンピュータに設置された、解釈エンジン５０６、ＲＤＭＢＳデーモン５０４、及び発掘または視覚化ツール５１８を含む。通信はコンピュータ５００ａ、５００ｂ、５００ｃにリンクしたネットワーク５２０を介して提供される。
【００７８】
解釈エンジンがＲＤＢＭＳまたは発掘／視覚化ツールから離れて設置されている場合、もし解釈エンジン５０６がＲＤＭＢＳサーバか発掘視覚化ツールのどちらかを有する事業体へのサービスとして提供される場合そのような状況になるが、そのような場合、本システムモデルは特に有用である。サービスモデルは、サービスプロバイダが顧客のデータベース上で共通の格フレームが利用可能になるよう開発する機会を与え、単体のコンピュータのデータベース用に可能なものより、より開発されたそれら格フレームセットを提供することが可能であることで、ある程度の利点を与える。そのサービスモデルにおいては、分析すべきデータをある量持つビジネスや顧客がサービスプロバイダへのフリーテキストを含むデータベースを提供し、そのサービスプロバイダは少なくとも１つの解釈エンジン５０６を保持している。データベースはあるファイルに配置されている場合があり、その場合、データベースファイルはサービスプロバイダのコンピュータシステムへコピーされる。そのほかの場合、データベースはＲＤＢＭＳ５０４に配置されるリレーショナルデータベースである場合がある。ＲＤＢＭＳ５０４は顧客により維持されている場合があり、その場合、解釈エンジンは例えばＩＰソケットコネクションや他に設けられているアクセスリファレンスのようなネットワークコネクションを介してＲＤＢＭにアクセスする。そのほかの場合、ＲＤＢＭＳはサービスプロバイダにより維持される場合があり、その場合、顧客がネットワーク５２０を介してＲＤＢＭＳへデータベースを読み込むか、またはサービスプロバイダが与えられたファイルを介してＲＤＢＭＳへデータベースを読み込む。
【００７９】
解釈プロセスは適切回数実施され、作成されたデータベースまたはデータウェハウスが保存メディアかネットワーク５２０により顧客に提供される場合がある。他の方法では、製品データベースはサービスプロバイダにより維持されることがあり、アクセスはネットワーク５２０上で必要に応じて提供される。発掘／視覚化ツール５１８は状況に応じてその製品データベースに接続し、どこに配置されても、フリーテキスト抽出の分析を実行する。もしツール５１８が製品データベースへアクセスするファイルシステムと共に提供されない場合、特に、もし製品データベースがデーモン５０４やネットワーク５２０によりアクセス可能な他のＲＤＢＭＳへ格納される場合、ネットワーク５２０上での製品データベースへのアクセスを提供することは有益である。
【００８０】
上記オペレーションシステムは、もしデータが共通のプロトコルを介して伝わる場合、同様のものであったり全く同じものである必要がないことに留意すべきである。また、ＲＤＭＢＳデーモン５０４は、データがリレーショナルベータベースに格納されたりアクセスされたりする場合にのみ必要である。代わりにもしデータベースがファイルに格納されている場合は必要ない。
【００８１】
ここに開示された方法は、例えば、ＣＰＵや他の処理部及び数個の入力デバイスを有するコンピュータシステム上で実行されるプログラムや指示を用いて実現される。それらプログラムや指示は、処理部における特定のシステム用実行を目的としてアセンブルされたりコンパイルされた指示の形式を取る場合がある。また、要望どおりのハイレベルの解釈言語における指示の形式を取る場合がある。それらのプログラムはコンピュータプログラム製品を形成するメディアに収納されることがある。例えば、ＣＤ−ＲＯＭ、ハードディスク、またはフラッシュカード等でデータの保管、実行、転送用に与えられるものである。それらのシステムはコマンド及び／またはその様なコンピュータシステムのオペレーションの制御のためのユニットを含み、コンソールや数個の現在入手可能な入力デバイスや将来入手可能な入力デバイスの形式を取る。それらのシステムは必要に応じて処理を監視する手段を提供する。例としてはビデオカードと組ませ、アプリケーショングラフィカルユーザインターフェースから駆動されるモニタがある。上述して提案したように、それらシステムは処理部へローカルにアクセス可能なデータベースを参照したり、ネットワークや他の通信チャネルを横断してデータベースにアクセスする。それら処理の製品はメディアに格納され、他のネットワーク機器に転送されたり、またはその製品のある特定の使用に従って所望のメモリの内部に残しておく場合もある。
【００８２】
フリーテキスト記録からリレーショナルファクトを抽出するよう機能し、また必要に応じて解釈可能なフリーテキスト情報と構造データ記録を統合するコンピューティングシステム、及びその使用は、複数の具体的な形態と方法により図示され説明されたが、それらの当業者は、ここに図示され、説明され、クレームされた原理から逸脱せず変化や変更が成されることを理解するであろう。添付の請求項により限定される本発明は、その精神および必須の特徴から逸脱せず他の具体的な形式により具体化されることもある。ここに開示された形態は単に図示したにすぎず、あらゆる点において考慮されるべきで、それに限定されるものでない。請求項の意味と均等の範囲内から得られるすべての変化が請求項の範囲に包含されるであろう。
【図面の簡単な説明】
【００８３】
【図１】フリーテキストからリレーショナルファクト抽出物を生成する好適な方法を示す。
【図２】非構造データと構造データを関連的に統合する好適な方法を示す。
【図３】主題格フレームを利用する解釈的プロセスを示す。
【図４ａ】フリーテキスト解釈を利用する統合プロセスを示す。
【図４ｂ】フリーテキスト解釈を利用する統合プロセスを示す。
【図５ａ】解釈方法及び／又は統合方法を遂行するための複数のコンピューティングシステム形態を示す。
【図５ｂ】解釈方法及び／又は統合方法を実行するための複数のコンピューティングシステム形態を示す。
【図５ｃ】解釈方法及び／又は統合方法を実行するための複数のコンピューティングシステム形態を示す。
【図１】
2006509307.tif 000006
【図２】
2006509307.tif 000007
【図３】
2006509307.tif 000008
【図４ａ】
2006509307.tif 000009
【図４Ｂ】
2006509307.tif 000010
【図５Ａ】
2006509307.tif 000011
【図５Ｂ】
2006509307.tif 000012
【図５Ｃ】
2006509307.tif 000013
【国際調査報告】
2006509307.tif 000014
2006509307.tif 000015