(57)【要約】旅行システムのエンド・ユーザに旅行目的地ごとにアドバイスおよび警告を提供するコンピュータ化された旅行システムおよび方法を説明する。本発明のシステムは、エンド・ユーザから照会を受け取ること、ならびに照会された旅行目的地に関する旅行アドバイスおよび警告のマージされたレポートをエンド・ユーザに引き渡すことを目的とするクライアント・サービス・モジュールを有する。ダウンロードおよび解析モジュールが、複数のオンラインの信頼できる旅行ソースからダウンロードされた旅行生文書を、セクション、セクション見出し、および段落を含む共通フォーマッティング構造を共有するタグ除去済み生文書へと解析するのに使用される。アルゴリズム・モジュールが、タグ除去済み生文書を旅行目的地ごとの旅行アドバイスおよび警告のマージされたレポートへと統合する。マージされたレポートへのタグ除去済み生文書の統合は、それぞれの照会された旅行目的地ごとにすべての関連する洗浄生文書の中から選択されるベース文書から実行される。匹敵するセクションが、それらのセクション見出しの内容に基づいて判定され、意味論的に近い段落が、マージされたレポートの対応するセクション内で互いの隣に配置される。【選択図】図１
2010530580.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータ化された旅行システム（１００）であって、当該旅行システムのエンド・ユーザに旅行目的地ごとにアドバイスおよび警告を提供するためのシステムにおいて、
前記エンド・ユーザから照会（１１２）を受け取り、照会された旅行目的地に関する旅行アドバイスおよび警告のマージされたレポート（１１４）を引き渡すクライアント・サービス・モジュール（１１０）と、
複数のオンラインの信頼できる旅行ソース（１７０）からダウンロードされた旅行生文書を、セクション（３５０）、セクション見出し（３５２）、および段落（３５４）を含む共通フォーマッティング構造を共有するタグ除去済み生文書へと解析するダウンロードおよび解析モジュール（１３０）と、
前記タグ除去済み生文書を旅行目的地ごとの旅行アドバイスおよび警告の前記マージされたレポートへと統合するアルゴリズム・モジュール（１４０）と、
前記タグ除去済み生文書および前記マージされたレポートを含む前記旅行システムを動作させるためのすべての旅行情報およびコントロールを格納して取り出すためのリレーショナル・データベース（１２０）と、
前記マージされたレポートの作成および前記旅行システムの前記エンド・ユーザへの引渡しを管理および制御する管理モジュール（１５０）と
を含むことを特徴とするシステム。
【請求項２】
マージされたレポート（３４０）への前記タグ除去済み生文書の前記統合は、それぞれの照会された旅行目的地ごとにすべての関連するタグ除去済み生文書（３１０、３２０、および３３０）の中から選択されるベース文書（３３０）から実行されることを特徴とする請求項１に記載のシステム。
【請求項３】
匹敵するセクションは、それらのセクション見出し（３５２）の内容に基づいて判定されることを特徴とする請求項１および２に記載のシステム。
【請求項４】
匹敵するセクションの意味論的に近い段落は、前記マージされたレポート（３４０）の対応するセクション内で互いの隣に配置される（３６０）ことを特徴とする請求項１から３に記載のシステム。
【請求項５】
タグ除去済み生文書段落の意味論的類似性は、段落あたりの内容を伴うキーワードの減らされた集合に基づいて評価され、類似性スコアは、対応するベース段落に対して計算される（４２０）ことを特徴とする請求項４に記載のシステム。
【請求項６】
前記マージされたレポートのセクション内における前記段落の挿入は、その類似性スコアに応じて実行されることを特徴とする請求項５に記載のシステム。
【請求項７】
前記アルゴリズム・モジュール（１４０）は、前記旅行アドバイスおよび警告の一部だけを印刷または表示するために前記旅行アドバイス文書のいずれの内容をもさらにフィルタリングする（２４２）ことを特徴とする請求項１から６に記載のシステム。
【請求項８】
フィルタリング（２４０）は、推奨およびイベントのフィルタリングを含む意味論的フィルタに基づいて実行されることを特徴とする請求項７に記載のシステム。
【請求項９】
複数の個々の旅行アドバイス文書からのアドバイスおよび警告を統合する旅行システムにおける方法であって、
旅行目的地に関するアドバイスおよび警告を求める照会を受け取るステップ（２１０）と、
前記旅行システムのデータベースから個々の旅行アドバイス文書を得るステップ（２２０）と、
前記個々の旅行アドバイス文書を、セクション、セクション見出し、および段落を含む共通フォーマッティング構造を共有するタグ除去済み生文書へと解析するステップ（２３０）と、
前記タグ除去済み生文書を旅行目的地ごとの旅行アドバイスおよび警告のマージされたレポートへと統合するステップ（２５０）であって、すべての関連するタグ除去済み生文書の中から、統合が実行される起点となるベース文書を選択するさらなるステップを含む、統合するステップ（２５０）と、
前記照会された旅行目的地に関する旅行アドバイスおよび警告の前記マージされたレポートを前記旅行システムのエンド・ユーザに引き渡すステップ（２６０）と
を含むことを特徴とする方法。
【請求項１０】
前記データベースから個々の旅行アドバイス文書を得る前記ステップ（２２０）は、
文書が前記データベース内で使用可能ではないか、または古い場合に、
旅行アドバイスおよび警告の信頼できるデータ・ソースのマスタ・テーブルを作成または更新するステップ（２２２）と、
前記マスタ・テーブルにリストされた前記信頼できるデータ・ソースから前記生文書をダウンロードするステップ（２２４）と
によって置換されることを特徴とする請求項９に記載の方法。
【請求項１１】
前記統合するステップは、
前記マージされたレポートを作るのに使用される前記ベース文書に関して、
前記タグ除去済み生文書のどのセクションが匹敵するかをそれらのセクション見出しに基づいて判定するステップ（４１０）と、
匹敵するセクション内の各段落内容を比較するステップ（４２０）であって、
ベース文書の現在の段落内の内容を伴うキーワードを識別するステップ（４２１）と、
タグ除去済み生文書の比較される段落内の内容を伴うキーワードを識別するステップ（４２２）と、
段落類似性を評価するためにベクトル空間を識別するステップ（４２３）と、
類似性スコアを入手するために段落類似性を測定するステップ（４２４）と
をさらに含む、比較するステップ（４２０）と、
前記比較された段落をその類似性スコアに応じて前記マージされたレポートに挿入するステップと
をさらに含むことを特徴とする請求項９に記載の方法。
【請求項１２】
請求項９および１１に記載の任意のステップにおいて、前記旅行アドバイス文書のいずかの内容（２４２）が、前記旅行アドバイスおよび警告の一部だけを印刷または表示するためにさらにフィルタリングされる（２４０）ことを特徴とする方法。
【請求項１３】
前記フィルタリングするステップ（２４０）は、推奨およびイベントのフィルタリングを含む意味論的フィルタを基礎とするフィルタリングを含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
コンピュータ可読記憶媒体（１０５）上に格納されているコンピュータ・プログラム製品であって、少なくとも１つのコンピュータに請求項９から１３のいずれか一項に記載の旅行アドバイスおよび警告を統合する方法を運用させるためのコンピュータ可読コード手段を含むことを特徴とするコンピュータ・プログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全般的には、旅行目的地に関する情報を収集し、統合し、旅行者に引き渡す方法およびシステムに関する。より詳細には、本発明は、複数の選択されたオンラインの信頼できるソースから収集され、その内容を表示用にさらにフィルタリングできる意味論的に（semantically）編成されたマージされた(merged)レポートの形で引き渡される旅行アドバイスを提供することを目的とする。
【背景技術】
【０００２】
仕事または余暇で外国を訪れることを計画する全世界の数百万人の旅行者にとって、初めての時にしばしば、出発前に目的地に関するすべての種類の旅行情報を集めなければならないという問題が生じる。収集された情報の一部が旅行を危うくさせず、また収集された情報の一部が最終的に間違っているか不適切であると思われる場合に旅行をより楽しく又は楽しくなく、および／または高価にするにすぎない場合には、安全およびセキュリティ条件、健康上の疑問、および入国必要条件に関する情報が非常に重要であり、旅行中に深刻な問題を経験するというペナルティの存在のもとで、見逃すことができない状況にある。しかし、旅行者は、しばしば、伝統的な旅行代理店を介して旅行を予約した場合に航空会社または旅行代理店の助けを受けることができはするが、少なくともこの主要な情報のかなりの部分を収集するという作業を１人で押し付けられる。しばしば、現在、旅行は、人間の介入なしでオンラインでも予約される。その場合に、旅行者は、警告およびアドバイスが実際に提供される場合に、どのようなものであれ、オンライン旅行プロバイダのサイトを担当する人によって彼らの現在の旅行目的地について準備された警告およびアドバイスに頼ることだけができる。さらに、個々の旅行者は、一般に、世界保健機構（ＷＨＯ）すなわち国連（ＵＮ）公衆衛生部門など、旅行者が知っている可能性があるほとんどの国の外務省および他の政府または国際公式サイトに置かれているものなどの彼らの市民権または居住国のいくつかの公式サイトを参照することを考えるという事実を超えて、一般に、彼らの目的地に関して知ることが重要である情報およびどこからそれを得るかの先験的アイデアを有しない。それでも、旅行者が、彼らの旅行目的地に関する必要な情報の一部を収集できた場合であっても、彼らは、彼らが収集した文書の異質の要素を含む集合が、出発前に彼らが知らなければならないことのすべてを含むことに自信を持つことができない。したがって、旅行者の要求時に、所与の旅行目的地の複数の信頼できるソースから収集された現在の旅行アドバイスおよび警告の包括的で総合的な集合を自動的に引き渡すことのできる旅行システムに対する必要性がある。
【発明の概要】
【０００３】
本発明のシステムおよび方法は、上の必要性を満たし、旅行システムのエンド・ユーザに旅行目的地ごとにアドバイスおよび警告を提供するコンピュータ化された旅行システムおよび方法を説明する。このために、本発明のシステムは、エンド・ユーザから照会を受け取ること、ならびに照会された旅行目的地に関する旅行アドバイスおよび警告のマージされたレポートをエンド・ユーザに引き渡すことを目的とするクライアント・サービス・モジュールを有する。ダウンロードおよび解析モジュールが、複数のオンラインの信頼できる旅行ソースからダウンロードされた旅行生文書を、セクション、セクション見出し、および段落を含む共通フォーマッティング構造を共有するタグ除去済み生文書へと解析するのに使用される。アルゴリズム・モジュールが、タグ除去済み生文書を旅行目的地ごとの旅行アドバイスおよび警告のマージされたレポートへと統合する。マージされたレポートへのタグ除去済み生文書の統合は、照会された旅行目的地ごとにすべての関連するタグ除去済み生文書の中から選択されるベース文書から実行される。匹敵するセクションが、それらのセクション見出しの内容に基づいて判定され、意味論的に近い段落が、マージされたレポートの対応するセクション内で互いの隣に配置される。
【０００４】
したがって、本発明の目的は、情報の消失をまったく伴わずに、複数の信頼できるオンライン旅行アドバイス・ソースからの文書内容を集約することによって、旅行者に旅行アドバイスおよび警告の包括的なマージされたレポートを提供することである。
【０００５】
本発明のさらなる目的は、情報の集約が単にすべての収集された個々の文書の物理的追加であるのではなく、高い意味論的類似を有するセクション段落が互いに近い意味論的に編成されたマージされたレポートであることを得ることである。
【０００６】
本発明の目的は、たとえば推奨またはイベントだけを見るための意味論的フィルタに基づいて、印刷または表示のためにマージされたレポートおよび個々の旅行アドバイス文書のフィルタリングを可能にすることでもある。
【０００７】
本発明のもう１つの目的は、より大きい旅行システムに組み込むことができ、あるいは、そこから本システムを呼び出すことのできる他の旅行システムとの疎結合を伴って独立モードでも動作できるシステムを説明することである。
【０００８】
本発明のさらなる目的、特徴、および利益は、添付図面を参照して次の説明を調べる時に、当業者に明白になる。追加の利益が本明細書に組み込まれることが意図されている。
【図面の簡単な説明】
【０００９】
【図１】本発明による旅行アドバイス・システムをその環境内で示す図である。
【図２】旅行アドバイスおよび警告の意味論的に編成されマージされたレポートを作り、表示する、本発明の方法のステップを示す図である。
【図３】旅行アドバイスのマージされたレポートが旅行情報の信頼できるソースからダウンロードされた個々の文書からどのように作成されるかを例を介して示す図である。
【図４】本発明の方法の統合ステップの詳細を示す図である。
【発明を実施するための形態】
【００１０】
本発明の次の詳細な説明は、添付図面を参照する。この説明は、例示的実施形態を含むが、本発明の趣旨および範囲から逸脱せずに、他の実施形態が可能であり、説明される実施形態に対して変更を行うことができる。
【００１１】
本発明は、信頼できるソースから旅行関連情報を収集し、統合することを目指す旅行アドバイス・ビルダ（ＴＡＢ）を説明する。特に、ＴＡＢは、政府公式サイト、国観光局、領事館、および大使館などの権威あるソースから入手可能な、旅行を準備しているか旅行中の旅行者に向けられたすべての種類の旅行警告およびアドバイスを収集することが意図されている。旅行アドバイスは、所与の目的地または国に関する、その土地の情勢、健康衛生状態、最近の事故、可能なリスク、テロリストの脅威、関連する警戒、および推奨に関する最新情報を含むことができるが、これらに限定はされない。さらに、収集された旅行情報およびアドバイスを、たとえば推奨（検討される目的地で何をすべきかまたは何を避けるべきか）またはローカル・イベントだけを表示するために、意味論的フィルタを用いてフィルタリングすることができる。
【００１２】
図１に、本発明を実行するのに必要な手段を含むシステム（１００）を示す。そのようなシステムは、旅行者に直接に、たとえば特殊化されたウェブサイトの形の下で、または間接的に、伝統的（すなわち旅行代理店）およびオンライン旅行サービス・プロバイダの代わりに、対応するサービスを引き渡すために、現在のさまざまな独立型コンピュータ・リソース（１０５）から実行することができる。これを、旅行産業の世界的サービス・プロバイダであるＡＭＡＤＥＵＳなどの少数のグローバル・ディストリビューション・システム（ｇｌｏｂａｌ  ｄｉｓｔｒｉｂｕｔｉｏｎ  ｓｙｓｔｅｍ、ＧＤＳ）によって設置されているものなどのより大きいコンピュータ・システムに組み込むこともできる。
【００１３】
本発明によるシステム（１００）は、次の５つのモジュールからなる。
−通常は目的地国および旅行者の市民権を含むエンド・ユーザ入力要求すなわちクライアント照会（１１２）を受け取ることを目指すクライアント・サービス・モジュール（１１０）。クライアント照会に応答して、クライアント・サービス・モジュールの出力は、次の説明でさらに説明するように、本発明のシステムによって一緒にされる、おそらくは圧縮された形の、マージされたレポートおよび市民権固有レポートを含むさまざまなレポート（１１４）からなる。
−ソース固有であるすべての目的地国に関するさまざまなレポート、アルゴリズム・モジュール（１４０）によって作られたマージされたレポート、旅行情報の異なるソースから得た生文書を解析するのに使用される判断基準、旅行情報ソースとして働き、そこから旅行生文書がダウンロードされるウェブサイトのリストを含む、本発明を動作させるのに必要なすべてのデータを格納するリレーショナル・データベース（１２０）。
−リレーショナル・データベース（１２０）の対応するテーブルに格納された選択された信頼できるウェブサイトのリストから旅行生文書をダウンロードすることを目指すダウンロードおよび解析モジュール（１３０）。ダウンロードされた生文書は、その後、やはりリレーショナル・データベースに格納されたソース固有解析判断基準に基づいて解析される。このモジュールの出力は、次のアルゴリズム・モジュールへの入力として働くタグ除去済み生文書である。
−上の生文書を処理し、リレーショナル・データベースに格納され、旅行者に向けられるマージされたレポートを作る、アルゴリズム・モジュール（１４０）。したがって、アルゴリズム・モジュールは、選択された信頼できるソースから収集された旅行情報の統合を達成する本発明の主要コンポーネントである。このモジュールの動作を、次の図でさらに説明する。
−名前が示すように、本発明によるシステムを動作させ、保守するのに必要なすべての標準的な管理タスク、エラー・ハンドリング、およびレポート作成を実行する、本発明によるシステムを構成し、制御し、監視するのに使用される管理モジュール（１５０）。
【００１４】
その環境に関する限り、本発明のシステム（１００）は、インターネットを含む私有ネットワークおよび公衆ネットワーク（１６０）の任意の組合せを介してさまざまなリモート・ソフトウェア・アプリケーションと通信できるようにされる。このために、本発明のシステム（１００）は、インターネットのプロトコルのネットワークおよびトランスポート・スイートであるＴＣＰ／ＩＰなどの標準的な手段およびプロトコルを使用する。したがって、システムは、インターネットおよび多数の他の私有ネットワークの遍在するアプリケーションであるウェブでナビゲートするのに使用される使用可能なソフトウェア・アプリケーション（ブラウザ）のいずれかを一般に使用する、そのパーソナル・コンピュータ（１６２）からのリモートの個々のエンド・ユーザと、クライアント・サービス・モジュール（１１０）を介してインターフェースすることができる。本発明のシステムは、既に上で述べたさまざまな旅行サービス・プロバイダおよびＧＤＳ（１６６）によって設置されているものなどの会社旅行システム（１６４）とも通信することができる。また、既に述べたように、生旅行文書は、それら自体のリモート・コンピューティング・プラットフォーム（１７０）から世界中のどこかで実行される選択されたウェブサイトからダウンロードされる。
【００１５】
図２は、マージされたレポートを作るために収集された旅行情報を統合する、本発明のシステムによって実行される処理ステップの流れ図である。
【００１６】
システムのエンド・ユーザは、まず、一般に国名の形の下で、またはシステムが認識できる任意の旅行目的地の形の下で、有効な旅行目的地を入力する（２１０）と仮定される。目的地名検査が、システム設計者によって定義されたサポートされる国（おそらくは世界中のすべての国を含む）および他の地域目的地または主題目的地のリストを格納する対応するデータベース・テーブルに質問することによって実行される。オプションで、エンド・ユーザは、生旅行文書の統合を旅行者（１人または複数）の国籍および出自に依存して異なって行えるようにするために、その旅行者の市民権などのさらなる情報を入力しなければならない場合がある。たとえば、申込者の市民権に応じて、ビザが要求され、あるいは要求されず、ある種の国から旅行する場合に、特定の健康予防措置を講じなければならない場合がある。
【００１７】
有効な目的地が入力されたならば、システムは、個々の事前に定義されたデータ・ソースのそれぞれからの対応する生文書が、データベースに既に存在するかどうか、およびそれらが古いかどうかをチェックする。実際にそうである場合には、対応する文書をダウンロードする必要はなく、後のステップ（２３０）に直接に進むことができる。
【００１８】
しかし、すべての文書がデータベースにあるのではない、および／または古いのではない場合には、次の２つのステップを実行する必要がある。
【００１９】
本発明は、上で述べたように、国または有効な目的地ごとの信頼できるデータ・ソース・リンクのマスタ・テーブルが、まずリレーショナル・データベース内で作られる（２２２）と仮定する。このテーブルは、システムの管理者によって管理モジュールを介して管理される。テーブルは、選択されたデータ・ソースのそれぞれの名前およびマスタ・ウェブ・ページ・アドレスすなわち、ｕｎｉｆｏｒｍ  ｒｅｓｏｕｒｃｅ  ｌｏｃａｔｏｒすなわちＵＲＬを格納する。さらに、各データ・ソースのマスタＵＲＬは、おそらくは、対応する目的地または国の旅行アドバイス・ページをポイントする追加パスによって増補される。したがって、インフォメーション・ハーベスタ（ｉｎｆｏｒｍａｔｉｏｎ  ｈａｒｖｅｓｔｅｒ）は、マスタ・ページを読み、解析することによって、データ・ソースが旅行アドバイスを提供できる各国に対応するパスを用いてマスタＵＲＬを増補することができる。したがって、データ・ソース・マスタＵＲＬが、たとえばｗｗｗ．ｄａｔａ．ｃｏｍである場合には、それは、潜在的に、多くの国の、おそらくはすべての国の旅行アドバイスのルートである。その場合に、Ｄと呼ばれる特定の目的地国の正確なＵＲＬは、たとえば、ｗｗｗ．ｄａｔａ．ｃｏｍ／Ｄ、またはｗｗｗ．ｄａｔａ．ｃｏｍ／ｔｒａｖｅｌ＿ａｄｖｉｃｅ／１０３４５６．ｈｔｍｌのような他のパスである可能性がある。この情報は、データ・ソース国テーブルに格納される。各行は、国に対応し、目的地国の相対ＵＲＬが続く。ステップ（２２２）は通常、システムが初めて実行される時、およびおそらくは、リレーショナル・データベース内のデータ・ソース国テーブルの関連する列を投入するために、およびＴＡＢが作動している間にそれらの内容を最新に保つために、規則的なインターバルまたはステップ（２２０）で生文書が欠けているか、または古いことが見つかる時に必ず、実行される。
【００２０】
したがって、ステップ（２２２）の実行の結果として、各データ・ソースのリンクが、知られ、対応する生文書をダウンロードすることができる。ダウンロードは、ウェブによって使用される基礎になるプロトコルすなわちＨＴＴＰ（「ハイパーテキスト転送プロトコル」を表す）の制御の下で行われる。ＨＴＴＰは、メッセージが、ＴＣＰ／ＩＰプロトコル・スイートを使用してインターネットおよび他の公衆ネットワークまたは私有ネットワークを介してどのようにフォーマットされ、送信されるかを定義する。これは、ＴＡＢシステムから標準アプリケーション・プログラム・インターフェースすなわちＡＰＩを介して達成され、その結果、旅行情報を、各選択されたデータ・ソースおよび生文書からダウンロードできるようになり、最終的に、その対応する国または旅行目的地に基づいてデータベース・テーブルに格納でき、将来の処理に使用可能にすることができるようになる。文書は、ＨＴＭＬ（「ハイパーテキスト・マークアップ言語」を表す）すなわち、ウェブ上の文書を作成するのに使用されるオーサリング言語である。ＨＴＭＬは、さまざまなタグおよび属性を使用することによって、ウェブ文書の構造およびレイアウトを定義する。
【００２１】
どの個々の生文書がデータベース内で既に使用可能（２２１）または説明したステップ（２２２）および（２２４）の実行の結果としてダウンロードされたにせよ、次のステップすなわちステップ（２３０）は、生文書を解析することにある。これは、図１に示されたダウンロードおよび解析モジュールによって達成される。
【００２２】
解析ステップ（２３０）の主要な目的は、目的地国のそれぞれの旅行アドバイスを提供するすべての個々の文書が、最終的に同一のＨＴＭＬ構造を有し、その結果、これらを、後に、前に述べたアルゴリズム・モジュールによってはるかにより効率的に分析できるようにすることを得ることである。異なる選択されたウェブ・データ・ソースは、共通するものを何も有しない組織（たとえば、国大使館、領事館など）によって準備されたので、非常に異なるＨＴＭＬ構造を有する可能性が高いので、解析モジュールは、内容および異なる情報編成構造を、セクション、見出し、および段落からなる共通の単純な階層に変換するように考案されている。これは、単に、少数の適当なタグの選択および使用を介して当業者によってＨＴＭＬで達成される。したがって、変換された後に、個々のダウンロードされた旅行文書は、それをフォーマットするのに使用されたタグの間のテキストの単純な抽出を可能にする同一の単純な構造を有する。次に、各段落を文のリストに関して単純に解析することができる。
【００２３】
解析モジュールがこの主要な目的を達成するのを助け、ダウンロードされた生文書の効率的な変換を実施するのを可能にするために、リレーショナル・データベース内の国のテーブルは、そのソースに基づいてその構造を記憶する。したがって、ＨＴＭＬ構造すなわちタグ構造は、旅行情報の選択された異なるソースごとに格納される（たとえば、テンプレートの形の下で）。情報編成すなわちＨＴＭＬ構造は、所与のデータ・ソースが実際にそれに関する旅行情報を提供する国ごとに正確に同一になると予想される。これらのタグを今回限り、およびウェブ・ソースのすべての主要な構造変化の後に導出することが、十分である。本発明によって考慮されるデータ・ソースの個数は、国の数（世界中に約１９０の独立国がある）と比較してはるかにより少ない（通常は４つまたは５つ）ので、これらのタグは、しばしば、マークアップ構造ビューア（たとえば、ｅｘｔｅｎｄｅｄ  ｍａｒｋ−ｕｐ  ｌａｎｇｕａｇｅすなわちＸＭＬのビューア）を使用する、少数のダウンロードされた文書の人間の点検によって導出可能である。自動化された方法も実現可能である。それらの中で、帰納学習法を使用する標準的ラッパー誘導（ｗｒａｐｐｅｒ  ｉｎｄｕｃｔｉｏｎ）技法を、所与のデータ・ソースのタグを自動的に導出するために適用することができる。したがって、データ・ソース・リレーショナル・データベース・テーブルは、データ・ソースごとにこれらのタグを格納する。解析される文書を与えられれば、それに関連するタグが、このデータ・ソース・テーブルから入手される。すると、ダウンロードされた文書の編成構造を導出するためにこれらのタグの間の内容を抽出することは、簡単である。ハイパーテキスト・リンクを除く他のすべての余分なＨＴＭＬタグを、洗い落とすことができる。したがって、このフェーズの終りに、各文書セクション見出し、セクション、および段落構造が、その内容と一緒に、十分に確立される。
【００２４】
本発明のシステムによって実行される次の処理ステップ（２５０）は、個々のダウンロードされた生文書（前のステップで説明したようにダウンロードおよび解析モジュールによって洗浄される）の統合が、それらが最終的に引き渡される（２６０）図１で述べた旅行者にあてられたマージされたレポートを作るために最終的に実行されるステップである。このステップを、次の図３および図４で詳細に説明する。
【００２５】
図２に現れるステップ（２４０）の目的は、本発明のシステムによって操作され、作られる、さまざまな個々の文書およびマージされた文書の内容をフィルタリングすることである。ステップ（２４０）すなわちフィルタリングは、現在のアクティブ文書すなわち見られている文書内の収集された旅行情報の一部だけをエンド・ユーザが見ることを可能にするために、プロセス（２４２）のどのステージからでも呼び出すことができる。最も単純なフィルタリング動作は、表示のために構造化するためにアクティブ文書の段落の特定のセクションを表示する動作である。しかし、意味論的フィルタすなわち、テキストの意味に基づくフィルタを、アクティブ文書に含まれる特定の情報だけを表示するために呼び出すことができる。意味論的フィルタは、たとえば、「Ｓｈｏｗ  ａｌｌ  ｒｅｃｏｍｍｅｎｄａｔｉｏｎｓ  （ｔｈｉｎｇｓ  ｔｏ  ｄｏ  ｏｒ  ａｖｏｉｄ）  ｏｆ  ｔｈｅ  ｃｕｒｒｅｎｔ  ｔｒａｖｅｌ  ａｄｖｉｃｅ（現在の旅行アドバイスのすべての推奨（行うべきことまたは避けるべきこと）を示せ）」である。次のテキストは、Ｘが国の名前、Ｙが都市の名前であるが、フィルタリングされる生テキストの例である。
Ｔｈｅｒｅ  ｉｓ  ａｎ  ｏｎｇｏｉｎｇ  ｒｉｓｋ  ｏｆ  ｔｅｒｒｏｒｉｓｔ  ａｃｔｉｖｉｔｙ  ｉｎ  Ｘ  ｂｙ  ｍｉｌｉｔａｎｔ  ｇｒｏｕｐｓ．Ｗｅ  ａｄｖｉｓｅ  ｙｏｕ  ｔｏ  ｅｘｅｒｃｉｓｅ  ｃａｕｔｉｏｎ  ａｎｄ  ｍｏｎｉｔｏｒ  ｄｅｖｅｌｏｐｍｅｎｔｓ  ｔｈａｔ  ｍｉｇｈｔ  ａｆｆｅｃｔ  ｙｏｕｒ  ｓａｆｅｔｙ  ｉｎ  Ｘ  ｂｅｃａｕｓｅ  ｏｆ  ｔｈｅ  ｒｉｓｋ  ｏｆ  ｔｅｒｒｏｒｉｓｔ  ａｃｔｉｖｉｔｙ  ｂｙ  ｍｉｌｉｔａｎｔ  ｇｒｏｕｐｓ．Ｐａｙ  ｃｌｏｓｅ  ａｔｔｅｎｔｉｏｎ  ｔｏ  ｙｏｕｒ  ｐｅｒｓｏｎａｌ  ｓｅｃｕｒｉｔｙ  ａｎｄ  ｍｏｎｉｔｏｒ  ｔｈｅ  ｍｅｄｉａ  ｆｏｒ  ｉｎｆｏｒｍａｔｉｏｎ  ａｂｏｕｔ  ｐｏｓｓｉｂｌｅ  ｎｅｗ  ｓａｆｅｔｙ  ｏｒ  ｓｅｃｕｒｉｔｙ  ｒｉｓｋｓ．Ａｔｔａｃｋ  ｔａｒｇｅｔｓ  ｃｏｕｌｄ  ｂｅ  ｐｒｏｍｉｎｅｎｔ  ｇｏｖｅｒｎｍｅｎｔ  ｂｕｉｌｄｉｎｇｓ，ｎａｔｉｏｎａｌ  ｉｎｓｔｉｔｕｔｉｏｎｓ，ｐｌａｃｅｓ  ｏｆ  ｗｏｒｓｈｉｐ，ｐｕｂｌｉｃ  ｔｒａｎｓｐｏｒｔ，ａｉｒｐｏｒｔｓ  ａｎｄ  ａｉｒｃｒａｆｔ，ｒｅｌｉｇｉｏｕｓ  ｓｉｔｅｓ  ａｎｄ  ｆｅｓｔｉｖａｌｓ  ａｎｄ  ｔｏｕｒｉｓｔ  ｓｉｔｅｓ．Ｔｈｅｒｅ  ｈａｖｅ  ｂｅｅｎ  ｉｎｃｉｄｅｎｔｓ  ｏｆ  ｍｏｂ  ｖｉｏｌｅｎｃｅ  ｉｎ  ｔｏｗｎ  Ｙ  ｓｉｎｃｅ  Ｎｏｖｅｍｂｅｒ  ２００３．Ｉｎ  Ｏｃｔｏｂｅｒ  ２００５，ｔｈｒｅｅ  ｂｏｍｂ  ｂｌａｓｔｓ  ｈｉｔ  ｔｏｕｒｉｓｔ  ａｒｅａｓ  ｉｎ  Ｙ，ｒｅｓｕｌｔｉｎｇ  ｉｎ  ５９  ｄｅａｔｈｓ  ａｎｄ  ｏｖｅｒ  ３００  ｉｎｊｕｒｉｅｓ．（好戦的グループによるＸでのテロリスト活動の継続するリスクがある。我々は、好戦的グループによるテロリスト活動のリスクのゆえに、警戒し、Ｘでのあなたの安全に影響し得る進展を監視するよう助言する。個人的セキュリティに細心の注意を払い、可能な新しい安全性またはセキュリティのリスクに関する情報についてメディアを監視されたい。攻撃ターゲットは、目立つ政府ビルディング、国営機関、礼拝所、公共輸送機関、空港および航空機、信仰の場所、ならびに祭および観光地である可能性がある。２００３年１１月以降に、都市Ｙで集団暴行の事件があった。２００５年１０月に、３つの爆風がＹの旅行地を襲い、５９人の死者および３００人を超える負傷者をもたらした。）
上の意味論的フィルタを適用する場合に、次が得られる。
Ｗｅ  ａｄｖｉｓｅ  ｙｏｕ  ｔｏ  ｅｘｅｒｃｉｓｅ  ｃａｕｔｉｏｎ  ａｎｄ  ｍｏｎｉｔｏｒ  ｄｅｖｅｌｏｐｍｅｎｔｓ  ｔｈａｔ  ｍｉｇｈｔ  ａｆｆｅｃｔ  ｙｏｕｒ  ｓａｆｅｔｙ  ｉｎ  Ｘ  ｂｅｃａｕｓｅ  ｏｆ  ｔｈｅ  ｒｉｓｋ  ｏｆ  ｔｅｒｒｏｒｉｓｔ  ａｃｔｉｖｉｔｙ  ｂｙ  ｍｉｌｉｔａｎｔ  ｇｒｏｕｐｓ．Ｐａｙ  ｃｌｏｓｅ  ａｔｔｅｎｔｉｏｎ  ｔｏ  ｙｏｕｒ  ｐｅｒｓｏｎａｌ  ｓｅｃｕｒｉｔｙ  ａｎｄ  ｍｏｎｉｔｏｒ  ｔｈｅ  ｍｅｄｉａ  ｆｏｒ  ｉｎｆｏｒｍａｔｉｏｎ  ａｂｏｕｔ  ｐｏｓｓｉｂｌｅ  ｎｅｗ  ｓａｆｅｔｙ  ｏｒ  ｓｅｃｕｒｉｔｙ  ｒｉｓｋｓ．（好戦的グループによるテロリスト活動のリスクのゆえに、警戒し、Ｘでのあなたの安全に影響し得る進展を監視するよう助言する。個人的セキュリティに細心の注意を払い、可能な新しい安全性またはセキュリティのリスクに関する情報についてメディアを監視されたい。）
もう１つの意味論的フィルタは、たとえば、「Ｓｈｏｗ  ａｌｌ  ｅｖｅｎｔｓ（すべてのイベントを示せ）」とすることができる。この場合に、表示されるものは、次になる。
Ｔｈｅｒｅ  ｈａｖｅ  ｂｅｅｎ  ｉｎｃｉｄｅｎｔｓ  ｏｆ  ｍｏｂ  ｖｉｏｌｅｎｃｅ  ｉｎ  ｔｏｗｎ  Ｙ  ｓｉｎｃｅ  Ｎｏｖｅｍｂｅｒ  ２００３．Ｉｎ  Ｏｃｔｏｂｅｒ  ２００５，ｔｈｒｅｅ  ｂｏｍｂ  ｂｌａｓｔｓ  ｈｉｔ  ｔｏｕｒｉｓｔ  ａｒｅａｓ  ｉｎ  Ｙ，ｒｅｓｕｌｔｉｎｇ  ｉｎ  ５９  ｄｅａｔｈｓ  ａｎｄ  ｏｖｅｒ  ３００  ｉｎｊｕｒｉｅｓ．（２００３年１１月以降に、都市Ｙで集団暴行の事件があった。２００５年１０月に、３つの爆風がＹの旅行地を襲い、５９人の死者および３００人を超える負傷者をもたらした。）
【００２６】
多数の他の意味論的フィルタが、明らかに可能である。たとえば、法律フィルタは、法律項目、刑罰、または罰金に関する文を含むのみとすることができる。同一の趣旨で、犯罪フィルタを、特殊化された犯罪セクションを有しないデータ・ソースに利用することができる。
【００２７】
本発明によるフィルタリングの実施は、リレーショナル・データベースからレコードを作成し、更新し、照会するのに使用されるデファクト標準言語であるＳＱＬに似た形で行われる。ＳＱＬと同様に、ＳＥＬＥＣＴコマンドは、表示されるものをフィルタリングすることを可能にする。次の例に、フィルタリングをＴＡＢにどのように要求できるかを示す。
−  ＳＥＬＥＣＴ  文  ｆｒｏｍ  アクティブ文書  ｗｈｅｒｅ  文  ｃｏｎｔａｉｎｓ  推奨
−  ＳＥＬＥＣＴ  段落  ｆｒｏｍ  アクティブ文書  ｗｈｅｒｅ  段落  ｃｏｎｔａｉｎｓ  推奨
−  ＳＥＬＥＣＴ  文  ｆｒｏｍ  アクティブ文書  ｗｈｅｒｅ  文  ｃｏｎｔａｉｎｓ  イベント
−  ＳＥＬＥＣＴ  段落  ｆｒｏｍ  アクティブ文書  ｗｈｅｒｅ  段落  ｃｏｎｔａｉｎｓ  イベント
【００２８】
すべての意味論的フィルタは、上の例のようにイベントまたは推奨であれ別のものであれ、シグネチャによって定義される。推奨フィルタのシグネチャは、キーワード集合の一部でなければならない。たとえば、推奨フィルタのシグネチャのキーワード集合の用語の一部は、たとえば次のとおりである。
｛Ｔｅｌｌ，Ｇｅｔ，Ｋｅｅｐ，Ｕｓｅ，Ｄｏ  ｎｏｔ，Ｃｈｅｃｋ，Ｐａｃｋ，Ａｖｏｉｄ  Ｙｏｕ  ｓｈｏｕｌｄ，Ｙｏｕ  ｍｕｓｔ，Ｔｒａｖｅｌｌｅｒｓ，Ｖｉｓｉｔｏｒｓ，Ｅｘｅｒｃｉｓｅ  ｃａｕｔｉｏｎ，Ｐａｙ  ａｔｔｅｎｔｉｏｎ，Ｐａｙ  ｓｐｅｃｉａｌ  ａｔｔｅｎｔｉｏｎ，ａｒｅ  ｒｅｍｉｎｄｅｄ，ａｒｅ  ｗａｒｎｅｄ，ｙｏｕｒ  ｒｅｓｐｏｎｓｉｂｉｌｉｔｙ，ｓｔｒｏｎｇｌｙ  ｒｅｃｏｍｍｅｎｄ，ｓｔｒｏｎｇｌｙ  ａｄｖｉｓｅ｝（｛伝える、得る、保つ、使用する、しない、チェックする、パックする、避ける、すべきである、しなければならない、旅行者、訪問者、注意する、注意を払う、特に注意する、想起されたい、警告する、あなたの責任、強く推奨する、強く助言する｝）
【００２９】
キーワード集合が、手動でまたは自動化された手段を用いてのいずれかで定義された後に、フィルタリング動作は、単純に、単一単語キーワードのいずれかまたは複数単語シーケンスのいずれかが実際にテキスト要素すなわち文または段落内に存在するかどうかをチェックすることにある。旅行アドバイス文書は、明確に記述され検証されたテキストなので、大文字小文字をフィルタリングに関して考慮に入れることができることは、注目に値する。したがって、上のキーワードの大文字は、これらが文の先頭と一致することを意味する。
【００３０】
その一方で、イベント・フィルタは、日付の特徴があるシグネチャによって定義される。日付は、異なる形、たとえば、｛Ｊａｎ  ９９，Ｊａｎｕａｒｙ  ９９，Ｊａｎｕａｒｙ  ｏｆ  １９９９，３ｒｄ  Ｊａｎｕａｒｙ  １９９９，など｝で文に現れる。日付の可能な文法的な形の１つがテキスト要素（段落または文）内で検出されるや否や、これをイベントとして分類することができる。
【００３１】
旅行アドバイス・ドメインの１つの利益は、生文書内に異なる国にまたがる所与のフィルタの多数のシグネチャ反復を有する傾向があることである。これは、大きい範囲の目的地国にわたって有効な所与の意味論的フィルタに関するテキスト文書の知識ベースのシグネチャ集合をすばやく定式化することを可能にする。また、キーワード集合内の複数単語シーケンスの最大長さは、実際には、検討されるアプリケーション・ドメインについて非常に制限され、したがって、ＴＡＢが単語の長いシーケンスを調べる必要を防ぐ。１単語、２単語、および３単語のシーケンスが、フィルタリング・キーワード集合について本明細書で上で示した例に示されているように、一般に十分である。最後に、所与のフィルタリングを得るために適用すべき意味論的フィルタを最もよく実施する文法パターンの定式化は、ある種の複数単語シーケンスの位置的出現、たとえば、文の始めまたは終りの近くのみでの出現のヒューリスティック観察によって容易にすることができる。
【００３２】
図３で、本発明によるマージされたレポートヘの個々の生文書の統合を例を介して説明する。
【００３３】
新しい文書の合成のための生文書内容の統合は、ベース文書として指定される生文書のうちの１つに関して行われる。ＤｏｃＡ（３１０）、ＤｏｃＢ（３２０）、およびＤｏｃＣ（３３０）は、図２で説明したステップ（２３０）が適用された後の、解析されてタグを除去された旅行アドバイス文書である。これらの文書は、異なるデータ・ソースに由来するが、同一の所与の国または目的地を参照している。この例では、ベース文書の役割を演じるために選択されるのは、ＤｏｃＣ（３３０）である。前に説明したように、解析されてタグを除去された文書は、すべてが、セクション、セクション見出し、および段落だけからなる単純なＨＴＭＬ構造を有する。その例は、それぞれ次の符号によって指定される：（３５０）、（３５２）、および（３５４）。理想的には、統合ステップの目的は、生文書の真の意味論的和集合を作ることである。しかし、真の意味論的和集合は、各文書からの欠けている情報がなく、絶対に冗長性が残されていない集合と定義することができるが、それでも、技量を有する人間の編集者によって行われる時に限って可能である。自動機構が、許容できない量のコンピューティング・リソースを必要とせずに穏当に作ることができるものは、意味論的和集合に向かう傾向を有することだけができる。言い換えると、一方の極端で、物理的和集合は、すべての個々の文書を次々に単純に追加したものであり、これは、明らかに実施が単純であり、非常に少ない計算リソースを必要とする。他方の極端で、我々は、実際に実現可能な場合にいずれにせよ現在は実用的アプリケーションにとって多すぎる計算リソースを必要とする、真の意味論的和集合を有する。したがって、本発明の統合ステップは、情報の消失をまったく伴わずに、意味論的に編成されたマージされた文書を作るために、次のように行われる。
−マージされた文書（３４０）内で、意味論的に近い段落を、隣接する物理的近接内でグループ化する。これの例は、ベース文書（３３０）の第２セクションの第１段落（１８１８１８１８…）に意味論的に近いとわかるＤｏｃＡの段落（５５５５…）が、マージされた文書内で互いに物理的に近くにされる、符号（３６０）によって示されている。
−個々の文書の１つの編成構造は、和集合を形成するためのテンプレートとして働くように選択される。これは、この例で選択される、既に述べたベース文書（３３０）である。旅行アドバイスのドメインについて、ベース文書（ＤｏｃＣ）は、ユーザが好む任意のデータ・ソースからとすることができる。たとえば、旅行者が米国市民である場合に、ベース・フォーマットを、選択された目的地の米国大使館によって供給され、他の文書からの切り抜きがそれに挿入されるフォーマットとすることができる。したがって、ＤｏｃＣのセクション見出し（３４２、３４４）は、保持されて、マージされた文書（３４０）のセクション見出しになる。
−意味論的に近い段落の間に冗長性が存在する場合に、冗長性を除去する試みは行われない。関連しないセクションは、末尾（３４６）に置かれる。
【００３４】
したがって、得られるものは、ＤｏｃＣを基礎とする文書Ａ、Ｂ、およびＣの論理的に編成された物理的論理和であり、ＬＯＰＵＡＢ／Ｃ（３４０）と呼ばれる。ＬＯＰＵは、そのままで表示されることを意図されたものではない。図２で、より具体的にはステップ（２４０）で既に述べたように、フィルタリングが、一般に、その内容の一部だけを表示するために文書に適用される。可読性を改善するために関連するセクションを表示する形は、応用例依存であり、それらがディスプレイ・モニタで見られるのか印刷されるのかに依存する場合がある。すべての種類の階層的方法およびツリービュー方法ならびにさまざまなマウスオーバー・ツールチップ法のように、他の表示方法を考慮することができる。
【００３５】
文書をＬＯＰＵ内で再編成することの利益は、幾重にも重なっている。ベース文書に関する統合は、しばしば、特に旅行アドバイス・ドメインで非常に効率的である。というのは、旅行者が、彼らの好むデータ・ソースからのアドバイス（たとえば、彼ら自身の政府からのアドバイス）に主に関心を持つ可能性がより高く、彼らの好む文書を考慮して他の文書からの関連する段落を見たがるからである。意味論的に近い段落を一緒に配置することによって、ユーザは、段落主題の背後にあるより全体論的なアイデアを得るために、類似する段落の間の相違をすばやく見つけ出すことができる。また、意味論的冗長性を有する（使用される語法および言語表現は非常に異なる可能性があるが）完全な段落を比較することは、意味論的反復のゆえにある種の態様の重要性を強調することができ、その結果、読者は、それらを知り、注意するようになる可能性が高い。さらに、密に関連する段落を、必要な場合に要約プロセスのために便利に検討することができる。意味論的に閉じた段落の各クラスタからの１つまたは２つの文を、全体的要約に寄与するために便利に抽出することができる。最後に、この便利な形（すなわち、ＬＯＰＵ）で問題を再定式化することによって、我々は、すべての文書の段落のすべての可能な対を比較しなければならない文書のフル・グローバル統合を作ることの複雑さを大幅に減らす。比較は、ここでは、意味論的に近い段落だけの比較に制限される。
【００３６】
図４で、全体的統合ステップのサブステップすなわち、図２で述べたステップ（２５０）をさらに説明する。
【００３７】
サブステップ（４１０）は、２つのセクションの内容が匹敵するかどうかをそのセクション見出しに基づいて判定することを目指す。見出しが類似する情報内容を有する場合に、セクションは匹敵すると仮定される。セクション見出しの比較は、比較がすべて試されるまで（４１２）、個々の文書（ベース文書として指定された文書を除く）のすべてのセクション見出しとベース文書のセクション見出しとの間で実行される。２つのセクション見出しが類似する情報内容を有するかどうかを検出するために、次の手順が使用される。
−２つの見出し内で内容を伴うキーワードを識別する
○固有名詞、普通名詞、動詞、および形容詞を識別して、２キーワード・リストを形成する。
○「雑音」単語を除去する（普通名詞、たとえば、Ｉ、Ｗｅ、動詞、たとえばｈａｖｅ、ｂｅ、ならびにリエゾン・ワード（ｌｉａｉｓｏｎ  ｗｏｒｄ））。雑音単語とは、主題に関わりなくすべてのテキストで一般的に使用され、２つのテキストの主意味論的内容および意味論的主題の間で区別するのをほとんどまたはまったく助けない単語である。
【００３８】
これは、一般に、他の形で指定されない限り、本発明の次の説明にもあてはまる。次に、サブステップ（４１０）は、次のように進行する。
−Ｐ１およびＰ２をトークン化して、キーワードの２つの多重集合を形成する（すなわち、その中で項目を繰り返すことができる集合）。これらをｗ（Ｐ１）およびｗ（Ｐ２）と呼ぶ。
−多重集合の交差集合を計算し、これをｗ（Ｐ１）∩ｗ（Ｐ２）と呼ぶ。この集合の要素数は、ｎ（ｗ（Ｐ１）∩ｗ（Ｐ２））である。
−多重集合の和集合を計算し、これをｗ（Ｐ１）∪ｗ（Ｐ２）と呼ぶ。この集合の要素数は、ｎ（ｗ（Ｐ１）∪ｗ（Ｐ２））である。
【００３９】
上の多重集合の交差および和集合の計算では、構文的同等性および意味論的同等性が考慮される。２つのセクション見出しキーワードは、システムのリレーショナル・データベースのテーブルに格納された同等のデータ辞書に存在する場合に、意味論的に同等と仮定される。また、既に述べたように、キーワードは、データ辞書によって定義される、単一、二重、および一般的にｎ単語のキーワードとすることができる。
−同様に、（Ｐ１，Ｐ２）は、ｎ（ｗ（Ｐ１）∩ｗ（Ｐ２））／ｎ（ｗ（Ｐ１）∪ｗ（Ｐ２））である。したがって、類似性は、共通キーワードの個数を、比較される見出しのキーワードの総数で割ったものである。したがって、類似性値は、共通するものがない場合に０、すべてのキーワードを共有する場合に１である。類似性値が事前定義のしきい値を超える場合に、２つのセクションは、その見出しに基づいて匹敵すると言われる。
【００４０】
旅行アドバイス・ドメインのセクション見出しが、非常に短く、一般に、少数の単語だけからなり、キーワードまたは類義キーワードの同一の集合の使用の特徴があることがわかったことは、注目に値する。さらに、すべての可能なデータ・ソースのセクション見出しの完全な和集合は、極端に小さく、高い度合の共通性を持つことがわかった。したがって、そのような検出は、知識ベースであり、構文レベルと意味論レベルとの両方で行われ、意味論的比較は、同等性データ辞書に基づく。構文レベルでは、正確なスペリングが、共通単語を識別するのに使用される。意味論レベルでは、データ辞書が、単語の間で同等性を割り当てるのに使用される。
【００４１】
サブステップ（４１０）が、文書内のどのセクションが匹敵するのかを判定したので、全体的統合ステップの続くサブステップすなわちサブステップ（４２０）は、段落比較がすべて試されるまで（４２６）、ベース文書の各セクションのｎ個の段落を他の文書の匹敵するセクション内のｍ個の段落のそれぞれと比較することを目指す。ベース文書の段落およびそれが比較される別の文書のターゲット段落を、以下では、それぞれベース段落および比較段落と称する。一般に、旅行アドバイス文書では、段落の個数ｎおよびｍは小さい。また、これらは、非常によく編集されてもいるので、１段落内の単語の平均個数は、やはり少ないと予想される（通常は１５０単語以下）。
【００４２】
段落が比較されている間に、サブステップ（４２０）は、まず、ベース段落内の内容を伴うキーワードを識別する（４２１）。テキスト・シーケンス内で最も多くの意味論的情報を伝える単語すなわち動詞、名詞（固有名詞および普通名詞）、および形容詞を抽出する。これは、標準的な品詞タガー（ｔａｇｇｅｒ）または文法タガー（すなわち、単語を名詞、動詞、形容詞などとして識別するソフトウェア）を適用することによって達成できるが、本発明は、どちらかといえば、データ辞書を介してすべての単一単語および複数単語のリエゾン句を除去することにおいてより単純でより簡単な形に従う。除去される単語集合は、冠詞（ｔｈｅ、ａｎ、ａ）、前置詞および後置詞（ｆｏｒ、ｆｒｏｍ、ｉｎ、ｉｎｓｉｄｅ、ｉｎｔｏ、ｔｏ、ｎｅｘｔ  ａｇｏ、ａｐａｒｔ、ａｓｉｄｅ、ａｗａｙ、ｈｅｎｃｅ、ｎｏｔｗｉｔｈｓｔａｎｄｉｎｇ、ｏｎ、ｕｐ、ｄｏｗｎ、ｔｈｒｏｕｇｈなど）、接続詞および副詞（単純なルールは、「ｌｙ」で終わる単語、たとえば、ｌｕｃｋｉｌｙ、ｈａｐｐｉｌｙなどである）を含む。したがって、残る単語は、動詞、名詞、および形容詞である。さらに、本発明は、固有名詞を普通名詞から区別するのに、任意の標準的なネームド・エンティティ・リコグニション（ｎａｍｅｄ  ｅｎｔｉｔｙ  ｒｅｃｏｇｎｉｔｉｏｎ、ＮＥＲ）アルゴリズムをも使用する。その後、ネームド・エンティティとして識別されたものを除くすべてのキーワードが、レビンのステミング・アルゴリズムなどの標準ステミング・アルゴリズムを使用して、その語形語根に変形される。
【００４３】
次は、フランスへの旅行アドバイスに関する次のベース段落上の内容を伴うキーワードを識別するためにサブステップ（４２１）が達成できるものの例である。
Ｉｎ  Ｐａｒｉｓ，ａｔ  Ｃｈａｒｌｅｓ  ｄｅ  Ｇａｕｌｌｅ  ａｉｒｐｏｒｔ  ｏｒ  ａｔ  ｔｈｅ  Ｇａｒｅ  ｄｕ  Ｎｏｒｄ  ｒａｉｌｗａｙ  ｓｔａｔｉｏｎ，ｙｏｕ  ｓｈｏｕｌｄ  ｐｒｏｔｅｃｔ  ｙｏｕｒ  ｂａｇｇａｇｅ  ａｇａｉｎｓｔ  ｔｈｅｆｔ  ａｎｄ  ｂｅｗａｒｅ  ｏｆ  ｐｉｃｋｐｏｃｋｅｔｓ．Ｔｈｉｅｖｅｓ  ａｎｄ  ｐｉｃｋｐｏｃｋｅｔｓ  ａｌｓｏ  ｏｐｅｒａｔｅ  ｏｎ  ｔｈｅ  Ｐａｒｉｓ  Ｍｅｔｒｏ  ａｎｄ  ＲＥＲ  （ｓｕｂｕｒｂａｎ）  ｌｉｎｅｓ  ｅｓｐｅｃｉａｌｌｙ  ＲＥＲ  ｌｉｎｅ  Ｂ，ｗｈｉｃｈ  ｓｅｒｖｅｓ  Ｃｈａｒｌｅｓ  ｄｅ  Ｇａｕｌｌｅ  ａｎｄ  Ｏｒｌｙ  ａｉｒｐｏｒｔｓ  ａｎｄ  ｔｈｅ  Ｇａｒｅ  ｄｕ  Ｎｏｒｄ．Ｔｈｅｆｔｓ  ｈａｖｅ  ａｌｓｏ  ｏｃｃｕｒｒｅｄ  ａｔ  Ｎｉｃｅ  Ａｉｒｐｏｒｔ，ｐａｒｔｉｃｕｌａｒｌｙ  ａｔ  ｔｈｅ  ｃａｒ  ｒｅｎｔａｌ  ｃａｒ  ｐａｒｋｓ  ｗｈｅｒｅ  ｂａｇｓ  ｈａｖｅ  ｂｅｅｎ  ｓｎａｔｃｈｅｄ  ａｓ  ｄｒｉｖｅｒｓ  ｈａｖｅ  ｂｅｅｎ  ｌｏａｄｉｎｇ  ｌｕｇｇａｇｅ  ｉｎｔｏ  ｈｉｒｅ  ｃａｒｓ．Ｐｅｄｅｓｔｒｉａｎｓ  ｓｈｏｕｌｄ  ｂｅｗａｒｅ  ｏｆ  ｂａｇ  ｓｎａｔｃｈｅｒｓ  ｏｐｅｒａｔｉｎｇ  ｂｏｔｈ  ｏｎ  ｆｏｏｔ  ａｎｄ  ｆｒｏｍ  ｍｏｔｏｒｃｙｃｌｅｓ．（パリのシャルル・ド・ゴール空港またはガール・デュ・ノール駅では、窃盗から手荷物を保護し、スリに注意しなければならない。泥棒およびスリは、パリ地下鉄およびＲＥＲ（郊外）線、特にＲＥＲ線Ｂで仕事をし、このＲＥＲ線Ｂは、シャルル・ド・ゴール空港、オルリー空港、およびガール・デュ・ノールにサービスする。窃盗は、ニース空港で、特に運転者がレンタカーに小型旅行鞄を積んでいた時にバッグがひったくられたレンタカー駐車場でも発生した。歩行者は、徒歩とオートバイからとの両方で仕事をするバッグひったくり犯に注意しなければならない。）
【００４４】
ステミングの前の結果は、次のとおりである。括弧の間の数は、上のテキストでの対応するキーワードの使用の頻度を示す。
｛Ｐａｒｉｓ（２），Ｃｈａｒｌｅｓ  Ｄｅ  Ｇａｕｌｌｅ（２），ａｉｒｐｏｒｔ（３），Ｇａｒｅ  ｄｕ  Ｎｏｒｄ（２），ｒａｉｌｗａｙ，ｓｔａｔｉｏｎ，ｐｒｏｔｅｃｔ，ｂａｇｇａｇｅ，ｔｈｅｆｔ（２），ｂｅｗａｒｅ（２），ｐｉｃｋｐｏｃｋｅｔ（２），ｏｐｅｒａｔｅ（２），ｍｅｔｒｏ，ＲＥＲ（２），ｓｕｂｕｒｂａｎ，ｌｉｎｅ（２），ｓｅｒｖｅ，Ｏｒｌｙ，ｏｃｃｕｒ，Ｎｉｃｅ，ｃａｒ（３），ｒｅｎｔ，ｐａｒｋ，ｂａｇ（２），ｓｎａｔｃｈ（２），ｄｒｉｖｅｒ，ｌｏａｄ，ｌｕｇｇａｇｅ，ｈｉｒｅ，ｐｅｄｅｓｔｒｉａｎ，ｆｏｏｔ，ｍｏｔｏｒｃｙｃｌｅ，Ｂ｝（｛パリ（２）、シャルル・ド・ゴール（２）、空港（３）、ガール・デュ・ノール（２）、鉄道、駅、保護する、手荷物、窃盗（２）、注意（２）、スリ（２）、仕事する（２）、メトロ、ＲＥＲ（２）、郊外、線（２）、サービスする、オルリー、発生する、ニース、カー（３）、レンタル、駐車、バッグ（２）、ひったくる（２）、運転者、積み込む、小型旅行鞄、レンタ、歩行者、足、オートバイ、Ｂ｝）
【００４５】
ステミングの後に、上の集合内の単語の一部は、その語形語根によって置換される（たとえば、ｏｐｅｒａｔｅおよびｏｐｅｒａｔｉｎｇは、両方ともｏｐｅｒａｔに変化する）。次のサブステップ（４２２）は、比較される、別の文書に由来する段落のテキストに対して同一のことを行う。
Ｔｈｅｒｅ  ｉｓ  ａ  ｈｉｇｈ  ｉｎｃｉｄｅｎｃｅ  ｏｆ  ｐｅｔｔｙ  ｃｒｉｍｅ，ｅｓｐｅｃｉａｌｌｙ  ｂａｇ  ｓｎａｔｃｈｉｎｇ，ａｎｄ  ｐｉｃｋｐｏｃｋｅｔｉｎｇ，ｔｈｒｏｕｇｈｏｕｔ  Ｆｒａｎｃｅ  ｐａｒｔｉｃｕｌａｒｌｙ  ｏｎ  ｔｈｅ  ｓｔｒｅｅｔｓ  ｏｆ  ｌａｒｇｅｒ  ｃｉｔｉｅｓ  ｓｕｃｈ  ａｓ  Ｐａｒｉｓ，Ｍａｒｓｅｉｌｌｅｓ  ａｎｄ  Ｎｉｃｅ．Ａｉｒｐｏｒｔｓ，ｐｕｂｌｉｃ  ｔｒａｎｓｐｏｒｔ，ｔｏｕｒｉｓｔ  ａｒｅａｓ，ａｎｄ  ｂｅａｃｈｅｓ  ａｒｅ  ｐｒｉｍｅ  ｔａｒｇｅｔｓ  ｆｏｒ  ｔｈｉｅｖｅｓ  ｗｈｏ  ｆｒｅｑｕｅｎｔｌｙ  ｗｏｒｋ  ｉｎ  ｇａｎｇｓ，ｕｓｉｎｇ  ａ  ｖａｒｉｅｔｙ  ｏｆ  ｍｅｔｈｏｄｓ  ｔｏ  ｄｉｓｔｒａｃｔ  ｐｏｔｅｎｔｉａｌ  ｖｉｃｔｉｍｓ．Ｔｈｅｒｅ  ａｒｅ  ｆｒｅｑｕｅｎｔ  ｒｅｐｏｒｔｓ  ｏｆ  ｃｒｉｍｅ，ｉｎｃｌｕｄｉｎｇ  ｒｏｂｂｅｒｙ  ａｎｄ  ｍｕｇｇｉｎｇｓ，ｏｎ  ｔｈｅ  ｔｒａｉｎ  ｓｙｓｔｅｍ  ｓｅｒｖｉｃｉｎｇ  Ｒｏｉｓｓｙ，Ｃｈａｒｌｅｓ−ｄｅ−Ｇａｕｌｌｅ  ａｎｄ  Ｏｒｌｙ  Ａｉｒｐｏｒｔｓ．Ｉｎｃｒｅａｓｉｎｇｌｙ，ｓｕｃｈ  ｃｒｉｍｅ  ｉｓ  ｂｅｉｎｇ  ａｃｃｏｍｐａｎｉｅｄ  ｂｙ  ａｃｔｓ  ｏｒ  ｔｈｒｅａｔｓ  ｏｆ  ｖｉｏｌｅｎｃｅ．Ｔｈｅｒｅ  ｉｓ  ａ  ｇｒｏｗｉｎｇ  ｉｎｃｉｄｅｎｃｅ  ｏｆ  ｖｉｏｌｅｎｔ  ａｔｔａｃｋｓ  ａｇａｉｎｓｔ  ｔｏｕｒｉｓｔｓ  ｂｙ  ｇｒｏｕｐｓ  ｏｆ  ｙｏｕｎｇ  ｐｅｏｐｌｅ，ｕｓｕａｌｌｙ  ｏｃｃｕｒｒｉｎｇ  ｌａｔｅ  ａｔ  ｎｉｇｈｔ  ａｒｏｕｎｄ  ｍａｊｏｒ  ｔｏｕｒｉｓｔ  ａｔｔｒａｃｔｉｏｎｓ  ｓｕｃｈ  ａｓ  ｔｈｅ  Ｃｈａｍｐｓ−Ｅｌｙｓｅｅｓ，ｔｈｅ  Ｌｅｓ  Ｈａｌｌｅｓ  ｄｉｓｔｒｉｃｔ  ａｎｄ  ｔｈｅ  Ｌａｔｉｎ  Ｑｕａｒｔｅｒ  ｉｎ  ｃｅｎｔｒａｌ  Ｐａｒｉｓ．（フランス全体、特にパリ、マルセイユ、およびニースなどのより大きい都市の街路で、軽犯罪、特にバッグひったくりおよびスリの高い発生率がある。空港、公共輸送機関、旅行地、および砂浜が、潜在的犠牲者の気を散らすためにさまざまな方法を使用する、頻繁にギャングで働く泥棒の主なターゲットである。ロアシ空港、シャルル・ド・ゴール空港、およびオルリー空港にサービスする列車システムで、強盗および強奪を含む犯罪の頻繁なレポートがある。ますます、そのような犯罪には、暴力の行為または脅威が付随しつつある。シャンゼリゼ、レアール地区、および中央パリのラテン区など、主要な旅行者を集める場所付近で通常は深夜に発生する、若者のグループによる旅行者に対する激しい攻撃の発生率が増加している。）
【００４６】
内容を伴うキーワードが、類似する形で抽出される。結果は、次のとおりである。この例では、「ｖｉｏｌｅｎ」が「ｖｉｏｌｅｎｃｅ」のステミングの結果であることが認められる。
｛ｈｉｇｈ，ｉｎｃｉｄｅｎｃｅ（２），ｐｅｔｔｙ，ｂａｇ，ｓｎａｔｃｈ，ｐｉｃｋｐｏｃｋｅｔ，Ｆｒａｎｃｅ，ｓｔｒｅｅｔ，ｌａｒｇｅ，ｃｉｔｙ，Ｐａｒｉｓ，Ｍａｒｓｅｉｌｌｅｓ，Ｎｉｃｅ，ａｉｒｐｏｒｔ（２），ｐｕｂｌｉｃ，ｔｒａｎｓｐｏｒｔ，ｔｏｕｒｉｓｔ，ａｒｅａ，ｂｅａｃｈ，ｐｒｉｍｅ，ｔａｒｇｅｔ，ｔｈｉｅｖｅｓ，ｗｏｒｋ，ｇａｎｇ，ｖａｒｉｅｔｙ，ｍｅｔｈｏｄ，ｄｉｓｔｒａｃｔ，ｐｏｔｅｎｔｉａｌ，ｖｉｃｔｉｍ，ｆｒｅｑｕｅｎｔ，ｒｅｐｏｒｔ，ｃｒｉｍｅ（３），ｒｏｂ，ｍｕｇ，ｔｒａｉｎ，ｓｙｓｔｅｍ，ｓｅｒｖｉｃｅ，Ｒｏｉｓｓｙ，Ｃｈａｒｌｅｓ−ｄｅ−Ｇａｕｌｌｅ，Ｏｒｌｙ，ａｃｃｏｍｐａｎｙ，ａｃｔ，ｖｉｏｌｅｎ（２），ｔｈｒｅａｔ，ｖｉｏｌｅｎｃｅ，ａｔｔａｃｋ，ｔｏｕｒｉｓｔ（２），ｇｒｏｕｐ，ｙｏｕｎｇ，ｐｅｏｐｌｅ，ｏｃｃｕｒ，ｌａｔｅ，ｎｉｇｈｔ，ｍａｊｏｒ，ａｔｔｒａｃｔｉｏｎ，Ｃｈａｍｐｓ−Ｅｌｙｓｅｅｓ，Ｌｅｓ  Ｈａｌｌｅｓ，ｄｉｓｔｒｉｃｔ，Ｌａｔｉｎ  Ｑｕａｒｔｅｒ，ｃｅｎｔｒａｌ，Ｐａｒｉｓ｝（｛高い、発生率（２）、軽、バッグ、ひったくる、スリ、フランス、街路、大きい、都市、パリ、マルセイユ、ニース、空港（２）、公共、交通機関、旅行者、区域、砂浜、主要な、ターゲット、泥棒、働く、ギャング、さまざまな、方法、気を散らす、潜在的な、犠牲者、頻繁な、レポート、犯罪（３）、強盗、強奪、列車、システム、サービスする、ロアシ、シャルル・ド・ゴール、オルリー、付随する、働く、暴力（２）、脅威、暴力、攻撃、旅行者（２）、グループ、若い、者、発生する、遅い、夜、主要、惹きつける場所、シャンゼリゼ、レアール、地区、ラテン区、中央、パリ｝）
【００４７】
その後、次のサブステップ（４２３）は、ベース段落と比較段落との間の類似性を評価するためにベクトル空間を識別することにある。内容を伴うキーワードが両方の段落で識別された後に、比較プロセスを開始することができる。比較の原理は、次のとおりである。
−ベース段落内の各単語は、次元の軸を表す。たとえば、ベース段落の内容を伴うキーワード表現に１５０単語がある場合に、これは、１５０次元を有することを暗示する。テキスト全体は、これらの次元の線形組合せであり、各軸の線形重みまたは線形係数は、単語の頻度に対応する。したがって、テキスト全体が、この空間内の１つのベクトルである。
−比較段落は、一意の単語（Unique word）の個数(例えば８０個)によって決定される、次元の異なる集合を有する。いくつかの次元（例えば７つ）は正確に共通する単語を共通して有する。したがって、同様に、これは、この８０次元空間内のベクトルである。
−類似性を計算するために、ベース段落および比較段落の次元の和集合を検討する。この例では、次元の和集合は、（１５０−７）＋７＋（８０−７）＝２２３を与える。したがって、和集合は、２２３次元空間である。この空間では、類似性を推定するためのテキスト・マイニングの標準的実践は、ベース段落ベクトルと比較段落ベクトルとの間の角度のコサインを計算することにある。２つのベクトルが正確に同一である場合には、これらの間の角度は０であり、コサイン値は１である（これらは正確に同一のキーワードを共有する）。ベクトルが完全に異なる場合には、これらは空間内で直交し、コサイン値は０である（これらは、共通のキーワードを有しない）。
【００４８】
しかし、上の比較の原理の適用の前に、本発明は、上の段落空間の部分空間である意味論的に内容を伴う比較空間で作業する際に計算的により効率的になるために空間次元を減らすことを試みる。このために、まず、まれな次元を除去する。何がまれであり何が一般的であるかは、特定のキーワードが同一の国の他の選択された旅行アドバイス文書によって使用されるかどうかに依存する。これを行うために、本発明は、同一の国の各データ・ソースの内容におけるキーワードの頻度を表にする。キーワードのうちで１の頻度を有するものは、所与の国の旅行アドバイスの空間内でまれであると考えることができ、除去される。次に、空間次元をさらに減らすために、辞書的に近いキーワードを、単一の次元にマージする。これは、旅行アドバイス・ドメインについて人間によって構成される辞書同等性マップによって達成される。したがって、しかし、ステミング・アルゴリズムによってカバーされない次のキーワードは、単一の次元にマージされる。たとえば、
−バッグ対手荷物
−窃盗対泥棒
である。
辞書同等性マップおよび意味論的関連付けマップは、集約され、テキスト・ファイルに置かれ、このテキスト・ファイルは、空間次元を減らすためにチェックされる。意味論的関連付けマップは、類似性値をできる限り意味のあるものにするという目的を伴って、比較空間を旅行アドバイス・ドメインに属する意味論的概念に向かって配位することを可能にする。その後、類似性査定の微調整は、異なる旅行者が彼らの需要を異なる形で表す場合に可能である。たとえば、この意味論的関連付けマップの２つのエントリは、次になるはずである。
−列車−メトロ、駅、レール、鉄道
−攻撃−暴力
この意味論的マップは、非常に相関する意味を有する２つの意味論的概念を、同一の次元に縮小することを可能にする。これは、ステミングが、単語「ｏｐｅｒａｔｉｎｇ」と「ｏｐｅｒａｔｅ」との両方を「ｏｐｅｒａｔ」に構文的に縮小し、その結果、これらが同一になる（次元が２つから１つに減らされる）が、意味論的マップ・エントリは、さらに、たとえば、２つの次元「Ａｔｔａｃｋ」および「Ｖｉｏｌｅｎｃｅ」を１つの同等の単語に縮小し、したがって、結果の次元は１になる。
【００４９】
ベクトル空間を作成し、次元をさらに減らした後に、比較される２つの段落の間の類似性の尺度を、サブステップ（４２４）で確立する。上で説明したように空間ベクトルのコサインを計算することによって、類似性スコアを入手する。
【００５０】
最後に、サブステップ（４３０）で、現在の匹敵する文書セクションのすべての比較段落を、最良の類似性スコアすなわち最大のコサイン値を返すベース段落の隣に網羅的に挿入する（４３２）。複数の同一の類似性値が見つかる場合には、対応するベース段落の任意の１つ、たとえば最初の段落を選択して、比較段落をその隣に挿入することができる。段落挿入の例は、図３に示し、既に述べた。
【図１】
2010530580.tif 000003
【図２】
2010530580.tif 000004
【図３】
2010530580.tif 000005
【図４】
2010530580.tif 000006
【国際調査報告】
2010530580.tif 000007
2010530580.tif 000008
2010530580.tif 000009