(57)【要約】  所与のネットワーク位置（ウェブ・サイトなど）からダウンロードされた１つまたは複数のページ中のトリガ・ワードに基づいて、１組の候補パラレル・ページが識別される。それらの候補ページのそれぞれを表す１組のドキュメント・ツリーが対応付けられて、翻訳的にパラレルなコンテンツおよびハイパーリンクを特定する。パラレルなコンテンツはさらに、パラレルな文に対する従来の文アライナに送られる。また、このパラレルなハイパーリンクは通常、パラレルな他のドキュメントを参照し、パラレルなドキュメントを再帰的にマイニングすることへと導く。
2009543255.tif 000002
【特許請求の範囲】
【請求項１】
ネットワーク（１０４）を介してアクセス可能な１つまたは複数の大量のコーパス（１０２）からパラレルな二言語コーパスを特定する方法であって、
第１の言語のデータの第１のサブセット、および第２の言語のデータの第２のサブセットを選択するステップ（１４０）と、
データの前記第１および第２のサブセットのそれぞれに対応するツリー構造（２３０）であって、データの前記対応するサブセットを表す階層的かつ順次的に配列されたノード（２０２〜２３６）を有する各ツリー構造（２３０）を取得するステップ（１４７）と、
階層的かつ順次的に不変の対応付けに従って、データの前記サブセットのそれぞれに対応する前記ツリー構造（２３０）を対応付けるステップ（１４８）と、
前記ツリー構造（２３０）の前記対応付け（１４８）に基づいて、データの前記サブセットのパラレルなテキスト形式のセグメント（１５０）を特定するステップ（１４８）と、
前記パラレルなテキスト形式のセグメント（１５０）についての指示を出力するステップ（１５４）と
を備えることを特徴とする方法。
【請求項２】
データの前記第１および第２のサブセットは、他のドキュメントへのハイパーリンクを有する第１および第２のドキュメント（１３８）を備えており、さらに、
前記ツリー構造（２３０）の前記対応付け（１４８）に基づいて、前記第１および第２のドキュメント（１３８）におけるパラレルなハイパーリンク（１５８）であって、それぞれ、前記第１の言語の後続するドキュメントに、また前記第２の言語の後続するドキュメントにリンクするパラレルなハイパーリンク（１５８）を特定するステップ（１５６）
を備えることを特徴とする請求項１に記載の方法。
【請求項３】
前記後続するドキュメントのそれぞれに対応するツリー構造（２３０）を取得するステップと、
前記後続するドキュメントに対応する前記ツリー構造（２３０）を対応付けるステップ（１４８）と、
前記後続するドキュメント中で、パラレルなテキスト形式のセグメント（１５０）を特定するステップ（１４８）と
をさらに備えることを特徴とする請求項２に記載の方法。
【請求項４】
前記後続するドキュメント中で、パラレルなハイパーリンク（１５８）を特定するステップ（１５６）をさらに備えることを特徴とする請求項３に記載の方法。
【請求項５】
前記後続するドキュメントのそれぞれに対応するツリー構造（２３０）を取得するステップ（１４７）と、
前記後続するドキュメントに対応する前記ツリー構造（２３０）を対応付けるステップ（１４８）と、
前記後続するドキュメント中で、パラレルなテキスト形式のセグメント（１５０）を特定するステップ（１４８）と、
前記後続するドキュメント中で、パラレルなハイパーリンク（１５８）を特定するステップ（１５６）と
を再帰的に繰り返すステップ
をさらに備えることを特徴とする請求項４に記載の方法。
【請求項６】
前記第１の言語のデータの前記第１のサブセット、および前記第２の言語のデータの前記第２のサブセットを選択するステップは、
所与のウェブ・サイトのページにアクセスするステップ（１３２）と、
前記ページで、事前定義された１組のトリガ・ワードのうちの１つまたは複数のものを特定するステップ（１３６）と、
前記トリガ・ワードを特定する前記ステップ（１３６）に基づいて、前記所与のウェブ・サイトから、第１および第２のページ（１３４）を選択するステップ（１４０）と
を備えることを特徴とする請求項１に記載の方法。
【請求項７】
ページにアクセスする前記ステップは、
前記所与のウェブ・サイトに対するルート・ページ、および前記ルート・ページにリンクされた第１のレベルのページをダウンロードするステップ（１３２）を備えることを特徴とする請求項６に記載の方法。
【請求項８】
データの前記第１のサブセットおよびデータの前記第２のサブセットを選択する前記ステップは、
前記第１と第２のページの間の十分なパラレル性を検証するステップ（１４２）を備えることを特徴とする請求項６に記載の方法。
【請求項９】
ツリー構造を取得する前記ステップは、
データの前記サブセットのそれぞれに対応するドキュメント・オブジェクト・モデル・ツリー（２００）を取得するステップを備えることを特徴とする請求項１に記載の方法。
【請求項１０】
第１の言語の第１のドキュメントおよび第２の言語の第２のドキュメントにおいて、パラレルな二言語データを特定する方法であって、
前記第１および第２のドキュメント（１４６）のレイアウトを表すドキュメント・ツリー構造（２３０）であって、前記第１および第２のドキュメント（１４６）中のテキストに対応するノードを含む前記ドキュメント・ツリー構造（２３０）を取得するステップと、
前記ドキュメント・ツリー構造（２３０）におけるノードの順序および階層を保存しながら、前記ツリー構造中の前記ノードを互いに対応付けることにより、前記ドキュメント・ツリー構造（２３０）を対応付けるステップ（１４８）と、
前記ドキュメント・ツリー構造（２３０）中の対応付けられたノードに対応するテキスト・セグメントとして、パラレルな二言語テキスト・セグメント（１５０）を特定するステップ（１４８）とを備えることを特徴とする方法。
【請求項１１】
前記第１および第２のドキュメント（１４６）はそれぞれ、ウェブ・ページを備えており、またテキストを対応付ける前記ステップは、前記特定されたパラレルな二言語のテキスト・セグメント（１５０）内の文（１０６）を対応付けるステップ（１５２）を備えることを特徴とする請求項１０に記載の方法。
【請求項１２】
各ドキュメント・ツリー構造（２３０）は、複数のサブ・ツリー構造を含み、また前記ドキュメント・ツリー構造（２３０）を対応付ける前記ステップ（１４８）は、
前記サブ・ツリー構造中のノードを対応付け、サブ・ツリーの対応付けを取得するステップ（３００）と、
前記サブ・ツリーの対応付けに基づいて、前記複数のサブ・ツリー構造を対応付け、前記ドキュメント・ツリー構造（２３０）を対応付けるステップ（３０２）と
を備えることを特徴とする請求項１０に記載の方法。
【請求項１３】
前記サブ・ツリー構造中のノードを対応付け、サブ・ツリーの対応付けを取得する前記ステップ（３００）と、前記サブ・ツリーの対応付けに基づいて、前記複数のサブ・ツリー構造を対応付けるステップ（３０２）とを反復して繰り返すステップ（３０４）をさらに備えることを特徴とする請求項１２に記載の方法。
【請求項１４】
前記複数のサブ・ツリー構造を対応付ける前記ステップ（３００）は、
互いに対する前記複数のサブ・ツリー構造の階層および順序を維持しながら、かつ互いに対する前記サブ・ツリー構造中の複数のノードの階層および順序を維持しながら、前記複数のサブ・ツリー構造を対応付けるステップ（３００）を備えることを特徴とする請求項１２に記載の方法。
【請求項１５】
ドキュメント・ツリー構造を取得する前記ステップは、
ドキュメント・オブジェクト・モデル・ツリー構造（２００）を取得するステップと、
テキスト・ノードを、前記テキスト・ノードの親ノードと組み合わせることにより、また前記ドキュメント・オブジェクト・モデルにおけるノードの事前定義のサブセット中にないノードを削除することにより、前記ドキュメント・オブジェクト・モデル・ツリー構造（２００）を修正するステップ（１４７）と
を備えることを特徴とする請求項１０に記載の方法。
【請求項１６】
パラレルなコーパス・マイニング・システムであって、
ウェブ・ページ（１３４）を受け取り、前記ウェブ・ページに基づいて、パラレルである可能性のあるページ（１３８）を特定するように構成されたパラレル性検査コンポーネント（１１６）と、
前記パラレルである可能性のあるページ（１３８）を受け取り、前記パラレルである可能性のあるページ（１３８）が、所望レベルのパラレル性を有することを検証し、検証されたページ（１４６）を取得するように構成された検証コンポーネント（１１８）と、
前記検証されたページ（１４６）に対応するツリー構造（２３０）を対応付け、パラレルなテキスト・セグメント（１５０）およびパラレルなハイパーリンク（１５８）を特定するように構成されたツリー対応付けコンポーネント（１２０）と
を備えることを特徴とするシステム。
【請求項１７】
特定された前記パラレルなテキスト・セグメント（１５０）における文を対応付けるように構成された文対応付けコンポーネント（１２２）をさらに備えることを特徴とする請求項１６に記載のシステム。
【請求項１８】
前記ツリー構造（２３０）は、階層的かつ順次的に配置されたノードを有しており、また前記ツリー対応付けコンポーネント（１２０）は、順次的に不変の対応付け、および階層的に不変の対応付けにより前記ツリー構造（２３０）を対応付けるように構成されていることを特徴とする請求項１６に記載のシステム。
【請求項１９】
前記ツリー構造（２３０）はそれぞれ、複数のサブ・ツリー依存構造から形成された全体のツリー構造（２３０）を備えており、また前記ツリー対応付けコンポーネント（１２０）は、前記全体のツリー構造（２３０）中の前記サブ・ツリー依存構造を対応付けるための確率を繰り返し計算するように、かつ前記サブ・ツリー依存構造を対応付けるために計算された前記確率に基づいて、前記全体のツリー構造（２３０）を対応付けるための前記確率を繰り返し計算するように構成されていることを特徴とする請求項１８に記載のシステム。
【請求項２０】
前記パラレルなハイパーリンク（１５８）は、ページにリンクしており、また前記システムは、前記ハイパーリンク（１５８）によりリンクされた前記ページを、パラレルである可能性のあるページ（１３８）として再帰的に特定するように、かつ前記パラレルである可能性のあるページ（１３８）を前記パラレル性の検証コンポーネント（１１８）にサブミットするように構成されていることを特徴とする請求項１６に記載のシステム。
【発明の詳細な説明】
【背景技術】
【０００１】
本明細書で使用されるパラレルな二言語コーパス（Parallel bilingual corpora）とは、第２の言語のテキスト形式データの翻訳として特定される第１の言語のテキスト形式データ（textual data）を指す。例示のために、本明細書で論ずるテキスト形式データはドキュメントであるが、他のテキスト形式のデータも同様に使用することができる。
【０００２】
あるドキュメントが、別のドキュメントの翻訳であるとき、その２つのドキュメントは、パラレルな、二言語のドキュメント（parallel bilingual documents）と呼ばれる。したがって、パラレルな、二言語のコーパス（corpus）とは、第２の言語におけるデータのコーパスの翻訳である第１の言語におけるデータのコーパスを指す。
【０００３】
１組のパラレルなドキュメント内で、互いに対する翻訳であるこれらのドキュメント中の文を特定することがしばしばある。それらは、対応付けられた文（aligned sentences）と呼ばれる。したがって、第１の言語におけるドキュメントが、第２の言語のパラレルなドキュメントと一致する場合、また２つのドキュメント中の文が互いに対応付けられ（）ている（第１の言語の文が、第２の言語のその翻訳と対応付けられ（aligned）ているという点で）場合、２つのドキュメントはパラレルであり、文が対応付けられ（aligned）ており、二言語ドキュメントであると呼ばれる。
【０００４】
現在、パラレルな、二言語コーパス（対訳コーパス；bilingual corpora）を求める広範囲な必要性がある。例えば、このようなコーパスは、統計的機械翻訳システム（statistical machine translation systems）を訓練するために、また言語横断情報検索（cross- lingual information retrieval）を行うために、重要な資源であることが多い。さらに、このようないくつかのコーパスは、多義性解消（語意の曖昧性の除去；word sense disambiguation）および言い換えの取得（paraphrase acquisition）など、様々な単一言語の自然言語処理タスクに対しても利用されてきた。
【０００５】
しかし、大規模なパラレル・コーパスは、多くの言語の対に対して、現在、容易に利用することができない。いくつかのこのようなコーパスが利用可能である言語の場合であっても、これらのコーパスにおけるデータは、通常、政府の文書またはニュース・ワイヤ・テキストに限定される。これらのタイプのドキュメントで使用されるものは、特定の文体または領域特化型（分野特有；domain-specific）の言語であるため、これらのコーパスを、データ駆動の機械翻訳システムもしくは情報検索システムの訓練において、あるいはさらに上記で論じた単一言語の自然言語プロセッサにおいても、異なる言語対のある範囲の領域に対して簡単に使用することができない。
【０００６】
広域ネットワークで利用可能な二言語のページの数が、（ウェブ・サイトなどで）最近急増している。したがって、いくつかのウェブ・マイニング・システムが開発され、ワールド・ワイド・ウェブから、パラレルな、二言語コーパスを自動的に取得している。これらのシステムは、ＵＲＬ（uniform resource locators）を使用し、パラレル・ウェブ・ページが、ウェブ・サイトの維持を容易にするための事前定義のパターンで名前が付けられていると仮定する。したがって、これらのシステムに、二言語のウェブ・サイトＵＲＬが与えられた場合、このシステムは、そのウェブ・サイト内の候補パラレル・ドキュメントを発見しようとして、事前定義のＵＲＬパターンを使用する。次いで、コンテンツ・ベースの機構（content-based features）が使用されて、候補対の翻訳的な等価性（translational equivalents）を検証する。
【０００７】
これらのタイプのシステムが成功するのは限られた場合である。例えば、ウェブ・ページのスタイルおよびウェブ・サイトの維持メカニズムには広範囲な多様性がある。したがって、二言語ウェブ・サイトは、事前定義のパターンに準拠しない様々な名前付けスキームを、パラレル・ドキュメントに対して使用することがしばしばある。
【０００８】
さらに、これらのＵＲＬパターン・ベースのマイニング・システムは、帯域幅の点で問題となり得る。これらのタイプのマイニング・プロセスは、パラレルである可能性のあるドキュメントを発見するための事前定義のＵＲＬパターンを用いる前に、ホストに十分なクローリングを行ってＵＲＬを収集することを要求する。したがって、これらのＵＲＬパターン・ベースのシステムは、高帯域幅および高コストを必要とし、その結果、低いダウンロードスピードになることが多い。多くの二言語ウェブ・サイトであっても、非常に限られた数のパラレル・ドキュメントを有するにすぎないので、ネットワーク帯域幅のかなりの部分は、翻訳上の等価物を有していないウェブ・ページのダウンロードに費やされる。
【０００９】
さらに、ウェブ・ドキュメントのノイズの多い性質により、パラレル・ウェブ・ページは、翻訳とは無関係のコンテンツや、および用語（vocabulary words）以外の多くのものを含む可能性がある。これらは共に、２つのパラレル・ドキュメントが特定された後であっても、文の対応付け（alignment）の正確さを低減する。さらに、従来の文アライナ（sentence aligner）は、レイアウトの類似度などの、他のファクタを考慮せずに平凡なテキスト（conventional text）に対して動作するだけである。
【００１０】
上記の議論は、単に、全体的な背景情報を提供するだけであり、特許請求する主題の範囲を決定するための一助として使用されることを意図していない。
【発明の概要】
【課題を解決するための手段】
【００１１】
１組の候補パラレル・ページが、所与のネットワーク位置（ウェブ・サイトなど）からダウンロードされた１つまたは複数のページにおけるトリガ・ワードに基づいて、特定される。その候補ページのそれぞれを表す１組のドキュメント・ツリーが、パラレルなコンテンツを翻訳上で特定するために対応付けられる（aligned）。
【００１２】
一実施形態では、有効なＨＴＭＬドキュメントをナビゲートするための知られたアプリケーション・プログラミング・インターフェースであるドキュメント・オブジェクト・モデル（ＤＯＭ；Document Object Model）に従って、ドキュメント・ツリーが生成される。ツリー対応付け計算（tree alignment computation）を容易にするために、一実施形態では、ＤＯＭツリーに対して、わずかな変更が行われる。他の実施形態では、ツリーが対応付けられ（aligned）た後、パラレルなハイパーリンクが特定される。これらのハイパーリンクに対応するページが、次いで、候補パラレル・ページの新しい組としてダウンロードされる。
【００１３】
この概要は、以下の詳細な説明にさらに記載される概念の選択を簡略化した形で紹介するために提供される。この概要は、特許請求される主題の重要な特徴または本質的な特徴を特定することを意図しておらず、あるいは特許請求される主題の範囲を決定するための一助として使用されることも意図していない。特許請求される主題は、この背景において示された幾つかのまたはすべての欠点を解決する実装形態に限定されない。
【図面の簡単な説明】
【００１４】
【図１】パラレルなコーパス・マイニング・システムの例示的な一実施形態のブロック図である。
【図２】図１に示すシステムのオペレーション全体の例示的な一実施形態を示す流れ図である。
【図２Ａ】２つのページのパラレル性の検証を示す流れ図である。
【図３Ａ】ウェブ・ページをモデル化するドキュメント・ツリーの実施形態を示す図である。
【図３Ｂ】ウェブ・ページをモデル化するドキュメント・ツリーの実施形態を示す図である。
【図４】ツリーの対応付け（tree alignment）を実施するための例示的な一実施形態を示す流れ図である。
【図５】１つの例示的な動作環境のブロック図である。
【発明を実施するための形態】
【００１５】
図１は、一実施形態によるパラレルなコーパス・マイニング・システム１００のブロック図である。システム１００は、ネットワーク１０４を介してドキュメント１０２に結合されて示されている。ネットワーク１０４は、例示的に、インターネットなどの広域ネットワークであるが、ローカルエリア・ネットワークまたは異なるタイプのネットワークとすることも同様に可能である。さらに、当然であるが、ドキュメント１０２は、例示的に、ネットワーク１０４を介して、システム１００によりアクセス可能な１つまたは様々の異なるサイトにおけるデータもしくは他のテキスト形式のコンテンツを表す。
【００１６】
一実施形態では、システム１００は、ネットワーク１０４を介してドキュメント１０２からデータを取り出して、パラレルな、対応付けられた文（aligned sentences）１０６を生成し、これは、格納のために、機械翻訳システムで使用するために、単一言語の自然言語処理システムで使用するために、情報検索システムで使用するためになど、様々な異なる理由の１つのために出力される。これらの様々なシステムは、図１のブロック１０８で示されている。
【００１７】
図１で示す実施形態は、システム１００が、ナビゲーション・コンポーネント１１０、ダウンロード・コンポーネント１１２、ならびにページ検証およびツリー対応付けシステム１１４（tree alignment system）を含む。ツリー対応付けシステム１１４それ自体は、例示的に、パラレル性検査コンポーネント（parallelism checking component）１１６、パラレル性検証器（verifier）コンポーネント１１８、ツリー対応付けコンポーネント（tree alignment component）１２０、および文対応付けコンポーネント１２２を含む。
【００１８】
図２は、システム１００のオペレーションの例示的な一実施形態を、より詳細に示す流れ図である。図２は、ワールド・ワイド・ウェブおよびインターネットに対するシステム１００のオペレーションについて述べられている。しかし、上記で述べたように、任意の他のタイプのネットワークも同様に使用することができる。
【００１９】
いずれの場合であっても、ナビゲーション・コンポーネント１１０は、例示的に、システム１００を所与のウェブ・ページにナビゲートできるウェブ・ブラウザなどの従来のネットワーク・ナビゲーション・コンポーネントである。最初のウェブ・サイト・アドレスがナビゲーション・コンポーネント１１０に提供されると、ナビゲーション・コンポーネント１１０は、そのアドレスに対応するウェブ・サイトへとナビゲートする。これは、図２のブロック１３０により示される。例示的な一実施形態では、所与のウェブ・サイトは、ユーザによって、またはクローラなどの自動化されたウェブ・サイト位置特定機構によって、または任意の他の所望の入力装置によって、与えられる。
【００２０】
所与のウェブ・サイトで一度、ダウンロード・コンポーネント１１２は、例示的に、そのウェブ・サイトからルート・ページおよび第１のレベルのページをダウンロードする。第１のレベルのページとは、ルート・ページにより直接リンクされるページである。これは、図２でブロック１３２により示されている。ダウンロードされたページは、図１で候補ページ１３４と呼ばれる。候補ページは、そのウェブ・サイトが二言語であるかどうかを検査するために使用される。そうである場合、候補ページは、システム１１４により、パラレルな対の識別、検証、およびツリー対応付け（tree alignment）のために処理される。
【００２１】
ウェブ・サイトが二言語であるかどうかを検査し、その候補から、パラレルである可能性のあるページの対をさらに特定するための方法はいくつかある。例示の実施形態では、アンカー・テキストが、このタスクのための事前定義のトリガ・ワードと比較される。候補ページ１３４が他のページにリンクされている場合、それは、例示的に、ハイパーリンクを介してリンクされることになる。ハイパーリンクに対応するテキストを、本明細書では、アンカー・テキストと呼ぶ。パラレル性検査コンポーネント１１６は、次いで、トリガ・ワードについて、ダウンロードされたページのすべてに対するアンカー・テキストを検査する。これは、図２でブロック１３４により示される。
【００２２】
トリガ・ワードは、ウェブ・ページ間の翻訳的な等価性を反映する用語である。事前定義のトリガ・ワード（またはトリガ・ストリング）のいくつかの例は、「英語」または「英語版」など英語の翻訳に対するトリガ・ワードを含む。言い換えると、フランス語のウェブ・ページがダウンロードされ、そのハイパーリンクの１つが「English（英語）」または「English version（英語版）」とラベルが付されていた場合、そのトリガ・テキストは、そのフランス語のウェブ・ページの翻訳的な等価物が存在し、かつそのハイパーリンクを介してアクセスできることを示している可能性が高い。他の言語に対しても同様なトリガ・ワードが存在するが、少し異なるものになり得る。例えば、中国語に対するトリガ・ワードは、「Chinese（中国語）」、「Chinese version（中国語版）」、「simplified Chinese（簡体字中国語）」、「traditional Chinese（繁体字中国語）」などである可能性がある。
【００２３】
一実施形態では、パラレル性検査コンポーネント１１６は、アンカー・テキストを、ウェブ・ページの間で翻訳的な等価性を反映することが知られている事前定義のストリングのリストと比較することにより、トリガ・ワードについてアンカー・テキストを検査する。図２のブロック１３６で示すように、アンカー・テキスト中にトリガ・ワードが発見されない場合、現在のウェブ・サイトは二言語のウェブ・サイトではなく、その所与のウェブ・サイトに対する処理は終了する。しかし、ブロック１３６で、トリガ・ワードの位置が特定された場合、そのトリガ・ワードと関連付けられた２つのページ（例えば、英語版と中国語版）は、図１のパラレルである可能性のあるページ１３８として識別される。パラレルである可能性のあるページ１３８は、次いで、ダウンロード・コンポーネント１１２によってダウンロードされる。これは、図２のブロック１４０により示される。
【００２４】
処理におけるこの時点で、これらのページは、まだ検証されていない候補のパラレルな対（またはパラレルである可能性がある対）と見なされる。したがって、パラレルである可能性のあるページ１３８は、パラレル性検証器コンポーネント１１８に提供される。コンポーネント１１８は、そのパラレルである可能性のあるページが、翻訳的に等価であると見なされのに十分パラレルであり、したがって、対応付けられた二言語データ（aligned bilingual data）が、それらのものから取得できる可能性があることを検証する。
【００２５】
一実施形態では、パラレル性検証器コンポーネント１１８は、例示的に、バイナリー最大エントロピー・ベースの分類器（binary maximum entropy classifier）である。しかし、他の分類器または検証コンポーネント（ルール・ベースの、または統計的な）を同様に使用することができる。しかし、例示的な実施形態では、分類器は、そのページが十分にパラレルであるかどうかを決定するために、３つの機能を使用する。図２Ａは、これらの機能が、パラレル性検証器コンポーネント１１８で使用される例示的な一実施形態を示す流れ図である。その３つの機能は、ファイル長さの比、ＨＴＭＬタグの類似度、および文対応付けのスコア（a sentence alignment score）を含む。したがって、そのページが十分にパラレルであるかどうかを決定するために、コンポーネント１１８は、まず、パラレルである可能性のあるページ１３８を受け取る。これは、図２Ａのブロック１６０により示される。
【００２６】
コンポーネント１１８は、次いで、２つのページに対するファイル長さの比を計算する。これは、ブロック１６２により示される。ファイル長さの比は、比較的、直截的なものであり、単に、考慮中のウェブ・ページのそれぞれを表すファイルの長さの比である。
【００２７】
コンポーネント１１８は、次いで、ＨＴＭＬタグの類似度を計算する。これは、図２Ａのブロック１６４により示される。ＨＴＭＬタグの類似度は、多種多様な方法の任意のものを用いて計算することができる。しかし、示した例示的な一方法は、図２Ａのブロック１６６、１６８、および１７０により示される。その例示の実施形態によれば、ＨＴＭＬタグの類似度は、各ページに対するＨＴＭＬタグのすべてをまず抽出することにより決定される。これは、ブロック１６６により示される。各ページに対するＨＴＭＬタグは、次いで、ストリングへと連結され、したがって、１つの連結されたストリングが２つのページのそれぞれに対して形成される。次いで、そのページと関連付けられた２つのタグ・ストリング間で、最小の編集距離が計算される。一実施形態では、ＨＴＭＬタグの類似度スコアは、ストリング全体の数に対する、その連結されたストリング中でマッチングするタグ数の比として定義される。類似度を決定する他の技法も同様に使用することができる。
【００２８】
いずれの場合であっても、コンポーネント１１８はまた、図２Ａのブロック１７２により示されるように、文対応付けのスコア（a sentence alignment score）を計算する。文対応付けのスコアは、多種多様な方法を用いて同様に計算することができる。しかし、例示的な一実施形態では、文対応付けのスコアは、２つのページに対応するファイルの両方における文（sentences）の合計数に対する、２つのページ上で対応付けられた文の数の比である。文が対応付けられているかどうかを決定するための一実施形態では、その２つのページのドキュメント・オブジェクト・モデルのツリーを対応付けることによる。これは、以下でさらに詳細に述べる。
【００２９】
３つの特徴（features）（ファイル長さの比、ＨＴＭＬタグの類似度、および文対応付けのスコア）が、２つのページに対して計算されると、コンポーネント１１８は、そのページが十分にパラレルであるかどうかを決定し、その決定についての指示（indication）を出力する。これは、図２Ａのブロック１７４により示される。論じられている例示的な実施形態では、コンポーネント１１８は、バイナリー最大エントロピー分類器であり、２つのページを、上記で論じた３つの機能に基づいて、単に十分にパラレルであるか、それとも不十分であるかで分類するだけである。分類器は、任意の所望の訓練機構を用いて訓練することができ、このような１つの機構は、知られている繰返しスケーリング・アルゴリズム（iterative scaling algorithm）と呼ばれる。
【００３０】
図１および図２を再度参照すると、コンポーネント１１８は、パラレルである可能性のあるページが十分にパラレルであることを検証（確認）する。これは、図２のブロック１４２により示される。
【００３１】
図２のブロック１４４で、コンポーネント１１８により示されるように、ページが十分にパラレルではない場合、２つの候補ページの処理は終了する。しかし、ブロック１４４で、コンポーネント１１８が、２つのページが十分にパラレルであると決定した場合、コンポーネント１１８は、そのページは、検証されたパラレルなページ１４６であること、および現在の処理用として、本当に翻訳的に等価なものであり、したがって、それらは、パラレル文を生成し、さらなるパラレルなウェブ・ページを参照するのに使用できること、を決定する。したがって、コンポーネント１１８は、検証されたパラレルなページ１４６を、対応付けのために、ツリー対応付けコンポーネント（tree alignment component）１２０へサブミットする。
【００３２】
ツリー対応付けコンポーネント１２０はまず、検証されたパラレルなページ１４６のそれぞれに対して、ドキュメント・ツリーを取得する。ドキュメント・ツリーの各ノードは、例示的に、２つのフィールドを含み、第１のフィールドが、ＨＴＭＬタグ・フィールドであり、また第２のフィールドが、ノードと関連付けられたテキストである。例示的な一例では、このドキュメント・ツリーの構造は、わずかな変更を含むドキュメント・オブジェクト・モデル（ＤＯＭ）に従う。ＤＯＭは、ワールド・ワイド・ウェブ・コンソーシアムを介して公開されており、有効なＨＴＭＬドキュメントに対する知られたアプリケーション・プログラミング・インターフェース（ＡＰＩ）である。現在の例のために、ＤＯＭツリーである各ウェブ・ページに関連付けられたドキュメント・ツリー構造に関してこの議論を進めるが、他のこのようなツリー構造も同様に使用できることが理解されよう。
【００３３】
ＤＯＭツリーが、検証されたパラレルなページ１４６のそれぞれに対して取得されると、ツリー対応付けコンポーネント１２０は、例示的に、そのＤＯＭツリーに対して任意の所望の処理を実施することができ、それらを、さらなる処理のために、所望の形式に配置することができる。これは、図２のブロック１４７により示される。前処理の一実施形態は、図３Ａおよび３Ｂに関して、以下で述べる。
【００３４】
ＤＯＭツリーが所望の形になると、ツリー対応付けコンポーネント１２０は、例えば、ツリーの対応付けを実施して、ウェブ・ページを表すＤＯＭツリー（複数）を対応付ける。これは、図２のブロック１４８により示される。例示の実施形態では、ツリー対応付けコンポーネント１２０は、確率的なＤＯＭツリー対応付けモデル（stochastic DOM tree alignment model）であり、これは、翻訳的に等価なコンテンツを対応付けるために使用され、検証されたパラレルなページ１４６の対に対するＤＯＭツリー中にテキスト形式のチャンク（textual chunks）およびハイパーリンクを共に含む。ツリー対応付けステップ１４８は、図４に関して以下でさらに詳細に述べる。ＤＯＭツリーが対応付けられ、またパラレルなテキスト・チャンクおよびハイパーリンクが特定されると、パラレルなテキスト・チャンク１５０が、文対応付けコンポーネント１２２に提供される。
【００３５】
文対応付けコンポーネント１２２は、次いで、パラレルなテキスト・チャンク１５０内の文を対応付けし、それらをパラレルな、対応付けられた文１０６として格納するために、または他のシステムで使用するために出力する。パラレルなテキスト・チャンクからのこれらの文を対応付けることは、任意の所望の方法で行うことができ、それは、図２のブロック１５２で示されている。例示的な一実施形態では、パラレルなウェブ・ページ間のＨＴＭＬ構造の類似度が利用され、またその文を対応付けるために、カスケード手法が使用される。まず例示的な実施形態では、ＤＯＭツリーのノードと関連付けられたテキスト・チャンクが、上記で論じたように対応付けられる。次いで、パラレルなテキスト・チャンクの対ごとに、知られた文アライナ（sentence aligner）を、その文を対応付けるために使用することができる。１つのこのような文アライナは、用語の順序を考慮せずに、１つの言語から他の言語へと逐語的な変換をモデル化し、最尤基準（a maximum likelihood criterion）に基づいて、その逐語的な変換モデルを、異なる言語の２つの文の長さを表す他のモデルと組み合わせる。当然であるが、他のタイプの文の対応付けも同様に使用することができる。対応付けられた文の出力は、図２のブロック１５４により示される。
【００３６】
ツリー対応付けコンポーネント１２０はまた、例示的に、２つのＤＯＭツリーが互いに対応付けられた後、何らかのパラレルなハイパーリンクがあるかどうかを決定する。これは図２のブロック１５６により示される。２つのＤＯＭツリーに対応付けられたハイパーリンクがない場合、２つのパラレルなページの処理は完了する。しかし、対応付けられたＤＯＭツリー中にパラレルなハイパーリンクがある場合、それは、新しいパラレル・データへのアンカーであると見なすことができる。パラレルなウェブ・ページを参照するために、２つの対応付けられたＤＯＭツリー中のパラレルなハイパーリンクを使用することは、パラレルな、二言語データを特定するための一般的で安定した形態（pattern）であることが見出されている。したがって、図２のブロック１５６で、たどるべき（付随する；to follow）パラレルなハイパーリンクがある場合、これらのパラレルなハイパーリンク１５８は、ナビゲーション・コンポーネント１１０に提供され、処理は、図２のブロック１４０に戻る。ナビゲーション・コンポーネント１１０は、パラレルなハイパーリンク１５８と関連付けられたウェブ・ページへとシステム１００をナビゲートし、ダウンロード・コンポーネント１１２は、パラレルなハイパーリンクと関連付けられたページを、パラレルである可能性のあるページ１３８としてダウンロードする。これらのページ１３８は、次いで、検証などのためにパラレル性検証器コンポーネント１１８にサブミットされる。
【００３７】
図３Ａおよび３Ｂは、図２のブロック１４７で、ＤＯＭツリーを前処理する任意選択のステップを示している。知られているように、ドキュメント・オブジェクト・モデル化を用いてウェブ・ページを表すと、ＨＴＭＬドキュメントの論理構造は、当然であるが、階層的かつ順次的なツリーであって、各ノードが何らかの事前定義のノード・タイプに属するツリーとして表される。いくつかのこのようなノード・タイプは、「Ｄｏｃｕｍｅｎｔ」、「ＤｏｃｕｍｅｎｔＴｙｐｅ」、「Ｅｌｅｍｅｎｔ」、「Ｔｅｘｔ」、「Ｃｏｍｍｅｎｔ」、「ＰｒｏｃｅｓｓｉｎｇＩｎｓｔｒｕｃｔｉｏｎ」などを含む。ノードのこれらのタイプのすべての中で、本明細書で論ずる一実施形態に最も重要なノードは、ドキュメント中のＨＴＭＬタグに対応する「Ｅｌｅｍｅｎｔ」ノード、およびドキュメント中のテキスト・チャンクに対応する「Ｔｅｘｔ」ノードである。
【００３８】
図３Ａは、ＨＴＭＬドキュメントを表す従来のＤＯＭツリー２００を示す。ＨＴＭＬドキュメント中のノードは、ヘッド・ノード２０２およびボディ・ノード２０４を含むことが分かる。ヘッド・ノード２０２は、タイトル２０６およびそのタイトルに対するテキスト２０８に対応する子ノードを有する。ボディ・ノード２０４は、１組の子ノード２１２および２１４をそれ自体で有する子ＤＩＶノード２１０である、子ノードを有する。ノード２１２は、子テキスト・ノード２１６を有し、ノード２１４は、下位ノードのストリングを有する。ノード２１４の第１の下位のものは、イメージ・ノード２１８であり、その後に代替ノード２２０、およびテキスト・ノード２２２が続く。
【００３９】
ＤＯＭツリー２００を前処理する例示的な一例では、対応付けコンポーネント１２０は、ドキュメント・モデル・ツリーから、「エレメント」ノードおよび「テキスト」ノード以外のすべてのノードを除外する。さらに、イメージを表示することができないときにテキスト形式の代替を表す「ａｌｔ」属性は、「テキスト」ノードにより表される。最後に、（ツリー中のリーフ・ノードであるはずの）「テキスト」は、対応付けモデルの表現をさらに簡潔にするために、その親の「エレメント」ノードともとに単一のノードに組み合わされる。
【００４０】
図３Ｂは、図３Ａのツリー２００から導かれる前処理されたツリー２３０を示す。テキスト・ノード２０８がタイトル・ノード２０６と組み合わされて、組合せノード２３２を形成することが分かる。同様に、ツリー２００のテキスト・ノード２１６およびその親ノード２１２が組み合わされて、ツリー２３０の組合せノード２３４になる。さらに、ツリー２００のａｌｔノード２２０は、テキスト・ノードとして表されており、それは、テキスト・ノード２２２と共に、イメージ・ノード２１８と組み合わされて、ツリー２３０の組合せノード２３６を形成する。これらの小変更にもかかわらず、ツリー２３０は、なお、本説明でＤＯＭツリーと呼ばれることに留意されたい。さらに、これらの変更は、便宜上、またモデルを簡単化するために行われるにすぎず、本発明によって企図されたものとして行われる必要はない。さらに、他の形のドキュメント・ツリー構造を使用することもできる。
【００４１】
ツリー対応付けを実施する（図２のステップ１４８のように）際のツリー対応付けコンポーネント１２０のオペレーションを、次により詳細に述べる。一実施形態によれば、ツリー対応付けコンポーネント１２０は、階層的に不変のプロセスとして、また連続する順序が不変のプロセスとして対応付けを定義するツリー対応付けモデルを含む。言い換えると、階層的に不変のプロセスとは、ノードＡがノードＢに対応付けられた場合、ノードＡの子は削除されるか、あるいはノードＢの子と対応付けられることを意味する。連続する順序が不変のプロセスとは、ノードＡがノードＢと対応付けられた場合、ノードＡに続く兄弟ノードは、削除されるか、あるいはノードＢに続く兄弟ノードと対応付けられる必要がある。したがって、ツリーにおけるノードの階層的な順序および連続する順序は変更されないが、ノードを削除することはできる。
【００４２】
図４は、ツリー対応付けコンポーネント１２０のオペレーションをより詳細に示す。以下で述べるように、ツリーのそれぞれは、例示的に、複数の異なるサブ・ツリーで形成される。複数の異なるサブ・ツリーは、サブ・ツリーのフォレスト（forest）と総称的に呼ばれる。ツリー対応付けコンポーネントは、サブ・ツリーに対する最適な対応付けを見出し、次いで、そのサブ・ツリーを含むフォレストに対する最適な対応付けを見出すことを繰り返すことによって、２つのウェブ・ページを表す２つのツリー全体を対応付ける。
【００４３】
一実施形態では、ボトムアップ手法を使用することができる。したがって、図４では、コンポーネント１２０は、ツリーの底部におけるサブ・ツリーから開始し、まず、２つのウェブ・ページを表すサブ・ツリーに対する最適な対応付けを見出す。これは、ブロック３００により示される。次に、コンポーネント１２０は、ブロック３００でサブ・ツリーの対応付けが見出された場合、順次的なサブ・ツリーのフォレストの最適な対応付けを見出す。これは、ブロック３０２により示される。任意の所望の「優良さ（goodness）」基準（または最適化基準）に基づいて、コンポーネント１２０は、次いで、ステップ３００および３０２におけるさらなる繰返しが必要かどうかを決定する。これは、ブロック３０４により示される。その繰返しは、対応付けについての所望の「優良さ」が達成されるまで、サブ・ツリーおよびそのサブ・ツリーを含むフォレストの対応付けを続ける。その所望される全体の対応付けは、上記で述べたように、パラレルなテキスト・チャンクおよびハイパーリンクを特定することになる。コンポーネント１２０は、したがって、ブロック３０６により示されるように、パラレルなテキスト・チャンクおよびハイパーリンクを出力する。
【００４４】
ツリー対応付けモデルのより詳細な提示（presentation）を容易にするために、以下の記号が導入される。ＨＴＭＬドキュメントＤが与えられると、ＴDは、対応するＤＯＭツリーを指す；
【００４５】
【数１】
2009543255.tif 000003
【００４６】
は、ＴDのｉ番目のノードを指し（ここで、ノードのインデックスは、幅優先順である）、また
【００４７】
【数２】
2009543255.tif 000004
【００４８】
は、
【００４９】
【数３】
2009543255.tif 000005
【００５０】
にルートを持つサブ・ツリーを指し、したがって、
【００５１】
【数４】
2009543255.tif 000006
【００５２】
は、ＴDのルートを指し、また
【００５３】
【数５】
2009543255.tif 000007
【００５４】
である；
【００５５】
【数６】
2009543255.tif 000008
【００５６】
は、
【００５７】
【数７】
2009543255.tif 000009
【００５８】
から
【００５９】
【数８】
2009543255.tif 000010
【００６０】
までのノードにルートを持つサブ・ツリーからなるフォレストを指す。
【００６１】
【数９】
2009543255.tif 000011
【００６２】
は、ノード
【００６３】
【数１０】
2009543255.tif 000012
【００６４】
のテキストを指す；
【００６５】
【数１１】
2009543255.tif 000013
【００６６】
は、ノード
【００６７】
【数１２】
2009543255.tif 000014
【００６８】
のＨＴＭＬタグを指す；
【００６９】
【数１３】
2009543255.tif 000015
【００７０】
は、ノード
【００７１】
【数１４】
2009543255.tif 000016
【００７２】
のｊ番目の子を指す；
【００７３】
【数１５】
2009543255.tif 000017
【００７４】
は、連続する一連の
【００７５】
【数１６】
2009543255.tif 000018
【００７６】
の
【００７７】
【数１７】
2009543255.tif 000019
【００７８】
から
【００７９】
【数１８】
2009543255.tif 000020
【００８０】
までの子ノードを指す；
【００８１】
【数１９】
2009543255.tif 000021
【００８２】
にルートを持つサブ・ツリーは、
【００８３】
【数２０】
2009543255.tif 000022
【００８４】
として表され、また
【００８５】
【数２１】
2009543255.tif 000023
【００８６】
にルートを持つフォレストは
【００８７】
【数２２】
2009543255.tif 000024
【００８８】
で表される。最後に、ＮＵＬＬ（ヌル）は、ノード削除用に導入された空ノードを指す。
【００８９】
ＤＯＭツリーの階層的構造に適合させるために、２つの異なる変換確率が定義される（本例は、英語とフランス語を扱うので、Ｅは英語を意味し、Ｆはフランス語を意味する）。
【００９０】
【数２３】
2009543255.tif 000025
【００９１】
これは、サブ・ツリー
【００９２】
【数２４】
2009543255.tif 000026
【００９３】
を、サブ・ツリー
【００９４】
【数２５】
2009543255.tif 000027
【００９５】
に変換する確率である；
【００９６】
【数２６】
2009543255.tif 000028
【００９７】
これは、ノード
【００９８】
【数２７】
2009543255.tif 000029
【００９９】
を
【０１００】
【数２８】
2009543255.tif 000030
【０１０１】
に変換する確率である。
【０１０２】
さらに、
【０１０３】
【数２９】
2009543255.tif 000031
【０１０４】
は、対応付けＡに基づいて、フォレスト
【０１０５】
【数３０】
2009543255.tif 000032
【０１０６】
を
【０１０７】
【数３１】
2009543255.tif 000033
【０１０８】
に変換する確率を表す。ツリーの対応付けＡは、ターゲット・ノードから、ソース・ノードまたはヌル・ノードへのマッピングとして定義される。したがって、Ａi（またはＡ[i、j]）は、サブ・ツリー
【０１０９】
【数３２】
2009543255.tif 000034
【０１１０】
（またはフォレスト
【０１１１】
【数３３】
2009543255.tif 000035
【０１１２】
）に対するフランス語サブ・ツリー（またはフォレスト）へのマッピング・スキームを指す。
【０１１３】
２つのＨＴＭＬドキュメントＦ（フランス語）、およびＥ（英語）が与えられると、ツリー対応付けタスクは、以下の確率を最大化するＡを求めるものとして定義される。
Ｐｒ（Ａ｜ＴF、ＴE）∝Ｐｒ（ＴF｜ＴE、Ａ）Ｐｒ（Ａ｜ＴE）              式１
式中、Ｐｒ（Ａ｜ＴE）は、ＴEが与えられた場合の対応付け構成の事前知識（prior knowledge）を表す。
【０１１４】
対応付けの構成中に生ずるソース・ノードまたはターゲット・ノードの削除の確率を指すｐdを導入することにより、事前のＰｒ（Ａ｜ＴE）の対応付けは、以下の二項分布として仮定することができる。
【０１１５】
【数３４】
2009543255.tif 000036
【０１１６】
式中、ＬはＡにおける空ではない対応付けのカウントであり、Ｍは、ＡにおけるＴEノードの削除のカウントである。
【０１１７】
Ｐｒ（ＴF｜ＴE、Ａ）は、以下のように表すことができる。すなわち、
【０１１８】
【数３５】
2009543255.tif 000037
【０１１９】
、また
【０１２０】
【数３６】
2009543255.tif 000038
【０１２１】
は、以下のように、Ａの対応付け構成に応じて再帰的に計算することができる。
【０１２２】
【数３７】
2009543255.tif 000039
【０１２３】
が、
【０１２４】
【数３８】
2009543255.tif 000040
【０１２５】
と対応付けられ、
【０１２６】
【数３９】
2009543255.tif 000041
【０１２７】
の子が
【０１２８】
【数４０】
2009543255.tif 000042
【０１２９】
の子と対応付けられる場合、
【０１３０】
【数４１】
2009543255.tif 000043
【０１３１】
となる。式中、ＫおよびＫ’は、それぞれ、
【０１３２】
【数４２】
2009543255.tif 000044
【０１３３】
および
【０１３４】
【数４３】
2009543255.tif 000045
【０１３５】
の次数（degree）である。
【０１３６】
【数４４】
2009543255.tif 000046
【０１３７】
が削除され、かつ
【０１３８】
【数４５】
2009543255.tif 000047
【０１３９】
の子が
【０１４０】
【数４６】
2009543255.tif 000048
【０１４１】
と対応付けられる場合、
【０１４２】
【数４７】
2009543255.tif 000049
【０１４３】
となる。式中、Ｋは
【０１４４】
【数４８】
2009543255.tif 000050
【０１４５】
の次数である。
【０１４６】
【数４９】
2009543255.tif 000051
【０１４７】
が削除され、
【０１４８】
【数５０】
2009543255.tif 000052
【０１４９】
が
【０１５０】
【数５１】
2009543255.tif 000053
【０１５１】
の子と対応付けられる場合、
【０１５２】
【数５２】
2009543255.tif 000054
【０１５３】
となる。式中、Ｋは
【０１５４】
【数５３】
2009543255.tif 000055
【０１５５】
の次数である。
【０１５６】
対応付けモデルを完了するために、
【０１５７】
【数５４】
2009543255.tif 000056
【０１５８】
を推定する必要がある。上記で述べたように、変更されないノードの連続する順序を有する対応付け構成だけが有効であると見なされる。したがって、
【０１５９】
【数５５】
2009543255.tif 000057
【０１６０】
は、Ａの以下の３つの対応付け構成に対応して、再帰的に推定することができる。
【０１６１】
【数５６】
2009543255.tif 000058
【０１６２】
が
【０１６３】
【数５７】
2009543255.tif 000059
【０１６４】
と対応付けられ、また
【０１６５】
【数５８】
2009543255.tif 000060
【０１６６】
が
【０１６７】
【数５９】
2009543255.tif 000061
【０１６８】
と対応付けられる場合、
【０１６９】
【数６０】
2009543255.tif 000062
【０１７０】
である。
【０１７１】
【数６１】
2009543255.tif 000063
【０１７２】
が削除され、かつ
【０１７３】
【数６２】
2009543255.tif 000064
【０１７４】
の子
【０１７５】
【数６３】
2009543255.tif 000065
【０１７６】
が
【０１７７】
【数６４】
2009543255.tif 000066
【０１７８】
と組み合わされて、
【０１７９】
【数６５】
2009543255.tif 000067
【０１８０】
と対応付けられる場合、
【０１８１】
【数６６】
2009543255.tif 000068
【０１８２】
であり、式中、Ｋは
【０１８３】
【数６７】
2009543255.tif 000069
【０１８４】
の次数である。
【０１８５】
【数６８】
2009543255.tif 000070
【０１８６】
が削除され、かつ
【０１８７】
【数６９】
2009543255.tif 000071
【０１８８】
の子
【０１８９】
【数７０】
2009543255.tif 000072
【０１９０】
が、
【０１９１】
【数７１】
2009543255.tif 000073
【０１９２】
と組み合わされて
【０１９３】
【数７２】
2009543255.tif 000074
【０１９４】
と対応付けられる場合、
【０１９５】
【数７３】
2009543255.tif 000075
【０１９６】
であり、式中、Ｋは
【０１９７】
【数７４】
2009543255.tif 000076
【０１９８】
の次数である。
【０１９９】
最後に、ノードの変換確率は、例示的に、
【０２００】
【数７５】
2009543255.tif 000077
【０２０１】
としてモデル化され、またテキストの変換確率Ｐｒ（ｔF｜ｔE）は、用語の順序を考慮することなく、英語からフランス語への逐語的な変換をモデリングすることによってモデル化される。当然であるが、他のモデルを同様に使用することもできる。
【０２０２】
このように、本モデルを述べてきたが、モデルに対するパラメータを推定する必要がある。例示的な一実施形態では、ツリー対応付けモデルは、３つのカテゴリのパラメータを含み、英語テキストの断片ｔEを、フランス語テキストの断片ｔFとして変換する確率であるテキストの変換確率Ｐｒ（ｔF｜ｔE）、互いにマップされた２つのタグの確率であるタグ・マッピング確率Ｐｒ（ｌ｜ｌt）、および上記で述べたノード削除確率ｐdを含む。任意の所望の、また従来のパラメータ推定技法を使用することもできる。
【０２０３】
上記の図４に関して述べた繰返し対応付けプロセスを達成するために、ボトムアップ手法を使用できることもまた留意されたい。２つのツリーが最適に対応付けされた場合、そのサブ・ツリーの対応付けも同様に最適でなければならないことが理解されよう。したがって、復号プロセスにおいて、動的計画（dynamic programming）技法を適用して、最適なツリー対応付けを、ボトムアップ式のサブ・ツリーについての最適なツリー対応付けを用いて、見出することができる。表１は、このような復号アルゴリズムに対する疑似コードを設定する。
【０２０４】
【表１】
2009543255.tif 000078
【０２０５】
ここで、｜ＴF｜および｜ＴE｜は、ＴFおよびＴEにおけるノードの数であり、ＫiおよびＫjは、
【０２０６】
【数７６】
2009543255.tif 000079
【０２０７】
および
【０２０８】
【数７７】
2009543255.tif 000080
【０２０９】
の次数である。
【０２１０】
したがって、（ＨＴＭＬタグなどの）すべてのレイアウト情報を除去し、従来の文の対応付けを利用するだけである、パラレルなウェブ・コンテンツを特定しようとする従来の方法を改善できることが分かる。まず、ツリー対応付けを適用して、パラレルなテキスト・チャンクを対応付け、次いで、（文の対応付けなどの）より細かな対応付けを用いて、対応付けられたテキスト・チャンクからパラレルな文を抽出することにより、より優れた性能が得られる。
【０２１１】
図５は、諸実施形態を実装することのできる適切なコンピューティング・システム環境４００の一例を示す。コンピューティング・システム環境４００は、適切なコンピューティング環境の一例にすぎず、特許請求される主題の用途または機能性の範囲に関して何らかの限定を示唆することを意図するものではない。コンピューティング環境４００は、例示的な動作環境４００中で示されたコンポーネントの任意の１つまたは組合せに関して、何らかの依存性、または要件を有するものと解釈されるべきではない。
【０２１２】
諸実施形態は、数多くの他の汎用または専用のコンピューティング・システム環境、もしくはコンフィギュレーションで動作可能である。様々な実施形態で使用するのに適切であることができるよく知られたコンピューティング・システム、環境、および／またはコンフィギュレーションの例は、これだけに限らないが、パーソナル・コンピュータ、サーバ・コンピュータ、ハンドヘルドもしくはラップトップ装置、マルチプロセッサ・システム、マイクロ・プロセッサ・ベースのシステム、セットトップボックス、プログラム可能な家庭用電子機器、ネットワークＰＣ、ミニ・コンピュータ、メインフレーム・コンピュータ、電話通信システム、上記のシステムもしくは装置の任意のものを含む分散コンピューティング環境などを含む。
【０２１３】
諸実施形態は、コンピュータにより実行されるプログラム・モジュールなど、コンピュータで実行可能な命令の一般的なコンテクストで記述されることができる。概して、プログラム・モジュールは、特定のタスクを行う、または特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。いくつかの実施形態は、通信ネットワークを介してリンクされた遠隔の処理装置によりタスクが実施される分散コンピューティング環境で行われるように設計される。分散コンピューティング環境では、プログラム・モジュールは、メモリ記憶装置を含むローカルと遠隔の両方のコンピュータ記憶媒体中に位置する。
【０２１４】
図５を参照すると、いくつかの実施形態を実装するための例示的なシステムは、コンピュータ４１０の形の汎用コンピューティング装置を含む。コンピュータ４１０のコンポーネントは、これだけに限らないが、処理装置４２０と、システム・メモリ４３０と、システム・メモリを含む様々なシステム・コンポーネントを処理装置４２０に結合するシステム・バス４２１とを含むことができる。システム・バス４２１は、メモリ・バスもしくはメモリ制御装置、周辺バス、および任意の様々なバス・アーキテクチャを用いるローカル・バスを含むいくつかのタイプのバス構造の任意のものとすることができる。例のためであり、限定するものではないが、このようなアーキテクチャは、ＩＳＡ（Industry Standard Architecture）バス、ＭＣＡ（Micro Channel Architecture）バス、ＥＩＳＡ（Enhanced ISA）バス、ＶＥＳＡ（Video Electronics Standards Association）ローカル・バス、およびＭｅｚｚａｎｉｎｅバスとしても知られているＰＣＩ（Peripheral Component Interconnect）バスを含む。
【０２１５】
コンピュータ４１０は、通常、様々なコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータ４１０によりアクセスできる任意の利用可能な媒体とすることができ、揮発性と不揮発性媒体、取外し可能と取外し不能媒体を共に含む。例示のためであり、限定するものではないが、コンピュータ可読媒体は、コンピュータ記憶媒体および通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラム・モジュール、または他のデータなどの情報を格納するための任意の方法または技術で実装された揮発性と不揮発性媒体、取外し可能と取外し不能媒体を共に含む。コンピュータ記憶媒体は、これだけに限らないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリもしくは他のメモリ技術、ＣＤ−ＲＯＭ、ＤＶＤ（digital versatile disks）もしくは他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージもしくは他の磁気記憶装置、あるいは所望の情報を格納するのに使用することができ、コンピュータ４１０によりアクセスできる任意の他の媒体を含む。通信媒体は、通常、コンピュータ可読命令、データ構造、プログラム・モジュール、または他のデータを、搬送波または他の移送機構などの変調されたデータ信号の形で具現化するものであり、また任意の情報送達媒体を含む。用語「変調されたデータ信号」とは、情報を信号中に符号化するような方法で設定または変更された１つまたは複数のその特性を有する信号を意味する。例示のためであり、限定するものではないが、通信媒体は、有線ネットワークや直接有線接続などの有線媒体、および音響、ＲＦ、赤外線、他の無線媒体などの無線媒体を含む。上記の任意のものの組合せもまた、コンピュータ可読媒体の範囲内に含まれるべきである。
【０２１６】
システム・メモリ４３０は、ＲＯＭ（読取り専用メモリ）４３１やＲＡＭ（ランダム・アクセス・メモリ）４３２などの揮発性および／または不揮発性メモリの形のコンピュータ記憶媒体を含む。起動中などに、コンピュータ４１０内のエレメント間で情報を転送するのを助ける基本ルーチンを含むＢＩＯＳ（基本入出力システム）４３３が、通常、ＲＯＭ４３１に格納される。ＲＡＭ４３２は、通常、処理装置４２０が直接的にアクセス可能であり、かつ／または現在処理しているデータおよび／またはプログラム・モジュールを含む。例示のためであり、限定するものではないが、図５は、オペレーティング・システム４３４、アプリケーション・プログラム４３５、他のプログラム・モジュール４３６、およびプログラム・データ４３７を示す。
【０２１７】
コンピュータ４１０はまた、他の取外し可能／取外し不能、揮発性／不揮発性のコンピュータ記憶媒体を含むことができる。例示のためでだけであるが、図５は、取外し不能な、不揮発性の磁気媒体との間で読取りまたは書込みを行うハードディスク・ドライブ４４１と、取外し可能な、不揮発性の磁気ディスク４５２との間で読取りまたは書込みを行う磁気ディスク・ドライブ４５１と、ＣＤ−ＲＯＭまたは他の光媒体などの取外し可能な、不揮発性の光ディスク４５６との間で読取りまたは書込みを行う光ディスク・ドライブ４５５とを示す。例示的な動作環境で使用され得る他の取外し可能／取外し不能、揮発性／不揮発性のコンピュータ記憶媒体は、これだけに限らないが、磁気テープ・カセット、フラッシュ・メモリ・カード、ＤＶＤ（digital versatile disks）、デジタル・ビデオ・テープ、固体ＲＡＭ、固体ＲＯＭなどを含む。ハードディスク・ドライブ４４１は、通常、インターフェース４４０などの取外し不能なメモリ・インターフェースを介して、システム・バス４２１に接続され、また磁気ディスク・ドライブ４５１および光ディスク・ドライブ４５５は、通常、インターフェース４５０などの取外し可能なメモリ・インターフェースによりシステム・バス４２１に接続される。
【０２１８】
上記で論じ、また図５に示されたドライブおよびその関連するコンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラム・モジュール、およびコンピュータ４１０に対する他のデータのストレージを提供する。図５では、例えば、ハードディスク・ドライブ４４１は、オペレーティング・システム４４４、アプリケーション・プログラム４４５、他のプログラム・モジュール４４６、およびプログラム・データ４４７を格納するものとして示されている。これらのコンポーネントは、オペレーティング・システム４３４、アプリケーション・プログラム４３５、他のプログラム・モジュール４３６、およびプログラム・データ４３７と同一にすることも、異なるものにすることも可能であることに留意されたい。オペレーティング・システム４４４、アプリケーション・プログラム４４５、他のプログラム・モジュール４４６、およびプログラム・データ４４７は、少なくとも、それが異なるコピーであることを示すために、ここでは異なる数字を与えている。
【０２１９】
ユーザは、キーボード４６２、マイクロフォン４６３や、マウス、トラックボール、またはタッチ・パッドなどのポインティング装置４６１などの入力装置を介してコンピュータ４１０にコマンドおよび情報を入力することができる。他の入力装置（図示せず）は、ジョイスティック、ゲームパッド、サテライト・ディッシュ、スキャナなどを含むことができる。これらのおよび他の入力装置は、システム・バスに結合されたユーザ入力インターフェース４６０を介して処理装置４２０に接続されることが多いが、パラレル・ポート、ゲーム・ポート、またはＵＳＢ（universal serial bus）などの他のインターフェースおよびバス構造によって接続することもできる。モニタ４９１または他のタイプの表示装置がまた、ビデオ・インターフェース４９０などのインターフェースを介してシステム・バス４２１に接続される。モニタに加えて、コンピュータはまた、出力周辺インターフェース４９５を介して接続され得る、スピーカ４９７およびプリンタ４９６などの他の周辺出力装置を含むことができる。
【０２２０】
コンピュータ４１０は、遠隔コンピュータ４８０などの１つまたは複数の遠隔コンピュータへの論理接続を用いて、ネットワーク化された環境で動作することができる。遠隔コンピュータ４８０は、パーソナル・コンピュータ、ハンドヘルド装置、サーバ、ルータ、ネットワークＰＣ、ピア（peer）装置、または他の共通のネットワーク・ノードとすることができ、通常、コンピュータ４１０に対して上記で述べたエレメントの多くまたはすべてのものを含む。図５で示す論理接続は、ＬＡＮ（ローカルエリア・ネットワーク）４７１、およびＷＡＮ（広域ネットワーク）４７３を含むが、他のネットワークを含むこともできる。このようなネットワーク化環境は、オフィスや事業体規模のコンピュータネットワーク、イントラネット、およびインターネットにおいて普通のものである。
【０２２１】
ＬＡＮネットワーク化環境で使用されるとき、コンピュータ４１０は、ネットワーク・インターフェースもしくはアダプタ４７０を介してＬＡＮ４７１に接続される。ＷＡＮネットワーク化環境で使用されるときは、コンピュータ４１０は、通常、インターネットなどのＷＡＮ４７３を介して通信を確立するためのモデム４７２または他の手段を含む。モデム４７２は、内部または外部のものとすることができるが、ユーザ入力インターフェース４６０、または他の適切な機構を介して、システム・バス４２１に接続されることができる。ネットワーク化された環境では、コンピュータ４１０、またはその部分に関して示されたプログラム・モジュールは、遠隔のメモリ記憶装置に格納してもよい。例のためであり、限定するものではないが、図５は、遠隔コンピュータ４８０上に常駐するものとして、遠隔のアプリケーション・プログラム４８５を示している。図示されたネットワーク接続は例示的なものであり、コンピュータ間で通信リンクを確立する他の手段も使用できることが理解されよう。
【０２２２】
本主題が、構造的な特徴および／または方法論的行為（act）に特有の言語で述べられてきたが、添付の特許請求の範囲で定義される主題は、上記で述べた特定の特徴または行為に必ずしも限定されないことを理解されたい。そうではなくて、上記で述べた特定の特徴および行為は、その特許請求の範囲を実施する例示的な形態として開示されている。
【図１】
2009543255.tif 000081
【図２】
2009543255.tif 000082
【図２Ａ】
2009543255.tif 000083
【図３Ａ】
2009543255.tif 000084
【図３Ｂ】
2009543255.tif 000085
【図４】
2009543255.tif 000086
【図５】
2009543255.tif 000087
【国際調査報告】
2009543255.tif 000088
2009543255.tif 000089