(57)【要約】  メタサーチエンジン（１）は、ユーザ（Ｕ）からクエリー（ｑＴ）を受け取り、適用させたクエリー（ｑ１〜ｑｎ）をｎ個のサーチエンジン（Ｓ１〜Ｓｎ）に提示する。結果（Ｒ１〜Ｒｎ）を適応させ（Ｒ１’〜Ｒｎ’）かつ結合させて結果の集合Ｒ’を提供する。並行してメタサーチエンジン（１）が、クエリーｑ１〜ｑｎのウエブページｐｉ〜ｐｎとの応答に関する値を入れた、選択したヒットマトリックス（Ｈ）をアクセスする。これらの値は先のサーチの「ヒット」の数である。ｑＴの行から検索したページ（Ｒ’’）をサーチエンジン（Ｓ１〜Ｓｎ）の結果と結合させて最終的な結果を提供するが、これは先のサーチの経験に従ってランク付けされている。ヒットマトリックスは、ユーザコミュニティに従って動的に選択することができる。クエリー（ｑＴ）は、重み付けを適用した現在のクエリーｑＴとの類似性に従って行を選択し得ることから、ヒットマトリックスクエリー（ｑ１〜ｑｎ）と正確に一致する必要はない。
2006528383.tif 000002
【特許請求の範囲】
【請求項１】
ユーザのサーチクエリーを受け取り、対応するクエリーをサーチエンジンに提示し、かつその応答を受け取るため、及び前記サーチエンジンの応答を後処理して、ランク付けしたユーザ応答リストを提供するためのメタサーチエンジンであって、ユーザのクエリーと応答の選択との対応の履歴を示す履歴データに従って前記サーチエンジンの応答をランク付けするメタサーチエンジン。
【請求項２】
前記対応がクエリー−選択の対について履歴ヒット数を有するマトリックスとして記憶される請求項１に記載のメタサーチエンジン。
【請求項３】
複数のマトリックスがあり、マトリックスを動的に選択する請求項１又は２に記載のメタサーチエンジン。
【請求項４】
前記ユーザを割当てるコミュニティに従ってマトリックスを動的に選択する請求項３に記載のメタサーチエンジン。
【請求項５】
前記コミュニティがクエリーのソースに従って決定される請求項４に記載のメタサーチエンジン。
【請求項６】
クエリーが発信されるウエブサイトを用いてコミュニティを識別する請求項５に記載のメタサーチエンジン。
【請求項７】
ユーザのログイン手順を用いてヒットマトリックスを決定する請求項５又は６に記載のメタサーチエンジン。
【請求項８】
複数のヒットマトリックスを使用し、最初に第１のマトリックスの使用から生じる結果を示す請求項３乃至７のいずれかに記載のメタサーチエンジン。
【請求項９】
前記マトリックスに関連するコミュニティに関する情報と共に前記結果を示す請求項６又は８に記載のメタサーチエンジン。
【請求項１０】
前記結果が使用に基づくクラスタで示される請求項９に記載のメタサーチエンジン。
【請求項１１】
複数のマトリックスを使用し、どのマトリックスが最も適合しそうであるかを自動的に決定する請求項３乃至１０のいずれかに記載のメタサーチエンジン。
【請求項１２】
前記マトリックスの選択の合計数と比較した前記クエリーに関する選択の相対数から導かれる成功スコアを計算する請求項１１に記載のメタサーチエンジン。
【請求項１３】
ユーザのクエリーの直接的な一致に関する履歴選択値を決定する請求項１乃至１２のいずれかに記載のメタサーチエンジン。
【請求項１４】
現在のクエリーに関する複数の先のクエリーについて履歴選択値を決定する請求項１３に記載のメタサーチエンジン。
【請求項１５】
関連するクエリーの現在のクエリーとの類似性に従って前記選択値に重み付けを適用する請求項１４に記載のメタサーチエンジン。
【請求項１６】
前記類似性がクエリー語のオーバラップの範囲に従って決定される請求項１５に記載のメタサーチエンジン。
【請求項１７】
マトリックスの１つのディメンションがクエリーに関連し、かつ重み付けがそのディメンションに関する各行又は列に適用される請求項１４乃至１６のいずれかに記載のメタサーチエンジン。
【請求項１８】
前記履歴データが特定のユーザに関して匿名であり、それによりプローブライバシーを確保している請求項１乃至１７のいずれかに記載のメタサーチエンジン。
【請求項１９】
パラメータに従って前記履歴データを変更する請求項１乃至１８のいずれかに記載のメタサーチエンジン。
【請求項２０】
前記パラメータが時間であり、より古い履歴データがより新しい履歴データよりも適合度が低い請求項１９に記載のメタサーチエンジン。
【請求項２１】
決定した適合度スコアを別のスコアと結合させる請求項１乃至２０のいずれかに記載のメタサーチエンジン。
【請求項２２】
前記別のスコアがスポンサードリスティングランク付けである請求項２１に記載のメタサーチエンジン。
【請求項２３】
各クエリー及びその履歴選択データが事例である事例ベースの推論システムを有する請求項１乃至２２のいずれかに記載のメタサーチエンジン。
【請求項２４】
各事例がクエリーと、それぞれに応答識別名及び適合度スコアを有するｋ個の結果対とからなる請求項２３に記載のメタサーチエンジン。
【請求項２５】
各事例がヒットマトリックスのクエリーディメンションに対応している請求項２４に記載のメタサーチエンジン。
【請求項２６】
実質的に添付図面に関連して本願明細書に記載されるメタサーチエンジン。
【請求項２７】
実質的に添付図面に関連して本願明細書に記載されるメタサーチ方法。
【請求項２８】
デジタルコンピュータにおいて実行したときに請求項１乃至２５のいずれかに記載のメタサーチエンジンの動作を実現するためのソフトウエアコードを有するコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データベース及びサーバからの情報の検索に関する。
【背景技術】
【０００２】
今日、ウェブサーチエンジンは、情報経済を推進するインターネットインフラストラクチャの決定的なコンポーネントである。毎日約６０テラバイトの新しいコンテンツがワールドワイドウェブに追加されていると考えられる。残念ながら、相当部分のサーチャは、適当な結果を適当な時間で配達する能力に至るとき、サーチエンジンの性能に欲求不満を感じかつ失望している。その主な理由の１つは、ウェブサーチエンジンのコアを形成する情報検索技術が、ウェブサーチの現実に十分に適していないことである。これは、これらの技術の多くが、元々エキスパートであるユーザによる制限されたドキュメントの収集に関する特別なサーチタスクについて開発されたからということができる。その結果、これらの欠点が次のような相関的な問題に至っている。
【０００３】
−カバレッジの問題：ウェブの連続的な成長は、単一のサーチエンジンでは完全なカバレッジの提供を望めないことを意味している。
−索引付けの問題：ウェブドキュメントが雑多な性質を有すること及び信頼性を持った品質制御に欠けることが索引付けを特に困難にしている。
−ランク付けの問題：クエリー語とのオーバラップに重み付けしたことに基づくランク付けの結果が、ウェブサーチの不十分なことを証明している。
−クエリーの問題：作り方が不十分で曖昧なクエリーの優位性は、大部分のサーチャが始めから十分に特定されていないことを意味する。
【０００４】
近年はウェブサーチにおいて多くの重要な発展が認められ、その多くは特にウェブに特有の性質及びウェブユーザが情報をサーチする特定の方法を利用している。例えば、リサーチャは、メタサーチエンジンにおける多くの個々のサーチエンジンの結果を結合して、カバレッジ及び正確度の改善を実現することの利益を認識している。より最近では、ウェブのトポロジ（個々のページの連結性）に関する情報が、信頼できるページを認識しかつランク付けする方法として、サーチエンジンに組み込まれている。クラスタ化技術をどのように用いて結果のフラットリストをより構造化した項目別のクラスタの集合に編成するかについても、目が向けられている。これは、クエリーの問題を解決するものではないとはいえ、少なくともサーチエンジンが、曖昧なクエリーが持つ様々な意味をばらばらにして、項目別に関連する結果の集合にするのに役立っている。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
これらの発達が有するものは全て、ドキュメントが表され、検索され又はランク付けされる方法を、個々のサーチセッションのレベルに焦点を合わせることによって改善しようとしているという意味において、伝統的な情報検索の考え方を採用しようとする傾向がある。
【０００６】
本発明は、情報の検索に必要な反復の数を少なくすることを目的としている。
【課題を解決するための手段】
【０００７】
本発明によれば、ユーザのサーチクエリーを受け取り、対応するクエリーをサーチエンジンに提示し、かつその応答を受け取るため、及び前記サーチエンジンの応答を後処理して、ランク付けしたユーザ応答リストを提供するためのメタサーチエンジンであって、ユーザのクエリーと応答の選択との対応の履歴を示す履歴データに従って前記サーチエンジンの応答をランク付けするメタサーチエンジンが提供される。
【０００８】
或る実施例では、前記対応が、クエリー−選択の対の履歴ヒット数を有するマトリックスとして記憶される。
【０００９】
別の実施例では、複数のマトリックスがあり、前記メタサーチエンジンが動的にマトリックスを選択する。
【００１０】
更に別の実施例では、前記メタサーチエンジンが前記ユーザを割当てるコミュニティに従ってマトリックスを動的に選択する。
【００１１】
或る実施例では、前記コミュニティがクエリーのソースに従って決定される。
【００１２】
別の実施例では、クエリーの発信元であるウェブサイトを用いてコミュニティを識別する。
【００１３】
更に別の実施例では、ユーザのログイン手順を用いてヒットマトリックスを決定する。
【００１４】
或る実施例では、前記エンジンが複数のヒットマトリックスを使用し、最初に第１のマトリックスの使用から生じる結果を示す。
【００１５】
別の実施例では、前記マトリックスに関連するコミュニティに関する情報と共に前記結果を示す。
【００１６】
更に別の実施例では、前記結果が使用に基づくクラスタで示される。
【００１７】
或る実施例では、前記エンジンが複数のマトリックスを使用し、どのマトリックスが最も適合しそうであるかを自動的に決定する。
【００１８】
別の実施例では、前記エンジンが前記マトリックスの選択の合計数と比較した前記クエリーに関する選択の相対数から導かれる成功スコアを計算する。
【００１９】
更に別の実施例では、前記メタサーチエンジンがユーザのクエリーに直接一致する履歴選択値を決定する。
【００２０】
或る実施例では、前記メタサーチエンジンが現在のクエリーに関する複数の先のクエリーについて履歴選択値を決定する。
【００２１】
別の実施例では、関連するクエリーの現在のクエリーとの類似性に従って前記選択値に重み付けを適用する。
【００２２】
更に別の実施例では、類似性がクエリー語のオーバラップの範囲に従って決定される。
【００２３】
或る実施例では、マトリックスの１つのディメンションがクエリーに関連し、かつ重み付けがそのディメンションに関する各行又は列に適用される。
【００２４】
別の実施例では、履歴データが、特定のユーザに関して匿名であり、それによりプライバシを確保している。
【００２５】
更に別の実施例では、前記エンジンがパラメータに従って履歴データを修正する。
【００２６】
或る実施例では、前記パラメータが時間であり、より古い履歴データはより新しい履歴データよりも適合度が低い。
【００２７】
別の実施例では、前記エンジンが、決定された適合スコアを別のスコアと結合させる。
【００２８】
更に別の実施例では、前記別のスコアがスポンサードリスティングランク付けである。
【００２９】
或る実施例では、前記エンジンが各クエリー及びその履歴選択データが事例である事例ベースの推論システムを有する。
【００３０】
別の実施例では、各事例が１つのクエリーと、それぞれに応答識別子及び適合スコアを有するｋ個の結果対とを有する。
【００３１】
更に別の実施例では、各事例がヒットマトリックスのクエリーディメンションに対応する。
【００３２】
別の実施例では、デジタルコンピュータにおいて実行したときに上述したメタサーチエンジンの動作を実現するためのソフトウエアコードを有するコンピュータプログラム製品が提供される。
【発明を実施するための最良の形態】
【００３３】
本発明は、添付図面を参照しつつ、単なる実施例として以下に記載される実施態様からより明確に理解される。
図１及び図２に関し、メタサーチエンジン１はユーザＵからクエリーｑＴを受け取り、かつ応答Ｒを転送する。そのようにするため、クエリーｑＴをアダプタを介してｎ個までのサーチエンジンＳｎに提示する。これら下位のサーチエンジンのそれぞれは、既にスタンドアローンのサーチシステムとして存在する。或る実施例では、それらは、総称的なサーチエンジンであり、又は別の実施例ではより専用化されたサーチエンジンである。
【００３４】
各アダプタ２は、ユーザのクエリーｑＴを関連するサーチエンジンのフォーマットに返還する。例えば、ｑＴはサーチエンジンＳ１のためにｑ１に変換される。一般に、これには、当該サーチエンジンが必要とする入力フォーマットに対応するようにユーザのクエリーを再フォーマットすることが含まれる。一旦再フォーマットされると、変換されたクエリーが適当なサーチエンジンに入力され、それが次にそれ自身の結果リストＲｎを生成する。例えば、サーチエンジンＳ１が結果リストＲ１を生成する。
【００３５】
次に、下位のサーチエンジンにより生成された結果リストＲ１〜Ｒｎのそれぞれをアダプタ２により、それらの共通のコンポーネント（ページタイトル、ページＵＲＬ、スニペットテキストなど）を識別することにより、共通のフォーマットに変換される。標準のＸＭＬ表示を用いて、この共通フォーマットを提供する。
【００３６】
下位のサーチエンジンにより生成される結果リストＲ１〜Ｒｎのそれぞれが一旦再フォーマットされると、それらはメタエンジン１によりマージされて、結合した結果リストＲ’を生成する。特有の結果はそれぞれ、結果リストのランク付けにおいてどの位高位に現れるかに従って、及びどの位多くの結果リストにそれが現れるかに従って、得点が与えられる。平均よりもよいランク付けのスコアを有する結果（多くの結果リストに高い位置に現れるもの）が、マージされた結果リストにおいて高位にランク付けされる。いくつかの下位のサーチエンジンの結果リストに所定の結果が現れない場合には、このサーチエンジンからの結果リストの長さを１に加えたものとなるように計算される少ないスコアで、ペナルティが与えられる。このようにして、マージされた結果Ｒ’リストには、下位のサーチエンジンの組合せによって返された全ての結果のリストが含まれる。これらの結果は、下位のサーチエンジンの多くが安定して高くランク付けする結果に優先順位が与えられるように、ランク付けされる。
【００３７】
この時点において、結果リストＲ’は、既に存在する多くのメタサーチエンジンの技術により返された結果と同等のタイプのものである。しかしながら、本発明には、結果リスト内で一定の結果を進展させるために追加の処理段階が含まれる。
【００３８】
メタエンジン１は、１つのディメンションにウエブページと他にクエリーストリングとを有するヒットマトリックスＨを用いて応答Ｒ’を後処理する。ヒットマトリックスの各セルは、特定のページが先に特定のクエリーについて選択された回数を示している。従って、結果リストが何らかのクエリーｑに応答してユーザに示される毎に、及びユーザが前記結果リストから結果ページｐを選択する毎に前記ヒットマトリックスは、ｑ及びｐに対応する座標でカウンタを増分することによりアップデートされる。前記ヒットマトリックスは、そのクエリー−ページ座標を介してアクセスすることができるメモリ装置として実現される。
【００３９】
前記メタエンジン１は、ユーザ、好ましくは似た考えを持つユーザのコミュニティのサーチ履歴を利用する方法であるが故に、本明細書において協調的サーチと称するウエブサーチの手法を実行する。エンジン１は、メタサーチエンジン又は結果ポストプロセッサのモードで動作し、図１に示すように下位のサーチエンジンの結果を結合させる。
【００４０】
適合度スコア
ヒットマトリックス（Ｈ）メモリ記憶装置は、過去のサーチセッションにおいて選択された結果の記録である。クエリーｑｉについてページｐｊをユーザが選択する毎に、Ｈｉｊの値が増分される。このようにして、Ｈｉｊは、クエリーｑｉの結果としてｐｊが選択されている回数として見ることができる。クエリーｑｉに応答するＨの行によって、このクエリーを用いている全てのサーチセッションに対して、このクエリーに関する全てのページ選択の相対的な数の完全なアカウントが提供される。
【００４１】
上述した結果生成プロセスに加えて、下位のサーチエンジンからの結果がマージされる場合、エンジン１はまた、第２の結果リストＲ’’を生成し、これはヒットマトリックスの行からの、０以外の値を有する現在の目標クエリーであるｑＴに対応する全てのページで作られている。これらの結果ページは、クエリーｑＴについていくつかのユーザにより先に選択されている。明らかなことは、ｑＴが以前に全く出現していない場合には、この第２の結果リストは空になるということである。しかしながら、それが空でないと仮定した場合、前記結果は、以下の式１により示される適合度の指標に従って得点が与えられる。この指標が、クエリーｑＴについて出現しているページ選択の合計数に関してクエリーｑＴについてページｐｊが受け取った選択の数を計算する。例えば、ｐｊ及びｑＴについて０．４の適合度は、ｑＴに関する結果リストからのページ選択の４０％がこのページｐｊに関するものであったことを意味している。エンジン１の大きな利点は、適合度情報の直接的なソースとしてヒットマトリックスＨを開発する能力である。ヒットマトリックスエントリにより、クエリー−ページのマッピングの適合度指標が提供される。図２から、適合度の処理が、クエリーのページ及び下位のサーチエンジンＳ１〜Ｓｎからの結果の検索と並行して実行されることが分かる。
【００４２】
メタエンジン１は、全ての下位サーチエンジンＳ１〜Ｓｎに、別個の並列プロセスにより並行して質問をする。全体のサーチ時間は、標準的な各サーチエンジンＳ１〜Ｓ１が、その結果を返すのに要した時間で左右される。局所的な処理時間は、下位のサーチエンジンがその結果を返すのに要する時間と比較して、取るに足らないものである。従って、前記サーチエンジンがその結果を返すまでに、全ヒットマトリックスの処理が実行されており、かつＩ−ＳＰＹに関する顕著なタスクのみが２つの結果の組をマージすることになる。このタスクは非常に能率的に行われる。
【００４３】
【数１】
2006528383.tif 000003
【００４４】
Ｒ’’に含まれる結果ページは、過去のサーチセッションに基づいてそれらの相対的な選択の頻度に従ってランク付けされ、かつこれらの結果はマージされた結果リストＲ’の結果に対して優先される。従って、サーチプロセスの最後のステップでは、２つの結果リストＲ’’及びＲ’が、Ｒ’’の結果が最初に表れ、それにＲ’からの結果が続くようにマージされる。このマージプロセスの一部分として、結果がＲ’’及びＲ’双方に含まれている場合には、最終結果の最終表示において、この結果が２度表れないように、それをＲ’から取り除く。
【００４５】
協調的サーチ
エンジン１は、異なるクエリーのサービスにおいて異なるヒットマトリックスメモリデバイスを用いるように構成することができる。或る実施例では、関係がある特定のドメイン内で動作するクエリー及びユーザのコミュニティからの選択を各ヒットマトリックスに入れる。エンジン１は、様々なユーザのコミュニティのアクセスを、そのクエリー−空間及びその好ましいページに適応させたサーチサービスに提供する。例えば、自動車のウエブサイトはそのユーザへのヒットマトリックスを構築することができる。メタエンジン１はこれを、単純なフォームインタフェースを介して容易にし、かつそうする際に、この新しいヒットマトリックスに関連するサーチインタフェースへのアクセスをウエブサイトに提供する。このインタフェースを介して、ユーザは、それ自身のユーザのコミュニティへのサーチサービスを定義することができ、かつこのサーチサービスをそのユーザに様々な方法で、例えばそれをそれ自身のウエブサイトに組み込むことによって提供することができる。その結果、特有のヒットマトリックスＨが作成されかつこのユーザのコミュニティと関連付けられる。例えば、新しいサーチサービスが特定のウエブサイトを介して提供された場合、このサイトへのビジタがそのサーチサービスを使用するので、そのクエリー及びページ選択が関連するヒットマトリックスに入ることになり、エンジン１はそのランク付け指標を用いて、繰り返しのクエリーに対して先に好ましいとされたページを進展させることによって、曖昧なクエリーを明確にすることに役立つことになる。例えば、独特のヒットマトリックスを用いるように構成されている自動車のウエブサイトを介して提示されたクエリー「ｊａｇｕａｒ」は、野生生物に関連するサイトよりも自動車製造者に関連するページに優先順位が与えられることになりやすいと考えられる。このタームに関する先のサーチは、ユーザが自動車のウエブサイトからサーチを行っていることになるので、これら自動車のページの選択に終わる可能性が高い。
【００４６】
類似性に基づくクエリーの再使用（図３）
これまで記載した方法は、現在のクエリーと過去のサーチセッションとの正確な一致に依存している。別言すれば、所定のヒットマトリックスから生成された結果リストＲ’’は、このヒットマトリックスに現在のクエリーについて完全な一致が存在することに依存している。これは、サーチのユーザが同じクエリーを頻繁に使用するというクエリーの繰り返しに依存している。いくつかのサーチのシナリオでは、完全なクエリーの繰り返しはまれであり、これは、大部分のクエリーについて、エンジン１が新しいかつ改良された結果Ｒ’’に貢献し得るものではないことを意味している。例えば、現在のクエリーが「jaguar photos」に関するものである場合を考える。このクエリーが過去に提示されていない限り、及びユーザがこのクエリーにより返された結果を選択していない限り、前記ヒットマトリックスへのエントリはないことになる。例えば、クエリー「jaguar puctures」が過去に出現しているかも知れないが、これは「jaguar photos」との完全な一致でないからであり、そのヒットマトリックスのエントリは、新しいクエリーと関連がある場合でさえ検索されないことになる。この理由で、別の実施例では、前記メタエンジンが完全な一致のクエリーに依存しないヒットマトリックスのメモリを使用する構造へのより柔軟な手法、類似のクエリーにてこ入れし得るものを有する。
【００４７】
この実施例では、前記メタエンジンが事例に基づく推論を実行し、ヒットマトリックスＨの各行が個々の事例、即ち、クエリーコンポーネント（クエリー語の組）に、それぞれにページｉｄとヒットマトリックスから計算された関連する適合度の値とをそれぞれ有するｋ個の結果対で作られたｋ＋１個組と等価である（式２を参照）。事例の問題特定部分（式３を参照）は、クエリー語に対応する。事例のソリューション部分（式４を参照）は前記結果対、即ち、対応するクエリーの過去の使用の結果として蓄積されているページ選択の組に対応する。目標の問題は、当然ながら、目標クエリータームで表される。
【００４８】
【数２】
2006528383.tif 000004
【００４９】
事例の類似性は、クエリー−クエリーの類似性を測定することが可能であることを意味し、かつ指標は式６に示す単純なタームのオーバラップ指標である。検索段階では、エンジン１の事例に基づくシステムが、類似する事例の全て又はそのサブセットが結果のランク付けにおいて再利用され得るように、目標クエリーとの類似性に従って過去のサーチ事例を順位付けすることを可能にしている。このオーバラップは、類似性指標の単なる１つのタイプであり、前記エンジン１は、別の実施例ではさまざまな異なるタイプを実行することができる。例えば、クエリーの類似性を測る別の方法は、２つのクエリーを共通に有するページのヒット値間の相関関係を計算することである。これらのヒット値が高い相関関係を有する場合、同じページが同じ相対的割合で選択されており、従ってエンジン１は、それらを類似と見なすことができる。別の実施例では、エンジン１がオーバラップの指標と相関関係の指標とを組み合わせることができる。重要な点は、図示される類似性の指標に変わるものがあり得るということである。
【００５０】
【数３】
2006528383.tif 000005
【００５１】
ここで、あるクエリーｑＴについてヒットマトリックスのエントリーを検索する代わりに、ｑＴに対応する行へのエントリーを選択することにより、エンジン１は、例えば最小の類似性閾値を設定することにより、そのクエリーコンポーネントがｑＴと十分に類似していると考えられる全てのヒットマトリックス行を識別する。多数の類似事例（ヒットマトリックスの行）が目標クエリーに対して利用可能な場合には、新しい結果ランク付けを知らせる多数のサーチ履歴（ケースソリューション）がある。同じページが、それぞれに異なる適合度の値を有する多くのケースソリューションで出てくる場合がある。例えば、ページwww.sun.comは、過去のクエリー「java language」について高い適合度の値（例えば、０．８）を有するが、別の過去のクエリー「java」については低い適合度（例えば、０．３３）を有する場合がある。問題は、これらの適合度の値をどのように結合させて目標クエリー「Java inventor」に関連するこのページへの単一の適合値スコアを生成できるかということである。エンジン１は、個々のページ−クエリーの組合せについて個々の適合度スコアを結合させた正規化重み付け適合度指標を計算する。これは、各スコアがその対応するクエリーの目標クエリーに対する類似性により重み付けされるように、個々の適合度のスコアの重み付けした合計値を用いて実行される。このように、上述した本発明の実施例では、ページwww.sun.comの適合度が０．５１６であり、０．２６４（即ちクエリー「java language」へのページ適合度０．８に、このクエリーと目標クエリー「java inventor」とのクエリー類似性０．３３をかけたもの）と０．１６５（過去のクエリー「java」の０．５×０．３３）との合計値をクエリー類似性の合計値０．８３で割ったものである。式７により、ページｐｊ、目標クエリーｑＴ及び検索された類似事例ｃ１，…，ｃｎの組みに関するこの重み付けされた適合度指標の詳細が提供される。Exists（pj，cｉ）は、ｐiを事例ｃｉの解答に示される結果ページの１つであり、かつRel（pj，cｉ）がｃｉにおけるｐｊの適合度のスコアである場合に１に設定される単なるフラッグである（式５で計算される５を参照）。
【００５２】
【数４】
2006528383.tif 000006
【００５３】
閾値
上述したように、検索の際に、前記エンジンは、現在のクエリーｑＴに関連する事例の組（過去のサーチ履歴）を、現在のクエリーとこれらの事例に関連するクエリーとの類似性に基づいて選択しなければならない。前記エンジンは、容認されるべきクエリーの類似性がさまざまなレベルであることを考慮するように構成される。従って、前記エンジンは、目標クエリーに対する類似性が０でない全ての場合よりはむしろ、最適に一致する場合のみが選択されるように、検索を閾値処理することができる。クエリーの類似性が０．５以上である場合に検索を制限することは、無関係のクエリーの検索を防止することになる。しかしながら、これは、クエリーの類似性が低いいくつかの適当な事例の検索を妨げる場合がある。例えば、０．５の類似性閾値は、関連する「java language」の事例が検索されないことになる。それとは関係なく、期待されることは、そのような見せかけのクエリーの一致が、必然的に起こるものであるとはいえ、より多くの適当な一致によって少なくなりかつ稀釈されることである。このコンフュギュラビリティの程度が、さまざまな検索環境について前記エンジンを適応させることを可能にする。クエリーの繰り返しがありふれているような環境では、より信頼性の高い類似検索の例である過去の検索セッションの再使用に検索を制限するように、より高い類似性閾値がより好ましい。しかしながら、クエリーの繰り返しが低い傾向がある場合には、十分には関連があるものでない場合がある過去の検索履歴を再使用する危険性をもって、類似性の閾値を低くする必要がある場合がある。
【００５４】
このように、要約すれば、エンジンの完全一致検索という側面は、現在の目標クエリーに類似するクエリーの範囲の過去のサーチ履歴を再利用し得るように、拡張されている。これは、各サーチセッションにおいて、前記エンジンがヒットマトリックスから、類似のクエリーに関するサーチ履歴に対応するサーチ履歴にそれぞれ対応する多数の行を選択することができ、上述したように定義される重み付け適合度指標を用いて、これら多数の行で選択されたページを結合できることを意味している。従って、多くの類似のクエリーについて頻繁に選択されるページは優先される。
【００５５】
上記実施例のフロー図を図３に示す。メタサーチコンポーネントは図２におけるものと同じであるが、ヒットマトリックスの処理が多数のヒットマトリックス行に関連していることが明らかである。ユーザに返される最終結果リストの生成は先のものと同じであり、ヒットマトリックスの結果Ｒ’’がメタサーチの結果Ｒ’と、ヒットマトリックスの結果が優先されるように、マージされる。類似性及び重み付けの計算は、サーチエンジンＳ１〜Ｓｎとの適合性の通信と並行である。
【００５６】
類似のクエリーを再使用する手順の第１の利点によって前記エンジンが大きな範囲のサーチセッションに影響を与えることができるとはいえ、完全な複製よりも類似のクエリーがより出現しそうであることを仮定すれば、第２の利点が存在することは注目に値する。特に、類似のクエリーに対応するサーチ履歴の過去の選択を再使用することによって、エンジン１は、現在の目標クエリーについて下位のサーチエンジンにより戻された結果には出現しない恐れがあるページを結果リストＲ’’に追加することができる。これらの新しいページは、目標クエリーについて十分に関連がある場合があり、結局、過去に定義によって類似のクエリーについて選択されたが、さまざま理由で、下位のサーチエンジンにより位置づけされていない場合がある。例えば、それらは現在の目標クエリーに全てのタームを含んでいない場合がある。その結果は、メタエンジン１により生成される結果リストの適合性が、個別であれ又は組合せであれ、下位のサーチエンジンによりいずれかのリストが生成した多くのより関連するページを含む場合がある。
【００５７】
評価
評価は、９２名のコンピュータ科学の学生が関与する第１のライブユーザの実験において行った。この実験は実情調査又は質問応答の実行のコンテキストにおけるエンジン１の標準的なメタサーチエンジンに関する利益を評価することを目的とした。サーチタスクを組み立てるために、それぞれに学生が特定の事実（時間、場所、人の名前、システムの名称など）を見つけることを要求する２５個の一般知識ＡＩ及びコンピュータ科学の質問の組を開発した。この第１の実験のために、エンジン１は次の機能を有していた。
【００５８】
学生は無作為に２つのグループに分割した。グループ１には４５名の学生が入り、グループ２には残りの４７名が入った。グループ１は、そのサーチ履歴を用いてヒットマトリックスに入れるが、そのサーチ結果には再ランク付けが起こらないという意味において、本発明のエンジンのトレーニンググループとしての役割を果たした。このグループはまた、テストグループとしての役目を果たした第２グループのユーザのサーチ行為を判定する制御としての役割を果たした。全体として、グループ１のユーザは１０４９個のクエリーを生成しかつ結合された合計１０４６のページを選択したのに対し、グループ２のユーザは１７０５個のクエリーを使用しかつ１６２４のページを選択した。
【００５９】
要約すれば、第１のライブユーザの実験からのデータは、本発明における現在の評価の基礎を形成する次のような情報を提供している。即ち、各ユーザにより提示されたクエリー、それに続く結果リストから彼らが選択したページ、結果リスト内でのこれらのページの位置、特定の質問に対して彼らが正しい答えを位置付けしたページ、及びグループ１のユーザにより生成されたヒットマトリックスである。これらのデータから、事例ベース（基本的にグループ１のヒットマトリックス）が作られ、テスト問題の組（グループ２のクエリー）、及びこれらの問題に対する正しい解答の組（特定の質問に対する正しい解答を含むことが分かっているページ）が作られた。
【００６０】
次に、事例ベースのバージョンのエンジン１により推奨される新しい結果リストをもってグループ２のクエリーに応答することにより、第２の実験を行い、かつこれらの結果リストの品質を、本発明においてわかっている正しいページの組を参照して評価し、その結果を第１の実験及びメタサーチの性能結果に関するバージョンのエンジン１と比較した。それぞれに事例検索の際に異なる最小類似性閾値（０、０．２５、０．５、０．７５、１）をもって検索事例の範囲を制限する五つの異なるバリエーションのエンジンを評価する。
【００６１】
恐らくは、サーチエンジンの正確度の最も基本的な尺度は、その結果リスト中の単一の関連する結果を返す能力に関するものである。しかしながら、本願発明者らは、関連する結果の数及びその位置に焦点を合わせるより精密な尺度を考えている。各サーチエンジン（ＣＢがＩ−ＳＰＹ及びメタ）について全体の正確度を測定するために、１７０５個のテストクエリーについてこれらのサーチエンジン（５つのＣＢのバリエーションを含む）により返された完全な結果リストのそれぞれを、これらのクエリーに関連する既知の正しい結果のリストと比較する。少なくとも１つの正しい結果を含む結果リストの割合を計算する。
【００６２】
その結果が、類似性閾値に対する全体正確度の線図として、図４（ａ）に示されている。それぞれの線は、単一のサーチエンジンに対応している。Ｉ−ＳＰＹ及びメタに関するプロットは６５％で平坦のままであり、ＣＢの類似性閾値における変化に影響を受けていない。この結果は、事例に基づく方法の正確度の利益を明らかに示しており、類似性閾値＞０では、９３％のセッションにおいて、及び類似性閾値＞０．２５では９２％のセッションにおいて、正しい結果ページを返している。これは、Ｉ−ＳＰＹに対するＣＢの４３％の相対的な改善率が４３％である。ここで、この利益は、所定のクエリーに対して返された結果リスト中に下位のサーチエンジンが見つけたものを超えて追加のページをＣＢが含むことができるという事実によるものである。これら追加の結果は、類似の事例に含まれる結果リストから由来している。対照的に、メタ及びＩ−ＳＰＩは、下位のサーチエンジンにより返される結果に実際上制限されている。Ｉ−ＳＰＹは単にその適合度指標を用いてメタの結果を順序付けする。ＣＢの利益は、ＣＢの追加ページが目標クエリーに関連している場合が多いことを証明している。
【００６３】
ＣＢの正確度が類似性閾値の増加に伴ってどのように急激に減少するかに注目すると面白い。純粋にＣＢＲの見方から、これは一見するとおかしいように思われる。類似性の閾値を増やすことは、検索されている事例の平均類似性を改善することになり、かつこれがこれらの事例から生じるあらゆる「ソリューション」を改善しそうであることを期待することに慣れている。しかしながら、本発明の事例に基づくサーチの考え方においてそうでないことは、検索された事例の数及び結果の多様性が重要と考えられるからである。様々な類似性閾値に対して一般的なクエリーについて検索される類似事例の平均数をプロットした時（図４ｂを参照）、０．２５と０．５の閾値の間で事例に急激な減少があることが分かる。０及び０．２５の閾値では、１５及び１１の事例がそれぞれ目標クエリーについて検索されているが、これは０．５の閾値について２．５に低下し、その場合１．３の事例がこれを超える。より高い閾値では、メタサーチにより提供される結果リストに対して追加して意味がある貢献をする十分に類似の事例が単になく、従ってＣＢによる利益は僅かである。従って、たとえ低い類似性閾値が関係がないサーチセッションの再使用を許容していることがあっても（例えば、「inventor java」が「inventor ethernet」と類似であると考えられる）、より多くの数の様々な再使用可能な事例の利益は、不適当な検索によるあらゆる問題に容易に勝るものであり、本願発明者らが重み付けした適合度の指標はいずれにせよ割り引かれる傾向があることが分かっている。
【００６４】
サーチエンジン正確度の標準的な客観テストは精度及び再現テストであり、前者が関連する結果の返された割合を計算するのに対し、後者は返された結果の関連する割合を計算する。本願発明者らは、様々な結果リストのサイズ（ｋ＝１から３０）に対して、検討している技術のそれぞれについて精度及び再現の百分率を測定する。
【００６５】
その結果は、図５（ａ）及び（ｂ）において、４つの類似性閾値のそれぞれについて精度及び再現を表す線図として示されている。各線図は、異なるサイズの結果リストｋについて、Ｉ−ＳＰＹ及びメタとともに、ＣＢの５つのバリエーションについて精度（又は再現）のプロットを表している。期待したように、精度は結果リストのサイズが大きくなるにつれて低下する傾向があり、一般に関連する結果の数はｋよりもはるかに少なく、これら関連する結果の大部分は結果リストの上位近くに配置されるべきであることが分かる。重要な点は、事例に基づく手法による性能の利益が、再び特に低い類似性の閾値において明確なことである。
【００６６】
例えば、図５（ａ）では、ＣＢの精度がほぼ２８％（ｋ＝５及び類似性閾値＞０において）と１１％（ｋ＝３０及び同じ閾値）との間で変化することが分かる。これを、Ｉ−ＳＰＹに関する１７％と３％との間の精度と、及びメタに関する１２％と３％との間の精度と比較する。これらの結果は、ＣＢが、同じ閾値＞０レベルにおけるＩ−ＳＰＹに関して、６０％と２５８％との範囲で精度の改善から利益を得ていることを示しており、同様の利益が、類似性閾値＞０．２５について示されている。これらの精度の改善は、メタに関して測定した場合よりも更に大きい（１３０％と２６５％との間）。
【００６７】
再現の結果も同様の話を語っている。ＣＢに関する再現は（類似性閾値が＞０及び＞０．２５における）は、約３７％（ｋ＝５）からちょうど９１％を超える（ｋ＝３０）まで大きくなる。同じ結果リストのサイズにおいて、Ｉ−ＳＰＹの再現は単に２３％から２５％に、及びメタの再現は１６％から２５％に大きくなるだけである。明らかに、ＣＢの方法は、Ｉ−ＳＰＹ又はメタよりも関連するページのはるかに大きな部分を位置付けしており、その類似するクエリーの結果リストからこれら追加の関連ページへのアクセスを得ている。
【００６８】
再び、ＣＢの利益は、類似性の閾値が増えるにつれてなくなる傾向があり、閾値＞０．５及びそれ以上については、最小の精度及び再現の改善しか達成されない（７〜１２％の大きさで）ことが分かる。先の部分で説明したように、これは、０．５及びそれ以上の類似性閾値について類似の事例における急激な効果により容易に説明することができる。
【００６９】
追加処理
メタエンジン１は、結果をランク付けするためにその基本的な指標として適合度を使用する。或る実施例では、結果の値がヒットマトリックスの単一の行から得られ、かつ別の実施例では、多数の関連するクエリーについてページが持ち得る個々の適合度のスコアを結合する重み付けした適合度の指標を使用する。
【００７０】
適合度を他の結果ランク付けページ指標と結合することが可能である。例えば、前記メタエンジンにサーチエンジンが組み込まれている場合、或るページの適合率をサーチエンジンのスコア機能に結びつけることができる。例えば、２つのスコアの平均値を計算し、かつ前記スコアを１つに乗算することができる。要すれば、或る範囲の組み合わせ方法を用いることができる。
【００７１】
最も商業的なサーチエンジンは、ユーザにそのクエリーに基づいて２つのタイプの結果を示す。即ち、一般的な結果（クエリーと共通のタームを共有することから見つけられる通常の結果）とスポンサード型の結果又は有償のリスティングとである。スポンサード型の結果（即ち有償リスティング）が返されるのは、ユーザのクエリーに一致するタームを必然的に含んでいるからということではなく、むしろいくつかの組織がクエリータームを基本的に購入しているからである。
【００７２】
更に、多くのサーチエンジンは、関係者がクエリータームに値を付け、より高い値を付けた者がスポンサード結果リストの高い位置に表れるように、クエリーのオークションを運営する。ＸＹＺ  Ｃａｒｓ  Ｉｎｃ．は、クエリー「ＸＹＺ」に対してクリック毎に金額を払うかもしれない。これは、ユーザが「ＸＹＺ」をサーチしかつＸＹＺ  Ｃａｒｓ  Ｉｎｃ．がスポンサーしたリンクを選択する場合に、ＸＹＺ  Ｃａｒｓ  Ｉｎｃ．がサーチエンジンの組織に５ドルを支払うことになることを意味している。別の関連する事業者（例えば、www.used-cars.com）は、「ＸＹＺ」のクエリーに対してより少ない金額しか値を付けないかもしれず、従って彼らはスポンサードリスティングにおいて低い位置に配置されることになる。
【００７３】
前記システムの特定のクエリーに対するスポンサードリンクの適合性のスコアは、クエリータームのビッド値と結合して、サーチエンジンに収入の増加をもたらす場合がある。このようにするために、前記システムは別個のヒットマトリックスに専念して、特定のクエリーについてスポンサードリンクの選択をカバーすることになる。従って、前記クエリーに対するスポンサードリンクのオーナによるビッドの値をそのクエリーに対するスポンサードリンクの適合度を組み合わせることによって、クエリーに関するスポンサードリンクの新しいランク付けスコアを計算することができる。この適合性は、この及び関連するクエリーについてその過去の選択に基づいてスポンサードリンクがそのクエリーに対して選択される可能性の評価である。前記システムがこれら２つのスコア（ビッド値及び適合率）をそれらを乗算することにより結合する場合には、「期待される払い戻し」−及び前記クエリーに対するリンクから得られることをサーチエンジンが期待し得る収入の額の見積により、スポンサードリンクが順序付けされることになる。
【００７４】
例えば、ＸＹＺ  Ｃａｒｓ  Ｉｎｃ．が「ＸＹＺ」に対して５ドルの値を付け、かつｕｓｅｄ−ｃａｒｓ．ｃｏｍが３ドルの値を付けた場合を考え、またＸＹＺ  Ｃａｒｓ  Ｉｎｃ．のスポンサードリンクについて適合値が０．１（「ＸＹＺ」又は関連するクエリーがこのスポンサードリンクに提示された回数の１０％が選択されたことを示す）である場合を考える。また、ｕｓｅｄ−ｃａｒｓ．ｃｏｍが０．２の適合率を有する場合を考える。この場合、ＸＹＺ  Ｃａｒｓ  Ｉｎｃ．の全スコアは０．５（５×０．１）であり、ｕｓｅｄ−ｃａｒｓ．ｃｏｍのスコアは０．６（３×０．２）である。これは、ｕｓｅｄ−ｃａｒｓ．ｃｏｍが最初に表れるべきであることを示唆している。付けた金額が低い場合でさえ、受け入れられる可能性が高く、従ってサーチエンジンにより多くの収入を生じさせることになる。このスキームは、関連するすべての当事者に多くの利点をもたらす。
【００７５】
１．サーチエンジンは、そのスポンサードリスティングに対してランク付け機能として期待された払い戻しを用いることによって、より多くの収入を発生する。
【００７６】
２．エンドユーザは、クエリーに対して単により多く支払っている会社よりはむしろ、より関連性のあるスポンサードリンクを最初に見ることから、利益を得る。
【００７７】
このスポンサードリンクのランク付けの手法は、既存の手法に対する大きな改善を示している。本発明の方法では、より正確なランク付けを提供できるようにするリンクが選択される個々のクエリーについて、異なる選択の頻度を維持する。更に、本発明の適合度の指標は、単なる個々のクエリーではなく、関連するクエリーの選択履歴の情報をてこ入れすることを可能にしている。これは、クエリーに多くの変形が可能であることから、ウエブサーチにおいて非常に大きな利点であり、従って個々のクエリーのレベルにおいて選択情報の再使用に専ら依存することは、そのクエリーそのものの例が過去にほとんど現れていない場合に、制限されていることを証明すると考えられる。
【００７８】
次に、別の実施例について説明する。既に本願発明者らは、本発明のサーチエンジンが様々なコミュニティの個人／サーチャに対して異なるヒットマトリックスを維持すること、及びこれらのコミュニティがどの位特別であり又は定義の明確なコミュニティであり得るかを示している。例えば、或るコミュニティが、特定のウエブサイト−例えば、自動車のポータルサイト、を通じてサーチクエリーを提示しており、これらのクエリーがそのポータルサイトについて特定のヒットマトリックスにリンクされているような全てのユーザからなるという意味において、特別なものである場合がある。別のコミュニティは、特定のクラブについて特別のサーチエンジンを作成しかつそのクラブメンバーに指定されたＵＲＬを介してアクセスを提供することにより、より形式的に定義することができる。同様に、このクラブによりサーチャは特定のヒットマトリックスに向けることができる。実際、個々のユーザは、それ自身の個人的なヒットマトリックスを用いることができ、それは次に、その個々のサーチ行為を追跡する。重要なことは、それぞれに異なるグループのユーザのサーチ履歴に専念した多数のヒットマトリックスが存在することである。別の実施例では、ユーザにより特定のサーチサービスに提示されるクエリー（１つの特定のヒットマトリックスに関連する）が、別のヒットマトリックスに記憶された情報から利益を得る場合がある。次に、この例を２つ提供する。
【００７９】
第１の実施例では、前記サーチエンジンが「メタ−メタサーチ」の形で動かす。ユーザが新しいクエリーｑを特定のサーチサービス及びヒットマトリックスｓに提示すると、同じクエリーを自動的に他の全てのサーチサービスに提示することができる。第１のサーチサービスｓからの主な結果は、上述したようにユーザに示されるが、更に関連するサーチサービスからの結果も第２の結果として示すことができる。例えば、本発明のユーザが自動車のサイトを介してクエリー「ＸＹＺ」を提示する場合を考える。これは、このサイトを通じた先のサーチから学んだヒットマトリックスのおかげで、自動車に関連すると思われる結果の組を検索させることになる。利用可能な他のヒットマトリックス、野生生物のサイトに関するものとコンピュータのファンクラブに関するものとがあると仮定する。これらのヒットマトリックスはまた、クエリー「ＸＹＺ」に対して先に選択された結果、前者は野生生物に関するもので後者はオペレーティングシステムに関するもの、を有すると思われ、これらの第２の結果を、まさに自動車以外の結果を偶然探している場合には、自動車のサイトのユーザに対してハイライトすることができる。重要な点は、現在のサーチに関連し得るヒットマトリックスを作り上げている別のコミュニティのサーチャーが存在し得ること、及びその上位のサーチ結果を、コミュニティに関する情報と共に示すことによって、更にユーザの役に立つことができる場合がある、というである。本発明では、各ヒットマトリックスサービスが結果のクラスタ化のより実用的な手法を提供し得る、使用に基づいた結果のクラスタである。例えば、従来のクラスタ化の手法は、クラスタを決定し得る前にリアルタイムでサーチ結果を分析しなければならない（各ページのコンテンツを前記サーチにより検索された別のページのコンテンツと比較しなければならない）ので、計算上非常に費用を要する。本発明のヒットマトリックスは、或るタイプのクラスタキャッシュとして機能し、クラスタ化の効果を、計算上高価なページの分析を必要とせずに与えることができる。
【００８０】
本発明の第２の実施例は、ユーザがそのサーチについてどのサーチサービスを使用するかを知らない可能性を考えることによって十分に説明される。従って、本発明によれば、明確に定義されているユーザのコミュニティと必ずしも関連しない中央サーチエンジンが提供される。クエリーが提示されると、このエンジンはクエリーをそのヒットマトリックスのそれぞれに提示し、各ヒットマトリックスからの結果を前記ユーザに返し、各ヒットマトリックス内でその適合度に従ってランク付けし、かつ適当なヒットマトリックスの符号で分類する。このように、結果は先に説明したようにクラスタの組として返される。しかしながら、更に、前記エンジンは様々な指標を用いて、どのヒットマトリックスが特定のクエリーに対して最善の結果の提供者となりそうかを識別することができ、このようにして、クエリーを満足する能力に従って個々のクラスタを（該クラスタの結果と共に）順序付けすることができる。これを行うため、前記システムは、特定のクエリーｑＴが所定のヒットマトリックスＨに関係している程度を計算する。１つの方法は、Ｈに記憶されているクエリーのそれぞれとｑＴを比較して、関連するクエリーを探すことである。それは、ｑＴに対する類似性が０でないクエリーであり、例えば、式６で使用されているような例示性を用いることができる。これらの関連するクエリーのそれぞれについて、本発明は成功のスコアを計算する。ヒットマトリックスにおけるクエリーの成功スコアは、それがそのマトリックスエントリ内に有するヒット（選択）の、そのヒットマトリックスにおけるヒットの合計数と比較した相対的な数である。式８を参照。この指標は、多くのページが選択されているクエリーに高い成功スコアを与えることになる。
【００８１】
【数５】
2006528383.tif 000007
【００８２】
そして、次に、ｑＴがＨに関連している程度を、類似性の程度により重み付けられた類似の各クエリーに関する成功スコアの合計値として計算することができる。式９を参照。
【００８３】
【数６】
2006528383.tif 000008
【００８４】
このようにして、ヒットマトリックスは、多くの類似クエリーを有する場合に、及びこれらの類似クエリーが過去に非常に成功している（ユーザがその結果を頻繁に選択している）場合に、目標クエリーに関連していると考えられることになる。これにより、ヒットマトリックスをサーチ前に動的に選択しかつランク付けすることが可能になる。
【００８５】
このように本発明によれば、非常に効率的な情報検索が提供されることが分かる。例えば、ヒットマトリックスの各セルは、様々なタイプの「適合性」情報を有することができる。それは、単にページが選択された回数のカウントとすることができる。例えば、これらのヒット値は、古いページ（ヒットが多い）が新しいページに対して不公平に好ましくなることがないように、時間と共に低下させることが考えられる。
【００８６】
本発明は、上述した実施例に限定されるものでなく、その構成及び詳細において様々に変化させることができる。例えば、本発明のメタサーチエンジンは、サーチエンジンに組み込まれて、該サーチエンジン内部で後処理を実行することとができる。用語「マトリックス」は、データに関連するメモリ構造で、値をもった２つ又はそれ以上のディメンションを有するあらゆるものを意味するものと解される。
【図面の簡単な説明】
【００８７】
【図１】本発明のメタサーチエンジン及びそれに結合されるコンポーネントを示す図である。
【図２】メタサーチエンジンの或る実施例の動作を記載したフロー図である。
【図３】メタサーチエンジンの別の実施例の動作を示すフロー図である。
【図４】（ａ）図及び（ｂ）図はメタサーチエンジンの性能を示す線図である。
【図５】（ａ）図及び（ｂ）図はメタサーチエンジンの性能を示す線図である。
【図１】
2006528383.tif 000009
【図２】
2006528383.tif 000010
【図３】
2006528383.tif 000011
【図４】
2006528383.tif 000012
【図５】
2006528383.tif 000013
【国際調査報告】
2006528383.tif 000014
2006528383.tif 000015
2006528383.tif 000016
2006528383.tif 000017
2006528383.tif 000018