(57)【特許請求の範囲】
【請求項１】
複数の異なる情報源から結果を取り出すように構成された情報検索システムで用いられる方法であって、
入力側で、エンド・ユーザからクエリを受け取るステップと、
前記エンド・ユーザが所属する同一のユーザ・グループ内の他のユーザによる以前の検索動作の際に観測された以前のユーザの振舞いを考慮して、複数の異なる情報源の各々に固有の方法に従って、プロセッサが前記クエリを修正するステップと、
出力側において、前記クエリを前記複数の異なる情報源に対して発行するステップであって、前記複数の異なる情報源のうち、少なくとも１つはパブリック・ドメインの検索エンジンであり、少なくとも１つはプライベート・ドメインの検索エンジンである、ステップと、
前記入力側において、前記複数の異なる情報源の各々から結果リストを受信するステップと、
複数の検索結果提示イベント変数を備えるマージ・モデルを用いて、前記プロセッサが、前記受信した結果リストから、マージされた結果リストを形成するステップであって、前記マージされた結果リストは、前記複数の異なる情報源から受信した複数の結果の各々について、前記マージ・モデルを用いて、該結果がユーザによってクリックされる確率である確率値を決定し、該確率値を使用して前記複数の結果をマージすることにより形成される、ステップと、
前記マージされた結果リストを提示するように、前記プロセッサがユーザ・インタフェースを構成するステップと、
前記マージされた結果リストの提示に応答して、前記プロセッサがユーザの振舞いを観測するステップと、
前記観測したユーザの振舞いを用いて、前記プロセッサが前記マージ・モデルを更新することによって、前記マージされる複数の結果とエンド・ユーザとの間の関連性をより強いものとするステップと、
を備える、方法。
【請求項２】
前記方法は、前記エンド・ユーザに関するユーザ情報を受信するステップをさらに備え、前記マージ・モデルの前記複数の検索結果提示イベント変数は前記ユーザ情報を考慮する、請求項１に記載の方法。
【請求項３】
前記複数の検索結果提示イベント変数は、前記マージされた結果リストの提示イベントを記述する複数の重み付きイベント変数を備える、ことを特徴とする請求項１に記載の方法。
【請求項４】
前記複数の検索結果提示イベント変数は、検索エンジン順位、テキスト特徴、断片から取得したテキスト特徴、振舞いを模倣すべきユーザの設定、クエリ頻度、前記複数の異なる情報源の各々からの結果の数、ユーザ情報のうちの何れかから選択される、請求項１に記載の方法。
【請求項５】
前記マージされた結果リストを形成するために前記受信した結果リストのサブセットを選択するステップをさらに備え、前記サブセットは前記受信した結果リストの全てよりも少ない結果リストを備える、請求項１に記載の方法。
【請求項６】
前記複数の異なる情報源に対する変更を指定するユーザ入力を受信するステップと、
前記変更に従って前記マージされた結果リストを更新するステップと、
前記更新されたマージされた結果リストを提示するように前記ユーザ・インタフェースを構成するステップと
をさらに備える、請求項１に記載の方法。
【請求項７】
振舞いを模倣すべきユーザの条件を指定するユーザ入力を受信するステップと、
振舞いを模倣すべきユーザのイベント変数を含む前記複数の検索結果提示イベント変数を備える前記マージ・モデルを格納するステップと、
前記マージ・モデルを、前記振舞いを模倣すべきユーザの条件を適用しない場合の観測したユーザの振舞いよりも高い度合いに更新するステップと
をさらに備える、請求項１に記載の方法。
【請求項８】
前記エンド・ユーザに関するユーザ情報を受信するステップと、
修正したクエリを前記複数の異なる情報源に発行する前に、前記受信したクエリを前記ユーザ情報に少なくとも基づいて修正するステップと
をさらに備える、請求項１に記載の方法。
【請求項９】
前記マージ・モデルを定期的に評価するように評価器を構成するステップと、
前記マージ・モデルを前記評価に基づいて修正するステップと
をさらに備える、請求項１に記載の方法。
【請求項１０】
前記複数の検索結果提示イベント変数は、過去のクリック履歴イベント変数を備える、請求項１に記載の方法。
【請求項１１】
複数の異なる情報源から結果を取り出すように構成された情報検索システムで用いられる方法であって、前記方法は、
クエリをプライベート・ドメイン内のユーザから受信するステップと、
前記ユーザが所属する同一のユーザ・グループ内の他のユーザによる以前の検索動作の際に観測された以前のユーザの振舞いを考慮して、複数の異なる情報源の各々に固有の方法に従って、プロセッサが前記クエリを修正するステップと、
振舞いを模倣すべきユーザの条件を指定するユーザ入力を含む、前記ユーザに関するユーザ情報を受信するステップと、
少なくとも１つはパブリック・ドメイン内にあり、少なくとも１つは前記情報検索システムがアクセスする前記プライベート・ドメイン内にある前記複数の異なる情報源に対して前記クエリを発行するステップと、
前記複数の異なる情報源の各々から結果リストを受信するステップと、
少なくとも前記ユーザ情報を考慮する複数の検索結果提示イベント変数を備えるマージ・モデルを用いて、前記プロセッサが、前記受信した結果リストから、マージされた結果リストを形成するステップであって、前記形成するステップは、前記マージ・モデルを用いて、前記複数の異なる情報源から受信した複数の結果の各々について、該結果がユーザによってクリックされる確率である確率値を決定し、該確率値を用いて前記複数の結果をマージすることにより、前記マージされた結果リストを形成することを含む、ステップと、
前記マージされた結果リストを提示するように前記プロセッサがユーザ・インタフェースを構成するステップと、
前記マージされた結果リストの提示に応答して、前記ユーザが所属する同一のユーザ・グループ内の他のユーザによるユーザの振舞いを前記プロセッサが観測するステップと、
前記同一のユーザ・グループ内の他のユーザの振舞いを模倣するような態様で、前記観測したユーザの振舞いを用いて前記プロセッサが前記マージ・モデルを更新する、ステップと
を備える、方法。
【請求項１２】
クエリを受信するように構成された入力部と、
エンド・ユーザが所属する同一のユーザ・グループ内の他のユーザによる以前の検索動作の際に観測された以前のユーザの振舞いを考慮して、複数の異なる情報源の各々に固有の方法に従って、前記クエリを修正するクエリ修正部と、
前記クエリを前記複数の異なる情報源に発行するように構成された出力部と、
前記複数の異なる情報源の各々から結果リストを受信するように構成された前記入力部と、
マージされた結果リストの提示イベントを記述する重み付きの複数の検索結果提示イベント変数を備えるマージ・モデルを格納するメモリと、
前記マージ・モデルを用いて、前記受信した結果リストからマージされた結果リストを形成するプロセッサであって、前記マージされた結果リストは、前記複数の異なる情報源から受信した複数の結果の各々について、前記マージ・モデルを用いて、該結果がユーザによってクリックされる確率である確率値を決定し、該確率値を使用して前記複数の結果をマージ処理することにより形成される、プロセッサと、
前記マージされた結果リストを提示するように構成されたユーザ・インタフェースと
を備え、
前記プロセッサは、前記マージされた結果リストの提示に応答して、ユーザの振舞いを観測し、および前記観測したユーザの振舞いを用いて前記マージ・モデルを更新することによって、前記マージされる複数の結果とエンド・ユーザとの間の関連性をより強いものとするように構成される、情報検索システム。
【請求項１３】
前記プロセッサは、明示的および暗黙的なフィードバックの両方を観測するように構成される、請求項１２に記載の情報検索システム。
【請求項１４】
前記複数の異なる情報源はお互いに独立しており、前記複数の異なる情報源のうち、少なくとも１つはパブリック・ドメインにあり、少なくとも１つはプライベート・ドメインにある、請求項１３に記載の情報検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索結果のマージに関する。
【背景技術】
【０００２】
フェデレーテッド検索を実行する場合、一般に、異なる情報源から情報を取り出すことができる異なる検索エンジンから受信した結果を、マージする必要がある。例えば、フェデレーテッド検索を、検索クエリを受け取ってそれを複数の異なる検索エンジンへ送信する検索ポータルで実行することができる。検索ポータルは、結果を収集し、一般に、収集した結果にアクセスしうるユーザ・インタフェースを提供する。クエリを異なる検索エンジンに送信して結果を受け取るプロセスは、ユーザ入力を必要とせずに自動的に行われ、それが行われていることをユーザが気づかなくともよいように「裏で」行われることもある。
【０００３】
このように、今日では、例えばインターネット検索エンジン、公のデータベース、および他の公のデータ集合を用いるなどして、多数の異なる公の情報源を検索するために、フェデレーテッド検索ポータルが使用されている。しかし、多くの企業、教育組織、および他の団体が、公開されていない情報源にアクセスすることができる。そうすると、少なくとも幾つかの情報源が公開され少なくとも幾つかの情報源が公開されていない場合に、どのようにフェデレーテッド検索を適切に提供するかという問題が生ずる。
【０００４】
既存のフェデレーテッド検索システムはしばしば、結果の提示の仕方に関して「知能」を何ら加えることなく、単に、異なる情報源から取得した結果のリストを収集する。例えば、幾つかのフェデレーテッド検索システムでは、ポータルがユーザ・インタフェース手段を提供し、それにより、エンド・ユーザが異なる情報源からの結果リストを手動でマージし、重複を削除し、ソートする必要がある。これは時間を浪費するものであり、複雑であり、エンド・ユーザに過度の負荷をかけるものである。これは、エンド・ユーザが、検索されている個々のデータソースが存在することすら知らない初心者または子供である場合に、特に当てはまる。
【０００５】
その他の情報検索システムも知られている。当該情報検索システムでは、ユーザは、自分が指定した複数の異なる情報源にクエリが発行されるよう指定するためのユーザ・インタフェースを操作することができる。生の結果が、ユーザ・インタフェースで受け取られ、しばしば隣り合わせで提示され、ユーザが当該生のデータを、当該ユーザ・インタフェースの一部として提供されるツールを用いて管理する。この種の検索はフェデレーテッド検索と同じようには自動化されておらず、当該機能は主に、別個のフェデレーテッド検索エンジンにおいてではなくユーザ・インタフェースにおいて提供される。また、この種の検索システムは、専ら、利用可能な異なる情報源の詳細を知っている熟練したユーザに向いている。
【０００６】
以下に説明する実施形態は、既知の情報検索システムの欠点の一部または全てを解決する実装形態には限定されない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許出願公開第２００９／００４３５３９号明細書
【非特許文献】
【０００８】
【非特許文献１】Ｒａｄｌｉｎｓｋｉ他著、「Ｈｏｗ  ｄｏｅｓ  ｃｌｉｃｋｔｈｒｏｕｇｈ  ｄａｔａ  ｒｅｆｌｅｃｔ  ｒｅｔｒｉｅｖａｌ  ｑｕａｌｉｔｙ」情報および知識管理に関する第１７回ＡＣＭ会議  会議録、２００８年、ｐｐ  ４３−５２
【発明の概要】
【０００９】
読者に基本的な理解を与えるため、以下に本発明の簡単な概要を提示する。本概要は本発明の包括的な概観ではなく、本発明の主要または重要な要素を特定するものでも本発明の範囲を画定するものでもない。本要約の唯一の目的は、本明細書で開示する幾つかの概念を、後で提示するより詳細な説明に対する前置きとして簡単な形で提示することである。
【００１０】
例えば、情報検索システムが複数の情報源にクエリを発行して複数の結果リストを取得する場合に、検索結果のマージが必要である。１実施形態では、企業ドメインにある検索エンジンが、当該企業の検索エンジンに、および公のインターネット検索エンジンにも、クエリを送信する。諸実施形態では、異なる情報源から取得した結果リストを、マージ・モデルを用いてマージする。当該マージ・モデルは、機械学習プロセスを用いて学習され、例えばクリック・スルー・データが観測されると更新される。種々の例では、企業ドメインで利用可能なユーザ情報を用いてマージ・プロセスに影響を及ぼし、結果の関連性を改良する。幾つかの例では、ユーザ情報をクエリ修正に用いる。１実施形態では、ユーザは、特定の結果を推奨するために指定グループのユーザになりすますことができる。
【００１１】
これに伴う特徴の多くは、以下の詳細な説明を添付図面と関連させて検討することにより、より容易に理解され、より良く理解されよう。
【図面の簡単な説明】
【００１２】
以下の詳細な説明を添付図面に照らして読むと、本説明はより良く理解されよう。
【００１３】
【図１】ファイアウォールの背後からインターネットに接続された、企業における情報検索システムの略図である。
【図２】ファイアウォールを介してインターネットに接続された、企業における同時範囲検索エンジン（ｓｉｍｕｌｔａｎｅｏｕｓ  ｓｃｏｐｅ  ｓｅａｒｃｈ  ｅｎｇｉｎｅ）を有する情報検索システムの略図である。
【図３】情報検索システムにおいて検索をマージする方法の流れ図である。
【図４】マージ・モデルの略図である。
【図５】マージ・モデルに提供される種々の入力の略図である。
【図６】マージ・エンジンにおける方法の流れ図である。
【図７】マージ・エンジンにおける別の方法の流れ図である。
【図８】情報検索システムによって提供されるユーザ・インタフェースの略図である。
【図９】検索範囲が変更されたときの、情報検索システムにおける方法の流れ図である。
【図１０】なりすましユーザの選択を行ったときの、情報検索システムにおける方法の流れ図である。
【図１１】クエリ修正のための、情報検索システムにおける方法の流れ図である。
【図１２】情報検索システムの実施形態を実装できる例示的なコンピューティング・ベースの装置を示す図である。
【００１４】
添付図面では、同一の参照番号を使用して同一の部分を指定する。
【発明を実施するための形態】
【００１５】
以下に添付図面と関連して提供する詳細な説明は、本発明の例を説明しようとするものであり、本発明の例を構築または利用できる唯一の形態を表そうとするものではない。本記載では、当該例の機能、当該例を構築および操作するためのステップのシーケンスを説明する。しかし、同一または同等な機能およびシーケンスを、別の例で実現してもよい。
【００１６】
「同時範囲検索」という用語は、本明細書では、単一の検索エンジンを用いて複数の情報源を自動的に検索することを指す。当該複数の情報源のうち、少なくとも１つは当該単一の検索エンジンがアクセスできるプライベート・ドメイン内にあり、その他の情報源のうち少なくとも１つはパブリック・ドメイン内にある。
【００１７】
本明細書では本発明の例を、同時範囲検索向けの情報検索システムにおいて実装されるものとして説明し図示するが、説明するシステムは例として提供したものであり限定ではない。本発明の例のうち少なくとも幾つかが、複数の異なる情報源を検索するためのものを含む多種多様な情報検索システムに適用するのに適していることは、当業者には理解されよう。
【００１８】
図１は、ファイアウォール１０１の背後からインターネット１００に接続された、企業（または他のプライベート・ドメイン）における情報検索システムの略図である。本明細書では、図１の点線の左にある各エンティティが企業ドメインの一部であるとし、点線の右にある各エンティティがパブリック・ドメインにあるとする。検索エンジン１１２は、インターネット１００に接続されたパブリック・ドメイン内に提供され、企業ドメイン内のクライアント端末１０７のようなクライアント端末でエンド・ユーザが閲覧できるユーザ・インタフェース１１３を提供するように構成される。検索エンジン１１２はドキュメント１１０のインデックス１１１にアクセスすることができる。検索エンジン１１２は、クエリ項目１０８を（パブリック・ドメインまたはプライベート・ドメインの何れかにある）クライアント端末１０７でエンド・ユーザから受け取り、当業界で公知なようにインデックス１１１を用いてドキュメントの順位リスト１０９を返すように構成される。
【００１９】
イントラネット検索エンジン１０５も企業ドメイン内に提供され、イントラネット１０２に接続される。イントラネット１０２には、クライアント端末１０７も接続される。イントラネット検索エンジン１０５はドキュメント１０３のインデックス１０４にアクセスすることができる。当該インデックス１０４は、企業内のユーザには利用可能であるが、企業ドメイン外のユーザには一般に利用可能ではない。例えば、教育組織向けのイントラネットでは、公のインターネット上では利用できない貴重なコンテンツに自由にアクセスすることができる。また、国立の医療機関向けのイントラネットでは、公には利用できない機密情報および／または高価な情報にアクセスすることができる。別の例では、ユーザのグループが、公には利用できない情報を有するプライベートなソーシャル・ネットワーキング・サイトにアクセスすることができる。この場合、図１のドキュメント１０３およびインデックス１０４が、一般に公には利用できない少なくとも幾つかの情報を表す。イントラネット検索エンジン１０５はまた、クライアント端末１０７がアクセス可能なユーザ・インタフェース１０６を提供する。エンド・ユーザはクライアント端末１０７で、ユーザのクエリ項目１０８をイントラネット検索エンジンのユーザ・インタフェース１０６に入力して、ドキュメントの順位リスト１０９をインデックス１０４から取得することができる。このように、エンド・ユーザは手動でクエリを、インターネット検索エンジン１１２またはイントラネット検索エンジン１０５の何れかに送信することができる。しかし、エンド・ユーザが、どの情報源から最良の結果を発見する可能性が高いかを知らないことがよくある。時間を浪費する試行錯誤プロセスの結果、エンド・ユーザがクエリを（例えば）インターネット検索エンジンに送信し、同じクエリをイントラネット検索エンジンに送信する前にその検索を検討することがよくある。
【００２０】
図１のイントラネット検索エンジン１０５と公のインターネット検索エンジン１１２には別の差異点がある。それは、イントラネット検索エンジン１０５は、公のインターネット検索エンジン１１２には利用できないイントラネットのユーザに関するプライベートなユーザ情報にアクセスできるということである。例えば、この情報は人口学的な情報であってもよく、ならびに／または、ユーザの年齢、企業におけるユーザの役割（例えば、看護婦、医者、児童、教師、管理者、サポート・スタッフ）、ユーザの職場の場所のような機密情報の詳細、および他のそのような詳細を含んでもよい。
【００２１】
図２に示すように、同時範囲検索システムを提供してもよい。同時範囲検索エンジン２０２はイントラネットに接続され、イントラネット検索エンジンと統合されるか、またはイントラネット検索エンジシと通信する。マージ・エンジン２０３および評価器２０４が、同時範囲検索エンジン２０２と統合されるか、または同時範囲検索エンジン２０２に接続される。イントラネット検索エンジンは、同時範囲検索向けのユーザ・インタフェース２０５を有する。
【００２２】
ユーザはクライアント端末１０７で、ユーザのクエリ項目１０８を同時範囲検索向けのユーザ・インタフェース２０５に入力し、マージしたドキュメントの順位リスト２００を取得することができる。同時範囲検索エンジンは、クエリ項目１０８をイントラネット検索エンジン１０５およびインターネット検索エンジン１１２の両方に送信し、結果を受け取るように構成される。同時範囲検索エンジンは、マージ・エンジン２０３を用いて結果をマージし、順位付けしたマージ結果のリストをエンド・ユーザにユーザ・インタフェース２０５で表示するように構成される。暗黙的および／または明示的なフィードバック２０１がユーザ・インタフェース２０５で観測され、同時範囲検索エンジンにフィードバックされる。このフィードバックを用いて、マージ・エンジンを更新する。すなわち、マージ・エンジンにある機械学習システムが、どのように結果をマージするのが最良かをマージ・エンジンが学習できるようにする。学習プロセスが適切に動作していたことを保証するためにマージ・エンジン２０３の性能を周期的にチェックするよう、評価器２０４が提供される。任意の適切な評価器を使用してもよい。例えば、参照により本明細書に全体として組み込んだ、非特許文献１に記載のインタリーブ型評価プロセス（ｉｎｔｅｒｌｅａｖｅｄ  ｅｖａｌｕａｔｉｏｎ  ｐｒｏｃｅｓｓ）を用いてもよい。
【００２３】
図３を参照して、同時範囲検索エンジン２０２における方法を説明する（本方法は、複数の検索範囲が全てパブリック・ドメインの情報源のものであるフェデレーテッド検索エンジンにも適用可能である）。クエリを、例えば、クライアント端末１０７で学校の児童から受け取る（３００）。学校の児童は、宿題のためにペンギンに関する情報を探している。学校の児童は、イントラネット検索エンジンを用いて検索すべきかウェブ検索を用いて検索すべきかが分からない。同時範囲検索エンジン２０２はクエリをイントラネット検索エンジンに送信し（３０１）、公の検索エンジンにも送信する（ブロック３０３を参照）。これを、幾つかの場合では学校の児童に透過的な方法で自動的に実行してもよく、従って、学校の児童は、検索すべき情報源を選択することに関して何らスキルを必要としない。（以下により詳細に説明するように）幾つかの実施形態では、クエリを、送信先である情報源に基づいて、場合によっては以前の検索から提供されたフィードバック情報を用いて拡張または修正するように、クエリ修正プロセス３１３を実行する。このクエリ修正を自動的に実行し、幾つかの実施形態では、学校の児童または他のユーザに透過的な方法で実行する。これにより、特定の種類の検索範囲に適したクエリを作成する方法に関して経験がない初心者ユーザが、システムを容易に操作することができる。
【００２４】
幾つかの実施形態では、図３のブロック３０５および３０６によって示すように、３つ以上の情報源を検索してもよい。第１の結果リストをイントラネット検索エンジンから受け取り（３０２）、第２の結果リストをウェブ検索エンジンから受け取る（３０４）。３つ以上の情報源を検索した場合は、情報源ごとに１つの結果リストを受け取る。結果リストを（格納されている）マージ・モデル（３０７）を用いてマージし（３０８）、マージした結果リストをエンド・ユーザに提示する。マージ・モデルは、図５を参照して以下により詳細に説明するように、（クリック・ログ・リポジトリのような）履歴情報（３１２）および他の入力を使用してもよい。例えば、ユーザがマージした結果リスト内の１つまたは複数の項目をスキップするかクリックした場合、フィードバックを受け取り（３０９）、そのフィードバックを用いてマージ・モデルを更新する（３１０）。フィードバックは、暗黙的なフィードバックまたは明示的なフィードバックでもよい。さらに、場合によってはこのフィードバックを用いてクエリ修正プロセス（３１３）に影響を及ぼしてもよい。
【００２５】
「明示的なフィードバック」という用語は、情報検索システムが検索したドキュメントの関連性に関する、ユーザからの積極的なフィードバックを指す。例えば、明示的なフィードバックは、指定のクエリが与えられた場合に人間のユーザによってドキュメントに割り当てられたラベルであってもよい。当該ラベルは、ドキュメントがクエリにどの程度関連するとユーザが考えるかに応じて、ドキュメントを複数のクラスの１つに分類する働きをしてもよい。明示的なフィードバックを、順位リストを取得するために用いたクエリ項目を考慮して順位リスト内の１つまたは複数のドキュメントを評価したものとみなすこともできる。明示的なフィードバックを、明示的な関連性情報と称してもよい。
【００２６】
フィードバックを明示的にするために、ユーザが判定を行うというクエリまたは要求に応答した当該ユーザによるアクティブなユーザ入力または動作が必要である。対照的に、「暗黙的なフィードバック」（暗黙的な関連性情報とも称する）に対しては、判定を行うという要求に応答したアクティブなユーザ入力は必要ない。暗黙的なフィードバックは、受動的なフィードバックとみなすこともできる。暗黙的なフィードバックの例には、クエリとドキュメントの対のようなクリック・データが含まれる。クエリとドキュメントの対は、ユーザが検索エンジンに入力したクエリと、ドキュメントのリンクまたは他の識別子の組み合わせである。ドキュメントは、クエリに応答して検索エンジンが提示したドキュメントの順位リストに列挙され、ユーザによってクリックされたものである。暗黙的なフィードバックの他の例には、ユーザ・インタフェースで操作がなされなかったことが含まれる。例えば、ユーザが結果リストからドキュメントにアクセスしなかったというようなイベントは、ドキュメントの無関係性と相関性があると考えられる。他にも可能な種類の暗黙的なフィードバックが多数ある。例えば、滞留時間（どれくらい長く、ユーザがユーザ・インタフェースのポインタをドキュメント・リスト内のリンク上に置いているか）である。別の度合の暗黙的なフィードバックを考案することができる。例えば、ユーザが結果リストからリンクをコピー・アンド・ペーストするか、または当該リンクをブックマークした場合、これを高品質の暗黙的なフィードバックと捉えることができる。
【００２７】
本明細書では、かかる様々な種類のフィードバック情報を有利に使用して、異なる情報源から受け取った検索結果のマージを改良し、マージした検索結果をより関連性のあるものにできることは理解されよう。例えば、これをクエリ相互間（ｉｎｔｅｒ−ｑｕｅｒｙ）ベースで実現する。すなわち、過去のユーザのクエリおよび／または評価者の判断からのフィードバックを使用して、同一または別のユーザが行う将来の検索結果のマージを改良する。
【００２８】
場合によっては、マージ・モデルを周期的に評価し（３１１）、これらの評価の結果に応じて、マージ・モデルを調整し、または置き換える。
【００２９】
例えば、マージ・モデルは検索結果提示イベントのモデルであり、ユーザが結果を選択（またはクリック）するかどうか、またどの情報源または検索範囲が好ましいか（クリックされるか）を予測するために用いられる。このように、マージした検索結果提示イベントに関する観測した情報を使用してマージ・モデルを更新してもよく、このプロセスを、マージした検索結果提示イベントが観測された際に継続してもよい。そうすると、マージは適応的であり、将来の「クリック」をもたらす可能性が最も高いように結果をマージするように学習する。検索結果提示イベントをモデル化し、結果がユーザによって選択されるかどうかを予測するために使用できる、任意の適切なマージ・モデルを使用してもよい。これを、結果が所与のユーザにどの程度関連するかを予測するモデルとみなすこともできる。
【００３０】
例えば、マージ・モデル４００を、データ構造を用いてメモリに格納してもよく、マージ・モデルが、関連する確率分布を伴う重みを各々が有する複数の検索結果提示イベント変数４０１を備えてもよい。各確率分布が、その関連する重みが正確であるというモデルの確信度（ｂｅｌｉｅｆ）を表してもよい。結果リスト内の所与の結果に対して、モデルを使用して、変数を組み合わせ、重みおよび当該重みに関する確信度を考慮することによって、所与の結果がクリックされるという確率（以下、クリック確率と称する）を提供してもよい。その後、これらのクリック確率の値に基づいて結果をマージしてもよい。例えば、結果を、クリック確率の値による順序リストで提示してもよい。
【００３１】
マージ・モデルが更新されると（図３のステップ３１０）、重みが学習され、これらの重みに関する確信度がより確かなものになる。適切なマージ・モデルの例は、２００９年２月１２日公開、名義人がマイクロソフト社である、参照により本明細書に全体として組み込んだ特許文献１に記載されている。
【００３２】
マージ・モデル４００で使用したイベント変数が、マージした検索結果提示イベントを記述し、それにより、同時範囲検索エンジン２０２のユーザ・インタフェース２０５が、マージした結果リストをエンド・ユーザに提示する。任意の適切な数のイベント変数を使用してもよいが、変数の数が増えると必要な計算リソースも増える。計算上の要件を減らすためにイベント変数を現実の値をとる変数ではなく指標変数として提供してもよく、上で参照した特許文献１に記載のように、刈取りプロセスを使用してマージ・モデルに対するメモリ要件を減らしてもよい。
【００３３】
図５は、マージすべき特定の結果に対してマージ・エンジン２０３が入力としてとる、イベント変数の例の限定的なリストを示す。１つまたは複数のかかるイベント変数からなる任意の組合せを使用してもよい。これらには、イントラネット検索順位５００または結果のスコア、イントラネット検索エンジンによる結果を順位付けするために用いたテキスト特徴（ｔｅｘｔｕａｌ  ｆｅａｔｕｒｅ）５０１、インターネット検索順位またはスコア５０２、インターネット検索エンジンによる結果とともに使用するために提供される任意の断片から抽出したテキスト特徴５０３、なりすましユーザの選択５０４がユーザによって設定されているかどうか（以下により詳細に説明する）、当該結果を生じさせたクエリのクエリ頻度５０５、所与の検索に対して各情報源から取得した結果の数５０６、ユーザ情報５０７、マージしたリストの一部および／またはマージしていないリストの一部としての結果に対する過去のクリック履歴５０８が含まれる。別のイベント変数が、単に、結果がイントラネットの結果であるかインターネットの結果であるかを示してもよい。別の選択肢としては、この情報を他のイベント変数の値から推論することがある。例えば、結果がインターネットから取得された場合には、イントラネットの検索順位は空である。別のイベント変数が、ＰａｇｅＲａｎｋリンク分析アルゴリズムにおけるページ順位のようなリンク・ベースの機能であってもよい。
【００３４】
マージ・モデルを、デフォルトの重みで初期化し、任意の適切なトレーニング・プロセスにより、観測したイベント・データを用いてトレーニングする。トレーニング・プロセスの例は上で引用した特許文献１に記載されている。トレーニング・プロセスをオフラインで実行してもよく、マージ・エンジンがリアルタイムで使用されるように継続してもよい。すなわち、オフラインのトレーニングは必須ではない。トレーニング・プロセスを、マージ・システムをリアルタイムで使用する一部分として実行してもよい。
【００３５】
マージ・モデル４００を用いると、マージ・エンジンは、図３を参照して説明したように、受け取った複数の結果リストから、単一の順位付けした結果リストを作成することができる。場合によっては、マージ・エンジンがリストから重複を削除し（６００）、残りの結果の各々に対して、マージ・モデルを用いて当該結果をクリックする確率を決定する（６０１）。所与の結果に対して、マージ・エンジンは、図５を参照して上述したように、受け取ったイベント変数の値をとる。１例では、上で参照した特許文献１に記載のように、マージ・エンジンは重みを考慮してこれらのイベント変数の値を結合し、結合した変数値を確率値にマップするためのリンク関数を適用する。マージ・エンジンは、決定した確率値に基づいて単一の順位付けした結果リストを作成する（６０２）ように構成される。
【００３６】
幾つかの実施形態では、マージ・エンジン２０３はまた、結果リストをマージするか否かを判定するように構成される。例えば、幾つかの場合では、（例えば）インターネット検索からの結果が全て、イントラネット検索からの結果と比べて関連性が低いため、結果リストをマージするのは適当でない。以下、図７を参照して、同時範囲検索エンジンにおける方法の例を説明する。
【００３７】
同時範囲検索エンジンは、第１の範囲の結果リストを（例えば）イントラネット検索エンジンから受け取る（７００）。同時範囲検索エンジンはまた、第２の範囲の結果リストを（例えば）インターネット検索エンジンから受け取る。同時範囲検索エンジンはマージ・エンジンを使用して、上述のように両方の結果リスト内の結果に対するクリック確率を取得する（７０２）。次いで、同時範囲検索エンジンは、当該結果をマージしたリストとして提示するか否かを判定するための判定プロセス７０３に入るように構成される。この判定は、同時範囲検索エンジンで規定されたルール、閾値、または他の基準を用いて行われる。例えば、インターネット検索結果に対する平均クリック確率値がイントラネット検索結果に対するものの１０％以内である場合は、結果をマージする（７０４）。そうでなければ、結果をマージしない。この場合、同時範囲検索エンジンは、ユーザ・インタフェース・ディスプレイの主要部に表示するために、結果リストの１つを選択する（７０５）。ルール、閾値、または他の基準を使用してこの選択を行い、ディスプレイのサイド・パネルを使用して他の範囲の結果リストを提示する（７０７）かどうかの判定も行う（７０６）。
【００３８】
図８は、教育ドメインにおいて同時範囲ユーザ・インタフェース２０５によって使用するユーザ・インタフェース・ディスプレイの例である。これは、教育アプリケーションに関して説明する具体的な例である。本技術は、ユーザ・インタフェース・ディスプレイを適切にカスタマイズすることによって他の適用領域での使用にも適している。当該ユーザ・インタフェース・ディスプレイは、メイン・ディスプレイ領域８０１およびサイド・パネル８０２を備える。メイン・ディスプレイ領域８０１は、ユーザがクエリを入力して当該クエリを同時範囲検索エンジンに送信できるようにするためのテキスト・ボックス８００を備える。テキスト・ボックス８００の下には、イントラネットおよびインターネットを検索するか（ボックス８０３）、イントラネットのみを検索するか（ボックス８０４）、インターネットのみを検索するか（ボックス８０５）をユーザが指定できるようにする、範囲チェック・ボックス８０３、８０４、８０５がある。別のチェック・ボックス８０６により、ユーザは別のユーザになりすますことができる。この場合は、別のユーザとは、実際は１０歳の学校の児童である「５歳の子供」である。範囲チェック・ボックスの下に、結果を順位リスト８０７で表示する。結果を取得した情報源を示す指示を、各結果の横に提供してもよい。しかし、これは必須ではない。上述のように、結果をサイド・パネル８０２に表示してもよい。
【００３９】
次に、図９を参照して、同時範囲検索エンジンにおける方法の例を説明する。検索クエリを、第１の指定された検索範囲とともに受け取る（９００）。例えば、イントラネット検索エンジンおよびインターネット検索エンジンの両方を検索するとしてもよい（図８の例では範囲ボックス８０３がチェックされている）。同時範囲検索エンジンは、上述のように検索を実行し、結果リストをマージする。マージした結果リストをユーザにユーザ・インタフェースで提示する（９０１）。この時点で、同時範囲検索エンジンは、指定した検索範囲を変更するユーザ入力を受け取ってもよい（９０２）。例えば、この時点ではイントラネット検索エンジンのみが必要である。図８の例では、これは、ユーザがボックス８０３をクリアし、ボックス８０４をチェックしたことに対応する。マージ・エンジンは、マージした結果リストを新たな範囲指定に従って更新し（９０３）、ユーザが検索エンジンを操作しているときに、改良したリストをリアルタイムで提示するように構成される。これを、例えば図６の方法のステップ６０１で既に決定されているクリック確率値を用いて実現してもよい。リストから削除された結果、例えば、この場合は議論の対象であるインターネットの結果を、サイド・パネルのディスプレイに提示してもよい（９０４）。
【００４０】
幾つかの実施形態では、ユーザが別のユーザになりすまして、マージ・エンジンの学習の仕方に影響を及ぼすことができる。例えば、所与のクエリに関して教師が児童になりすまして、選択した結果を、後に児童が行う検索に対して推奨したいかもしれない。図５の「なりすましユーザ」５０４と称するイベント変数が、ユーザ・インタフェースのチェック・ボックス８０６または他のユーザ入力手段とともに用いられる。なりすましユーザイベント変数５０４が設定されると、マージ・エンジンは、図３の更新プロセス（ステップ３１０）を修正して、対応する検索結果提示イベントに他のイベントよりも大きな重みを関連付けるように構成される。
【００４１】
例えば、図１０を参照すると、検索クエリを、なりすましユーザの条件を指定するユーザ入力とともに受け取る（１０００）。検索結果提示イベントを観測し（１００１）、マージ・モデルを、なりすましユーザの条件を伴わない観測されたイベントよりも高い度合いに更新する（１００２）。
【００４２】
図１０の非対称の更新機構が既に述べた教師と児童の例と同程度に有用である応用例は多い。例えば、医薬、工学、調剤、または、特定のユーザのグループに関する検索結果に影響を及ぼすかまたは当該検索結果を誘導する必要がありうるような他の応用領域においてである。
【００４３】
上述のように、イントラネット・ドメインにおいて、情報は、公には利用できない当該ドメイン内のエンティティには利用可能である。例えば、この情報には、イントラネットもしくは企業ドメイン内の個々のユーザまたはユーザのグループに関する情報を含めてもよい。この情報を同時範囲検索エンジンによって使用して、結果がどのようにマージされるかに影響を及ぼしてもよい。例えば、ユーザ情報５０７を記述する１つまたは複数のイベント変数がマージ・エンジン２０３によって使用される（図５を参照）。エンド・ユーザが、自分の宿題のためにペンギンに関する情報を検索している学校の児童であるとする。マージ・エンジンが当該児童の年齢を指定するイベント変数を受け取ってもよく、マージ・モデルにおける重みをトレーニングしておいて、マージ・プロセスが当該シナリオにおけるイントラネット検索エンジンからの結果に偏りをもたせてもよい。また、インターネット検索からの様々な結果に、児童の年齢にしたがって異なる重みを与えてもよい。例えば、プレミアム・コンテンツである野生のペンギンのビデオをイントラネット検索エンジンから無料で利用可能としてもよい。児童は異なる検索エンジンおよび／または無料で高品質なコンテンツの存在に気付かないけれども、児童はその情報に素早く、簡単に、かつ、効果的にアクセスすることができる。ユーザ情報はイントラネット・ドメイン内でのみ利用できるが、同時範囲検索エンジンが当該ユーザ情報を使用して、イントラネットおよびパブリック・ドメインの情報源の両方からの結果のマージに影響を及ぼす。
【００４４】
幾つかの実施形態では、ユーザ情報を使用してクエリ修正を実行してもよい。この修正を、検索すべき情報源に応じて行ってもよい。以下、これを、図１１を参照して説明する。ユーザがクエリを入力する（例えば、１０歳の児童がペンギンに関する情報を検索する）。同時範囲検索エンジンがクエリを受け取る（１１０１）。同時範囲検索エンジンはまた、当該ユーザに対して適用可能なグループ（例えば、１０歳の学校の児童）に関する情報を受け取る（１１０２）。同時範囲検索エンジンは、ユーザのグループおよび検索範囲に基づいてクエリを修正するように構成される。検索範囲を、図８と同様にユーザがチェック・ボックスを選択することによって明示的に指定してもよく、または、全てが利用可能な情報源であるデフォルトに設定してもよい。例えば、同一のユーザ・グループ内のユーザが行った以前の検索に関する情報を使用して、クエリ項目を自動的に追加、削除、または編集することによってクエリを修正してもよい。
【００４５】
修正したクエリを適切な検索エンジンに発行し、結果リストを受け取る（１１０４）。結果リストを上述のようにマージする（１１０５）。フィードバックも上述のように受け取り（１１０６）、フィードバックを用いてマージ・モデルを更新する（１１０７）。
【００４６】
クエリを、情報源ごとに異なるように修正することも可能である。例えば、インターネット検索エンジンに発行すべきクエリが、イントラネット検索エンジンに発行すべきものと異なってもよい。
【００４７】
図１２は、任意の形態のコンピューティング装置および／または電子装置として実装でき、情報検索システムの諸実施形態を実装できる、例示的なコンピューティング・ベースの装置１２００の様々なコンポーネントを示す。
【００４８】
コンピューティング・ベースの装置１２００は、メディア・コンテンツ、ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）入力、クエリ、ユーザ情報、または他の入力を受け取るのに適した任意の種類の１つまたは複数の入力部１２０６を備える。当該装置は、通信ネットワークにおいて当該装置が他のエンティティと通信できるようにする通信インタフェース１２０７も備える。例えば、図１および図２のインターネット検索エンジンおよびインターネットである。
【００４９】
コンピューティング・ベースの装置１２００は１つまたは複数のプロセッサ１２０１も備える。プロセッサ１２０１は、マイクロプロセッサ、コントローラ、または、複数の情報源を検索する情報検索システムを提供するために装置の動作を制御するコンピュータ実行可能命令を処理するための他の任意の適切な種類のプロセッサであってもよい。オペレーティング・システム１２０４を備えるプラットフォーム・ソフトウェアまたは他の任意の適切なプラットフォーム・ソフトウェアを、コンピューティング・ベースの装置で提供して、アプリケーション・ソフトウェア１２０３を装置上で実行できるようにしてもよい。
【００５０】
コンピュータ実行可能命令を、メモリ１２０２のような任意のコンピュータ読取可能媒体を用いて提供してもよい。メモリは、ＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）のような任意の適切な種類のものであり、磁気記憶装置もしくは光記憶装置、ハード・ディスク・ドライブ、またはＣＤ、ＤＶＤもしくは他のディスク・ドライブのような任意の種類のディスク記憶装置である。フラッシュ・メモリ、ＥＰＲＯＭ、またはＥＥＰＲＯＭを使用してもよい。
【００５１】
オーディオ出力および／またはビデオ出力のような出力もまた、コンピューティング・ベースの装置と統合されるかまたはコンピューティング・ベースの装置と通信するディスプレイ・システムに提供する。ディスプレイ・インタフェース１２０５が、グラフィカル・ユーザ・インタフェース、または必須ではないが任意の適切な種類の他のユーザ・インタフェースを提供してもよい。
【００５２】
「コンピュータ」という用語は本明細書では、命令を実行できるように処理機能を具備した任意の装置を指す。かかる処理機能が多数の異なる装置に組み込まれ、従って、「コンピュータ」という用語がＰＣ、サーバ、携帯電話、パーソナル・デジタル・アシスタント、および他の多数の装置を包含することは当業者には理解されよう。
【００５３】
本明細書で説明した方法を、有形の記憶媒体上の機械読取可能な形のソフトウェアにより実施してもよい。当該ソフトウェアは、方法のステップを任意の適切な順序でまたは同時に実行できるように並列プロセッサまたは逐次プロセッサ上での実行に適したものであることができる。
【００５４】
これにより、ソフトウェアが貴重で、独立に取引可能な商品でありうることが認められる。「処理能力のない」もしくは標準的なハードウェア上で実行されまたは当該ハードウェアを制御し、所望の機能を実行するソフトウェアを網羅することが意図されている。シリコンチップを設計するために、またはユニバーサル・プログラマブル・チップ（ｕｎｉｖｅｒｓａｌ  ｐｒｏｇｒａｍｍａｂｌｅ  ｃｈｉｐ）を構成するために用いられる、ＨＤＬ（ｈａｒｄｗａｒｅ  ｄｅｓｃｒｉｐｔｉｏｎ  ｌａｎｇｕａｇｅ）ソフトウェアのような、ハードウェアの構成を「記述」または定義し、所望の機能を実行するソフトウェアを網羅することも意図されている。
【００５５】
プログラム命令の記憶に利用される記憶装置をネットワークに分散させることができることは当業者には理解されよう。例えば、リモート・コンピュータが、ソフトウェアとして記述されたプロセスの例を記憶してもよい。ローカル・コンピュータまたは端末コンピュータがリモート・コンピュータにアクセスして、プログラムを実行するためのソフトウェアの一部または全部をダウンロードしてもよい。あるいは、ローカル・コンピュータが必要に応じてソフトウェア部分をダウンロードするか、または、一部のソフトウェア命令をローカル端末で実行し、一部のソフトウェア命令をリモート・コンピュータ（またはコンピュータ・ネットワーク）で実行してもよい。当業者に公知な従来技法を利用することにより、全部または一部のソフトウェア命令を、ＤＳＰ、プログラマブル・ロジック・アレイ等のような専用回路で実行してもよいことは当業者には理解されよう。
【００５６】
本明細書で与えた任意の範囲または装置の値を、目的の効果を失うことなく拡張または変更してもよいことは当業者には理解されよう。
【００５７】
以上で説明した利益および利点が、１つの実施形態に関係しても幾つかの実施形態に関係してもよいことは理解されよう。実施形態は、述べた問題の一部または全部を解決するものや、述べた利益および利点の一部または全部を有するものに限定されることはない。さらに、「１つの」項目への言及が１つまたは複数のこれらの項目にも言及するものであることは理解されよう。
【００５８】
本明細書で説明した方法のステップを、必要に応じて任意の適切な順序でまたは同時に実行してもよい。さらに、本明細書で説明した主題の趣旨および範囲を逸脱することなく、個々のブロックを方法の一部から除去してもよい。目的の効果を失うことなく、上述の任意の例の諸態様を、説明した他の任意の例の諸態様と組み合わせてさらに別の例を作成してもよい。
【００５９】
「備える」という用語は、本明細書では、方法のブロックまたは特定した要素を含むことを意味するために用いるが、かかるブロックまたは要素は包括的なリストを含むものではなく、方法または装置がさらなるブロックまたは要素を含んでもよい。
【００６０】
好適な実施形態に関する以上の説明は例として与えたものにすぎず、様々な修正を当業者によって行ってもよいことは理解されよう。以上の仕様、例、およびデータは、本発明の例示的な実施形態の構造および利用を完全に説明するものである。本発明の様々な実施形態、を一定の具体性をもって、または１つもしくは複数の個々の実施形態を参照して説明したが、本発明の趣旨または範囲を逸脱することなく多数の変更を開示した実施形態に加えうることは当業者には理解されよう。
【図１】
0005801291.tif 000002
【図２】
0005801291.tif 000003
【図３】
0005801291.tif 000004
【図４】
0005801291.tif 000005
【図５】
0005801291.tif 000006
【図６】
0005801291.tif 000007
【図７】
0005801291.tif 000008
【図８】
0005801291.tif 000009
【図９】
0005801291.tif 000010
【図１０】
0005801291.tif 000011
【図１１】
0005801291.tif 000012
【図１２】
0005801291.tif 000013