クエリが入力される入力手段と、前記クエリを推測的クエリ拡張プロセスにより拡張して複数の拡張クエリを生成し、前記複数の拡張クエリを検索処理部で検索処理させて複数のサーチ結果を獲得し、前記複数のサーチ結果に含まれる複数のドキュメントのうちで、予め評価済みのドキュメントのみを用いて前記複数のサーチ結果毎の擬似指標スコアを計算する処理部と、前記複数のサーチ結果毎の前記擬似指標スコアに基づいて前記複数のサーチ結果から選択された1以上の前記サーチ結果を出力する出力手段と、を備える検索装置。前記処理部は、前記推測的クエリ拡張プロセスを所定の終了条件が満たされるまで繰り返し実行する、請求項1に記載の検索装置。前記出力手段は、前記複数のサーチ結果のうちもっとも高い前記擬似指標スコアを有するサーチ結果を出力する、請求項1に記載の検索装置。前記出力手段は、前記複数のサーチ結果のうちもっとも高い前記擬似指標スコアを有するサーチ結果に対応する前記拡張クエリをさらに出力することを特徴とする、請求項1に記載の検索装置。前記検索処理部は、複数のサーバから構成され、前記処理部は前記複数の拡張クエリを前記複数のサーバに送信するとともに、前記複数のサーバから前記複数のサーチ結果を獲得することを特徴とする、請求項1に記載の検索装置。コンピュータを、クエリが入力される入力手段と、前記クエリを推測的クエリ拡張プロセスにより拡張して複数の拡張クエリを生成し、前記複数の拡張クエリを検索処理部で検索処理させて複数のサーチ結果を獲得し、前記複数のサーチ結果に含まれる複数のドキュメントのうちで、予め評価済みのドキュメントのみを用いて前記複数のサーチ結果毎の擬似指標スコアを計算する処理部と、前記複数のサーチ結果毎の前記擬似指標スコアに基づいて前記複数のサーチ結果から選択された1以上の前記サーチ結果を出力する出力手段と、として動作させるための検索装置用のコンピュータプログラム。従来のクエリ拡張の問題は、たとえ効果的かつ情報理論的な基準を用いてタームが重み付けされた場合であっても、実際にいくつのタームをクエリに追加するか、という疑問が残ることである。実際にいくつのクエリをタームに追加するか、ということは、最終的な結果の質に大きな影響を与える。本発明の第1の態様は、検索装置であって、クエリが入力される入力手段と、前記クエリを推測的クエリ拡張プロセスにより拡張して複数の拡張クエリを生成し、前記複数の拡張クエリを検索処理部で検索処理させて複数のサーチ結果を獲得し、前記複数のサーチ結果に含まれる複数のドキュメントのうちで、予め評価済みのドキュメントのみを用いて前記複数のサーチ結果毎の擬似指標スコアを計算する処理部と、前記複数のサーチ結果毎の前記擬似指標スコアに基づいて前記複数のサーチ結果から選択された1以上の前記サーチ結果を出力する出力手段と、を備える。本発明の第2の態様は、第1の態様の検索装置であって、前記処理部は、前記推測的クエリ拡張プロセスを所定の終了条件が満たされるまで繰り返し実行する。本発明の第3の態様は、第1の態様の検索装置であって、前記出力手段は、前記複数のサーチ結果のうちもっとも高い前記擬似指標スコアを有するサーチ結果を出力する。本発明の第4の態様は、第1の態様の検索装置であって、前記出力手段は、前記複数のサーチ結果のうちもっとも高い前記擬似指標スコアを有するサーチ結果に対応する前記拡張クエリをさらに出力することを特徴とする。本発明の第5の態様は、第1の態様の検索装置であって、前記検索処理部は、複数のサーバから構成され、前記処理部は前記複数の拡張クエリを前記複数のサーバに送信するとともに、前記複数のサーバから前記複数のサーチ結果を獲得することを特徴とする。本発明の第6の態様は、検索装置用のコンピュータプログラムであって、コンピュータを、クエリが入力される入力手段と、前記クエリを推測的クエリ拡張プロセスにより拡張して複数の拡張クエリを生成し、前記複数の拡張クエリを検索処理部で検索処理させて複数のサーチ結果を獲得し、前記複数のサーチ結果に含まれる複数のドキュメントのうちで、予め評価済みのドキュメントのみを用いて前記複数のサーチ結果毎の擬似指標スコアを計算する処理部と、前記複数のサーチ結果毎の前記擬似指標スコアに基づいて前記複数のサーチ結果から選択された1以上の前記サーチ結果を出力する出力手段と、として動作させる。以上および以下の記載は例示のみを目的としており、本発明および本発明の応用を限定することを意図するものではない。本発明において、クエリ拡張タームは一般的な情報理論的基準を用いて選択され重み付けされている。しかしながら、本発明では、いくつのタームを追加するかについては、推測的に複数のクエリを実行し、擬似指標スコアがもっとも大きいクエリを事後的に選択することによって、経験的に、かつ、迅速に、判断することができる。添付の図面を参照して、本発明の詳細を説明する。添付の図面は例示のためのものであり、本発明を限定するものではない。実施形態は本発明の原理に添うものである。実施形態は当業者が本発明を実施することができる程度に十分に記載されている。また、本発明の範囲および思想から逸脱することなく、実施形態を変更することが可能であり、構成の変更、および/もしくは、構成要素の置き替えが可能である。したがって、以下の記載は限定的に解釈されるべきではない。さらに、本発明の様々な実施形態は、汎用目的コンピュータで稼働するソフトウェアの形態で実装されてもよいし、特定用途のためのハードウェアの形態で実装されてもよいし、ソフトウェアおよびハードウェアの組み合わせの形態で実装されてもよい。本発明の実施形態のいくつかにおける方法は、例えば検索サービスプログラムを動作させる検索用サーバと、サーバにアクセスし、検索サービスから送信されたウェブページ等のユーザインターフェースを通じて検索クエリを送信することで検索リクエストを送り、サーバから検索結果を受信し閲覧するクライアントとを用いて構成される周知の検索システムとして実現することができる。また、近年の進展している並列的でクラウドベースの計算処理を活用して、各々が異なる数の拡張タームを含んだ複数のクエリを推測的に実行するシステム構成とすることもできる。検索結果の品質は予め評価されたドキュメントに対する擬似AP平均精度を用いて事後に計測されユーザの努力を追加的には必要としない技術である、ユーザに提示するためにもっともよいリストが複数のクエリの検索結果のリストの中から検索結果の品質に基づいて選択される。推測的クエリ拡張の適用推測的クエリ拡張の基本は、複数の可能性のある推測的クエリを実行し、一般的には、以前行われた関連する判定によって、システムがユーザから収集したすべての情報を用いて、もっともよいと思われるものをユーザにサーチ結果として戻す方法を含む。このプロセスを達成する多くの異なる方法がある。そのような方法の一つのアプローチを図1に示す。しかしながら、図1に示された方法は例示であり、本発明はこの方法に限定されるものではない。ステップ100:ユーザが最初のクエリを入力する。システムが最初のクエリを受信する。ステップ101:システムは当該クエリを実行し、サーチ結果を戻す。ステップ102:k個のドキュメントの各々のおそらく段階付けされている関連度および非関連度を決定するために、ユーザは上位k個のドキュメントを判定する。ステップ103:推測的クエリ拡張プロセスが開始され、一つ以上のリストを生成する。ステップ104:最高の擬似指標スコアを有する結果リストを選択し、ユーザに戻す。たとえば、もっとも高い擬似指標スコアを有する結果リストがユーザのコンピュータ画面でユーザに対して表示されてもよい。図1のステップ103の推測的クエリ拡張プロセスの詳細を図2に示す。ステップ200:推測的クエリを生成するためにクエリを拡張するタームである候補拡張タームNの数が選択される。これらのタームは候補拡張タームプールを初期化するために使用される。候補拡張タームの選択および重み付けは、当該技術分野において知られている方法たとえば、KullbackLeiblerダイバージェンス、タームの出現頻度、などによって行われる。推測的クエリはユーザのクエリタームによって初期化されるそして、場合によっては重み付けされる。ステップ201:重みを有する上位M個の拡張タームが推測的クエリに加えられる。ここで、MはNより小さい。M個の拡張タームは候補拡張タームプールから取り除かれる。ステップ202:推測的クエリはこれらの拡張タームおよび重みを用いて実行され、このクエリの結果はキャッシュに入れられる。ステップ203:この推測的クエリの質は擬似指標を用いて評価され、対応する結果リストとともにキャッシュに入れられる。ステップ204:終了フラグが調べられ、このフラグがセットされていればステップ104に進む。フラグがセットされていなければ、ステップ201に戻る。ステップ201で、より多くの拡張タームが推測的クエリに加えられ、処理を反復する。図1および図2に例示される推測的クエリは、3つの部分を含む。すなわち、1クエリ拡張タームをいくつ選択するか201、どのように結果リストを評価するか203、ユーザに結果を戻すためにどのようにシステムに割り込むか204、である。クエリ拡張タームの選択以前の反復における上位M個のタームをクエリに加えることによって、クエリ拡張タームが反復的に選択される。上位であることは、当該技術分野で知られている任意の方法たとえば、KullbackLeiblerダイバージェンス、ロッキオRocchio、サポートベクターマシンなどを適用することによって、関連があると明示的に判断されたドキュメントのタームおよびコレクションの他のタームにもとづいて、判断される。しかしながら、この推測的クエリ拡張はこの方法で必ずしも行わなければならないものではない。たとえば、任意の推測的ステップにおいて、上位M個と下位M個のタームを加えるようにしてもよい。もしくは、拡張クエリ候補のランキングの上位所定個を除いた中位M個のタームを代わりに加えるようにしてもよい。拡張された推測的クエリは、次に、処理され、評価される。結果リストの評価擬似平均精度による例推測的拡張クエリからの結果はドキュメントのセットであり、ドキュメントのいくつかは関連があるかないかが知られている。その他のドキュメントの関連は知られていない。擬似指標スコアは、現在の検索中もしくは全体としてのセッションのある時点で、検索結果としてユーザに戻され提示された、評価済みドキュメントの順位にもとづいて計算される。擬似指標スコアは既知の指標を利用し、既知の指標を判定済みドキュメントにのみ擬似的手法で適用することによって計算される。この例では、平均精度測定を擬似的手法で利用する。たとえば、NDCG、Precision10、および当該技術分野で知られている他の指標を、判定済みの関連ドキュメントおよび非関連ドキュメントの順位にもとづいて擬似的手法で同様に使用してもよい。図3は、ドキュメントのいくつかの関連非関連が既知である場合、どのように擬似平均精度擬似指標の一例をドキュメントセットに適用することができるか、を示す本発明の実施形態を例示する。最初のクエリによってドキュメントセット300が検索して取り出される。ドキュメントが関連か関連であるとしてラベル付けされているドキュメントには例示の目的で矩形のマークを付してある非関連かマークを付していないをマークによって示すことができる。たとえば、ユーザによって、もしくは、以前のブラウジング履歴の解析もしくは関連度をスコア付けする他の手段を通じシステムによって、ドキュメントに関連もしくは非関連を示すマークを付すことができる。最初に判定されたセットのドキュメントから最後に判定されたドキュメントまでのドキュメントの総数を計算することによって、最初のドキュメントセットから平均精度スコアを取得する302。スコアを計算するために、まず、順位付けされたリストの新しい関連ドキュメントが発見されるすべてのポイントで、検索して取り出され、かつ、判断されたドキュメントの数に対する検索して取り出され、かつ、関連するドキュメントの数の割合の合計を決定する。次に、平均精度スコアAPを取得するために、利用可能な関連ドキュメントの総数によって、該合計を正規化する。この例では、全6個の関連ドキュメントを検索して取り出すためにMまでの13個のドキュメントを使用する。リストによれば、1/12/23/54/95/126/13/6であり、平均精度スコアAPは概ね0.654である。擬似平均精度推測的拡張クエリによって生成されるリストについて、擬似平均精度を計算する。ユーザによってまだ検討されていないすなわち、関連するか関連しないか、まだ判定されておらず、マーク付けされていないドキュメントを無視することによって、システムはすでに判定されたすべての関連する、および、関連しないドキュメントのこの新しいリストにおける相対位置を知ることができる。擬似平均精度は、以前に判定されなかった他の関連ドキュメントは無視し、以前に判定されたドキュメントの新しい相対順位により注目して、このサブセットだけに関して計算される平均精度である。既知の非関連ドキュメントの前に既知の関連ドキュメントを多く検出する新しいクエリが未知の非関連ドキュメントの前に未知の関連ドキュメントを多く検出するであろうことが、直感的に理解される。図3は、本発明の実施形態のいくつかにおけるドキュメントに適用されている擬似平均精度を示す。上位に順位付けられたドキュメントのいくつかの関連は未知であるつまりユーザによって関連するかしないかが示されていない。推測的拡張クエリを実行すると、結果は、関連が知られているたとえば、B、L、Mドキュメントが散りばめられた関連が未知であるドキュメントたとえば、Q、S、Rを有するリスト303を含むかもしれない。しかしながら、擬似平均精度を計算するときは、関連が未知であるドキュメントは単に無視され、取り除かれる304。スコアは実際の平均精度が擬似平均精度を提供するために計算されているかのように計算される。擬似平均精度スコアが計算されると、本発明の実施形態では、結果をキャッシュに入れ、さらに、推測的クエリを実行する。最終的に、もっとも高い擬似平均精度スコアを有する結果リストが戻される。この例において、推測的クエリを実行した場合の擬似平均精度スコア概ね0.788は最初のクエリの実平均精度スコアより高い。リスト305の関連が未知であるドキュメントの順番は、最初のリスト301の順番と比較すると、関連がないドキュメントの前に関連があるドキュメントを検出する傾向を有する。本発明の実施の形態の基本的な構成は、予め行われる関連判定もしくはその他の手段によってシステムがユーザから収集することができるすべての情報を用いることにより、複数の可能性のある推測的クエリを実行し、最良であると思われるクエリおよび結果をユーザに戻す。システムへの割り込みクエリの推測的実行は、ステップの所定の数の後停止してもよいし、その他の事項たとえば、プロセッサ利用可能性、もしくは、ユーザが長時間の待機させられているとの体感を避けるための経過時間合計などによって割り込まれてもよい。状況に応じて、推測的クエリ拡張には必要な時にいつでも割り込むことができる。結果の評価図4~図8は、本発明の実施形態によって生成される結果セットの評価例を示す。図4に示されているグラフ400は、x軸に計算された擬似平均精度スコア401を示し、y軸に実際の平均精度402を示す。データポイントの各々は、推測的クエリ拡張の反復の一つステップ103に対応する。この例では、最初の拡張されていない結果から、上位30個の判定が関連にもとづいてユーザによって判定された。一般に擬似平均精度と実平均精度との間に正の相関があることをグラフは示している。したがって、推測的実行シナリオにおいては、最高の擬似平均精度スコアAPを有する結果リストx軸方向にもっとも右にあるグラフの各々のデータポイントを選択し、ユーザに戻すならば、このリストは、関連の観点から、もし、最良でないとしても、最良である可能性があるリストの中に含まれる。たとえば、もっとも大きな擬似平均精度スコア0.9を有する結果リストが約2.2の実平均精度スコアを有する。これは、高い実平均スコアに入る。図4のグラフに示されるように、高い擬似平均精度スコアを有する結果リストは高い実平均精度スコアを有するので、高い擬似平均精度スコアは高い実平均精度スコアを予測するためのよい判断材料である。図5~8は同様に、擬似平均精度スコアおよび実平均精度スコアの間の相関を示す。図9は本発明の実施形態を実装することができるコンピュータ/サーバシステム900を例示するブロック図である。システム900は命令を実行するために稼働するプロセッサ902およびメモリ903を含むコンピュータ/サーバプラットフォーム901を含む。用語コンピュータ可読記憶媒体はプロセッサ902に実行するための指示を提供するために使用される任意の媒体であってよい。さらに、コンピュータプラットフォーム901は複数の入力手段904たとえば、キーボード、マウス、タッチデバイス、音声入力手段などから入力を受信する。コンピュータプラットフォーム901は、さらに、脱着可能な記憶手段905たとえば、ポータブルハードディスクドライブ、光媒体CDもしくはDVD、ディスク媒体、もしくは、コンピュータが実行可能なコードを読み取ることができる任意のその他の媒体に接続されていてもよい。コンピュータプラットフォーム901は、インターネットに接続されているネットワークリソース906もしくはローカルパブリックネットワークもしくはローカルプライベートネットワークのコンポーネントにさらに接続されていてもよい。ネットワークリソース906はネットワーク907上の離れた場所からコンピュータプラットフォーム901に命令およびデータを提供してもよい。ネットワークリソース906への接続はワイヤレスプロトコルたとえば、802.11標準、ブルートゥース、もしくは、セルラープロトコルなどを介してもよいし、物理的な伝送媒体たとえば、ケーブル、もしくは、光ファイバーなどを介してもよい。ネットワークリソースはコンピュータプラットフォーム901と分離した場所にデータおよび実行可能な命令を記憶する記憶手段を含んでもよい。コンピュータは、ユーザに対して、データおよびその他の情報を出力し、ユーザからの追加命令および入力を要求するために、表示手段908と相互に通信を行う。表示手段908は、ユーザと相互に情報の授受を行うために、入力手段904として動作してもよい。本発明のその他の実装も、当業者には自明である。上記実施形態の様々な態様および/もしくは構成要素は埋め込みメディアバーコードシステムにおいて単一でもしくは組み合わされて使用されてもよい。上記実施形態の記載は例示を行うことだけを意図しており、本発明の真の範囲および思想は、特許請求の範囲の記載によって示される。