(57)【要約】【課題】統合対象の各情報源から生成した各学習データが独自の特徴量を有していたとしても、その特徴量をそのまま利用して統合用のランキング関数を得ることを目的とする。【解決手段】検索システムのランキング関数を得るために、まず、複数の情報源のそれぞれから作成された学習データを統合して成る統合学習データのうち、同一の検索語を含む事例で構成される事例集合において、該同一の検索語を含む事例とその他すべての事例との相対的数値として、事例の重みおよびクラスを算出する。続いて、その重みおよびクラスを用いて機械学習を実行することで、複数の情報源それぞれの弱仮説を生成する。続いて、生成されたすべての弱仮説に共通の弱仮説重みを算出する。そして、生成された弱仮説および弱仮説重みに基づいて、複数の情報源それぞれのランキング関数を更新する。【選択図】図３
2011232997.tif 000002
【特許請求の範囲】
【請求項１】
検索システムのランキング関数を得るための機械学習方法であって、
複数の情報源のそれぞれから作成された学習データを統合して成る統合学習データのうち、同一の検索語を含む事例で構成される事例集合において、該同一の検索語を含む事例とその他すべての事例との相対的数値として、事例の重みおよびクラスを算出する第１算出ステップと、
前記第１算出ステップにおいて算出された重みおよびクラスを用いて機械学習を実行することで、前記複数の情報源それぞれの弱仮説を生成する学習ステップと、
前記学習ステップにおいて生成されたすべての弱仮説に共通の弱仮説重みを算出する第２算出ステップと、
前記学習ステップにおいて生成された弱仮説と、前記第２算出ステップにおいて生成された弱仮説重みとに基づいて、前記複数の情報源それぞれのランキング関数を更新する更新ステップと、
を含むことを特徴とする機械学習方法。
【請求項２】
前記第１算出ステップ、前記学習ステップ、前記第２算出ステップ、及び前記更新ステップが所定の回数繰り返して実行される、
ことを特徴とする請求項１に記載の機械学習方法。
【請求項３】
前記学習ステップでは、前記複数の情報源それぞれの前記学習データ毎に前記機械学習が実行される、
請求項１又は２に記載の機械学習方法。
【請求項４】
検索システムのランキング関数を得るための機械学習システムであって、
複数の情報源のそれぞれから作成された学習データを統合して成る統合学習データのうち、同一の検索語を含む事例で構成される事例集合において、該同一の検索語を含む事例とその他すべての事例との相対的数値として、事例の重みおよびクラスを算出する第１算出手段と、
前記第１算出手段により算出された重みおよびクラスを用いて機械学習を実行することで、前記複数の情報源それぞれの弱仮説を生成する学習手段と、
前記学習手段により生成されたすべての弱仮説に共通の弱仮説重みを算出する第２算出手段と、
前記学習手段により生成された弱仮説と、前記第２算出手段により生成された弱仮説重みとに基づいて、前記複数の情報源それぞれのランキング関数を更新する更新手段と、
を備えることを特徴とする機械学習システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索システムのランキング関数を得る機械学習方法および機械学習システムに関する。
【背景技術】
【０００２】
インターネット技術の進歩によりワールド・ワイド・ウェブ（ＷＷＷ）におけるページ数が爆発的に増え、その結果、ユーザが求める情報を得るための検索システムが必要不可欠のものとなった。さらに、検索システムの進化により、単にＷＷＷ上のページ全体を検索して結果を返すのでなく、ウェブページ（本明細書では単に「ページ」という）をニュースや画像、動画などのカテゴリ別に収集あるいは分類した上で、そのカテゴリ別に検索結果を提示する検索エンジンも登場した。本明細書では、カテゴリ別に格納した収集データを「情報源」という。また、携帯端末の普及により、従来のパーソナルコンピュータ（ＰＣ）での閲覧でなく携帯端末での閲覧を想定して、表示サイズを小さくしたページが多く作成されるようになったため、携帯端末での閲覧に特化したページを検索するための検索エンジンも登場している。
【０００３】
上記のようにページをカテゴリ別に収集あるいは分類する利点として、カテゴリ別に格納した情報源毎に最適化したランキング関数を生成できることがある。具体的には、ランキングに用いる特徴量の情報源間の値域差の問題を解消したり、各情報源に特有の特徴量を導入したりすることで、情報源毎にランキング関数を最適化することが可能である。例えば、ページのランキングに使われる特徴量としてよく知られた検索語頻度（ＴＦ：Term Frequency）はページに含まれる検索語の個数をカウントするものであるが、この特徴量を用いると１ページあたりの文字数が一般に多いＰＣ用ページが文字数の少ない携帯用ページに比べて有利になってしまう。この問題は、情報源別にランキング関数を生成することで解消できる。また、動画のランキングにおいては、動画サイトにおけるユーザのレイティングを利用でき、通常のページとは違う特徴量の利用が可能である。
【０００４】
さて、ページをカテゴリ別に収集あるいは分類するか否かに関わらず、検索システムにおいては検索語（クエリー）に対する適合度の順にページをランク付けする必要がある。このランク付けに対する一つのアプローチとして、機械学習にてランキング関数を生成する手法がある。
【０００５】
機械学習アプローチでは、学習データを用いた学習を行うことで関数を得る。学習データとは、ページをランク付けするための学習（ランキング学習）に用いるデータであり、より具体的には、検索語に対するページの適合度を表したラベル、及びページに関する特徴量や検索語とページとの関連を表した特徴量から成る特徴量ベクトルである。ラベルとしては、適合／不適合の二値や、適合度を数値で複数段階に表現したものなどが一般的である。特徴量としては、例えばページに含まれる検索語の個数やＵＲＬの文字長などがある。ランキング学習の結果として生成される関数としては、特徴量ベクトルに対する適合度をランキングスコアという数値として返すものが一般的であり、このような関数により、検索結果をスコア順に提示することができる。
【０００６】
よく知られたランキング学習としては、ニューラル・ネットワークを利用した手法（下記特許文献１参照）や、サポート・ベクター・マシン（ＳＶＭ）を利用した手法（下記非特許文献１参照）などがある。これらの技術はｎＤＣＧ（normalizedDiscounted Cumulative Gain）などの検索性能指標を間接的に高めようとするアプローチである。これに対して、ブースティングによりｎＤＣＧを直接的に最適化するランキング学習手法も存在する（下記非特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−２３６３４５号公報
【非特許文献】
【０００８】
【非特許文献１】Joachims, T. "Optimizing Search Engines Using ClickthroughData," Proceedings of the ACM Conference on Knowledge Discovery and DataMining (KDD 2002)
【非特許文献２】Valizadegan, H., Jin, R., Zhang, R., Mao, J. "Learning to Rankby Optimizing NDCG Measure," Proceedings of Neural Information ProcessingSystems (NIPS 2010)
【発明の概要】
【発明が解決しようとする課題】
【０００９】
携帯用の検索結果を表示する際には、画面領域の制約から情報源の境界なく目的の情報にすばやくアクセスしたいというユーザニーズに応えるため、情報源別の検索結果を一つに統合して表示したい場合がある。例えば、携帯用ページの情報源とＰＣ用ページの情報源とに分けて表示するのでなく、これらを統合して表示することが挙げられる。これを実現するために、上記のような従来技術では、統合対象の情報源に共通して利用できる特徴量のみを利用して統合用ランキング関数を生成する方法を取らざるを得ないが、利用できる特徴量が限られる場合には精度の高いランキング関数を生成するのが難しい場合もある。
【００１０】
そこで本発明は、統合対象の各情報源から生成した各学習データが独自の特徴量を有していたとしても、その特徴量をそのまま利用して統合用のランキング関数を得ることが可能な機械学習方法および機械学習システムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の機械学習方法は、検索システムのランキング関数を得るための機械学習方法であって、複数の情報源のそれぞれから作成された学習データを統合して成る統合学習データのうち、同一の検索語を含む事例で構成される事例集合において、該同一の検索語を含む事例とその他すべての事例との相対的数値として、事例の重みおよびクラスを算出する第１算出ステップと、第１算出ステップにおいて算出された重みおよびクラスを用いて機械学習を実行することで、複数の情報源それぞれの弱仮説を生成する学習ステップと、学習ステップにおいて生成されたすべての弱仮説に共通の弱仮説重みを算出する第２算出ステップと、学習ステップにおいて生成された弱仮説と、第２算出ステップにおいて生成された弱仮説重みとに基づいて、複数の情報源それぞれのランキング関数を更新する更新ステップと、を含むことを特徴とする。
【００１２】
本発明の機械学習システムは、検索システムのランキング関数を得るための機械学習システムであって、複数の情報源のそれぞれから作成された学習データを統合して成る統合学習データのうち、同一の検索語を含む事例で構成される事例集合において、該同一の検索語を含む事例とその他すべての事例との相対的数値として、事例の重みおよびクラスを算出する第１算出手段と、第１算出手段により算出された重みおよびクラスを用いて機械学習を実行することで、複数の情報源それぞれの弱仮説を生成する学習手段と、学習手段により生成されたすべての弱仮説に共通の弱仮説重みを算出する第２算出手段と、学習手段により生成された弱仮説と、第２算出手段により生成された弱仮説重みとに基づいて、複数の情報源それぞれのランキング関数を更新する更新手段と、を備えることを特徴とする。
【００１３】
このような発明によれば、複数の情報源のそれぞれから作成された学習データを統合して成る統合学習データのうち、同一の検索語を含む事例で構成される事例集合において事例の重みおよびクラスが算出され、当該重みおよびクラスに基づいて各情報源の弱仮説が生成される。そして、各弱仮説と全弱仮説共通の弱仮説重みとに基づいて各情報源のランキング関数が更新される。これにより、各情報源のランキング関数は、各情報源の任意のページに対して、全情報源に共通の尺度を持つランキングスコアを出力できる。すなわち、統合対象の各情報源から生成した各学習データが独自の特徴量を有していたとしても、その特徴量をそのまま利用して統合用のランキング関数を得ることができる。
【００１４】
本発明の機械学習方法では、第１算出ステップ、学習ステップ、第２算出ステップ、及び更新ステップが所定の回数繰り返して実行されてもよい。
【００１５】
本発明の機械学習方法では、学習ステップにおいて、複数の情報源それぞれの学習データ毎に機械学習が実行されてもよい。
【発明の効果】
【００１６】
このような機械学習方法および機械学習システムによれば、統合対象の各情報源から生成した各学習データが独自の特徴量を有していたとしても、その特徴量をそのまま利用して統合用のランキング関数を得ることができる。
【図面の簡単な説明】
【００１７】
【図１】実施形態に係る機械学習システムの機能構成を示すブロック図である。
【図２】図１に示す機械学習システムのハードウェア構成を示す図である。
【図３】図１に示す機械学習システムの動作を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
【００１９】
本発明は、上記非特許文献２と同様に、検索性能指標として知られているｎＤＣＧをブースティングにより直接的に最適化するアプローチである。ただし、本発明は、統合された検索結果のｎＤＣＧを最適化する点で、上記非特許文献２に記載の技術と大きく異なる。実施形態に係る機械学習システムの機能構成を説明する前に、本発明の理論的な前提を説明する。
【００２０】
Ｌ個の情報源Ｓ１〜ＳＬからなる集合Ｓ＝｛Ｓ１，…，ＳＬ｝が存在し、その各情報源から作成された学習データをＴ＝｛Ｔ１，…，ＴＬ｝とする。すべての学習データＴ１〜ＴＬは、共通するＮ個の検索語Ｑ＝｛ｑ１，…，ｑＮ｝を含む。情報源Ｓｌから作成した学習データＴｌにおいて、検索語ｑｋを含むページの集合Ｄklはｍkl個のページを含む。すなわち、
【数１】
2011232997.tif 000003
である。なお本明細書では、この式におけるＤ，ｄ，ｍのように、変数等に上付き文字および下付き文字が併存する場合には、例えば「Ｄkl」のように、上付き文字及び下付き文字をずらして表記する場合もある。
【００２１】
集合Ｄklを構成する各ページには、ｐｌ次元の特徴量ベクトルｘkiと適合度（ラベル）ｒkiとのペアが割り当てられる。すなわち、
【数２】
2011232997.tif 000004
である。なお、特徴量ベクトルは一以上の特徴量（ページに関する特徴量や検索語とページとの関連を表した特徴量）から構成され、特徴量ベクトルを構成する特徴量の個数が特徴量ベクトルの次元数に当たる。適合度は学習データに依らず共通の尺度でラベル付けされたものとする。
【００２２】
検索語ｑｋにおける全学習データ
【数３】
2011232997.tif 000005
に含まれるページ集合Ｄｋは
【数４】
2011232997.tif 000006
個のページを含み、
【数５】
2011232997.tif 000007
と表記される。同様に、特徴量ベクトルｘkiと適合度ｒkiとのペアについて
【数６】
2011232997.tif 000008
が成立する。
【００２３】
ブースティングは、弱学習器により重み付き学習事例から弱仮説を生成するステップを繰り返す手法である。ここで、弱仮説とは、弱学習器により学習された関数のことをいう。学習ステップｔでは、生成された弱仮説ｆｔの重みαｔを決定する。ブースティングにより最終的に得られるランキング関数Ｆは、各ステップｔで決定された弱仮説ｆｔと当該弱仮説の重みαｔとの積の総和、すなわち
【数７】
2011232997.tif 000009
となる。
【００２４】
本発明では、統合対象の各情報源に対してランキング関数Ｆを生成する。すなわち、Ｌ個の情報源Ｓ＝｛Ｓ１，…，ＳＬ｝を統合対象とすれば、Ｌ個のランキング関数Ｆ＝｛Ｆ１，…，ＦＬ｝が生成されることになる。情報源ＳｌにおけるページｄkiのランキングスコアはＦｌ（ｄki）で得られ、このスコアに基づいて統合用の検索結果が生成される。
【００２５】
ブースティングによる学習ステップｔにおいて生成される情報源Ｓｌの弱仮説をｆtlとし、その情報源Ｓｌに含まれるページｄkiをその弱仮説ｆtlにより評価することをｆtl（ｄki）とする。また、弱仮説の重みをαｔとする。重みαは情報源に依らず共通である。したがって、情報源Ｓｌにおけるｔ回の学習ステップを経たランキング関数は
【数８】
2011232997.tif 000010
となる。ページｄkiのランキングスコアはＦtl（ｄki）となる。なお、ｄkiは所属する情報源Ｓｌの弱仮説ｆｌやランキング関数Ｆｌによってのみ評価できるので、ｆtl（ｄki）やＦtl（ｄki）と表記した場合には、ｌはｄki∈Ｓｌを満たしているものとする。
【００２６】
以上の理論を前提として、図１，２を用いて、実施形態に係る機械学習システムの機能及び構成を説明する。機械学習システム１は、検索システム（図示せず）により検索されたウェブページの順位付けを行うランキング関数を得るためのコンピュータシステムである。図１に示すように、機械学習システム１は機能的構成要素として第１算出部（第１算出手段）１１、学習部（学習手段）１２、第２算出部（第２算出手段）１３、及びランキング関数更新部（更新手段）１４を備えている。
【００２７】
図２に示すように、機械学習システム１はＣＰＵ１０１と、ＲＯＭやＲＡＭで構成される主記憶部１０２と、ハードディスクなどで構成される補助記憶部１０３と、データ通信を行う通信制御部１０４と、キーボードやポインティング・デバイスなどで構成される入力部１０５と、モニタなどで構成される出力部１０６とを備えている。図２に示す各機能は、ＣＰＵ１０１又は主記憶部１０２上に所定のプログラムを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４、入力部１０５及び出力部１０６を動作させるとともに、主記憶部１０２又は補助記憶部１０３に対してデータの読み出し又は書き込みを行うことで実現される。以下に示す処理に必要なデータやデータベースは、主記憶部１０２又は補助記憶部１０３に格納されている。
【００２８】
図１に戻って、第１算出部１１は、複数の情報源のそれぞれから作成された学習データを統合して成る統合学習データのうち、同一の検索語を含む事例で構成される事例集合において、該同一の検索語を含む事例とその他すべての事例との相対的数値として、該同一の検索語を含む事例の重みおよびクラスを算出する手段である。第１算出部１１は求めた重みおよびクラスを学習部１２に出力する。ここで、事例とは、学習データにおけるラベルや特徴量ベクトルを一体化したデータのことをいう。
【００２９】
第１算出部１１はまず初期化処理を実行する。なお、この初期化処理をステップ０（ｔ＝０）の処理とする。具体的には、第１算出部１１は、ページ集合Ｄｋに含まれるすべてのページのランキングスコアを０とする。すなわち、Ｆ0l（ｄki）＝０とする。第１算出部１１はこのような初期化を行った上でステップ１（ｔ＝１）の処理に移る。
【００３０】
ステップ１において、第１算出部１１は、統合対象である複数の情報源の統合学習データのうち、同一の検索語を含む事例集合において、該同一の検索語を含む事例とその他すべての事例との相対的数値として、事例の重みおよびクラスを算出する。具体的には、第１算出部１１はまず、同一の検索語を持つページ集合Ｄｋにおける任意のページのペアに対して、下記式（１）を計算する。
【数９】
2011232997.tif 000011
【００３１】
この式（１）において、γはランキング関数から算出されるランキングスコアに基づく二つのページ間の乖離度ということができ、二つのページのランキングスコアの差が大きいほど、γは小さくなる。また、Ｉは二つのページが同一である場合の乖離度を０にするために導入した関数である。したがってθは、ランキングスコアに基づく、互いに異なる二つのページ間の乖離度といえる。
【００３２】
続いて、第１算出部１１はページ集合Ｄｋに含まれる全ページに対する相対的数値として、ページ（事例）ｄkiの重みｗ（ｄki）を下記式（２）により求める。
【数１０】
2011232997.tif 000012
【００３３】
続いて、第１算出部１１は求めた重みに基づいて事例のクラスｙ（ｄki）を下記式（３）により決定する。
【数１１】
2011232997.tif 000013
【００３４】
ここで、クラスとは、学習により得られた弱仮説が分類すべきカテゴリである。上記式（３）に示すように、第１算出部１１は重みが正数のときはクラスを＋１（正事例）とし、重みが負数の場合にはクラスを−１（負事例）とする。このように、本実施形態では２種類のクラスが求まる。クラスが−１であることは、ステップｔにおけるランキング関数Ｆにより求まるランキングスコアが、本来のランキングスコア（理想スコア）よりも高いことを意味し、クラスが＋１であることはその逆を意味する。
【００３５】
学習部１２は、第１算出部１１から入力された重みおよびクラスを用いて機械学習することで、複数の情報源それぞれの弱仮説を生成する手段である。
【００３６】
具体的には、学習部１２はｆ（ｘ）：ＲPl→｛０，１｝となる分類器（各特徴量が実数（Ｒ）であるＰｌ次元の特徴量ベクトルＲPlの入力を受けて０または１を出力する関数ｆ（ｘ）を用いる分類器）によるηの最大化を実行する。ここで、関数ｆ（ｘ）は、学習データにおいて正事例のときは１、負事例のときは０を出力することが望まれる関数である。学習部１２により使われる分類器は、ｆ（ｘ）：ＲPl→｛０，１｝を満たすものであれば何でもよい。
【００３７】
学習部１２はなるべく多くの事例を正しいクラスに分類するような弱仮説ｆｔ＝｛ｆt1，…，ｆtL｝（ｆｔはステップｔにおける弱仮説のこと）を学習により得ることで、下記式（４）で定義されるηの最大化を実行する。
【数１２】
2011232997.tif 000014
【００３８】
ηは、正しく分類される事例の個数が多いほど大きな値となる指標である。例えば、クラスｙ（ｄ）＝１に対してｆ（ｄ）＝０であれば点数は加算されず、クラスｙ（ｄ）＝−１に対してｆ（ｄ）＝１であれば点数が減算されてしまう。また、式（４）は、学習部１２が重みの大きな事例をより正しく分類するようにバイアスをかけることも表している。これは、重みの大きな事例を正しく分類するとより高い効果が得られるからである。
【００３９】
具体的な学習方法としては、一つの特徴量を用いた一つの条件によりクラス分けを行うディシジョン・スタンプ（Decision Stump）を分類器に使って、事例数が重みの絶対値｜ｗ（ｄki）｜の比になるように学習データを再サンプリングした上で学習を行うことが考えられる。本実施形態では、学習部１２は各情報源の学習データ毎に学習を行う。すなわち、学習部１２は
【数１３】
2011232997.tif 000015
となる
【数１４】
2011232997.tif 000016
を個別に最大化するアプローチを取る。
【００４０】
学習部１２は、上記式（４）で示されるηを最大化する弱仮説ｆｔ＝｛ｆt1，…，ｆtL｝を求め、その弱仮説を第２算出部１３及びランキング関数更新部１４に出力する。
【００４１】
第２算出部１３は、学習部１２から入力されたすべての弱仮説に共通の弱仮説重みを算出する手段である。具体的には、第２算出部１３はすべての事例についてｆtl（ｄki）を求め、入力された弱仮説ｆｔ＝｛ｆt1，…，ｆtL｝に共通の弱仮説重みαｔを下記式（５）により求める。そして、第２算出部１３はその重みαｔをランキング関数更新部１４に出力する。
【数１５】
2011232997.tif 000017
【００４２】
ランキング関数更新部１４は、学習部１２から入力された弱仮説と、第２算出部１３から入力された弱仮説重みとに基づいて、複数の情報源それぞれのランキング関数を更新する手段である。具体的には、ランキング関数更新部１４は情報源Ｓｌに対応するランキング関数Ｆtlを下記式（６）により更新する。
【数１６】
2011232997.tif 000018
【００４３】
本実施形態では、ランキング関数更新部１４は各ステップの処理で利用するランキング関数Ｆtl（ｄki）を下記式（７）によりすべての事例に対して求める。
【数１７】
2011232997.tif 000019
【００４４】
続いて、ランキング関数更新部１４はステップ数ｔが予め設定されている既定回数に達したか否かを判断する。このとき、ｔが既定回数未満であれば、ランキング関数更新部１４は更新後のランキング関数を第１算出部１１に出力し、第１算出部１１に更新後のランキング関数を用いた重みおよびクラスの算出処理を実行させる。この場合には、ｔ＝ｔ＋１となる。一方、ｔが既定回数に達した場合には、ランキング関数更新部１４は求めたランキング関数を最終結果Ｆ＝｛Ｆ１，…，ＦＬ｝として所定の出力先（例えば記憶装置や他のシステムなど）に出力する。
【００４５】
次に、図３を用いて、図１に示す機械学習システム１の動作を説明するとともに本実施形態に係る機械学習方法について説明する。
【００４６】
まず、第１算出部１１が、統合学習データＴのうち同一の検索語を含む事例で構成される事例集合において、事例の重みおよびクラスを求める（ステップＳ１１、第１算出ステップ）。続いて、学習部１２が算出された事例の重みおよびクラスを用いて学習することで、各情報源の弱仮説を求める（ステップＳ１２、学習ステップ）。続いて、第２算出部１３が算出された弱仮説に共通の弱仮説重みを求める（ステップＳ１３、第２算出ステップ）。そして、ランキング関数更新部１４が、学習部１２で算出された弱仮説と第２算出部１３で算出された弱仮説重みとに基づいてランキング関数を更新する（ステップＳ１４、更新ステップ）。
【００４７】
上記ステップＳ１１〜Ｓ１４の処理は既定回数だけ繰り返して実行され（ステップＳ１５）、その繰返し処理が終了すると最終的なランキング関数が得られる。
【００４８】
以上説明したように、本実施形態によれば、複数の情報源のそれぞれから作成された学習データを統合して成る統合学習データのうち、同一の検索語を含む事例で構成される事例集合において事例の重みおよびクラスが算出され、当該重みおよびクラスに基づいて各情報源の弱仮説が生成される。そして、各弱仮説と全弱仮説共通の弱仮説重みとに基づいて各情報源のランキング関数が更新される。これにより、各情報源のランキング関数は、各情報源の任意のページに対して、全情報源に共通の尺度を持つランキングスコアを出力できる。すなわち、統合対象の各情報源から生成した各学習データが独自の特徴量を有していたとしても、その特徴量をそのまま利用して統合用のランキング関数を得ることができる。
【００４９】
本発明は、学習データの持つ特徴量の数に依らず採用できるものである。（ただし、特徴量の数は１以上）。したがって、複数の既存の検索エンジンの結果を統合するために、例えば、各検索エンジンから得られた順位の逆数など、順位が高いほど大きくなるような指標のみを特徴量として用意するだけで学習が可能である。この際には、学習データに関して、各検索エンジンから得られた結果ページに共通尺度のラベル付けを行うことが別途必要である。
【００５０】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【００５１】
上記実施形態では図３におけるステップＳ１１〜Ｓ１４の処理が既定回数だけ繰り返し実行されたが、その既定回数を１として、当該処理を繰り返さなくてもよい。
【符号の説明】
【００５２】
１…機械学習システム、１１…第１算出部（第１算出手段）、１２…学習部（学習手段）、１３…第２算出部（第２算出手段）、１４…ランキング関数更新部（更新手段）。
【図１】
2011232997.tif 000020
【図２】
2011232997.tif 000021
【図３】
2011232997.tif 000022