(57)【要約】【課題】学習データの量が限られていても検索エンジンが適合度の高いページを上位に表示することを目的とする。【解決手段】検索エンジン１５のランキング関数を得るために、まず、学習データの事例に対する重みに基づく学習を行うことで学習モデルを得る。続いて、検索システムがその学習モデルを用いてページを順位付けする。続いて、その順位付けの結果と、予め記憶手段に記憶されている、検索語に対する適合ページの集合である正解データとを照合し、該照合の結果から検索システムの評価値を算出する。【選択図】図３
2011232996.tif 000002
【特許請求の範囲】
【請求項１】
検索システムのランキング関数を得るための機械学習方法であって、
学習データの事例に対する重みに基づく学習を行うことで学習モデルを得る学習ステップと、
前記検索システムが前記学習ステップにおいて得られた学習モデルを用いてページを順位付けする順位付けステップと、
前記順位付けステップにおける順位付けの結果と、予め記憶手段に記憶されている、検索語に対する適合ページの集合である正解データとを照合し、該照合の結果から前記検索システムの評価値を算出する算出ステップと、
を含むことを特徴とする機械学習方法。
【請求項２】
前記学習データの事例が、検索語に対するページの適合度を示すラベルが互いに異なる二つの事例のペアである、
ことを特徴とする請求項１に記載の機械学習方法。
【請求項３】
前記重みが、ペアである前記二つの事例の各ラベルの組合せの種類毎に設定される、
ことを特徴とする請求項２に記載の機械学習方法。
【請求項４】
前記重みがさらに検索語の種別ごとに設定される、
ことを特徴とする請求項３に記載の機械学習方法。
【請求項５】
ナビゲーショナル・クエリーを含む事例とそれ以外のクエリーを含む事例とで前記重みが異なる、
請求項４に記載の機械学習方法。
【請求項６】
前記学習ステップでは、学習器としてサポート・ベクター・マシンを利用することで前記学習が行われ、
前記重みが前記事例のソフト・マージン・パラメータとして設定される、
ことを特徴とする請求項１〜５のいずれか一項に記載の機械学習方法。
【請求項７】
前記算出ステップでは、前記順位付けステップにおける順位付けの結果と一致した前記正解データにおいて、前記ラベルの高いページが上位に順位付けされるほど高い評価値が算出される、
ことを特徴とする請求項１〜６のいずれか一項に記載の機械学習方法。
【請求項８】
前記算出ステップでは、前記順位付けステップにおける順位付けの結果と一致した正解データにおいて上位ｎ位（ｎは所定の数）までの正解数に基づいて前記評価値が算出される、
ことを特徴とする請求項１〜６のいずれか一項に記載の機械学習方法。
【請求項９】
前記正解データには、クリックログに基づいて正解と判断されるページが組み入れられている、
ことを特徴とする請求項１〜８のいずれか一項に記載の機械学習方法。
【請求項１０】
検索結果に含まれるページの全検索数に対するクリック割合が前記クリックログに基づいて算出され、正解とするページが該クリック割合に基づいて決定される、
ことを特徴とする請求項９に記載の機械学習方法。
【請求項１１】
検索システムのランキング関数を得るための機械学習システムであって、
学習データの事例に対する重みに基づく学習を行うことで学習モデルを得る学習手段と、
前記検索システムに、前記学習手段により得られた学習モデルを用いたページの順位付けを実行させる順位付け手段と、
検索語に対する適合ページの集合である正解データを記憶する記憶手段と、
前記検索システムによる前記順位付けの結果と前記記憶手段に記憶されている正解データとを照合し、該照合の結果から前記検索システムの評価値を算出する算出手段と、
を備えることを特徴とする機械学習システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索システムのランキング関数を得る機械学習方法および機械学習システムに関する。
【背景技術】
【０００２】
インターネット技術の進歩によりワールド・ワイド・ウェブ（ＷＷＷ）におけるページ数が爆発的に増え、その結果、ユーザが求める情報を得るための検索システムが必要不可欠のものとなった。検索システムでは、検索クエリー（検索語）に対する適合度の順にページをランク付けすることが必要となる。このランク付けに対する一つのアプローチとして、機械学習にてランキング関数を生成する手法がある。
【０００３】
機械学習アプローチでは、学習データを用いた学習を行うことで関数を得る。学習データとは、ウェブページ（本明細書では単に「ページ」という）をランク付けするための学習（ランキング学習）に用いるデータであり、より具体的には、検索語に対するページの適合度を表したラベル、及びページに関する特徴量や検索語とページとの関連を表した特徴量から成る特徴量ベクトルである。ラベルとしては、適合／不適合の二値や、適合度を数値で複数段階に表現したものなどが一般的である。特徴量としては、例えばページに含まれる検索語の個数やＵＲＬの文字長などがある。ランキング学習の結果として生成される関数としては、特徴量ベクトルに対して適合度をスコア（数値）として返すものが一般的であり、このような関数により、検索結果をスコア順に提示することができる。
【０００４】
よく知られたランキング学習としては、ニューラル・ネットワークを利用した手法（下記特許文献１参照）や、サポート・ベクター・マシン（ＳＶＭ）を利用した手法（下記非特許文献１参照）などがある。これらの手法は、学習データにおいて同一検索語を持つデータのうち異なるラベルを持つ任意のペアに対して、ランキング関数がラベルの大小どおりにスコアを出力できるように学習を行うものである。これらの手法では、適合度が共に低い事例から成るペア事例も、適合度が高い事例と低い事例とから成るペア事例も、同様の重要度で学習される。その結果、必ずしも、適合度の高いページほど上位にランクされるようなランキング関数が生成されるとは限らない。
【０００５】
この問題を解決する手法として、ペア事例の重要度を考慮した学習方法が知られている（下記非特許文献２参照）。この学習手法は、考案されたヒューリスティックにより各ペア事例の重要度を求め、その重要度に基づいてＳＶＭ学習を行うというものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２３６３４５号公報
【非特許文献】
【０００７】
【非特許文献１】Joachims, T. "Optimizing Search Engines Using ClickthroughData," Proceedings of the ACM Conference on Knowledge Discovery and DataMining (KDD 2002)
【非特許文献２】Jun Xu, Yunbo Cao, Hang Li, and Yalou Huang "Cost-sensitiveLearning of SVM for Ranking," Proceedings of the 17th European Conferenceon Machine Learning (ECML2006), Berlin, Germany, pp.833-840, 2006
【発明の概要】
【発明が解決しようとする課題】
【０００８】
多くのランキング学習は、学習データから算出した評価値を最適化する。また、学習データだけを過度に学習するのではなく、学習データ以外のデータに対しても性能を発揮できる汎化性能を高める学習方法の研究も行われている。実際に検索エンジンを構築する際には、実システムの中で適合度の高いページが上位に表示されることが重要だが、これを実現する際に問題となるのは、学習データに比べて検索エンジンに含まれるページ量が遥かに多いことである。学習器が汎化性能を高めるとしても、学習データから生成したモデルが大量のページを適切にランキングできる保証はない。ランキングの正確性を保証するために学習データをできるだけ増やすということも考えられるが、学習データの生成は人手によるので生成コストがかかる。また、適合度の高いページが検索エンジンで上位に表示されるためにどれくらいの量の学習データを確保すべきかを判断するのは容易ではない。
【０００９】
そこで本発明は、学習データの量が限られていても検索エンジンが適合度の高いページを上位に表示することが可能な機械学習方法および機械学習システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の機械学習方法は、検索システムのランキング関数を得るための機械学習方法であって、学習データの事例に対する重みに基づく学習を行うことで学習モデルを得る学習ステップと、検索システムが学習ステップにおいて得られた学習モデルを用いてページを順位付けする順位付けステップと、順位付けステップにおける順位付けの結果と、予め記憶手段に記憶されている、検索語に対する適合ページの集合である正解データとを照合し、該照合の結果から検索システムの評価値を算出する算出ステップと、を含むことを特徴とする。
【００１１】
本発明の機械学習システムは、検索システムのランキング関数を得るための機械学習システムであって、学習データの事例に対する重みに基づく学習を行うことで学習モデルを得る学習手段と、検索システムに、学習手段により得られた学習モデルを用いたページの順位付けを実行させる順位付け手段と、検索語に対する適合ページの集合である正解データを記憶する記憶手段と、検索システムによる順位付けの結果と記憶手段に記憶されている正解データとを照合し、該照合の結果から検索システムの評価値を算出する算出手段と、を備えることを特徴とする。
【００１２】
このような発明によれば、検索エンジンにおける順位付けの結果が正解データと照合され、その一致度に基づいて評価値が算出されるので、学習データの量が限られていても検索エンジンが適合度の高いページを上位に表示することができる。
【００１３】
本発明の機械学習方法では、学習データの事例が、検索語に対するページの適合度を示すラベルが互いに異なる二つの事例のペアであってもよい。
【００１４】
本発明の機械学習方法では、重みが、ペアである二つの事例の各ラベルの組合せの種類毎に設定されてもよい。
【００１５】
本発明の機械学習方法では、重みがさらに検索語の種別ごとに設定されてもよい。
【００１６】
本発明の機械学習方法では、ナビゲーショナル・クエリーを含む事例とそれ以外のクエリーを含む事例とで重みが異なってもよい。
【００１７】
本発明の機械学習方法では、学習ステップにおいて学習器としてサポート・ベクター・マシンを利用することで学習が行われ、重みが事例のソフト・マージン・パラメータとして設定されてもよい。
【００１８】
本発明の機械学習方法では、算出ステップにて、順位付けステップにおける順位付けの結果と一致した正解データにおいて、ラベルの高いページが上位に順位付けされるほど高い評価値が算出されてもよい。
【００１９】
本発明の機械学習方法では、算出ステップにて、順位付けステップにおける順位付けの結果と一致した正解データにおいて上位ｎ位（ｎは所定の数）までの正解数に基づいて評価値が算出されてもよい。
【００２０】
本発明の機械学習方法では、正解データには、クリックログに基づいて正解と判断されるページが組み入れられていてもよい。
【００２１】
本発明の機械学習方法では、検索結果に含まれるページの全検索数に対するクリック割合がクリックログに基づいて算出され、正解とするページが該クリック割合に基づいて決定されてもよい。
【発明の効果】
【００２２】
このような機械学習方法および機械学習システムによれば、検索エンジンにおける順位付けの結果が正解データと照合され、その一致度に基づいて評価値が算出されるので、学習データの量が限られていても検索エンジンが適合度の高いページを上位に表示することができる。
【図面の簡単な説明】
【００２３】
【図１】第１実施形態に係る機械学習システムの機能構成を示すブロック図である。
【図２】図１に示す機械学習システムのハードウェア構成を示す図である。
【図３】図１に示す機械学習システムの動作を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
【００２５】
（第１実施形態）
まず、図１，２を用いて、第１実施形態に係る機械学習システムの機能及び構成を説明する。機械学習システム１は検索されたウェブページの順位付けを行うランキング関数を得るためのコンピュータシステムである。図１に示すように、機械学習システム１は機能的構成要素として学習データ記憶部１１、重み記憶部１２、学習部（学習手段）１３、評価部（順位付け手段、算出手段）１４、検索エンジン（検索システム）１５、正解データ記憶部（記憶手段）１６、重み生成部１７、及び評価値記憶部１８を備えている。以下では、学習データ記憶部１１、重み記憶部１２、学習部１３、評価部１４、正解データ記憶部１６、及び重み生成部１７をまとめて最適重み探索部２ということもある。
【００２６】
図２に示すように、機械学習システム１はＣＰＵ１０１と、ＲＯＭやＲＡＭで構成される主記憶部１０２と、ハードディスクなどで構成される補助記憶部１０３と、データ通信を行う通信制御部１０４と、キーボードやポインティング・デバイスなどで構成される入力部１０５と、モニタなどで構成される出力部１０６とを備えている。図２に示す各機能は、ＣＰＵ１０１又は主記憶部１０２上に所定のプログラムを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４、入力部１０５及び出力部１０６を動作させるとともに、主記憶部１０２又は補助記憶部１０３に対してデータの読み出し又は書き込みを行うことで実現される。以下に示す処理に必要なデータやデータベースは、主記憶部１０２又は補助記憶部１０３に格納されている。
【００２７】
図１に戻って、学習部１３は、学習データの事例に対する重みに基づく学習を行うことで学習モデルを得る手段である。
【００２８】
学習部１３は学習データ記憶部１１に予め格納されている学習データを読み出す。この学習データは複数の事例で構成されている。事例とは、学習データにおけるラベルや特徴量ベクトルを一体化したデータのことをいい、下記式（１）で表すことができる。
【数１】
2011232996.tif 000003
ここで、
【数２】
2011232996.tif 000004
は特徴量ベクトルであり、ｙはラベルであり、Ｒｎは実数によるｎ次元ベクトルの集合であり、Ｙはラベルの集合である。特徴量ベクトルは、ページに関する特徴量（ＵＲＬの文字長など）や検索語とページとの関連を表した特徴量（ページに含まれる検索語の個数など）から構成される。ラベルとは、検索語とページとの適合度を表す指標であり、適合／不適合の二値や、複数段階の数値により表現される。
【００２９】
また、学習部１３は重み記憶部１２に格納されている事例重みパターンを読み出す。この事例重みパターンは各事例に対応する重みを表すデータであり、後述する評価部１４により生成される評価値と関連付けられている。
【００３０】
学習部１３は、上記非特許文献１に記載のランキングＳＶＭを用いて学習を行う。すなわち学習部１３は、学習データの中で同一の検索語を持つ事例のうちラベルｙの値が異なる事例の集合から任意の二つの事例を取り出してペアリングし、ペアを構成する二つの事例（ペアリングデータ）を用いて学習する。
【００３１】
以下では、説明を簡単にするためにＳＶＭ線形学習の場合を説明する。上記のペアリングの際に、学習部１３は各事例の特徴量の差を求める。また、学習部１３はラベル（ｙ）が大きな事例から小さな事例に対してペアリングを行うときは＋１というラベル（ｌｍ）を設定し、ラベルｙが小さな事例から大きな事例に対してペアリングを行うときは−１というラベルを設定する。したがって、一つのペアリングデータから、ラベルが＋１と−１の二つの事例が生成される。このようなペアリングは次式（２）により表すことができる。
【数３】
2011232996.tif 000005
ここで、
【数４】
2011232996.tif 000006
は、ペアにおける特徴量ベクトルの差である。このようにして生成されるペアリングデータはＭ個の事例を持つものとする。
【００３２】
学習部１３は、このようにして生成したペアリングデータの各事例に対して重みを考慮したＳＶＭランキング学習を実行する。なお、ＳＶＭランキング学習については上記非特許文献２を参考にできる。重みは、ラベルｙｉ，ｙｊの組合せの種類毎に設定される。例えばラベルが３種類なるならば、３Ｃ２＝３通りある重みのうちのいずれか一つが一つの事例に対して設定される。
【００３３】
学習部１３は、次式（３）で示される最適化問題を解くことにより、重みを考慮したランキングＳＶＭ学習を実行する。
【数５】
2011232996.tif 000007
ここで、＜，＞は内積を表し、ｋ（ｍ）はｍ番目の事例のラベルの組合せの種類である。Ｃk(m)はｋ（ｍ）に対応する定数（ソフト・マージン・パラメータという）であり、本発明における事例重みである。ζｍは事例ごとに決まる変数である。
【００３４】
上記式（３）で示される最適化問題は、Ｑ（α）を最大化するαを求める下記最適化問題（式（４））と双対変換される。
【数６】
2011232996.tif 000008
【００３５】
学習部１３はこの式（４）を解くことで得たαを用いて、特徴量ベクトル
【数７】
2011232996.tif 000009
を持つページのスコアを次式（５）にて求める。
【数８】
2011232996.tif 000010
【００３６】
本明細書では、この式（５）を学習モデルという。この学習モデルは、後述する検索エンジン１５がページのランキングを生成する際にページの検索条件として用いられる。線形学習の場合には、式（５）は、特徴量とそれに対応する重み（特徴量重み）との積の線形和として表現できる。学習部１３は求めた学習モデルを評価部１４に出力する。
【００３７】
評価部１４は、検索エンジン１５にページの検索および順位付けを実行させた上で、その順位付けの結果と検索語に対する適合ページの集合である正解データとを照合し、照合の結果から検索エンジン１５の検索性能値を算出する手段である。
【００３８】
まず評価部１４は、学習部１３から入力された学習モデル（検索条件）と、予め正解データ記憶部１６に記憶されている正解データに含まれる検索語とを検索エンジン１５にクエリーとして出力することで、ページの検索および順位付けを検索エンジン１５に実行させる。なお、学習モデル（検索条件）をクエリーとしてではなく検索エンジン１５側に直接組み込む必要があるならば、学習部１３が検索エンジン１５に直接的に学習モデルを出力して組み込ませておいてもよい。この場合には、評価部１４は検索語のみをクエリーとして検索エンジン１５に出力すればよい。
【００３９】
検索エンジン１５は、評価部１４から学習モデルを取得すると、内部に保有している全ページの特徴量ベクトル
【数９】
2011232996.tif 000011
をその学習モデルに適用することで各ページのランキングスコアを算出する。特徴量には、ページに含まれるクエリー（検索語）の個数などのようなクエリー依存のものと、ページの文字数などのようにクエリー非依存のものとがある。したがって、各ページのランキングスコアは、上記式（５）で示される学習モデルとクエリー（検索語）とにより決定される。検索エンジン１５は求めたランキングスコアの高い順に並べたページを検索結果として評価部１４に出力する。
【００４０】
評価部１４は、検索エンジン１５から取得した検索結果と予め正解データ記憶部１６に記憶されている正解データとから、検索エンジン１５の検索性能を示す評価値（検索性能値）を求める。ここで、正解データとは、ある検索語に対する適合ページとそのページの適合度を示すラベルとから成るデータの集合である。なお、正解データに含まれる適合ページの個数は１以上である。
【００４１】
評価部１４は、検索語ｑに対応する検索結果から抽出した、上位ｎ位までのページの集合
【数１０】
2011232996.tif 000012
と、検索語ｑに対応する正解データ
【数１１】
2011232996.tif 000013
とを照合する。正解データＬｑは、検索語ｑに適合するページｄqj及びそのラベルｙqjの組の集合である。ｋｑは、検索語ｑを含む正解ページの個数である。なお本明細書では、この式におけるｄ，ｙのように、変数等に上付き文字および下付き文字が併存する場合には、例えば「ｄqj」のように、上付き文字及び下付き文字をずらして表記する場合もある。
【００４２】
一例として、評価部１４は、検索エンジン１５から取得した検索結果と一致する正解データがその検索結果の上位に位置するほど大きな点数を加算するＭｎＤＣＧ（Matched normalized Discounted Cumulative Gain）を用いて評価値を算出する。なお、ＭｎＤＣＧは、周知の検索精度指標ｎＤＣＧをマッチングに適用した手法である。ＭｎＤＣＧは、検索結果中の上位ｎ位のページのうち正解データと一致したページについて、正解ラベルから算出される値（２ri−１）を順位ｉから算出される値（ｌｏｇ（１＋ｉ））で除算した値を合計した値である。すなわち、ある検索語ｑについてのＭｎＤＣＧｑは下記式（６）で求まる。
【数１２】
2011232996.tif 000014
ここで、ＺｑはＭｎＤＣＧｑの最大値である。
【００４３】
評価部１４は、このようにして求めたＭｎＤＣＧｑの合計を検索語数により除算した値を評価値として重み生成部１７に出力する。
【００４４】
重み生成部１７は、評価部１４から入力された評価値を評価値記憶部１８に格納する。この際に、重み生成部１７はその評価値と、学習部１３で用いられた事例重みパターンとの関連付けを行う。
【００４５】
このような、学習部１３、評価部１４、検索エンジン１５、及び重み生成部１７による処理は既定回数だけ繰り返され、最終的に最良の評価値に対応する事例重みが求まる。この事例重みは、ランキング関数の生成（ランキング学習）に利用される。
【００４６】
なお、最適重み探索部２を並列化することで、短時間に複数の事例重みパターンの評価値を得るように機械学習システム１を構成してもよい。ＳＶＭ学習は一回の計算コストが大きいので、並列化は有効な手段となる。
【００４７】
また、通常、事例重みパターンは膨大になるので、すべてのパターンについて調べつくすことはほぼ不可能である。そこで、遺伝的アルゴリズム（ＧＡ：Genetic Algorithm）を利用して最適な重みを効率的に探索してもよい。ＧＡは、複数の事例重みパターン及び評価値のリストに対して、評価値に応じた選択、交叉、または突然変異の操作を加えることで新たな事例重みパターンのリストを生成しながら評価を繰り返すことで、より良い評価値を持つ事例重みパターンを探索する手法である。
【００４８】
また、性能の良い事例重みパターンを現実的な計算時間で発見できるように、並列化と遺伝的アルゴリズムとを組み合わせてもよい。
【００４９】
次に、図３を用いて、図１に示す機械学習システム１の動作を説明するとともに本実施形態に係る機械学習方法について説明する。
【００５０】
まず、学習部１３が学習データおよび事例重みパターンに基づく学習を行うことで学習モデルを取得する（ステップＳ１１、学習ステップ）。続いて、検索エンジン１５がその学習モデル（検索条件）を用いてページを検索し、当該検索により抽出されたページを順位付けする（ステップＳ１２、順位付けステップ）。順位付けされたページ群は検索結果として評価部１４に渡され、評価部１４がその検索結果と正解データとを照合し、照合結果に基づいて評価値を算出する（ステップＳ１３、算出ステップ）。
【００５１】
上記ステップＳ１１〜Ｓ１３の処理は既定回数だけ繰り返して実行され（ステップＳ１４）、その繰返し処理が終了すると最良の評価値に対応する事例重みが決まる。
【００５２】
以上説明したように、第１実施形態によれば、検索エンジン１５における順位付けの結果が正解データと照合され、その一致度に基づいて評価値が算出されるので、学習データの量が限られていても検索エンジンが適合度の高いページを上位に表示することができる。検索エンジン１５は、最良の評価値を得た事例重みパターンを用いたランキング学習により生成されたランキング関数を用いることで、適合度の高いページを上位に表示できるようになる。
【００５３】
（第２実施形態）
次に、第１実施形態における機械学習システム１の一変形例を第２実施形態として説明する。具体的には、検索エンジン１５の検索結果に対するクリックログを利用して正解データを補強する手法を述べる。
【００５４】
検索エンジン１５で得られた検索結果と正解データとを照合して評価値を算出するので、正解データに正解の取りこぼしがあると、本来は正解であるページが検索結果の下位に押しやられてしまう可能性がある。そこで、本実施形態では、商用の検索エンジンで保存されている、検索結果に対するユーザのクリックログ（クリック履歴）を用いて予め正解データを補強しておく。
【００５５】
具体的には、検索語に対応するページのクリック数やユニークユーザ数（延べ数でない正味のユーザ数）、全検索数に対するクリック割合、全検索ユーザ数に対するクリックユーザ割合（クリック操作したユーザの割合）などの様々な集計値を得る。次に、このような集計値から、ユーザの支持が多いと思われるページを推定し、推定したページを正解として正解データに組み込む。ただし、正解データの正解ラベルが複数段階に分けられる場合には、クリックログから組み込む正解事例にどのレベルのラベルを割り当てるかを判断する必要がある。そこで、第１実施形態のような検索指標ｎＤＣＧを応用するのではなく、検索結果の上位に含まれる正解数を単純にカウントするＰＲＥＣＩＳＩＯＮという指標を応用する。マッチングに関する指標Ｍ＿ＰＲＥＣＩＳＩＯＮは下記式（７）で表される。
【数１３】
2011232996.tif 000015
【００５６】
上記実施形態におけるＭｎＤＣＧと同様に、すべての検索語に対する値Ｍ＿ＰＲＥＣＩＳＩＯＮｑの加重平均を最終的な指標として用いる。
【００５７】
正解事例をクリックログから判別する別の例として、検索結果に含まれるページの全検索数に対するクリック割合や、全検索ユーザ数に対するクリックユーザの割合がある閾値以上の場合にそのページを正解とすることが考えられる。例えば、クリック割合が５０％以上であるページを正解として正解データに組み込むことが考えられる。
【００５８】
（第３実施形態）
次に、第１実施形態における機械学習システム１の別の変形例を第３実施形態として説明する。具体的には、事例重みパターンに更なるバリエーションを加える手法を述べる。
【００５９】
ランキング関数を生成するための学習データは、検索語およびページ双方の特徴量ベクトルおよびラベル、あるいはページのみの特徴量ベクトルおよびラベルにより構成される。検索語およびページに関する特徴量としては、ページ中に含まれる検索語頻度（ＴＦ：Term Frequency）や、ＢＭ２５などが挙げられる。一方、ページのみに関する特徴量としては、ページに含まれる文字数やページに関するリンク関係から算出した指数であるＰａｇｅＲａｎｋなどがある。
【００６０】
検索語については、ユーザの検索目的に応じた種別があると言われている。本実施形態では、その中でもナビゲーショナル・クエリーに着目する。ナビゲーショナル・クエリーとは、ユーザがクエリーに対する検索結果ページとして唯一のページを想定するような検索語である。例えば、ユーザが「会社Ａ」という語で検索する場合には、会社Ａのトップページが検索結果の１位として表示されることが期待される。このようなナビゲーショナル・クエリーを含む学習事例は、それ以外のクエリーと違い、特徴量の分布が異なる可能性がある。例えば、「会社Ａ」という語に対して三つのページが事例として含まれている場合には、会社Ａのトップページの事例のＴＦ値が他のページのものよりも特に大きかったり、被リンクが多いためにＰａｇｅＲａｎｋ値が特に大きかったりすることが考えられる。したがって、ランキング学習においても、ナビゲーショナル・クエリーを含む事例の事例重みパターンを、他の事例重みパターンとは別に設定するほうが有効と考えられる。
【００６１】
そこで本実施形態では、重みをラベルの組合せの種類のみに基づいて設定するのでなく、ナビゲーショナル・クエリーとそれ以外のクエリーとで更に異なる重みを設定する。例えば、ラベルが３種類ある場合には、３Ｃ２×２＝６通りある重みのうちのいずれか一つの重みが事例に設定される。
【００６２】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【００６３】
上記実施形態では、図３に示すステップＳ１１〜Ｓ１３の処理が繰り返し実行されたが、その一連の処理を繰り返すことなく一回のみ行うことで最終的な評価値を得てもよい。
【符号の説明】
【００６４】
１…機械学習システム、２…最適重み探索部、１１…学習データ記憶部、１２…重み記憶部、１３…学習部（学習手段）、１４…評価部（順位付け手段、算出手段）、１５…検索エンジン（検索システム）、１６…正解データ記憶部（記憶手段）、１７…重み生成部、１８…評価値記憶部。
【図１】
2011232996.tif 000016
【図２】
2011232996.tif 000017
【図３】
2011232996.tif 000018