(57)【特許請求の範囲】
【請求項１】
ユーザが検索語や検索文で与える検索要求（以下、「クエリ」という。）に適合する順に、テキストや画像などの検索対象の文書集合に含まれる各文書を順序付ける情報検索装置であって、
検索対象と同じ種別（以下、「目標ドメイン」という。）の文書集合において、各クエリに対する文書の正しい順序が既知であるデータ（以下、「正解データ」という。）と、検索対象と同種ではないが関連する種別（以下、「元ドメイン」という。）の文書集合における正解データと、から学習したランキング関数を用いて、目標ドメインにおける正解データに類似する元ドメインにおける正解データを選択する標本選択部と、
目標ドメインにおける正解データと、標本選択部で選択された元ドメインにおける正解データと、からランキング関数を推定する学習部と、
学習部にて推定したランキング関数を用いて、新規のクエリに対して検索対象の各文書を順序付ける情報検索部と、
を備える情報検索装置。
【請求項２】
請求項１に記載の情報検索装置において、
前記標本選択部は、
元ドメインの正解データと目標ドメインの正解データのそれぞれについて、クエリ毎に、最良の順序付けを与えるランキング関数のパラメータ値を算出し、目標ドメインの各クエリのパラメータ値に類似するパラメータ値を持つ元ドメインのクエリに対応する正解データを選択する
ことを特徴とする情報検索装置。
【請求項３】
請求項１に記載の情報検索装置において、
前記標本選択部は、
元ドメインの正解データと目標ドメインの正解データのそれぞれについて、クエリ毎に、最良の順序付けを与えるランキング関数のパラメータ値を算出し、パラメータ値算出手段と、
元ドメインにおけるパラメータ値の分布と目標ドメインにおけるパラメータ値の分布との密度比に基づき、元ドメインにおける各クエリのパラメータ値について、前記目標ドメインにおけるパラメータ値の分布との類似度をそれぞれ算出する類似度算出手段と、
前記類似度が所定の閾値以上であるパラメータ値を持つ元ドメインのクエリに対応する正解データを選択する正解データ選択手段と、
を備えることを特徴とする情報検索装置。
【請求項４】
ユーザが検索語や検索文で与える検索要求（以下、「クエリ」という。）に適合する順に、テキストや画像などの検索対象の文書集合に含まれる各文書を順序付ける情報検索方法であって、
検索対象と同じ種別（以下、「目標ドメイン」という。）の文書集合において、各クエリに対する文書の正しい順序が既知であるデータ（以下、「正解データ」という。）と、検索対象と同種ではないが関連する種別（以下、「元ドメイン」という。）の文書集合における正解データと、から学習したランキング関数を用いて、目標ドメインにおける正解データに類似する元ドメインにおける正解データを選択する標本選択ステップと、
目標ドメインにおける正解データと、標本選択部で選択された元ドメインにおける正解データと、からランキング関数を推定する学習ステップと、
学習部にて推定したランキング関数を用いて、新規のクエリに対して検索対象の各文書を順序付ける情報検索ステップと、
を実行する情報検索方法。
【請求項５】
請求項４に記載の情報検索方法において、
前記標本選択ステップは、
元ドメインの正解データと目標ドメインの正解データのそれぞれについて、クエリ毎に、最良の順序付けを与えるランキング関数のパラメータ値を算出し、目標ドメインの各クエリのパラメータ値に類似するパラメータ値を持つ元ドメインのクエリに対応する正解データを選択する
ことを特徴とする情報検索方法。
【請求項６】
請求項４に記載の情報検索方法において、
前記標本選択ステップは、
元ドメインの正解データと目標ドメインの正解データのそれぞれについて、クエリ毎に、最良の順序付けを与えるランキング関数のパラメータ値を算出し、パラメータ値算出サブステップと、
元ドメインにおけるパラメータ値の分布と目標ドメインにおけるパラメータ値の分布との密度比に基づき、元ドメインにおける各クエリのパラメータ値について、前記目標ドメインにおけるパラメータ値の分布との類似度をそれぞれ算出する類似度算出サブステップと、
前記類似度が所定の閾値以上であるパラメータ値を持つ元ドメインのクエリに対応する正解データを選択する正解データ選択サブステップと、
を実行することを特徴とする情報検索方法。
【請求項７】
請求項１乃至３のいずれかに記載の情報検索装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、データベースやインターネットなどに含まれる大量の文書を、検索語や検索文によって指定されるユーザの検索要求に適合する順序に並べ替える情報検索装置、情報検索方法及びそのプログラムに関する。
【背景技術】
【０００２】
検索語や検索文によって指定されるユーザの検索要求（以下、「クエリ」という。）に適合する順に文書を並べ替える情報検索タスクでは、ＢＭ２５（非特許文献１）やベクトル空間法（非特許文献２）などの検索装置で得られる、クエリと文書の組に対するスコア値、クエリの特徴量、文書の特徴量などを重み付き加算することで、クエリに対する文書の適合度を見積り、その適合度の大小関係を用いて文書を順序付け（ランキング）することがよく行われる。この時、クエリと文書の組に対するスコア値とクエリの特徴量と文書の特徴量とを要素として含む特徴ベクトルをｘとするとき、クエリに対する文書の適合度を与えるランキング関数ｆ(ｘ)を、例えば特徴ベクトルｘと同じ次元の重みベクトルｗを用いて、ｆ(ｘ)＝ｗ・ｘ（"・"は内積を表す）で与えることができる。重みベクトルｗの値は、文書の正しい順序が判っているクエリ（以下、「正解データ」という。）を用いて、ＲａｎｋＳＶＭ（非特許文献３）などの既存の学習アルゴリズムにより求められる。ｗの値の学習に際し、多くの正解データを用いるほど、新規のクエリに対して高い精度でランキングすることが期待できる。
【０００３】
しかし、正解データの作成には熟練した専門家による順序付けが必要であり、大量の正解データを得るには甚大なコストを要する。この問題に関し、日本語の文書検索に適したｗの値を求める場合に、英語の文書検索に関する正解データは沢山あるが、日本語の文書検索に関する正解データが少ないという事例を考える。この事例では、言語の違いはあるものの、似た内容を表すクエリには似た内容を記述した文書が適合すると考えられる。そのため、英語の正解データを利用して日本語の正解データ不足を補うことで、日本語の正解データのみを学習に用いる場合と比べ、より高いランキング精度を与える重みベクトルｗの値が得られることが期待される。このように、検索対象のデータ（以下、「目標ドメインのデータ」という。）に加え、それに関連するデータ（以下、「元ドメインのデータ」という。）を利用して、目標ドメインのデータに適したランキング関数（の重みベクトルｗの値）を学習する転移学習技術のニーズが高まっている。
【０００４】
従来の転移学習技術は、ランキング関数の既存の学習アルゴリズムを転移学習に拡張する形で開発されてきた。代表的な方法として以下の２つの技術が挙げられる。１つは、ＲａｎｋＳＶＭ（非特許文献３）の拡張であり、元ドメインの正解データで学習させたＲａｎｋＳＶＭのパラメータ値を用いて正則化項に導入し、目標ドメインの正解データでＲａｎｋＳＶＭを学習させるものである（非特許文献４）。もう１つは、Boosted Tree Ranker（非特許文献５）の拡張であり、元ドメインのデータでBoosted Tree Rankerを学習し、その上で目標ドメインのデータによって、木の構造を細かく変更するものである（非特許文献６）。
【０００５】
一方、既存の学習アルゴリズムの拡張ではない汎用的な方法も自動分類や回帰のタスクに対して数多く開発されてきた。代表的な方法としては、元ドメインの正解データのうち目標ドメインのデータに類似するものに大きな比重を与えて分類ルールの学習を行う方法（非特許文献７）が挙げられる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】S.Robertson, H.Zaragoza, and M.Taylor, "Simple BM25 Extentsion to Multiple Weighted Fields", Proceedings of the Conference on Information and Knowledge Management", 2004, p.42-49
【非特許文献２】G.Salton, A.Wong, and C.S.Yang, "A Vector Space Model for Automatic Indexing", Communications of the ACM, 1975, Vol.18(11), p.613-620
【非特許文献３】Thorsten Joachims, "Training Linear SVMs in Linear Time", Proceedings of ACM Conference on Knowledge Discovery and Data mining, 2006, p.217-226
【非特許文献４】Bo Geng, Linjun Yang, Chao Xu, and Xian-Sheng Hua, "Ranking Model Adaptation for Domain-Specific Search", Proceedings of ACM Conference on Information and Knowledge Management, 2009, p.197-206
【非特許文献５】Zhaohui Zheng, Hongyuan Zha, Tong Zhan, Oliver Chapelle, Keke Chen, and Gordon Sun, "A General Boosting Method and its Application to Learning Ranking Functions for Web Search", Advances in Neural Information Processing Systems 20, 2008, p.1-8
【非特許文献６】Jianfeng Gao, Qiang Wu, Chris Burges, Krysta Svore, Yi Su, Nazan Khan, Shalin Shah, and Hongyan Zhou, "Model Adaptation Via Model Interpolation and Boosting for Web Search Ranking", Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, 2009, p.505-513
【非特許文献７】Masashi Sugiyama, Taiji Suzuki, Shinichi Nakajima, Hisashi Kashima, Paul von Bunau, and Motoaki Kawanabe, "Direct Importance Estimation for Covariate Shift Adaptation", Annals of the Institute of Statistical Mathematics, 2008, vol.60, no.4, p.699-746
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献４と非特許文献６の転移学習技術は既存の学習アルゴリズムを転移学習に拡張する形で開発されているため汎用性がない。一般に、ランキング学習の問題では、順序付けの対象となるデータにより最適な学習アルゴリズムが異なる。そのため、ＲａｎｋＳＶＭやBoosted Tree Rankerに基づく非特許文献４や非特許文献６の転移学習技術を用いるより、既存の他の学習アルゴリズムにより目標ドメインの少数の正解データを用いて学習させる方が良いランキング関数が得られる可能性がある。一方、非特許文献７の転移学習技術は、汎用性は認められるものの、データの自動分類や回帰のタスクにおいて学習用のデータを重み付けするために開発された技術であり、ランキング学習のタスクには直接的には適用できない。
【０００８】
また、非特許文献４と非特許文献６の技術では、元ドメインの正解データを全て用いてランキング関数を学習させる。しかし、元ドメインの正解データと目標ドメインの正解データとは関連性があるものの、完全に同種のものではないため、元ドメインの正解データの中には学習に用いることで、逆に、目標ドメインでのランキング精度を低下させるものが含まれている危険性がある。
【０００９】
本発明の目的は、検索対象のデータに関連する学習データの利用により常に高いランキング精度を確保でき、かつ、任意の学習アルゴリズムを適用することができる情報検索装置、情報検索方法及びそのプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明の情報検索装置は、ユーザが検索語や検索文で与える検索要求（クエリ）に適合する順に、テキストや画像などの検索対象の文書集合に含まれる各文書を順序付ける情報検索装置であって、標本選択部と学習部と情報検索部とを備える。
【００１１】
標本選択部は、検索対象と同じ種別（目標ドメイン）の文書集合において、各クエリに対する文書の正しい順序が既知であるデータ（正解データ）と、検索対象と同種ではないが関連する種別（元ドメイン）の文書集合における正解データと、から学習したランキング関数を用いて、目標ドメインにおける正解データに類似する元ドメインにおける正解データを選択する。
【００１２】
学習部は、目標ドメインにおける正解データと、標本選択部で選択された元ドメインにおける正解データと、からランキング関数を推定する。
【００１３】
情報検索部は、学習部にて推定したランキング関数を用いて、新規のクエリに対して検索対象の各文書を順序付ける。
【発明の効果】
【００１４】
本発明の情報検索装置、情報検索方法及びそのプログラムでは、ランキング学習のタスクにおいて、元ドメインの正解データを目標ドメインの正解データとの類似性をもとに、目標ドメインのランキング精度を低下させる危険性が小さい元ドメインの正解データを選択する。そのため、この選択した元ドメインの正解データと目標ドメインの正解データを同時に用いてランキング関数を学習させることで、新規のクエリに対して、目標ドメインの正解データのみを用いる場合よりも高いランキング精度が得られることが期待できる。また、既存の学習アルゴリズムを転移学習に拡張するものではないため、任意に選択した学習アルゴリズムを適用することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の情報検索装置の機能構成例を示す図。
【図２】本発明の情報検索装置の処理フロー例を示す図。
【図３】本発明の情報検索装置の標本選択部の処理フロー例を示す図。
【図４】効果の確認結果を示す図。
【発明を実施するための形態】
【００１６】
図１に本発明の情報検索装置１００の機能構成例を、図２にその処理フロー例をそれぞれ示す。情報検索装置１００は、ユーザが検索語や検索文で与える検索要求（以下、「クエリ」という。）に適合する順に、テキストや画像などの検索対象の文書集合に含まれる各文書を順序付ける。情報検索装置１００は、標本選択部１１０と学習部１２０と情報選択部１３０とを備える。
【００１７】
標本選択部１１０は、検索対象と同じ種別（以下、「目標ドメイン」という。）の文書集合において、各クエリに対する文書の正しい順序が既知であるデータ（以下、「正解データ」という。）と、検索対象と同種ではないが関連する種別（以下、「元ドメイン」という。）の文書集合における正解データと、から学習したランキング関数を用いて、目標ドメインにおける正解データに類似する元ドメインにおける正解データを選択する（Ｓ１）。具体的には、元ドメインの正解データと目標ドメインの正解データのそれぞれについて、クエリ毎に、最良の順序付けを与えるランキング関数のパラメータ値を算出し、目標ドメインの各クエリのパラメータ値に類似するパラメータ値を持つ元ドメインのクエリに対応する正解データを選択する。
【００１８】
標本選択部１１０のより具体的な構成例を図１において点線で示す。また、それに対応するＳ１のより具体的な処理フロー例を図３に示す。標本選択部１１０は、パラメータ値算出手段１１１と類似度算出手段１１２と正解データ選択手段１１３とを備える。
【００１９】
パラメータ値算出手段１１１は、元ドメインの正解データＳoについて、クエリｑio（i＝1,・・・,Ｎo）毎に最良の順序付けを与えるランキング関数のパラメータ値ｗioを算出するとともに、目標ドメインの正解データＳtについて、クエリｑjt（j＝1,・・・,Ｎt）毎に最良の順序付けを与えるランキング関数のパラメータ値ｗjtを算出する（Ｓ１−１）。
【００２０】
類似度算出手段１１２は、元ドメインにおけるパラメータ値ｗioの分布と目標ドメインにおけるパラメータ値ｗjtの分布との密度比に基づき、元ドメインにおける各クエリｑioのパラメータ値ｗioについて、目標ドメインにおけるパラメータ値の分布ｗitとの類似度ｒioをそれぞれ算出する（Ｓ１−２）。例えば、元ドメインにおけるパラメータ値ｗioの分布の確率密度関数がｐt(・)、目標ドメインにおけるパラメータ値のｗjtの分布の確率密度関数がｐo(・)であるとき、類似度ｒioはｒio＝ｐt(ｗio)／ｐo(ｗio)により算出する。この密度比に基づく類似度ｒは、例えば、特徴ベクトルの代わりにパラメータ値ｗを非特許文献７に記載された手法に適用することで、確率密度関数を直接設定せずに推定することも可能である。
【００２１】
正解データ選択手段１１３は、類似度算出手段１１２で得られた、元ドメインにおける各クエリｑioのパラメータ値ｗioと目標ドメインにおけるパラメータ値ｗjtの分布との類似度ｒioが、所定の閾値以上であるパラメータ値ｗioを持つ元ドメインのクエリｑioに対応する正解データＳv（∈Ｓo）を選択する（Ｓ１−３）。ここで、類似度ｒioが所定の閾値以上であるパラメータ値ｗioを持つ元ドメインのクエリｑioがＮv個あるとすると、正解データＳvに係るクエリはｑkv（k＝1,・・・,Ｎv）と、クエリｑkvに対応するパラメータ値はｗkvと、それぞれ表現することができる。
【００２２】
学習部１２０は、目標ドメインにおける正解データＳtと標本選択部１１０で選択された元ドメインにおける正解データＳvの両方を学習データとして用いてランキング関数（のパラメータ値）を推定する（Ｓ２）。学習部１２０では、ＲａｎｋＳＶＭやBoosted Tree Rankerなど、既存の学習アルゴリズムを任意に選択して用いることができる。
【００２３】
情報検索部１３０は、学習部１２０にて推定したランキング関数を用いて、新規のクエリに対して検索対象の各文書を順序付ける（Ｓ３）。
【００２４】
以上のように、本発明の情報検索装置、情報検索方法及びそのプログラムでは、ランキング学習のタスクにおいて、元ドメインの正解データを目標ドメインの正解データとの類似性をもとに、目標ドメインのランキング精度を低下させる危険性が小さい元ドメインの正解データを選択する。そのため、この選択した元ドメインの正解データと目標ドメインの正解データを同時に用いてランキング関数を学習させることで、新規のクエリに対して、目標ドメインの正解データのみを用いる場合よりも高いランキング精度が得られることが期待できる。また、既存の学習アルゴリズムを転移学習に拡張するものではないため、任意に選択した学習アルゴリズムを適用することができる。
【００２５】
＜効果の確認＞
目標ドメインの約１０００個のクエリに関する正解データと元ドメインの約２００００個のクエリに関する正解データを情報検索装置のパラメータ学習用データに用い、目標ドメインの約２５０個のクエリに関する正解データを情報検索装置の性能を測定する評価用データとして用いた場合の効果の確認結果を図４に示す。正解データにおける文書の特徴ベクトルは７００次元であり、クエリごとに平均３００個の文書が順位付けられている。評価基準には、情報検索分野でよく使われるＮＤＣＧ（Normalized Discount Cumulative Gain、参考文献）を用いた。ＮＤＣＧはその値が高いほど、文書のランキング精度が高いことを表す。なお、ＮＤＣＧ値は、目標ドメインの学習データを全て使った場合（図４において横軸の値が１のところ。）のほか、一部を使った場合（図４において横軸の値が１未満のところ。値は使用割合を示す。）についても評価した。
〔参考文献〕Kalervo Jarvelin and Jaana Kekalainen,"IR evaluation methods for retrieving highly relevant documents", ACM Conference on Information Retrieval, 2000, p.41-48
【００２６】
図４において、点線は元ドメインと目標ドメインの正解データを単純に混ぜてランキング関数を学習させた場合のランキング精度を、一点鎖線は目標ドメインの正解データだけでランキング関数を学習させた場合のランキング精度を、実線は本発明の方法によりランキング関数を学習させた場合のランキング精度をそれぞれ表す。図４より、本発明の方法が最も高いＮＤＣＧ値を得られることがわかる。
【００２７】
本発明の情報検索装置、情報検索方法における各処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本発明の情報検索装置の各機能は必要に応じ、併合・分割しても構わない。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００２８】
本発明の情報検索装置をコンピュータによって実現する場合、装置及びその各部が有す機能の処理内容はプログラムによって記述される。そのプログラムは、例えば、ハードディスク装置に格納されており、実行時には必要なプログラムやデータがＲＡＭ(Random Access Memory)に読み込まれる。その読み込まれたプログラムがＣＰＵにより実行されることにより、コンピュータ上で各処理内容が実現される。なお、処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0005442586.tif 000002
【図２】
0005442586.tif 000003
【図３】
0005442586.tif 000004
【図４】
0005442586.tif 000005