(57)【要約】【課題】ユーザが強調する観点を指定したときに、指定された観点以外の満足度の減少を最小限に抑え、指定した観点に対するユーザの満足度を上げる検索結果を出力することを目的とする。【解決手段】入力されたクエリに対する検索結果を出力する検索結果出力装置は、パレート最適な解集合である複数の観点に基づく評価値と、当該評価値に対応するスコア要因に対する重みパラメータとを格納するパレート解集合格納部と、前記パレート解集合格納部の中から、指定された観点に対応する評価値が高くなる重みパラメータを選択する重みパラメータ調整部と、入力されたクエリに対して検索結果を取得し、検索結果のスコア要因に対して選択された重みパラメータで重み付けを行い、検索結果の検索スコアを計算する検索スコア計算部と、計算された検索スコアに基づいた順番に従って、検索結果を出力する検索結果出力部とを有する。【選択図】図１
2014041544.tif 000002
【特許請求の範囲】
【請求項１】
入力されたクエリに対する検索結果を出力する検索結果出力装置であって、
パレート最適な解集合である複数の観点に基づく評価値と、当該評価値に対応するスコア要因に対する重みパラメータとを格納するパレート解集合格納部と、
前記パレート解集合格納部の中から、指定された観点に対応する評価値が高くなる重みパラメータを選択する重みパラメータ調整部と、
入力されたクエリに対して検索結果を取得し、検索結果のスコア要因に対して選択された重みパラメータで重み付けを行い、検索結果の検索スコアを計算する検索スコア計算部と、
計算された検索スコアに基づいた順番に従って、検索結果を出力する検索結果出力部と、
を有する検索結果出力装置。
【請求項２】
前記重みパラメータ調整部は、
検索結果の出力に用いられた重みパラメータを取得し、
前記パレート解集合格納部の中から、指定された観点に対応する評価値が検索結果の出力に用いられた重みパラメータよりも高くなる重みパラメータを順に抽出し、
検索結果のスコア要因に対して抽出された重みパラメータで重み付けを行ったときの検索結果の順番のうち所定の部分が、出力された検索結果の順番のうち所定の部分と異なるような重みパラメータを選択する、請求項１に記載の検索結果出力装置。
【請求項３】
クエリに対する検索結果について、複数の観点に基づく評価情報とスコア要因とを格納する訓練データ格納部と、
前記訓練データ格納部に格納された評価情報とスコア要因とを用いて、パレート最適な解集合である複数の観点に基づく評価値と、当該評価値に対応する重みパラメータとを探索し、前記パレート解集合格納部に格納するパレート解探索部と、
を更に有する、請求項１又は２に記載の検索結果出力装置。
【請求項４】
入力されたクエリに対する検索結果を出力する検索結果出力装置における検索結果出力方法であって、
パレート最適な解集合である複数の観点に基づく評価値と、当該評価値に対応するスコア要因に対する重みパラメータとを格納するパレート解集合格納部の中から、指定された観点に対応する評価値が高くなる重みパラメータを選択するステップと、
入力されたクエリに対して検索結果を取得し、検索結果のスコア要因に対して選択された重みパラメータで重み付けを行い、検索結果の検索スコアを計算するステップと、
計算された検索スコアに基づいた順番に従って、検索結果を出力するステップと、
を有する検索出力方法。
【請求項５】
入力されたクエリに対する検索結果を出力する検索結果出力装置として動作するコンピュータに対して、
パレート最適な解集合である複数の観点に基づく評価値と、当該評価値に対応するスコア要因に対する重みパラメータとを格納するパレート解集合格納部の中から、指定された観点に対応する評価値が高くなる重みパラメータを選択する手順と、
入力されたクエリに対して検索結果を取得し、検索結果のスコア要因に対して選択された重みパラメータで重み付けを行い、検索結果の検索スコアを計算する手順と、
計算された検索スコアに基づいた順番に従って、検索結果を出力する手順と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索結果出力装置、検索結果出力方法及びプログラムに関する。
【背景技術】
【０００２】
ウェブ検索システムのような検索システムにおいては、TF-IDF（Term Frequency-Inverse Document Frequency）のようなクエリ頻度に基づくスコアや、PageRankのようなリンク解析に基づくスコアなどの多数の要因（スコア要因と呼ぶ）を用いて最終的なランキングに用いる検索スコアを算出する（非特許文献１参照）。そして、算出された検索スコアの降順に並べることによって、ランキングを行った検索結果を出力する方法が広く用いられている。たとえば、スコア要因の線形和で検索スコアを検索する場合、検索システムは、スコア要因と同じ数の重みパラメータを内部で保持する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】竹野浩, 井上孝史, "分散型高速情報収集/全文検索システム InfoBee/Evangelist", NTT R&D, Vol.52 (2), 2003, pp.78-84.
【非特許文献２】Kalervo Jarvelin and Jaana Kekalainen, "Cumulated gain-based evaluation of IR techniques", ACM Transactions on Information Systems, 20(4), pp.422-446, 2002.
【非特許文献３】J. J. Durillo, J. G. Neito, A. J. Nebro, C. A. Coello Coello, F. Luna and E. Alba, "Multi-Objective Particle Swarm Optimizers:An Experimental Comparison", In Evolutionary Multi-Criterion Optimization (EMO 2009), LNCS 5467, pages 495-509, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
地理情報検索などのバーティカル検索システムにおいては、文書がキーワードにマッチしているかという観点に加えて、たとえば地理的に近い場所に存在するかのように、キーワードに対する適合度以外の観点も同時に加味したランキングを提供する必要がある。その際、どの観点を重視するかはユーザによって異なるため、ユーザが強調する観点を検索システムに入力する。具体的には、ユーザは、検索システムに対して、キーワード、地理要求（たとえば緯度・経度）、日時要求（たとえば日単位の期間）を入力し、検索システムはキーワードと文書の一致度、地理要求に対する文書の一致度、日時要求に対する文書の一致度に基づいて検索スコアを計算し、検索結果を出力する。ここで、あるクエリに対するある文書の真の一致具合を適合度と呼ぶ。特に、あるクエリに対するキーワードの適合度をキーワード適合度と呼び、あるクエリに対する地理的な適合度を地理適合度と呼び、あるクエリに対する日時的な観点からの適合度を日時適合度と呼ぶ。適合度は一般的に多段階で評価され、あるクエリに対するある文書の各適合度は、たとえば被験者を用いて評価することが可能である。この評価を用いて、検索システムは可能な限り評価指標が最大になるようにスコア要因を決定する。
【０００５】
ユーザがどの観点を強調するかを明示的に指定したときに検索結果のランキングを決定する重みパラメータを変更することを考える。このような重みパラメータの変更についての課題として、検索結果のランキングは重みパラメータに対して連続ではないため、重みパラメータの変更によってランキングに変化が起こらない可能性がある。また、指定された観点の満足度を向上するようなパラメータ変更を行うと、それ以外の観点における満足度を必要以上に下げる可能性がある。このような２つの課題により、ユーザの満足度を下げる可能性がある。
【０００６】
本発明は、ユーザが強調する観点を指定したときに、指定した観点に対するユーザの満足度を上げる検索結果を出力することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一形態による検索結果出力装置は、
入力されたクエリに対する検索結果を出力する検索結果出力装置であって、
パレート最適な解集合である複数の観点に基づく評価値と、当該評価値に対応するスコア要因に対する重みパラメータとを格納するパレート解集合格納部と、
前記パレート解集合格納部の中から、指定された観点に対応する評価値が高くなる重みパラメータを選択する重みパラメータ調整部と、
入力されたクエリに対して検索結果を取得し、検索結果のスコア要因に対して選択された重みパラメータで重み付けを行い、検索結果の検索スコアを計算する検索スコア計算部と、
計算された検索スコアに基づいた順番に従って、検索結果を出力する検索結果出力部と、
を有することを特徴とする。
【０００８】
本発明の一形態による検索結果出力方法は、
入力されたクエリに対する検索結果を出力する検索結果出力装置における検索結果出力方法であって、
パレート最適な解集合である複数の観点に基づく評価値と、当該評価値に対応するスコア要因に対する重みパラメータとを格納するパレート解集合格納部の中から、指定された観点に対応する評価値が高くなる重みパラメータを選択するステップと、
入力されたクエリに対して検索結果を取得し、検索結果のスコア要因に対して選択された重みパラメータで重み付けを行い、検索結果の検索スコアを計算するステップと、
計算された検索スコアに基づいた順番に従って、検索結果を出力するステップと、
を有することを特徴とする。
【０００９】
本発明の一形態によるプログラムは、
入力されたクエリに対する検索結果を出力する検索結果出力装置として動作するコンピュータに対して、
パレート最適な解集合である複数の観点に基づく評価値と、当該評価値に対応するスコア要因に対する重みパラメータとを格納するパレート解集合格納部の中から、指定された観点に対応する評価値が高くなる重みパラメータを選択する手順と、
入力されたクエリに対して検索結果を取得し、検索結果のスコア要因に対して選択された重みパラメータで重み付けを行い、検索結果の検索スコアを計算する手順と、
計算された検索スコアに基づいた順番に従って、検索結果を出力する手順と、
を実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ユーザが強調する観点を指定したときに、指定した観点に対するユーザの満足度を上げる検索結果を出力することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例に係る検索結果出力装置の構成図
【図２】訓練データDBのデータ構造の例を示す図
【図３】パレート解集合DBのデータ構造の例を示す図
【図４】パレート最適な解集合を示す図
【図５】パラメータ調整部における重みパラメータの調整方法のフローチャート
【発明を実施するための形態】
【００１２】
以下、本発明の実施例について、図面を参照して説明する。
【００１３】
本発明の実施例では、入力されたクエリに対する検索結果を出力する検索結果出力装置について説明する。検索結果出力装置が出力した検索結果に対してユーザが強調する観点を指定した場合、検索結果出力装置は、指定された観点の検索スコアが高くなるように、検索結果の順番（ランキング）を変更させる。
【００１４】
このため、検索結果出力装置は、クエリに対する検索結果について、複数の観点に基づく評価情報とスコア要因とを格納しておく。検索結果出力装置は、この評価情報とスコア要因とを用いて、パレート最適な解集合である複数の観点に基づく評価値と、重みパラメータとを探索する。
【００１５】
ユーザが強調する観点を指定した場合、検索結果出力装置は、その観点の評価値が順に高くなる重みパラメータを選択し、選択された重みパラメータを用いて検索スコアを計算する。そして、検索結果のうち所定の部分（上位ｋ件）が異なる場合、検索結果を出力する。
【００１６】
＜検索結果出力装置の構成及び動作＞
図１に、本発明の実施例に係る検索結果出力装置の構成図を示す。検索結果出力装置は、入力されたクエリに対する検索結果を出力する装置である。検索結果出力装置は、文書DB１０１と、訓練データDB１０３と、パレート解探索部１０５と、パレート解集合DB１０７と、パラメータ調整部１０９と、検索スコア計算部１１１と、検索結果出力部１１３とを有する。図１には、検索結果出力装置が各機能部を含むものとして図示されているが、文書DB１０１と、パラメータ調整部１０９と、検索スコア計算部１１１と、検索結果提示部１１３とが１つの検索結果出力装置として実現され、訓練データDB１０３と、パレート解探索部１０５と、パレート解集合DB１０７とが別の装置として実現されてもよい。
【００１７】
文書DB１０１は、検索対象となる文書を格納する。
【００１８】
訓練データDB１０３は、文書DB１０１のうち一部又は全部の文書に対してクエリによって検索したときの検索結果について、複数の観点に基づく評価情報とスコア要因とを格納する。ここでは、簡単のため、キーワード適合度の観点と、地理適合度の観点との２つの観点を扱う場合を想定して説明するが、必ずしも観点はこの２つに限定されず、３つ以上の観点にも同様に適用できる。
【００１９】
図２に、訓練データDB１０３のデータ構造の例を示す。訓練データDB１０３には、１レコードにつき、１つのクエリを１つの文書に適用したきの評価情報とスコア要因の特徴ベクトルとが格納されている。図２におけるクエリIDは、あるクエリ（たとえば、「京都周辺」AND「見どころ」）を表すIDである。キーワード適合度R1及び地理適合度R2は、クエリIDに対する当該文書のキーワードの適合度及び地理的な適合度を表す。キーワード適合度R1及び地理適合度R2は、当該文書に対して被験者を用いて評価された値でもよい。それぞれ異なる観点であるため、キーワード適合度R1は地理適合度R2と異なる値になってもよい。x1,x2,...,xMは、当該文書に対するスコア要因の特徴ベクトルの値を表す。たとえば、x1は、文書がキーワードにどの程度マッチしているかを表す値であり、x2は、文章に占めるキーワードの割合を表す値であり、x3は、文書の地理的な位置がどの程度近いかを表す値である。ここでは、簡単のため、検索結果の順番を決定する検索スコアは、スコア要因の線形和で計算するものとするが、検索スコアは、スコア要因の線形和だけでなく、スコア要因に基づく如何なる計算方法によって計算されてもよい。
【００２０】
パレート解探索部１０５は、訓練データDB１０３を入力とし、パレート最適な解集合をパレート解集合DB１０７に出力する。
【００２１】
パレート解集合DB１０７は、パレート最適な解集合である複数の観点に基づく評価値と、当該評価値に対応するスコア要因に対する重みパラメータとを格納する。
【００２２】
図３に、パレート解集合DB１０７のデータ構造の例を示す。パレート解集合DB１０７には、キーワード適合度の観点に基づく評価値E1と、地理適合度の観点に基づく評価値E2と、対応する重みパラメータベクトルとが格納されている。パラメータベクトルIDは、重みパラメータのIDである。キーワード適合度の観点に基づく評価値E1及び地理適合度の観点に基づく評価値E2は、パレート最適な評価値である。パレート最適については、以下に説明する。ここで重みパラメータベクトルは、スコア要因(x1,x2,...,xM)Tに対する重み(w1,w2,...,wM)Tを表す。ここでは、簡単のため、スコア要因と同じ数の重みパラメータを用いるものとするが、スコア要因の数と重みパラメータの数とは異なってもよい。
【００２３】
パレート解探索部１０５は、訓練データDB１０３に格納された評価情報とスコア要因とを用いて、パレート最適な解集合である複数の観点に基づく評価値と、当該評価値に対応する重みパラメータとを探索し、パレート解集合DB１０７に格納する。
【００２４】
図４に、パレート最適な解集合を示す。ここでは、パレート最適とは、他の適合度を犠牲にしなければもう一方の適合度を上げられない状態のことを言う。訓練データDB１０３を入力として、ある評価指標を用いて、キーワード適合度の観点に基づく評価値と、地理適合度の観点に基づく評価値とが求められる。キーワード適合度を縦軸とし、地理適合度を横軸とした平面にこれらの評価値（p1〜p8）をプロットする。評価値p1〜p5は、キーワード適合度を犠牲にしなければ地理適合度を上げることができず、地理適合度を犠牲にしなければキーワード適合度を上げることができない。一方、評価値p6〜p8は、このような関係にはない。たとえば、評価値p7は、評価値p3を選択することで、地理適合度を犠牲にしなくても、キーワード適合度を上げることができる。図４における評価値p1〜p5をパレート最適な解の集合と呼ぶ。
【００２５】
パレート解探索部１０５は、予め指定された全ての観点（ここでは、キーワード適合度及び地理適合度）における評価値を求めるための評価指標を決定する。たとえば、パレート解探索部１０５は、予め指定された全ての観点に対する多段階の評価値に基づく評価指標として、Normalized Discounted Cumulative Gain（NDCG）の値を用いてもよい（非特許文献２参照）。パレート解探索部１０５は、このような評価指標を用いて、キーワード適合度の観点に基づく評価値E1及び地理適合度の観点に基づく評価値E2のパレート解集合を求める（非特許文献３参照）。更に、パレート解探索部１０５は、キーワード適合度の観点に基づく評価値E1及び地理適合度の観点に基づく評価値E2に対応する重みパラメータを求め、パレート解集合DB１０７に格納する。
【００２６】
パラメータ調整部１０９は、入力されたクエリと、現在の重みパラメータを表すパラメータベクトルID、指定された観点（強調する観点）と、文書DB１０１とを入力とし、調整後の重みパラメータを表すパラメータベクトルIDを出力する。なお、初回の検索時には、重みパラメータは、複数の観点に基づく評価値のうち平均的なもの（たとえば、図４における評価値p3に対応するパラメータベクトルID）が選択されて、検索結果が出力されているものとする。
【００２７】
パラメータ調整部１０９は、パレート解集合DB１０７の中から、指定された観点に対応する評価値が高くなる重みパラメータを選択する。具体的には、パラメータ調整部１０９は、現在の検索結果の出力に用いられた重みパラメータを取得し、パレート解集合DB１０７の中から、指定された観点に対応する評価値が検索結果の出力に用いられた重みパラメータよりも高くなる重みパラメータを順に抽出する。そして、パラメータ調整部１０９は、検索結果のスコア要因に対して抽出された重みパラメータで重み付けを行ったときの検索結果の順番のうち所定の部分（上位k件）が、出力された検索結果の順番のうち所定の部分（上位k件）と異なるような重みパラメータを選択する。
【００２８】
図５に、パラメータ調整部１０９における重みパラメータの調整方法のフローチャートを示す。
【００２９】
ステップＳ１０１において、パラメータ調整部１０９は、入力されたパラメータベクトルIDに対応する重みパラメータベクトル(w1,w2,...,wM)Tをパレート解集合DB１０７から取得する。取得した重みパラメータベクトルをベクトルwcurとする。
【００３０】
ステップＳ１０２において、ユーザによって入力された強調する観点をRとする。たとえば、観点は、キーワード適合度、地理適合度、日時適合度などが挙げられる。ここでは、簡単のため、キーワード適合度と地理適合度の２つの観点に限定して説明する。パラメータ調整部１０９は、パレート解集合DB１０７のレコードを、指定された観点Rの評価値の降順に並び替え、レコード集合をLとする。観点Rの評価値とは、Rがキーワード適合度の観点の場合はパレート解集合DB１０７におけるE1を表し、Rが地理適合度の観点の場合にはE2のことを表す。そのため、Rにキーワード適合度の観点が指定された場合、パラメータ調整部１０９は、パレート解集合DB１０７のレコード集合をE1カラムの値に基づいて降順に並び替える。
【００３１】
次に、パラメータ調整部１０９は、Lの中から入力されたパラメータベクトルIDに該当するレコードより下位のレコードを除外する。すなわち、強調する観点の評価が下がる方向の探索は行わない。これは、指定された観点に対応する評価値が高くなるようにランキング調整を行うことが目的のため、元より低い評価値を達成する重みパラメータベクトルを除外するためである。たとえば、入力されたパラメータベクトルIDが図４における評価値p3に対応するときにキーワード適合度の観点が指定された場合、p3〜p5に対応する重みパラメータベクトルのレコードを除外する。
【００３２】
ステップＳ１０３において、パラメータ調整部１０９は、Lから未処理のレコードを選択し、対応する重みパラメータベクトル(w1,w2,...,wM)Tをベクトルwtmpとする。なお、この際、パラメータ調整部１０９は、Lの中から指定された観点に基づく評価値が最も低いレコードから順に選択するものとする。たとえば、入力されたパラメータベクトルIDが図４における評価値p3に対応する場合、p2に対応する重みパラメータベクトル(w1,w2,...,wM)Tをベクトルwtmpとする。
【００３３】
ステップＳ１０４において、パラメータ調整部１０９は、入力されたクエリに合致する検索結果集合を取得し、この検索結果集合に対してベクトルwtmpを用いてランキングした結果を保持する。検索結果はそれぞれ対応するスコア要因ベクトルx=(x1,x2,...,xM)Tを持っているため、スコア要因ベクトルとの内積wcurTxで検索スコアを計算することができる。パラメータ調整部１０９は、この検索スコアに基づいて並び替えることにより、ランキングを実現することができる。同様に、パラメータ調整部１０９は、ベクトルwtmpを用いてランキングした結果を計算し、この結果と先ほどの結果が一致するか判定する。ベクトルwtmpを用いる場合も、ベクトルwcurの場合と同様に、検索結果はそれぞれ対応するスコア要因ベクトルx=(x1,x2,...,xM)Tとの内で検索スコアを計算する。この検索スコアに基づいて並び替えた順番のうち所定の部分（上位k件）が、wcurを用いたときの検索スコアに基づく順番のうち所定の部分（上位k件）と一致しない場合、パラメータ調整部１０９は、ランキングが一致しないと判断する。ランキングが一致しない場合、ベクトルwtmpを調整後の重みパラメータとし、該当するパラメータベクトルIDをmnewとする。
【００３４】
ステップＳ１０５において調整後のパラメータベクトルID（mnew）が設定された場合、パラメータ調整部１０９は、入力されたクエリと、調整後のパラメータベクトルID（mnew）とを検索スコア計算部１１１に出力し、処理を終了する。
【００３５】
ステップＳ１０５においてmnewが設定されなかった場合、すなわち、ランキングが一致した場合、ステップＳ１０６において、パラメータ調整部１０９は、Lに未処理のレコードがあるか判断する。未処理のレコードがある場合には、ステップＳ１０３に進む。未処理のレコードがない場合には、処理を終了する。
【００３６】
検索スコア計算部１１１は、入力されたクエリと、調整後のパラメータベクトルID（mnew）と、パレート解集合DB１０７と、文書DB１０１とを入力とし、文書DB１０１から文書の取得を行い、検索スコアを計算する。具体的には、検索スコア計算部１１１は、入力されたクエリに対して文書DB１０１の中から検索結果を取得し、検索結果のスコア要因に対して選択された重みパラメータで重み付けを行い、検索結果の検索スコアを計算する。
【００３７】
たとえば、文書DB１０１からN件の検索結果集合を取得した際、そのスコア要因値行列は、以下のように表現される。
【００３８】
【数１】
2014041544.tif 000003
ここで、行列Dのi行目がi番目の検索結果のスコア要因値を表している。たとえば、d23は、2番目の文書に対する3番目のスコア要因値である。
【００３９】
そして、検索スコア計算部１１１は、パレート解集合DB１０７から、調整後のパラメータベクトルID（mnew）に該当する重みパラメータベクトル(w1,w2,...,wM)Tを取得し、ベクトルwとする。
【００４０】
検索ランキングに用いるための検索スコアベクトルsは、以下のように、スコア要因値行列Dと、重みパラメータベクトルwの積によって得られる。
【００４１】
【数２】
2014041544.tif 000004
すなわち、i番目の文書に対する検索スコアsiは、以下の式によって算出される。
【００４２】
【数３】
2014041544.tif 000005
検索結果出力部１１３は、計算された検索スコアに基づいた順番に従って、検索結果を出力する。具体的には、検索結果出力部１１３は、検索スコアベクトルsと調整後のパラメータベクトルID（mnew）を受け取り、検索スコアsiの降順に検索結果を出力し、また、調整後のパラメータベクトルID（mnew）を出力する。この調整後のパラメータベクトルID（mnew）は、現在の重みパラメータを表すパラメータベクトルIDとして、パラメータ調整部１０９に入力される。
【００４３】
説明の便宜上、本発明の実施例に係る検索結果出力装置は機能的なブロック図を用いて説明しているが、本発明の実施例に係る検索結果出力装置は、ハードウェア、ソフトウェア又はそれらの組み合わせで実現されてもよい。また、各機能部が必要に応じて組み合わせて使用されてもよい。
【００４４】
説明の便宜上、本発明の実施例に係る方法は処理の流れを示すシーケンス図を用いて説明しているが、本発明の方法は、実施例に示す順序と異なる順序で実施されてもよい。
【００４５】
＜実施例の効果＞
本発明の実施例によれば、ユーザから強調する観点が指定された場合、検索結果のランキングを変更し、かつ、指定された観点の満足度を向上させつつ、他の観点の満足度の低下を最小限に抑えることが可能となる。その結果、ユーザの観点の変更に対して満足度の高いランキングを提示することが可能となる。
【００４６】
パレート解探索部１０５により、パラメータ調整部１０９が選択する重みパラメータの候補を増やすことが可能となり、より高精度なランキング調整が可能となる。
【００４７】
また、パラメータ調整部１０９により、ユーザからの強調する観点の指定に対して適切な重みパラメータを選択することが可能となる。
【００４８】
以上、ユーザが強調する観点を指定したときに、指定した観点に対するユーザの満足度を上げる検索結果を出力するための検索結果出力装置及び方法について説明したが、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々の変更・応用が可能である。
【符号の説明】
【００４９】
１０１  文書DB
１０３  訓練データDB
１０５  パレート解探索部
１０７  パレート解集合DB
１０９  パラメータ調整部
１１１  検索スコア計算部
１１３  検索結果出力部
【図１】
2014041544.tif 000006
【図２】
2014041544.tif 000007
【図３】
2014041544.tif 000008
【図４】
2014041544.tif 000009
【図５】
2014041544.tif 000010