(57)【要約】【課題】検索アルゴリズムを的確に評価することができる検索アルゴリズム評価システムを提供する。【解決手段】評価装置６０は、検索処理部６３が検索処理を開始してから表示部５３にその検索結果が表示されるまでの時間に基づいて、検索レスポンスの速さの指標となるレスポンス減損率を求めるレスポンス減損率算出部７２と、文書ファイルの各々について予め与えられた評価フラグと前記レスポンス減損率とを用いて減損利得を算出する減損利得算出部７３と、前記減損利得を累積加算し、ランキング表示の順位ごとに減損累積利得を求める減損累積利得算出部７４と、理想条件で前記レスポンス減損率及び前記減損利得を算出すると共に、これに基づき理想減損累積利得を求める理想値算出部７５と、前記理想減損累積利得と、前記減損累積利得との比に基づいて、検索アルゴリズムの評価値を導出するアルゴリズム評価部７６とを備える。【選択図】図４
2012128802.tif 000002
【特許請求の範囲】
【請求項１】
表示手段と、
試行検索の対象となる多数の文書ファイルと、特定の検索クエリに対する前記文書ファイルの各々の適合度を示す評価フラグとを記憶するデータベースと、
所定の検索アルゴリズムが搭載され、前記データベースの文書ファイルを試行検索の対象として、前記検索アルゴリズムを用いて前記検索クエリの検索処理を行う検索手段と、
前記検索クエリでの検索処理によりヒットした文書ファイルのリストを、前記検索アルゴリズムでの合致度合いに応じた順位付けをして作成し、前記表示手段へ表示させるリスト生成手段と、
前記検索手段が前記検索クエリについての検索処理を開始してから前記表示手段にその検索結果が表示されるまでの時間に基づいて、検索レスポンスの速さの指標となるレスポンス減損率を求める第１演算手段と、
前記文書ファイルの各々について、前記評価フラグと前記レスポンス減損率とを用いて減損利得を算出する第２演算手段と、
前記リスト生成手段が順位付けした順に、前記各文書ファイルの前記減損利得を累積加算し、前記順位ごとに減損累積利得を求める第３演算手段と、
前記文書ファイルを前記評価フラグの大きさに沿ってソートして順位付けすると共に、前記検索レスポンスが最速であることを想定し、この理想条件で前記レスポンス減損率及び前記減損利得を算出すると共に、これに基づき理想減損累積利得を求める第４演算手段と、
前記理想減損累積利得と、前記第３演算手段が求めた前記減損累積利得との比に基づいて、前記検索アルゴリズムの評価値を導出する評価手段と、
を備える検索アルゴリズム評価システム。
【請求項２】
前記リスト生成手段は、前記リストを前記順位が高い順に所定の件数単位で区切ってページ単位リストを作成し、前記順位が高い前記文書ファイルを含むページ単位リストを優先して前記表示手段に表示させるものであり、
前記表示手段は、前記ページ単位リストを第１ページから該第１ページよりも前記優先の度合い低い第２ページへの表示切換の指示を受け付ける入力手段を備え、
前記第１演算手段は、前記第２ページに含まれる前記文書ファイルのレスポンス減損率を算出するに際し、前記第１ページから第２ページへの表示切換に要する時間をさらに加算して、前記レスポンス減損率を算出する、
請求項１に記載の検索アルゴリズム評価システム。
【請求項３】
前記リスト生成手段は、予め足切りの順位を定めて前記リストを作成するものであり、
前記評価手段は、前記リストの最終順位における前記検索アルゴリズムの評価値を、総合評価値として出力する、
請求項１又は２に記載の検索アルゴリズム評価システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データベースに対して検索クエリに応じた検索処理を実行する際に用いられる検索アルゴリズムの評価システムに関する。
【背景技術】
【０００２】
ワールドワイドなインターネット上や社内ネットワークのようなローカルネット上において、データベース中からユーザが望む文書ファイルを検索可能とした検索システムが汎用されている。このような検索システムにおいては、検索エンジンが、ユーザが欲する情報を含む文書ファイルを的確に抽出できる検索アルゴリズムを具備していることが望ましい。なお、検索エンジンの文書検索の精度を向上させる技術として、例えば特許文献１、特許文献２に開示されたものがある。
【０００３】
ところで、前記検索システム（検索アルゴリズム）を評価する方法の１つとして、ｎＤＣＧ（normarized Discounted Cumulative Gain）と呼ばれる指標が存在する。この方法は、ある検索クエリ（例えばキーワード）を設定し、そのクエリに対する検索処理でヒットした文書ファイルの順位付け、つまり検索クエリに対する合致度が高い順に並べられた文書ファイルのランキングが、予め定めた理想のランキングとどれほど合致しているかを測定する方法である。当然、理想ランキングに対する合致度が高い程、その検索アルゴリズムの性能が良いと評価される。
【０００４】
また、前記検索アルゴリズムを評価する他の方法として、検索処理に要するレスポンス時間の長さが挙げられる。このレスポンス時間は、検索クエリの実行指示を端末装置に与えてから、当該端末装置の表示画面にその検索結果が表示されるまでの時間であって、一般にレスポンス時間が短い方が、検索アルゴリズムの性能が良いと評価される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２１６６４６号公報
【特許文献２】特開２００４−２７２４９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の検索アルゴリズムの性能評価においては、上記ｎＤＣＧ又はレスポンス時間等の評価指標を用い、各指標で個別に評価値を導出している。しかしながら、このような個別評価の方法では、総合的に検索アルゴリズムを評価することが難しく、いずれかの評価指標に偏って検索アルゴリズムを評価してしまう場合がある。
【０００７】
本発明の目的は、データベースに対する文書ファイルの検索処理において用いられる検索アルゴリズムを的確に評価することができる検索アルゴリズム評価システムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成する本発明の一の局面に係る検索アルゴリズム評価システムは、表示手段と、試行検索の対象となる多数の文書ファイルと、特定の検索クエリに対する前記文書ファイルの各々の適合度を示す評価フラグとを記憶するデータベースと、所定の検索アルゴリズムが搭載され、前記データベースの文書ファイルを試行検索の対象として、前記検索アルゴリズムを用いて前記検索クエリの検索処理を行う検索手段と、前記検索クエリでの検索処理によりヒットした文書ファイルのリストを、前記検索アルゴリズムでの合致度合いに応じた順位付けをして作成し、前記表示手段へ表示させるリスト生成手段と、前記検索手段が前記検索クエリについての検索処理を開始してから前記表示手段にその検索結果が表示されるまでの時間に基づいて、検索レスポンスの速さの指標となるレスポンス減損率を求める第１演算手段と、前記文書ファイルの各々について、前記評価フラグと前記レスポンス減損率とを用いて減損利得を算出する第２演算手段と、前記リスト生成手段が順位付けした順に、前記各文書ファイルの前記減損利得を累積加算し、前記順位ごとに減損累積利得を求める第３演算手段と、前記文書ファイルを前記評価フラグの大きさに沿ってソートして順位付けすると共に、前記検索レスポンスが最速であることを想定し、この理想条件で前記レスポンス減損率及び前記減損利得を算出すると共に、これに基づき理想減損累積利得を求める第４演算手段と、前記理想減損累積利得と、前記第３演算手段が求めた前記減損累積利得との比に基づいて、前記検索アルゴリズムの評価値を導出する評価手段と、を備える（請求項１）。
【０００９】
この構成によれば、検索レスポンスの速さの指標となるレスポンス減損率を評価ベースとして採用すると共に、理想値（理想減損累積利得）と実績値（減損累積利得）との比に基づいて検索アルゴリズムの評価値が導出される。従って、従来のｎＤＣＧの評価手法にレスポンス時間の要素を加味した態様で検索アルゴリズムを評価することができ、検索アルゴリズムより総合的に評価することができる。
【００１０】
上記構成において、前記リスト生成手段は、前記リストを前記順位が高い順に所定の件数単位で区切ってページ単位リストを作成し、前記順位が高い前記文書ファイルを含むページ単位リストを優先して前記表示手段に表示させるものであり、前記表示手段は、前記ページ単位リストを第１ページから該第１ページよりも前記優先の度合い低い第２ページへの表示切換の指示を受け付ける入力手段を備え、前記第１演算手段は、前記第２ページに含まれる前記文書ファイルのレスポンス減損率を算出するに際し、前記第１ページから第２ページへの表示切換に要する時間をさらに加算して、前記レスポンス減損率を算出することが望ましい（請求項２）。
【００１１】
この構成によれば、検索結果を示す文書ファイルリストの表示ページの切換時間も、検索レスポンスの時間に含まれるようになる。従って、通常は検索結果のリストを複数のページに亘って表示するという、検索処理の実態に即した検索アルゴリズムの評価を行うことができる。
【００１２】
また、前記リスト生成手段は、予め足切りの順位を定めて前記リストを作成するものであり、前記評価手段は、前記リストの最終順位における前記検索アルゴリズムの評価値を、総合評価値として出力することが望ましい（請求項３）。
【００１３】
この構成によれば、ヒットした文書ファイルのリストの表示単位を基準として総合評価値が導出されるので、検索アルゴリズムの評価を的確に、且つ、簡易に行うことができる。
【発明の効果】
【００１４】
本発明によれば、データベースに対する文書ファイルの検索処理において用いられる検索アルゴリズムを的確に評価することができる。従って、検索アルゴリズムのチューニングを評価結果に基づき適正に行うことができ、結果として信頼性の高い検索システムの構築に寄与することができる。
【図面の簡単な説明】
【００１５】
【図１】文書検索システムが適用されるネットワークシステムのハードウェア構成を概略的に示す構成図である。
【図２】検索システムの動作を概要的に示すフローチャートである。
【図３】本発明の実施形態に係る検索アルゴリズム評価システムの概要を示す模式図である。
【図４】本発明の検索アルゴリズム評価システムの構成を示す機能ブロック図である。
【図５】文書ファイルの評価フラグを説明するための模式図である。
【図６】検索処理及び検索結果のランキング表示を示す模式図である。
【図７】レスポンス減損率の求め方を模式的に示す図である。
【図８】レスポンス減損率の算出例を示す表形式の図である。
【図９】減損利得及び減損累積利得の算出例を示す表形式の図である。
【図１０】理想的な減損累積利得の算出例を示す表形式の図である。
【図１１】正規化減損累積利得の算出例を示す表形式の図である。
【図１２】本発明の実施形態に係る検索アルゴリズム評価システムの動作を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面に基づいて本発明の実施形態につき詳細に説明する。本発明の検索アルゴリズム評価システムを説明する前に、一般的なネットワークシステムについて概説する。図１は、文書検索システムが適用される一般的なネットワークシステムＳのハードウェア構成を概略的に示す構成図である。このネットワークシステムＳは、インターネット上において利用可能なデータベース１０と、このデータベース１０に対して所定の検索アルゴリズムを用いて検索処理を行う検索エンジン２０と、ユーザが利用する端末装置３０とが、インターネットＩＮ（又はローカルエリアネットワークＬＮ）を介してデータ通信可能に接続されてなる。
【００１７】
データベース１０は、インターネットに接続され、検索対象となる多数の文書ファイル（ＨＴＭＬファイル等）が大量に記憶されているデータベースである。ここでは簡略的に図示しているが、データベース１０は各々ドメイン名を持つ多数のウエブサイトの集合を示している。このようなデータベース１０としては、例えばＹａｈｏｏ（登録商標）やＧｏｏｇｌｅ（登録商標）などのインターネットＩＮ上のポータルサイトを通してアクセス可能なデータベース、又はローカルエリアネットワークＬＮを介して社内端末装置と接続され大量の社内業務文書を保管する社内データベース等を例示することができる。
【００１８】
検索エンジン２０は、所定のパラメータを有する検索アルゴリズムが搭載され、データベース１０に対し、与えられたクエリに対応する文書ファイルの検索処理を行う。すなわち検索エンジン２０は、データベース１０に記憶されている検索対象の文書ファイル毎にキーワードや属性（メタデータ）を抽出して検索用の文書インデックスを作成すると共に、クエリを文書解析して検索インデックスを作成する。さらに検索エンジン２０は、前記検索アルゴリズムを用いて、前記文書インデックスと前記検索インデックスとの照合処理を行い、合致度合いの高い（クエリに適合する）文書ファイルを抽出する。
【００１９】
端末装置３０は、多数のユーザに各々保有されるパーソナルコンピュータや携帯電話機、携帯情報端末機等の通信端末機３１、３２、３３、３４・・・である。端末装置３０は、インターネットＩＮを介して検索エンジン２０及びデータベース１０にアクセス可能とされている。例えば端末機３１は、検索処理条件となるキーワードや文章（クエリ）を入力するためのキーボード３１１と、検索画面、ヒット文書のリスト、文書のコンテンツ等を表示するディスプレイ３１２と、ディスプレイ３１２上の表示画面に対してコマンド（文書の選択指示や選択終了指示等）を入力するためのマウス３１３を備えている。
【００２０】
各ユーザは、各自の通信端末機３１、３２、３３、３４・・・のキーボード３１１を介して、検索エンジン２０にクエリを与え、そのクエリでの検索処理によりヒットした文書ファイルのリストを取得する。さらにユーザは、前記リストの中から希望する文書ファイルを選択し、その文書ファイルの内容を自身のディスプレイ３１２で表示させることができる。
【００２１】
図２は、ネットワークシステムＳにより実行される文書ファイル検索処理の概要を示す模式的なフローチャートである。検索エンジン２０は、検索元側の処理として、端末装置３０からクエリが与えられると、このクエリ文書に対して例えば形態素解析等を含む文書解析処理を行う（ステップＳ１）。次いで、上記の文書解析処理で得られた単語をベースにして検索インデックスが作成される（ステップＳ２）。この検索インデックスは、主に質問事象に関連深いキーワード群からなる。そして、当該検索インデックスを用いて、大量のデータを含むデータベース１０に対して文書の検索処理を行う（ステップＳ３）。
【００２２】
また、検索先側の処理として、検索エンジン２０は、メタデータの抽出のための文書解析（ステップＳ０１）、及び検索インデックスの作成（ステップＳ０２）を定期的に行う。ステップＳ３の検索処理で得られた結果は、前記クエリを入力したユーザの端末装置３０に、検索アルゴリズムでの合致度合いに応じた順位付けをしてリスト出力（ランキング表示）される（ステップＳ４）。
【００２３】
以上が、一般的な検索システムの概要であるが、ここで重要となるのが検索精度と、検索処理に要するレスポンス時間の長さである。検索精度は、ユーザが必要とする文書ファイルが、検索結果のランキング表示において上位に表示される度合いが高い場合に「精度が良い」と評価される。レスポンス時間は、勿論短い方が良い。検索精度及びレスポンス時間を左右するのは、検索エンジン２０に搭載される検索アルゴリズムである。従って、如何なる検索アルゴリズムを採用するかを吟味することが、検索システムの構築に当たって極めて重要となる。また、年月の経過によりデータベース１０に蓄積される文書ファイルの性質が変化したりユーザの嗜好が変化したりすると、旧来の検索アルゴリズムでは検索精度が低下する場合もある。そこで、本実施形態では、検索アルゴリズムの評価を的確に行うことができる評価システムを提供し、検索アルゴリズムの新設若しくは検索アルゴリズムのチューニングに寄与する。
【００２４】
図３は、本発明の実施形態に係る検索アルゴリズム評価システムによる評価の概要を示す模式図である。既述の通り、検索アルゴリズムを評価する方法として、ｎＤＣＧ法と、レスポンス時間とが存在する。ｎＤＣＧ法は、ある検索クエリを実行させた場合に、その検索処理でヒットした文書ファイルのランキングが、予め定めた理想のランキングとどれほど合致しているかを算出する方法である。図３では、ランキングの１〜２０位の検索結果に基づいて検索アルゴリズムを評価する場合を例示している。また、検索を実行した端末機の表示画面には、１０件単位でランキング表示される場合を例示している。
【００２５】
ここで、検索対象とされる文書ファイルには、予め検索クエリに対する適合度を示す評価フラグが付与されている。図３の例では、前記評価フラグに基づき、理想的な１〜２０位のランキングが作成される。この理想のランキングと、評価対象の検索アルゴリズムを用いて実行させて得たランキングとを用い、当該検索アルゴリズムに対する評価値を導出する。この評価値は、前記評価フラグを利得に換算し、これにランキングの順位に相当する重み値を乗算して得る指標である。
【００２６】
他方で、検索クエリの実行指示を端末装置に与えてから、当該端末装置の表示画面にその検索結果が表示されるまでのレスポンス時間が計測される。このレスポンス時間には、ランキング表示の１ページ目（１〜１０位の表示）が表示されるまでの時間と、該１ページから２ページ（１１〜２０位の表示）へ遷移させるのに要するページめくりの時間とが考慮される。
【００２７】
従来の検索アルゴリズムの評価においては、ｎＤＣＧ法で得られる評価値と、レスポンス時間で得られる評価値とを個別に評価している。つまり、ｎＤＣＧ法の評価値には、レスポンス時間の要素が加味されていない。このため、例えば１ページ目のランキング表示やページめくりに長い時間（例えば１０秒程度）を要したとしても、理想ランキングとの合致性が高ければ、その検索アルゴリズムは高く評価されることになり、実際の検索処理に求められる要件にマッチしない評価値を導出してしまうことがある。そこで本実施形態では、ｎＤＣＧ法の評価とレスポンス時間の評価とを組み合わせて、総合的に検索アルゴリズムの評価値を導出する手法を提供する。本実施形態では、前記総合的な評価値を、正規化減損累積利得（Ｒ−ｎＤＣＧ）と呼ぶものとする。
【００２８】
図４は、本実施形態に係る検索アルゴリズム評価システムＡＳの構成を示す機能ブロック図である。検索アルゴリズム評価システムＡＳは、文書データベース（ＤＢ）５１、入力部５２（入力手段）、表示部５３（表示手段）及び評価装置６０を含む。
【００２９】
文書データベース５１は、検索アルゴリズムの評価のための試行検索の対象となる多数の文書ファイルと、特定の検索クエリに対する前記文書ファイルの各々の適合度を示す評価フラグとを記憶する。図５は、文書データベース５１に格納される文書ファイル群５１０及び評価フラグテーブル５１１を模式的に示す図である。文書ファイル群５１０は、個別文書Ａ、Ｂ、Ｃ、Ｄ・・・を含み、これらの文書Ａ、Ｂ、Ｃ、Ｄ・・・には、予め定められた検索クエリ（例えばキーワードＸ）に対する評価フラグ◎、○、△、×がそれぞれ付与されている。この評価フラグは、キーワードＸに対する文書ファイルの適合度を示し、評価者によって事前に付与される。各々の評価フラグ◎、○、△、×には、それぞれ３点、２点、１点、０点の利得が設定されている。ここでは、評価フラグ◎が付与されている文書ＡはキーワードＸに関連深い記述を含んでいる文書ファイル（高適合文書）である一方で、評価フラグ×が付与されている文書ＤはキーワードＸに関連深い記述を殆ど含んでいない文書ファイル（非適合文書）である。
【００３０】
入力部５２は、例えばパーソナルコンピュータに備えられているキーボードやマウス等であり、検索クエリの入力、検索処理の実行指示、ページめくり指示などの操作情報の入力をユーザから受け付ける。
【００３１】
表示部５３は、液晶ディスプレイ等であり、検索画面、ヒット文書のランキングリスト、文書のコンテンツ等を表示する。
【００３２】
評価装置６０は、例えばＣＰＵ（中央演算処理装置）を備えるパーソナルコンピュータの本体部などからなり、検索アルゴリズムの評価のための各種情報処理を行う。評価装置６０は、上記ＣＰＵが所定の制御プログラムを実行することにより、文書インデックス作成部６１、検索クエリ設定部６２、検索処理部６３（検索手段）、ランキング表示処理部６４（リスト生成手段）、検索アルゴリズム記憶部６５、表示設定部６６及び評価演算部７０を機能的に備える。
【００３３】
文書インデックス作成部６１は、文書データベース５１に含まれる文書ファイルを試行検索させるための文書インデックスを作成する。文書インデックス作成部６１は、文書データベース５１に格納されている文書ファイルの各々に対して、正規化処理、形態素解析及び同義語処理などの文書解析処理を行う。かかる文書解析処理により、文書タイトルや文書作成者、自立する単語（キーワード）が導出され、これらの単語等に基づいて、文書インデックスが作成される。この文書インデックスには、通常、単語の出現頻度等に基づいて各単語に設定される重み値が含まれる。
【００３４】
検索クエリ設定部６２は、文書ファイルの試行検索において用いるキーワード（特定の検索クエリ）の設定を、入力部５２から１又は複数個受け付け、これを記憶する。ここに設定されるキーワードは、文書データベース５１に格納されている文書ファイルの各々に対する適合度が評価され、その評価フラグ付けが為されているキーワードである。
【００３５】
検索処理部６３は、所定の検索アルゴリズムを用いて、文書データベース５１に格納されている文書ファイルを対象として試行検索処理を行う。具体的には、検索クエリ設定部６２に設定されている一のキーワード（検索インデックス）と前記文書インデックスとを照合し、前記キーワードに対する類似度が高い文書ファイルを抽出する。この検索処理には、検索アルゴリズム記憶部６５に予め記憶されている、評価対象とされる検索アルゴリズムの一つが使用される。この検索アルゴリズムとしては、例えばコサイン尺度、Ｄｉｃｓ係数、Ｊａｃｃａｒｄ係数、Ｔスコア、相互情報量、Ｓｉｍｐｕｓｏｎ係数などの考え方に沿った計算式を用いることができる。
【００３６】
ランキング表示処理部６４は、検索処理部６３による試行検索処理でヒットした複数の文書ファイルを、検索クエリに対する類似度（合致度合い）が高い順に順位付けしたランキングリストを作成する。さらにランキング表示処理部６４は、前記ランキングリストを、表示部５３に表示させる表示制御を行う。
【００３７】
検索アルゴリズム記憶部６５は、当該評価装置６０において性能の評価対象とされる一又は複数の検索アルゴリズムを記憶する。入力部５２から与えられる操作指示により、前記検索アルゴリズムのうちの一つが、検索処理部６３で用いられる検索アルゴリズムとして設定される。
【００３８】
表示設定部６６は、試行検索処理により得られる前記ランキングリストの、表示部５３に対する表示態様に関する設定を、入力部５２から受け付ける。この表示態様に関する設定に基づいて、ランキング表示処理部６４は、ランキングリストを表示部５３に表示させる。例えば、ヒットした文書ファイルの何番目までをランキング表示対象とするか（足切り順位の設定）、１ページ当たり何件をランキング表示させるか等に設定を、表示設定部６６は受け付ける。以下で説明する実施形態では、クエリに対する類似度（合致度合い）が高い順に２０件をランキング表示対象とし（足切り順位＝２０位）、これを１０件の件数単位で区切ってページ単位リストとし、順位が高い文書ファイルを含むページ単位リストを優先して表示部５３に表示させる態様が設定されている場合について説明する。
【００３９】
評価演算部７０は、検索アルゴリズムの評価のための各種の演算を行うものであり、機能的に、レスポンス時間計測部７１、レスポンス減損率算出部７２（第１演算手段）、減損利得算出部７３（第２演算手段）、減損累積利得算出部７４（第３演算手段）、理想値算出部７５（第４演算手段）及びアルゴリズム評価部７６（評価手段）を備える。
【００４０】
レスポンス時間計測部７１は、検索処理部６３が一のキーワード（検索クエリ）についての検索処理を開始してから、表示部５３にその検索結果としてのランキング表示が表示されるまでのレスポンス時間を計測する。
【００４１】
レスポンス減損率算出部７２は、レスポンス時間計測部７１が計測したレスポンス時間に基づいて、検索レスポンスの速さの指標となるレスポンス減損率を求める。具体的には、レスポンス減損率は、検索開始からランキング表示対象の最終順位が表示部５３に表示されるまでのレスポンス時間の逆数として、次の（１）式により求められる。
レスポンス減損率＝１／（ｌｏｇｅ（レスポンス時間／ａ＋１）＋１）・・・（１）
但し、ａは任意の係数（≠０）であり、以下ではａ＝４０とする。
【００４２】
図６〜図８に基づいて、レスポンス減損率算出部７２によるレスポンス減損率の算出例について説明する。図６は、検索処理部６３が一のキーワードを検索クエリとして、文書データベース５１中の文書ファイル群５１０に対して検索処理を行い、ランキング表示処理部６４が、その検索クエリに対する合致度合いが高い順に順位付けしたランキングリスト８１（１〜２０位）を作成した状態を示している。
【００４３】
なお、このランキングリスト８１は、非適合文書（利得＝０）や低適合文書（利得＝１）が多く含まれている一方で、高適合文書（利得＝３）が１９位にランクされている等、事前に付与している評価フラグとのマッチング性が良くないリスト例と言える。つまり、試行検索に供された検索アルゴリズムの精度が、あまり良くないということになる。もし、検索アルゴリズムの精度が良いならば、利得が高い文書ファイルがランキングリストの上位を占めるからである。
【００４４】
図７に例示している通り、ランキングリスト８１は、１０件単位で表示部５３に表示される。具体的には、検索処理の完了後、ランキングリスト８１の１位〜１０位までが第１ページに、１１位〜２０位までが第２ページに表示されることになる。この場合、２つのレスポンス時間が生じる。それは、入力部５２から検索処理部６３に検索実行指示が与えられ、１位〜１０位までのランキングが表示部５３に表示されるまでのレスポンス時間ｔ１と、入力部５２から第１ページから第２ページへの表示切換指示（ページめくり指示）が与えられ、１１位〜２０位までのランキングが表示部５３に表示されるまでのレスポンス時間ｔ２とである。レスポンス時間計測部７１は、これら２つのレスポンス時間ｔ１及びｔ２を計測する。
【００４５】
レスポンス減損率は、１位〜１０位までの文書ファイルについては、レスポンス時間ｔ１を上記（１）に適用して算出される。一方、ページめくりの処理を要する１１位〜２０位までの文書ファイルについては、レスポンス時間ｔ１にレスポンス時間ｔ２を加算した合計レスポンス時間ｔ３を上記（１）に適用して算出される。ここでは、１位〜１０位までの文書ファイルについては、レスポンス減損率＝０．８１８という値が、１１位〜２０位までの文書ファイルについては、レスポンス減損率＝０．７５８という値がそれぞれ導出されている例を示している。図８は、これらのレスポンス減損率が追加されたランキングリスト８２を示している。
【００４６】
減損利得算出部７３は、ランキングリスト８２の文書ファイルの各々について、評価フラグ（利得）と、上記の如く求められるレスポンス減損率とを用いて減損利得を算出する。具体的には減損利得は、評価フラグに応じた利得にレスポンス減損率を乗じ、これをランキングリスト８２における順位の対数で除して得られる値であり、次の（２）式で求められる。
減損利得＝（利得×レスポンス減損率）／ｌｏｇｂ（順位＋１）・・・（２）
但し、ｂは１以上の自然数であり、以下ではｂ＝２とする。
【００４７】
減損累積利得算出部７４は、ランキングリスト８２で順位付けされている順に、各文書ファイルについて上記（２）式で求められた減損利得を累積加算し、順位ごとに文書ファイルの減損累積利得を求める。つまり、減損累積利得は、次の（３）式で求められる。
減損累積利得＝Σ減損利得  ・・・（３）
【００４８】
図９は、上記（２）式で求められた減損利得、及び上記（３）式で求められた累積減損利得が追加されたランキングリスト８３を示す表形式の図である。一般に、減損利得は、評価フラグの利得が大きい程、大きい値となり、非適合文書（利得＝０）の場合は減損利得＝０となる。このため、ランキングリスト８３の中に利得が大きい文書ファイルが多く含まれている程、ランキングリスト８３の最終順位（２０位）の累積減損利得も大きくなる。従って、第２０位の累積減損利得の大きさが、供試検索アルゴリズムの評価指標となる。
【００４９】
理想値算出部７５は、文書ファイルを評価フラグの大きさに沿ってソートして順位付けしたランキングリストに基づいて、理想減損累積利得を算出する。図１０は、評価フラグ（利得）が高い順に順位付けをしたランキングリスト８４を示している。このランキングリスト８４では、利得＝３である高適合文書が１位にランクされ、利得＝０である非適合文書は、最下位にランクされている。
【００５０】
理想値算出部７５は、当該ランキングリスト８４を用いて理想減損累積利得を算出するのであるが、この際、レスポンス時間が最速の０秒と想定して算出を行う。つまり、ランキングリスト８４は利得が高い順に綺麗に並び、検索レスポンス時間＝０秒という理想条件を想定して、前記レスポンス減損率及び前記減損利得を算出すると共に、これに基づき理想減損累積利得を求める。図１０の符号Ｇで示す部分が、理想減損累積利得である。なお、図１０では、レスポンス減損率及び減損利得の表記は省かれている。
【００５１】
アルゴリズム評価部７６は、理想値算出部７５が算出する理想減損累積利得と、減損累積利得算出部７４が求めた前記減損累積利得との比に基づいて、供試検索アルゴリズムの評価値である正規化減損累積利得（Ｒ−ｎＤＣＧ）を、ランキングの順位ごとに導出する。例えば、図９のランキングリスト８３の１位の減損累積利得（１．６３５）と、図１０のランキングリスト８４の１位の減損累積利得（３．０００）との比から、正規化減損累積利得が次の通り求められる。
Ｒ−ｎＤＣＧ＝１．６３５／３．０００＝０．５４５
【００５２】
以下、同様にして、２位〜２０位の正規化減損累積利得が算出される。正規化減損累積利得は、１に近い程、理想値に近く、その供試検索アルゴリズムの性能が良いと言える。図１１は、ランキング順位毎に正規化減損累積利得が求められたランキングリスト８５を示す表形式の図である。
【００５３】
このランキングリスト８５において、本実施形態では１回の検索におけるランキング表示対象が２０件であるので、その最下位の２０位の正規化減損累積利得が、供試検索アルゴリズムの評価値として最も相応しい。そこで、アルゴリズム評価部７６は、２０位の正規化減損累積利得の値（０．６２６）を、総合評価値Ｆとして出力する。この場合、理想的な検索結果に対して、供試検索アルゴリズムに係る検索結果は、６０％超程度の検索性能を有すると評価することができる。この総合評価値Ｆは、従来のｎＤＣＧに基づく評価値とは異なり、レスポンス時間の要素を加味した評価値であり、より一層、検索処理の実情に即した評価値である。
【００５４】
続いて、以上説明した本実施形態に係る検索アルゴリズム評価システムＡＳの動作を、図１２に示すフローチャートに基づいて説明する。先ず、評価装置６０は文書データベース５１にアクセスし、特定の検索キーワードに対して全ての文書ファイルに評価フラグが付与されているか否かを確認する（ステップＳ１１）。評価フラグが付与されていることが確認されたなら、評価装置６０は、入力部５２から、検索アルゴリズム記憶部６５に記憶されている検索アルゴリズムの中から検索処理部６３において試行する検索アルゴリズムの選択、及び、表示設定部６６に対する表示態様に関する設定を受け付ける（ステップＳ１２）。
【００５５】
続いて、検索クエリ設定部６２が、入力部５２から、試行検索のための検索キーワードの設定を受け付ける（ステップＳ１３）。これを受けて検索処理部６３は、当該検索キーワードについて、ステップＳ１２で設定された検索アルゴリズムを用いて、文書データベース５１に対する検索処理を実行する（ステップＳ１４）。この際、レスポンス時間計測部７１により、検索処理部６３が検索処理を始めてから、表示部５３に検索結果のランキング表示が為されるまでのレスポンス時間の計測を開始する（ステップＳ１６）。検索処理が完了すると、ランキング表示処理部６４により、その検索結果が表示部５３にランキング表示される（ステップＳ１６）。
【００５６】
評価装置は、前記ランキング表示に次ページが存在するか否かを確認し（ステップＳ１７）、次ページが存在する場合は（ステップＳ１７でＹＥＳ）、入力部５２からページめくり指示が与えられるまで待機する（ステップＳ１８）。ページめくり指示が与えられると（ステップＳ１８でＹＥＳ）、レスポンス時間計測部７１は、ページめくりレスポンス時間を計測する（ステップＳ１９）。次ページが存在しない場合は（ステップＳ１７でＮＯ）、ステップＳ１８及び１９はスキップされる。
【００５７】
その後、レスポンス減損率算出部７２は、ステップＳ１５及び１９で求められたレスポンス時間及びページめくりレスポンス時間を、上記（１）式に適用して、レスポンス減損率を算出する（ステップＳ２０）。次いで、減損利得算出部７３により、評価フラグ（利得）と、ステップＳ２０で求められたレスポンス減損率とを上記（２）式に適用して、減損利得が算出される（ステップＳ２１）。
【００５８】
さらに、減損累積利得算出部７４により、ステップＳ２１で求められた減損利得を累積加算し、順位ごとに文書ファイルの減損累積利得が求められる（ステップＳ２２）。他方、理想値算出部７５により、評価フラグの大きさに沿ってソートして順位付けしたランキングリストに基づいて、レスポンス時間＝０秒という理想条件を想定して、レスポンス減損率及び減損利得が算出されると共に、これに基づき理想減損累積利得が求められる（ステップＳ２３）。
【００５９】
そして、アルゴリズム評価部７６により、理想値算出部７５が算出する理想減損累積利得と、減損累積利得算出部７４が求めた減損累積利得との比である正規化減損累積利得が、順位毎に求められる（ステップＳ２４）。最後に、評価装置６０は、ランキング表示対象の最下位の正規化減損累積利得を、当該検索アルゴリズムの評価値として出力する（ステップＳ２５）。その後、評価装置は、試行検索の対象とする他の検索アルゴリズムが存在するか否かを確認し（ステップＳ２６）、他の検索アルゴリズムが存在するならば（ステップＳ２６でＹＥＳ）、ステップＳ１２に戻って処理を繰り返す。他の検索アルゴリズムが存在しないならば（ステップＳ２６でＮＯ）、処理を終える。
【００６０】
以上説明した本実施形態に係る検索アルゴリズム評価システムＡＳによれば、データベースに対する文書ファイルの検索処理において用いられる検索アルゴリズムを的確に評価することができる。従って、検索アルゴリズムのチューニングを評価結果に基づき適正に行うことができ、結果として信頼性の高い検索システムの構築に寄与することができる。
【符号の説明】
【００６１】
Ｓ  ネットワークシステム
１０  データベース
２０  検索エンジン
３０  端末装置
５１  文書データベース
５２  入力部（入力手段）
５３  表示部（表示手段）
６０  評価装置
６１  文書インデックス作成部
６２  検索クエリ設定部
６３  検索処理部（検索手段）
６４  ランキング表示処理部（リスト生成手段）
６５  検索アルゴリズム記憶部
６６  表示設定部
６７  評価演算部
７１  レスポンス時間計測部
７２  レスポンス減損率算出部（第１演算手段）
７３  減損利得算出部（第２演算手段）
７４  減損累積利得算出部（第３演算手段）
７５  理想値算出部（第４演算手段）
７６  アルゴリズム評価部（評価手段）
【図１】
2012128802.tif 000003
【図２】
2012128802.tif 000004
【図３】
2012128802.tif 000005
【図４】
2012128802.tif 000006
【図５】
2012128802.tif 000007
【図６】
2012128802.tif 000008
【図７】
2012128802.tif 000009
【図８】
2012128802.tif 000010
【図９】
2012128802.tif 000011
【図１０】
2012128802.tif 000012
【図１１】
2012128802.tif 000013
【図１２】
2012128802.tif 000014