(57)【要約】【課題】大規模な人員投入を効果的に回避すると同時に、情報検索システムの検索結果精度の評価を効果的に向上させること。【解決手段】本発明は、情報検索精度の評価方法、装置及びコンピュータ読み取り可能な記憶媒体に関し、予め決定された第１の検索システムを利用して予め決定されたキーワードに対応する少なくとも１つの第１の検索結果を検索し、且つ予め決定された第２の検索システムを利用して前記キーワードに対応する少なくとも１つの第２の検索結果を検索することと、予め設定されたシーケンス番号生成規則に基づき、前記第１の検索結果に対応する第１の検索シーケンス番号及び前記第２の検索結果に対応する第２の検索シーケンス番号を生成することと、予め決定された精度分析規則に基づいて生成した前記第１の検索シーケンス番号と前記第２の検索シーケンス番号を分析することにより、前記第１の検索システムと前記第２の検索システムの精度を分析することと、を含む。
2019521406.tif 000002
【特許請求の範囲】
【請求項１】
情報検索精度の評価方法であって、
予め決定された第１の検索システムを利用して予め決定されたキーワードに対応する少なくとも１つの第１の検索結果を検索し、且つ予め決定された第２の検索システムを利用して前記キーワードに対応する少なくとも１つの第２の検索結果を検索するステップＡと、
予め設定されたシーケンス番号生成規則に基づき、前記第１の検索結果に対応する第１の検索シーケンス番号、及び前記第２の検索結果に対応する第２の検索シーケンス番号を生成するステップＢと、
予め決定された精度分析規則に基づいて生成した前記第１の検索シーケンス番号と前記第２の検索シーケンス番号を分析することにより、前記第２の検索システムに対する前記第１の検索システムの精度を分析するステップＣと、
を含むことを特徴とする情報検索精度の評価方法。
【請求項２】
前記ステップＢは、
予め決定されたスクリーニング規則に基づいて前記第１の検索結果から前記キーワードとマッチングする第３の検索結果をスクリーニングし、前記第２の検索結果から前記キーワードとマッチングする第４の検索結果をスクリーニングするステップＥと、
前記第３の検索結果における各検索内容の前記第１の検索結果での第１のソート番号を決定し、前記第４の検索結果における各検索内容の前記第２の検索結果での第２のソート番号を決定するステップＦと、
前記第１のソート番号に基づいて前記第１の検索結果に対応する第１の検索シーケンス番号を生成し、且つ前記第２のソート番号に基づいて前記第２の検索結果に対応する第２の検索シーケンス番号を生成するステップＧと、
を含むことを特徴とする請求項１に記載の情報検索精度の評価方法。
【請求項３】
前記予め決定されたスクリーニング規則は、
手動方式で前記第１の検索結果及び前記第２の検索結果から前記キーワードとマッチングする検索結果をスクリーニングすること、或いは、
予め決定されたキーワードと関連語とのマッピング関係に基づき、前記キーワードに対応する関連語を決定し、各検索結果に含まれる前記キーワード及び対応する関連語の総量を統計し、検索結果に対応する総量が予め設定された数量以上であると、該検索結果が前記キーワードとマッチングする検索結果であると決定し、検索結果に対応する総量が予め設定された数量より小さいと、該検索結果が前記キーワードとマッチングしない検索結果であると決定すること
を含むことを特徴とする請求項１又は２に記載の情報検索精度の評価方法。
【請求項４】
前記予め決定された精度分析規則は、
それぞれ生成した第１の検索シーケンス番号における各番号を予め設定された公式に代入し、前記第１の検索シーケンス番号における各番号に対応する第１の割引値を計算し、ただし、計算した各第１の割引値の集合が前記第１の検索システムに対応する第１の割引セットであることと、
それぞれ生成した第２の検索シーケンス番号における各番号を予め設定された公式に代入し、前記第２の検索シーケンス番号における各番号に対応する第２の割引値を計算し、ただし、計算した各第２の割引値の集合が前記第２の検索システムに対応する第２の割引セットであることと、
前記第１の割引セットにおける各割引値に対して和を求め、前記第１の検索システムに対応する第１の正確さを取得し、且つ前記第２の割引セットにおける各割引値に対して和を求め、前記第２の検索システムに対応する第２の正確さを取得することと、
前記第１の正確さと前記第２の正確さを分析することにより、前記第２の検索システムに対する前記第１の検索システムの精度を決定することと、
を含むことを特徴とする請求項１に記載の情報検索精度の評価方法。
【請求項５】
前記第１の正確さと前記第２の正確さを分析することにより、前記第２の検索システムに対する前記第１の検索システムの精度を決定する前記ステップは、
前記第１の正確さと前記第２の正確さとの間の大小関係を分析することと、
前記第１の正確さが前記第２の正確さより大きいと、前記第１の検索システムの検索結果が前記第２の検索システムの検索結果より正確であると決定することと、
前記第１の正確さが前記第２の正確さより小さいと、前記第２の検索システムの検索結果が前記第１の検索システムの検索結果より正確であると決定することと、
前記第１の正確さが前記第２の正確さに等しいと、前記第１の検索システムの検索結果の精度と前記第２の検索システムの検索結果の精度が同じであると決定することと、
を含むことを特徴とする請求項４に記載の情報検索精度の評価方法。
【請求項６】
情報検索精度の評価システムであって、
予め決定された第１の検索システムを利用して予め決定されたキーワードに対応する少なくとも１つの第１の検索結果を検索し、且つ予め決定された第２の検索システムを利用して前記キーワードに対応する少なくとも１つの第２の検索結果を検索することに用いられる検索モジュールと、
予め設定されたシーケンス番号生成規則に基づき、前記第１の検索結果に対応する第１の検索シーケンス番号、及び前記第２の検索結果に対応する第２の検索シーケンス番号を生成することに用いられるシーケンス番号生成モジュールと、
予め決定された精度分析規則に基づいて生成した前記第１の検索シーケンス番号と前記第２の検索シーケンス番号を分析することにより、前記第２の検索システムに対する前記第１の検索システムの精度を分析することに用いられる精度判断モジュールと、
を含むことを特徴とする情報検索精度の評価システム。
【請求項７】
前記シーケンス番号生成モジュールは、
予め決定されたスクリーニング規則に基づいて第１の検索結果から予め決定されたキーワードとマッチングする第３の検索結果をスクリーニングし、第２の検索結果から予め決定されたキーワードとマッチングする第４の検索結果をスクリーニングすることに用いられるスクリーニングユニットと、
第３の検索結果における各検索内容の第１の検索結果での第１のソート番号を決定し、第４の検索結果における各検索内容の第２の検索結果での第２のソート番号を決定することに用いられるソート番号生成ユニットと、
前記第１のソート番号に基づいて前記第１の検索結果に対応する第１の検索シーケンス番号を生成し、且つ前記第２のソート番号に基づいて前記第２の検索結果に対応する第２の検索シーケンス番号を生成することに用いられるシーケンス番号生成ユニットと、
を含むことを特徴とする請求項６に記載の情報検索精度の評価システム。
【請求項８】
前記予め決定されたスクリーニング規則は、
予め決定されたキーワードと関連語とのマッピング関係に基づき、前記キーワードに対応する関連語を決定し、各検索結果に含まれる前記キーワード及び対応する関連語の総量を統計し、検索結果に対応する総量が予め設定された数量以上であると、該検索結果が前記キーワードとマッチングする検索結果であると決定し、検索結果に対応する総量が予め設定された数量より小さいと、該検索結果が前記キーワードとマッチングしない検索結果であると決定することを含む
ことを特徴とする請求項６に記載の情報検索精度の評価システム。
【請求項９】
前記精度判断モジュールは、
それぞれ生成した第１の検索シーケンス番号における各番号を予め設定された公式に代入し、前記第１の検索シーケンス番号における各番号に対応する第１の割引値を計算することに用いられ、ただし、計算した各第１の割引値の集合が前記第１の検索システムに対応する第１の割引セットである第１の計算ユニットと、
それぞれ生成した第２の検索シーケンス番号における各番号を予め設定された公式に代入し、前記第２の検索シーケンス番号における各番号に対応する第２の割引値を計算することに用いられ、ただし、計算した各第２の割引値の集合が前記第２の検索システムに対応する第２の割引セットである第２の計算ユニットと、
前記第１の割引セットにおける各割引値に対して和を求め、前記第１の検索システムに対応する第１の正確さを取得し、且つ前記第２の割引セットにおける各割引値に対して和を求め、前記第２の検索システムに対応する第２の正確さを取得することに用いられる第３の計算ユニットと、
前記第１の正確さと前記第２の正確さを分析することにより、前記第２の検索システムに対する前記第１の検索システムの精度を決定することに用いられる判断ユニットと、
を含むことを特徴とする請求項６に記載の情報検索精度の評価システム。
【請求項１０】
前記判断ユニットは、
前記第１の正確さと前記第２の正確さとの間の大小関係を分析することに用いられる分析サブユニットを含み、
前記第１の正確さが前記第２の正確さより大きいと、前記第１の検索システムの検索結果が前記第２の検索システムの検索結果より正確であると決定し、
前記第１の正確さが前記第２の正確さより小さいと、前記第２の検索システムの検索結果が前記第１の検索システムの検索結果より正確であると決定し、
前記第１の正確さが前記第２の正確さに等しいと、前記第１の検索システムの検索結果の精度と前記第２の検索システムの検索結果の精度が同じであると決定する
ことを特徴とする請求項９に記載の情報検索精度の評価システム。
【請求項１１】
情報検索精度の評価装置であって、記憶装置と、プロセッサと、前記記憶装置に記憶され且つ前記プロセッサに実行可能な情報検索精度の評価システムとを含み、前記情報検索精度の評価システムが前記プロセッサによって実行される時に、
予め決定された第１の検索システムを利用して予め決定されたキーワードに対応する少なくとも１つの第１の検索結果を検索し、且つ予め決定された第２の検索システムを利用して前記キーワードに対応する少なくとも１つの第２の検索結果を検索するステップＡと、
予め設定されたシーケンス番号生成規則に基づき、前記第１の検索結果に対応する第１の検索シーケンス番号、及び前記第２の検索結果に対応する第２の検索シーケンス番号を生成するステップＢと、
予め決定された精度分析規則に基づいて生成した前記第１の検索シーケンス番号と前記第２の検索シーケンス番号を分析することにより、前記第２の検索システムに対する前記第１の検索システムの精度を分析するステップＣと、
を実行することを特徴とする情報検索精度の評価装置。
【請求項１２】
前記プロセッサによって実行される前記ステップＢは、
予め決定されたスクリーニング規則に基づいて前記第１の検索結果から前記キーワードとマッチングする第３の検索結果をスクリーニングし、前記第２の検索結果から前記キーワードとマッチングする第４の検索結果をスクリーニングするステップＥと、
前記第３の検索結果における各検索内容の前記第１の検索結果での第１のソート番号を決定し、前記第４の検索結果における各検索内容の前記第２の検索結果での第２のソート番号を決定するステップＦと、
前記第１のソート番号に基づいて前記第１の検索結果に対応する第１の検索シーケンス番号を生成し、且つ前記第２のソート番号に基づいて前記第２の検索結果に対応する第２の検索シーケンス番号を生成するステップＧと、
を含むことを特徴とする請求項１１に記載の情報検索精度の評価装置。
【請求項１３】
前記予め決定されたスクリーニング規則は、
予め決定されたキーワードと関連語とのマッピング関係に基づき、前記キーワードに対応する関連語を決定し、各検索結果に含まれる前記キーワード及び対応する関連語の総量を統計し、検索結果に対応する総量が予め設定された数量以上であると、該検索結果が前記キーワードとマッチングする検索結果であると決定し、検索結果に対応する総量が予め設定された数量より小さいと、該検索結果が前記キーワードとマッチングしない検索結果であると決定することを含む
ことを特徴とする請求項１１に記載の情報検索精度の評価装置。
【請求項１４】
前記予め決定された精度分析規則は、
それぞれ生成した第１の検索シーケンス番号における各番号を予め設定された公式に代入し、前記第１の検索シーケンス番号における各番号に対応する第１の割引値を計算し、ただし、計算した各第１の割引値の集合が前記第１の検索システムに対応する第１の割引セットであることと、
それぞれ生成した第２の検索シーケンス番号における各番号を予め設定された公式に代入し、前記第２の検索シーケンス番号における各番号に対応する第２の割引値を計算し、ただし、計算した各第２の割引値の集合が前記第２の検索システムに対応する第２の割引セットであることと、
前記第１の割引セットにおける各割引値に対して和を求め、前記第１の検索システムに対応する第１の正確さを取得し、且つ前記第２の割引セットにおける各割引値に対して和を求め、前記第２の検索システムに対応する第２の正確さを取得することと、
前記第１の正確さと前記第２の正確さを分析することにより、前記第２の検索システムに対する前記第１の検索システムの精度を決定することと、
を含むことを特徴とする請求項１１に記載の情報検索精度の評価装置。
【請求項１５】
前記プロセッサによって実行される前記第１の正確さと前記第２の正確さを分析することにより、前記第２の検索システムに対する前記第１の検索システムの精度を決定するステップは、
前記第１の正確さと前記第２の正確さとの間の大小関係を分析するステップと
前記第１の正確さが前記第２の正確さより大きいと、前記第１の検索システムの検索結果が前記第２の検索システムの検索結果より正確であると決定するステップと、
前記第１の正確さが前記第２の正確さより小さいと、前記第２の検索システムの検索結果が前記第１の検索システムの検索結果より正確であると決定するステップと、
前記第１の正確さが前記第２の正確さに等しいと、前記第１の検索システムの検索結果の精度と前記第２の検索システムの検索結果の精度が同じであると決定するステップと、
を含むことを特徴とする請求項１４に記載の情報検索精度の評価装置。
【請求項１６】
コンピュータ読み取り可能な記憶媒体であって、処理装置によって実行されて以下のステップを実現する少なくとも１つのコンピュータ読み取り可能なコマンドが記憶された媒体。
ステップＡ、予め決定された第１の検索システムを利用して予め決定されたキーワードに対応する少なくとも１つの第１の検索結果を検索し、且つ予め決定された第２の検索システムを利用して前記キーワードに対応する少なくとも１つの第２の検索結果を検索し、
ステップＢ、予め設定されたシーケンス番号生成規則に基づき、前記第１の検索結果に対応する第１の検索シーケンス番号、及び前記第２の検索結果に対応する第２の検索シーケンス番号を生成し、
ステップＣ、予め決定された精度分析規則に基づいて生成した前記第１の検索シーケンス番号と前記第２の検索シーケンス番号を分析することにより、前記第２の検索システムに対する前記第１の検索システムの精度を分析する。
【請求項１７】
前記少なくとも１つのコンピュータコマンドによって実行される前記ステップＢは、
予め決定されたスクリーニング規則に基づいて前記第１の検索結果から前記キーワードとマッチングする第３の検索結果をスクリーニングし、前記第２の検索結果から前記キーワードとマッチングする第４の検索結果をスクリーニングするステップＥと、
前記第３の検索結果における各検索内容の前記第１の検索結果での第１のソート番号を決定し、前記第４の検索結果における各検索内容の前記第２の検索結果での第２のソート番号を決定するステップＦと、
前記第１のソート番号に基づいて前記第１の検索結果に対応する第１の検索シーケンス番号を生成し、且つ前記第２のソート番号に基づいて前記第２の検索結果に対応する第２の検索シーケンス番号を生成するステップＧと、
を含むことを特徴とする請求項１６に記載の媒体。
【請求項１８】
前記予め決定されたスクリーニング規則は、
手動方式で前記第１の検索結果及び前記第２の検索結果から前記キーワードとマッチングする検索結果をスクリーニングすること、或いは、
予め決定されたキーワードと関連語とのマッピング関係に基づき、前記キーワードに対応する関連語を決定し、各検索結果に含まれる前記キーワード及び対応する関連語の総量を統計し、検索結果に対応する総量が予め設定された数量以上であると、該検索結果が前記キーワードとマッチングする検索結果であると決定し、検索結果に対応する総量が予め設定された数量より小さいと、該検索結果が前記キーワードとマッチングしない検索結果であると決定すること
を含むことを特徴とする請求項１６に記載の媒体。
【請求項１９】
前記予め決定された精度分析規則は、
それぞれ生成した第１の検索シーケンス番号における各番号を予め設定された公式に代入し、前記第１の検索シーケンス番号における各番号に対応する第１の割引値を計算し、ただし、計算した各第１の割引値の集合が前記第１の検索システムに対応する第１の割引セットであることと、
それぞれ生成した第２の検索シーケンス番号における各番号を予め設定された公式に代入し、前記第２の検索シーケンス番号における各番号に対応する第２の割引値を計算し、ただし、計算した各第２の割引値の集合が前記第２の検索システムに対応する第２の割引セットであることと、
前記第１の割引セットにおける各割引値に対して和を求め、前記第１の検索システムに対応する第１の正確さを取得し、且つ前記第２の割引セットにおける各割引値に対して和を求め、前記第２の検索システムに対応する第２の正確さを取得することと、
前記第１の正確さと前記第２の正確さを分析することにより、前記第２の検索システムに対する前記第１の検索システムの精度を決定することと、
を含むことを特徴とする請求項１６に記載の媒体。
【請求項２０】
前記少なくとも１つのコンピュータコマンドによって実行される前記第１の正確さと前記第２の正確さを分析することにより、前記第２の検索システムに対する前記第１の検索システムの精度を決定するステップは、
前記第１の正確さと前記第２の正確さとの間の大小関係を分析するステップと
前記第１の正確さが前記第２の正確さより大きいと、前記第１の検索システムの検索結果が前記第２の検索システムの検索結果より正確であると決定するステップと、
前記第１の正確さが前記第２の正確さより小さいと、前記第２の検索システムの検索結果が前記第１の検索システムの検索結果より正確であると決定するステップと、
前記第１の正確さが前記第２の正確さに等しいと、前記第１の検索システムの検索結果の精度と前記第２の検索システムの検索結果の精度が同じであると決定するステップと、
を含むことを特徴とする請求項１９に記載の媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
「関連出願の相互参照」
本願は、パリ条約に基づいて２０１７年５月１０日に中国知識財産局に出願された「情報検索精度の評価方法、装置及びコンピュータ読み取り可能な記憶媒体」と題する中国特許出願番号ＣＮ２０１７１０３２７３８０３の優先権を主張し、該中国特許出願の全体的な内容は参照により本願に組み込まれる。
【０００２】
本発明は、情報検索分野に関し、特に情報検索精度の評価方法、システム、装置及びコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【０００３】
現在、汎用的な情報検索結果の精度検出方法としては、以下の４種類がある。
１、Ｐｒｅｃｉｓｉｏｎ、すなわち、リコール検索結果における関連結果の割合を検査する。
２、ＭＲＲ（Ｍｅａｎ  Ｒｅｃｉｐｒｏｃａｌ  Ｒａｎｋ）、すなわち、ソートの返信結果での作用を区別し、関連するリコール順位がより前側に位置すれば結果もよくなる。
３、平均値ＭＡＰ（Ｍｅａｎ  Ａｖｅｒａｇｅ  Ｐｒｅｃｉｓｉｏｎ）、すなわち、各関連するドキュメントが検索された正確さの平均値（すなわちＡｖｅｒａｇｅ  Ｐｒｅｃｉｓｉｏｎ）の算術平均値（Ｍｅａｎ）を求める。
４、ＤＣＧ（Ｄｉｓｃｏｕｎｔｅｄ  Ｃｕｍｕｌａｔｉｖｅ  Ｇａｉｎ）、すなわち、ある検索語の結果を採点する。
現在常用している４種類の方法について、第１の方法は、最も簡単で汎用性が高いが、計算量が大きすぎ、すべての検索結果の関連性を手動でマークする必要があり、同時に結果の順位を配慮しないため精度に影響を与える。
第２の方法は、簡単であるが、検索の第１の関連結果のみを配慮し、実際の工学的応用において、第１の関連結果のみを注目するより、ユーザは複数の結果を確認して統合して評価することが要求される場合があり、従って、実際の使用においてユーザの使用をよく満たすことができず、精度が低い。
第３の方法は、関連結果の順位とあらゆる関連性を統合して配慮するが、リポジトリにおけるすべての結果の順位を配慮しなければならないため、大規模な手動スクリーニングを必要とし、人と物を浪費し、効率が低く、誤りが生じやすい。
第４の方法も、採点過程で所要の人為的因子が多すぎるため、定量化しにくい。
要約すると、現在常用している情報検索結果の精度判断方法は、計算量が大きく、大規模な手動スクリーニングを必要とし、精度が低い等の問題が存在する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、従来の情報検索精度の評価方法に存在する上記問題を解決するための情報検索精度の評価方法、装置及びコンピュータ読み取り可能な記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の第１の態様にて提供する情報検索精度の評価方法は、
予め決定された第１の検索システムを利用して予め決定されたキーワードに対応する少なくとも１つの第１の検索結果を検索し、且つ予め決定された第２の検索システムを利用してキーワードに対応する少なくとも１つの第２の検索結果を検索するステップＡと、
予め設定されたシーケンス番号生成規則に基づき、前記第１の検索結果に対応する第１の検索シーケンス番号、及び前記第２の検索結果に対応する第２の検索シーケンス番号を生成するステップＢと、
予め決定された精度分析規則に基づいて生成した第１の検索シーケンス番号と第２の検索シーケンス番号を分析することにより、第２の検索システムに対する第１の検索システムの精度を分析するステップＣと、を含む。
【０００６】
本発明の第２の態様にて提供する情報検索精度の評価システムは、
予め決定された第１の検索システムを利用して予め決定されたキーワードに対応する少なくとも１つの第１の検索結果を検索し、且つ予め決定された第２の検索システムを利用してキーワードに対応する少なくとも１つの第２の検索結果を検索することに用いられる検索モジュールと、
予め設定されたシーケンス番号生成規則に基づき、前記第１の検索結果に対応する第１の検索シーケンス番号、及び前記第２の検索結果に対応する第２の検索シーケンス番号を生成することに用いられるシーケンス番号生成モジュールと、
予め決定された精度分析規則に基づいて生成した第１の検索シーケンス番号と第２の検索シーケンス番号を分析することにより、第２の検索システムに対する第１の検索システムの精度を分析することに用いられる精度判断モジュールと、を含む。
【０００７】
本発明の第３の態様にて提供する情報検索精度の評価装置は、記憶装置と、プロセッサと、記憶装置に記憶され且つプロセッサに実行可能な情報検索精度の評価システムとを含み、情報検索精度の評価システムがプロセッサによって実行される時に、
予め決定された第１の検索システムを利用して予め決定されたキーワードに対応する少なくとも１つの第１の検索結果を検索し、且つ予め決定された第２の検索システムを利用してキーワードに対応する少なくとも１つの第２の検索結果を検索するステップＡと、
予め設定されたシーケンス番号生成規則に基づき、第１の検索結果に対応する第１の検索シーケンス番号、及び第２の検索結果に対応する第２の検索シーケンス番号を生成するステップＢと、
予め決定された精度分析規則に基づいて生成した第１の検索シーケンス番号と第２の検索シーケンス番号を分析することにより、第２の検索システムに対する第１の検索システムの精度を分析するステップＣと、を実行する。
【０００８】
本発明の第４の態様にて提供するコンピュータ読み取り可能な記憶媒体は、処理装置によって実行されて以下の操作を実現する少なくとも１つのコンピュータ読み取り可能なコマンドが記憶された媒体である。
Ａ、予め決定された第１の検索システムを利用して予め決定されたキーワードに対応する少なくとも１つの第１の検索結果を検索し、且つ予め決定された第２の検索システムを利用して前記キーワードに対応する少なくとも１つの第２の検索結果を検索し、
Ｂ、予め設定されたシーケンス番号生成規則に基づき、前記第１の検索結果に対応する第１の検索シーケンス番号、及び前記第２の検索結果に対応する第２の検索シーケンス番号を生成し、
Ｃ、予め決定された精度分析規則に基づいて生成した前記第１の検索シーケンス番号と前記第２の検索シーケンス番号を分析することにより、前記第２の検索システムに対する前記第１の検索システムの精度を分析する。
【発明の効果】
【０００９】
従来技術に比べて、本発明の情報検索精度の評価方法、装置及びコンピュータ読み取り可能な記憶媒体は、まず、検索システムが検索した予め決定されたキーワードに対応する検索結果を決定することにより、予め設定されたシーケンス番号生成規則に基づいて検索結果に対応する検索シーケンス番号を生成し、次に、予め決定された精度分析規則によって検索シーケンス番号を分析することにより、検索システムの精度を分析する。本発明の情報検索精度の評価方法、装置及びコンピュータ読み取り可能な記憶媒体を実施することによってすべての検索結果を手動でマークすることを効果的に回避し、計算量を減少させ、同時に検索結果において予め設定されたキーワードと関連する検索結果のソートを配慮し、検索システムの評価の精度を効果的に向上させる。
【図面の簡単な説明】
【００１０】
【図１】本発明の情報検索精度の評価システムの一実施例の実行環境の模式図である。
【図２】本発明の一実施例のフローチャートである。
【図３】図１に示されるステップＳ３における精度分析規則のステップである。
【図４】本発明の一実施例の機能モジュールの模式図である。
【図５】図４に示されるシーケンス番号生成モジュールの構造模式図である。
【図６】図４に示される精度判断モジュールの構造模式図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本発明の原理及び特徴を説明し、挙げられた例は、本発明の範囲を制限するものではなく、本発明の解釈のみに用いられる。
【００１２】
図１に示すように、それは、本発明の情報検索精度の評価システム１０の好適な実施例の実行環境の模式図である。
【００１３】
本実施例において、情報検索精度の評価システム１０は情報検索精度の評価装置１にインストールされて実行される。
【００１４】
情報検索精度の評価装置１は、事前に設定又は記憶されたコマンドに従って、数値計算及び／又は情報処理を自動的に行うことができる装置である。情報検索精度の評価装置１は、コンピュータであってもよく、また単一のネットワークサーバー、複数のネットワークサーバーからなるサーバーグループ又はクラウドコンピューティングに基づいて大量のホストコンピュータ又はネットワークサーバーで構成されるクラウドであってもよく、ただし、クラウドコンピューティングは、分散型コンピューティングの１種であり、疎結合されているコンピュータセットからなる仮想スーパーコンピュータである。
【００１５】
本実施例において、情報検索精度の評価装置１は、システムバスを介して互いに通信可能に接続される記憶装置１１と、プロセッサ１２と、ネットワークインタフェース１３とを含むがこれらに限定されない。なお、図１はコンポーネント１１−１３を備える情報検索精度の評価装置１のみを示すが、示されるすべてのコンポーネントを実施することは要求されず、その代わりにより多いか又はより少ないコンポーネントを実施できると理解すべきである。
【００１６】
ただし、記憶装置１１は、メモリと、少なくとも１種の読み取り可能な記憶媒体とを含む。メモリは、情報検索精度の評価装置１の実行にキャッシュメモリを提供する。読み取り可能な記憶媒体は、例えばフラッシュメモリ、ハードディスク、マルチメディアカード、カード型メモリ等の不揮発性記憶媒体であってもよい。いくつかの実施例において、該記憶媒体は、情報検索精度の評価装置１の内部記憶ユニット、例えば該情報検索精度の評価装置１のハードディスクであってもよい。他のいくつかの実施例において、該不揮発性記憶媒体は、情報検索精度の評価装置１の外部記憶装置、例えば情報検索精度の評価装置１に配置されるプラグインハードディスク、スマートメディアカード（Ｓｍａｒｔ  Ｍｅｄｉａ(登録商標)  Ｃａｒｄ、ＳＭＣ）、セキュアデジタル（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ、ＳＤ）カード、フラッシュカード（Ｆｌａｓｈ  Ｃａｒｄ）等であってもよい。本実施例において、記憶装置１１の読み取り可能な記憶媒体は、常に情報検索精度の評価装置１にインストールされるオペレーティングシステム及び各種のアプリケーションソフトウエア、例えば本願の一実施例における情報検索精度の評価システム１０のプログラムコード等を記憶することに用いられる。また、記憶装置１１は、さらに既に出力されたか又は出力される各種のデータを一時的に記憶することに用いられる。
【００１７】
プロセッサ１２は、いくつかの実施例において、中央プロセッサ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、ＣＰＵ）、マイクロプロセッサ又は他のデータ処理チップであってもよい。プロセッサ１２は、常に情報検索精度の評価装置１の全体的な操作を制御することに用いられる。例えば、本実施例において、記憶装置１１に記憶されたプログラムコード又は処理データを実行することに用いられ、例えば情報精度の評価システム１０等を実行する。
【００１８】
ネットワークインタフェース１３は、無線ネットワークインタフェース又は有線ネットワークインタフェースを含むことができ、ネットワークインタフェース１３は、常に情報検索精度の評価装置１と他の電子機器の間に通信接続を確立することに用いられる。
【００１９】
なお、いくつかの実施例において、情報検索精度の評価装置１は、さらにディスプレイ（ディスプレイは図示せず）を含み、いくつかの実施例において、ディスプレイは、ＬＥＤディスプレイ、液晶ディスプレイ、タッチ液晶ディスプレイ及びＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ、有機発光ダイオード）タッチデバイス等であってもよい。例えば、本発明の他のいくつかの実施例において、ディスプレイは、情報検索精度の評価装置１に処理された情報の表示及び可視化のユーザインタフェースの表示に用いられ、例えば情報検索結果の表示インタフェース等を表示することに用いられる。
【００２０】
情報検索精度の評価システム１０は、少なくとも１つの記憶装置１１に記憶されたコンピュータ読み取り可能なコマンドを含み、該少なくとも１つのコンピュータ読み取り可能なコマンドは、プロセッサ１２に実行されてもよく、それにより、本願の各実施例の情報検索精度の評価方法を実現する。後述するように、該少なくとも１つのコンピュータ読み取り可能なコマンドは、その各部分が実現する機能の違いにより、異なるロジックモジュールに分割することができる。
【００２１】
一実施例において、情報検索精度の評価システム１０がプロセッサ１２によって実行される時に、以下の操作を実現する。まず、予め決定された第１の検索システムを利用して予め決定されたキーワードに対応する少なくとも１つの第１の検索結果を検索し、且つ予め決定された第２の検索システムを利用して前記キーワードに対応する少なくとも１つの第２の検索結果を検索し、次に、予め設定されたシーケンス番号生成規則に基づき、前記第１の検索結果に対応する第１の検索シーケンス番号、及び前記第２の検索結果に対応する第２の検索シーケンス番号を生成し、最後に、予め決定された精度分析規則に基づいて生成した前記第１の検索シーケンス番号と前記第２の検索シーケンス番号を分析することにより、前記第２の検索システムに対する前記第１の検索システムの精度を分析する。
【００２２】
図２に示すように、図２は、本発明の一実施例のフローチャートである。図２から分かるように、本実施例の情報検索精度の評価方法は、ステップＳ１と、ステップＳ２と、ステップＳ３と、を含む。
【００２３】
ステップＳ１では、予め決定された検索システムを利用して予め決定されたキーワードに対応する検索結果を検索する。
【００２４】
好ましくは、本実施例において、予め決定された検索システムは、第１の検索システムと、第２の検索システムと、を含む。そのうち、第１の検索システムと第２の検索システムは、独立した検索システムであってもよく、又は、第２の検索システムは、第１の検索システムを最適化した後のアップグレードシステムである。
【００２５】
さらに、第１の検索システムが予め決定されたキーワードに対応する第１の検索結果を検索し、且つ第２の検索システムを利用して第１の検索システムが検索した予め決定されたキーワードと同じであるキーワードに対応する第２の検索結果を検索する。理解されるように、第１の検索結果は、複数の内容が異なる検索結果であり、第２の検索結果も、複数の内容が異なる検索結果である。第１の検索結果と第２の検索結果の個数は同じであってもよいし異なっていてもよい。
【００２６】
ステップＳ２では、予め設定されたシーケンス番号生成規則に基づき、検索シーケンス番号を生成する。ステップＳ１と結び付け、理解されるように、本実施例において、予め設定されたシーケンス番号生成規則に基づき、第１の検索結果に対応する第１の検索シーケンス番号を生成し、及び第２の検索結果に対応する第２の検索シーケンス番号を生成する。
【００２７】
好ましくは、本実施例において、該ステップは、
予め決定されたスクリーニング規則に基づいて第１の検索結果から予め決定されたキーワードとマッチングする第３の検索結果をスクリーニングし、第２の検索結果から予め決定されたキーワードとマッチングする第４の検索結果をスクリーニングすることと、
第３の検索結果における各検索内容の第１の検索結果での第１のソート番号を決定し、第４の検索結果における各検索内容の第２の検索結果での第２のソート番号を決定することと、
第１のソート番号に基づいて第１の検索結果に対応する第１の検索シーケンス番号を生成し、且つ第２のソート番号に基づいて第２の検索結果に対応する第２の検索シーケンス番号を生成することと、を含む。
【００２８】
ただし、検索内容は、検索キーワードとマッチングする関連ウェブページの名称及びリンクアドレス内容、検索キーワードとマッチングする関連ドキュメントの名称及びリンクアドレス内容等を含む。
【００２９】
さらに、予め決定されたスクリーニング規則は、手動方式で第１の検索結果及び第２の検索結果から予め決定されたキーワードとマッチングする検索結果をスクリーニングすること、或いは、予め決定されたキーワードと関連語とのマッピング関係に基づき、予め決定されたキーワードに対応する関連語を決定し、各検索結果に含まれる予め決定されたキーワード及び対応する関連語の総量を統計し、検索結果に対応する総量が予め設定された数量以上であると、該検索結果が予め決定されたキーワードとマッチングする検索結果であると決定し、検索結果に対応する総量が予め設定された数量より小さいと、該検索結果が予め決定されたキーワードとマッチングしない検索結果であると決定することを含む。
【００３０】
ステップＳ３では、予め決定された精度分析規則に基づいて生成した検索シーケンス番号を分析することにより、検索システムの精度を分析する。
【００３１】
上記ステップＳ１とステップＳ２に対応し、理解されるように、本実施例において、予め決定された精度分析規則に基づいて生成した第１の検索シーケンス番号と第２の検索シーケンス番号を分析することにより、第１の検索システムと第２の検索システムの精度を分析する。
【００３２】
従来技術に比べて、本実施例は、異なる検索システムを利用して予め決定されたキーワードに対応する各検索システムの検索結果を検索することにより、さらに各検索結果から検索キーワードとマッチングする検索結果をスクリーニングし、検索キーワードとマッチングする検索結果に対して検索結果の内容に基づいてソートして異なる検索システムに対応する異なるソート番号を取得し、最後に、予め設定された公式に基づいて各異なるソート番号を分析して計算することにより、異なる検索システムに対応する精度を分析し、大量の手動操作を効果的に回避すると同時に、情報検索システムの検索精度評価を効果的に向上させる。
【００３３】
好ましくは、図３に示すように、図２に示されるステップＳ３における精度分析規則のステップである。図３から分かるように、本実施例において、精度分析規則は、Ｓ３１と、Ｓ３２と、Ｓ３３と、を含む。
【００３４】
Ｓ３１では、生成した検索シーケンス番号における各番号を予め設定された公式に代入し、検索シーケンス番号における各番号に対応する割引値を計算し、且つ各割引値の集合が割引セットである。
【００３５】
上記図２の各ステップと結び付けて明らかなように、本実施例において、該ステップは、
それぞれ生成した第１の検索シーケンス番号における各番号を予め設定された公式に代入し、第１の検索シーケンス番号における各番号に対応する第１の割引値を計算し、ただし、計算した各第１の割引値の集合が第１の検索システムに対応する第１の割引セットであることと、
それぞれ生成した第２の検索シーケンス番号における各番号を予め設定された公式に代入し、第２の検索シーケンス番号における各番号に対応する第２の割引値を計算し、ただし、計算した各第２の割引値の集合が第２の検索システムに対応する第２の割引セットであることと、を含む。
【００３６】
さらに、予め設定された公式は、１／Ｌｏｇ（１＋Ｎ）であり、ここで、Ｎは、検索シーケンス番号における番号を表す。
【００３７】
Ｓ３２では、割引セットにおける割引値に対して和を求め、検索の正確さを取得する。理解されるように、本実施例において、該ステップは、第１の割引セットにおける各割引値に対して和を求め、第１の検索システムに対応する第１の正確さを取得し、且つ第２の割引セットにおける各割引値に対して和を求め、第２の検索システムに対応する第２の正確さを取得することを含む。
【００３８】
Ｓ２３では、異なる検索システムの検索の正確さを比較し、異なる検索システムの精度を決定する。本実施例において、該ステップは、第１の正確さと第２の正確さを分析することにより、第２の検索システムに対する第１の検索システムの精度を決定する。具体的には、第１の正確さと第２の正確さとの間の大小関係を比較し、第１の検索システムと第２の検索システムの精度を決定する。
【００３９】
好ましくは、第１の検索システムと第２の検索システムの精度を決定することは、第１の正確さと第２の正確さとの間の大小関係を分析し、第１の正確さが第２の正確さより大きいと、第１の検索システムの検索結果が第２の検索システムの検索結果より正確であると決定することと、第１の正確さが第２の正確さより小さいと、第２の検索システムの検索結果が第１の検索システムの検索結果より正確であると決定することと、第１の正確さが第２の正確さに等しいと、第１の検索システムの検索結果の精度と第２の検索システムの検索結果の精度が同じであると決定することと、を含む。
【００４０】
例えば、一実施例において、それぞれ２つの異なる第１の検索システムと第２の検索システムにおいて同じキーワードでそれぞれ１回検索し、第１の検索システムにおいて、第１の検索システムが返信する前の１０個の検索結果を順次選択し、予め設定された判断標準に基づいて５個のマッチングした検索結果を取得し、且つ得られた第１のシーケンス番号が１、２、４、５、９であり、それで予め設定された公式１／Ｌｏｇ（１＋Ｎ）に基づいて割引分析を行うことで、得られた第１の割引セットは、１／Ｌｏｇ（１＋１）、１／Ｌｏｇ（１＋２）、１／Ｌｏｇ（１＋４）、１／Ｌｏｇ（１＋５）、１／Ｌｏｇ（１＋９）である。第２の検索システムにおいて、第２の検索システムが返信する前の１０個の検索結果を順次選択し、予め設定された判断標準に基づいて６個のマッチングした検索結果を取得し、且つ得られた第２のシーケンス番号が１、６、７、８、９、１０であり、それで予め設定された公式１／Ｌｏｇ（１＋Ｎ）に基づいて割引分析を行うことで、得られた第２の割引セットは、１／Ｌｏｇ（１＋１）、１／Ｌｏｇ（１＋６）、１／Ｌｏｇ（１＋７）、１／Ｌｏｇ（１＋８）、１／Ｌｏｇ（１＋９）、１／Ｌｏｇ（１＋１０）である。
【００４１】
さらに、第１の割引セットにおける各割引値に対して和を求め、第１の検索システムに対応する第１の正確さＬ１を取得する。第２の割引セットにおける各割引値に対して和を求め、第２の検索システムに対応する第２の正確さＬ２を取得する。ここで、Ｌ１＝（１／Ｌｏｇ（１＋１））＋（１／Ｌｏｇ（１＋２））＋（１／Ｌｏｇ（１＋４））＋（１／Ｌｏｇ（１＋５））＋（１／Ｌｏｇ（１＋９））、Ｌ２＝（１／Ｌｏｇ（１＋１））＋（１／Ｌｏｇ（１＋６））＋（１／Ｌｏｇ（１＋７））＋（１／Ｌｏｇ（１＋８））＋（１／Ｌｏｇ（１＋９））＋（１／Ｌｏｇ（１＋１０））。Ｌ１とＬ２値の大きさを比較すると、Ｌ１の値がＬ２の値より大きいことが明らかになり、第１の検索システムの検索結果が第２の検索システムの検索結果より正確であると決定する。
【００４２】
理解されるように、第２の検索システムが第１の検索システムを最適化した後の検索システムであると、第１の検索システムに対する最適化が成功しないと決定できる。この実施例において、第２の検索システムが検出した予め設定された検索キーワードとマッチングする検索結果の数量（６個）が、第１の検索システムが検出した予め設定された検索キーワードとマッチングする検索結果（５個）より多いが、第１の検索システムが検出した予め設定された検索キーワードとマッチングする検索結果の返信した検索結果でのソートは、第１の検索システムが検出したマッチングした検索結果の返信した検索結果でのソートより全体的に優先的であり、従って、第１の検索システムの検索結果が第２の検索システムの検索結果より正確であると判定し、計算量が非常に小さい場合には、正確な情報検索結果の精度分析結果を提供することを実現する。
【００４３】
従来技術に比べて、本実施例は、異なる検索システムを利用して予め決定されたキーワードに対応する各検索システムの検索結果を検索することにより、さらに各検索結果から検索キーワードとマッチングする検索結果をスクリーニングし、検索キーワードとマッチングする検索結果に対して検索結果の内容に基づいてソートして異なる検索システムに対応する異なるソート番号を取得し、最後に、予め設定された公式に基づいて各異なるソート番号を分析して計算することにより、異なる検索システムに対応する精度を分析し、大量の手動操作を効果的に回避すると同時に、情報検索システムの検索精度評価を効果的に向上させる。
【００４４】
図４に示すように、それは、本発明の情報検索精度の評価システム１０の好適な実施例の機能モジュールの模式図である。本実施例において、情報検索精度の評価システム１０は、１つ又は複数のモジュールに分割されてもよく、１つ又は複数のモジュールは、記憶装置１１に記憶され、且つ１つ又は複数のプロセッサ（本実施例ではプロセッサ１２）によって実行され、本発明を完了する。例えば、図４において、情報検索精度の評価システム１０は、検索モジュール１０１、シーケンス番号生成モジュール１０２及び精度判断モジュール１０３に分割されてもよい。本発明で言うモジュールは、特定の機能を完了できる一連のコンピュータプログラムコマンドセグメントを指し、情報検索精度の評価システム１０の電子装置１での実行過程を説明することにプログラムよりも適切である。
【００４５】
検索モジュール１０１は、予め決定された第１の検索システムを利用して予め決定されたキーワードに対応する少なくとも１つの第１の検索結果を検索し、且つ予め決定された第２の検索システムを利用して予め決定されたキーワードに対応する少なくとも１つの第２の検索結果を検索することに用いられる。
【００４６】
シーケンス番号生成モジュール１０２は、予め設定されたシーケンス番号生成規則に基づき、第１の検索結果に対応する第１の検索シーケンス番号、及び第２の検索結果に対応する第２の検索シーケンス番号を生成することに用いられる。
【００４７】
精度判断モジュール１０３は、予め決定された精度分析規則に基づいて生成した第１の検索シーケンス番号と第２の検索シーケンス番号を分析することにより、第１の検索システムと第２の検索システムの精度を分析することに用いられる。
【００４８】
さらに、図５に示すように、本実施例において、シーケンス番号生成モジュール１０２は、スクリーニングユニット１０２１、ソート番号生成ユニット１０２２及びシーケンス番号生成ユニット１０２３に分割される。
【００４９】
そのうち、スクリーニングユニット１０２１は、予め決定されたスクリーニング規則に基づいて第１の検索結果から予め決定されたキーワードとマッチングする第３の検索結果をスクリーニングし、第２の検索結果から予め決定されたキーワードとマッチングする第４の検索結果をスクリーニングすることに用いられる。
【００５０】
ソート番号生成ユニット１０２２は、第３の検索結果における各検索内容の第１の検索結果での第１のソート番号を決定し、第４の検索結果における各検索内容の第２の検索結果での第２のソート番号を決定することに用いられる。
【００５１】
シーケンス番号生成ユニット１０２３は、第１のソート番号に基づいて第１の検索結果に対応する第１の検索シーケンス番号を生成し、且つ第２のソート番号に基づいて第２の検索結果に対応する第２の検索シーケンス番号を生成することに用いられる。
【００５２】
さらに、図６に示すように、本実施例において、精度判断モジュール１０３は、第１の計算ユニット１０３１、第２の計算ユニット１０３２、第３の計算ユニット１０３３及び判断ユニット１０３４に分割される。
【００５３】
そのうち、第１の計算ユニット１０３１は、それぞれ生成した第１の検索シーケンス番号における各番号を予め設定された公式に代入し、第１の検索シーケンス番号における各番号に対応する第１の割引値を計算することに用いられ、且つ計算した各第１の割引値の集合がすなわち第１の検索システムに対応する第１の割引セットである。
【００５４】
第２の計算ユニット１０３２は、それぞれ生成した第２の検索シーケンス番号における各番号を予め設定された公式に代入し、第２の検索シーケンス番号における各番号に対応する第２の割引値を計算することに用いられ、且つ計算した各第２の割引値の集合がすなわち第２の検索システムに対応する第２の割引セットである。
【００５５】
第３の計算ユニット１０３３は、第１の割引セットにおける各割引値に対して和を求め、第１の検索システムに対応する第１の正確さを取得し、且つ第２の割引セットにおける各割引値に対して和を求め、第２の検索システムに対応する第２の正確さを取得することに用いられる。
【００５６】
判断ユニット１０３４は、第１の正確さと第２の正確さを分析することにより、第１の検索システムと第２の検索システムの精度を決定することに用いられる。
【００５７】
さらに、判断ユニット１０４３は、分析サブユニット（図示せず）を含み、分析サブユニットは、第１の正確さと第２の正確さとの間の大小関係を分析することに用いられ、
第１の正確さが第２の正確さより大きいと、第１の検索システムの検索結果が第２の検索システムの検索結果より正確であると決定し、
第１の正確さが第２の正確さより小さいと、第２の検索システムの検索結果が第１の検索システムの検索結果より正確であると決定し、
第１の正確さが第２の正確さに等しいと、第１の検索システムの検索結果の精度と第２の検索システムの検索結果の精度が同じであると決定する。
【００５８】
従来技術に比べて、本実施例は、異なる検索システムを利用して予め決定されたキーワードに対応する各検索システムの検索結果を検索することにより、さらに各検索結果から検索キーワードとマッチングする検索結果をスクリーニングし、検索キーワードとマッチングする検索結果に対して検索結果の内容に基づいてソートして異なる検索システムに対応する異なるソート番号を取得し、最後に、予め設定された公式に基づいて各異なるソート番号を分析して計算することにより、異なる検索システムに対応する精度を分析し、大量の手動操作を効果的に回避すると同時に、情報検索システムの検索精度評価を効果的に向上させる。
【００５９】
上記各実施例から分かるように、本発明の情報検索精度の評価方法及びシステムは、従来の汎用的な精度検出方法に比べて、データを大規模に手動でマークするステップを省き、人手による作業量を低減させる状況で、さらに検索システムが検索結果を検索する精度を向上させる。
【００６０】
以上は、本発明の好適な実施例にすぎず、本発明を制限するものではなく、本発明の精神及び原則内で行われる修正、同等変換、改良等は、いずれも本発明の保護範囲に含まれる。
【図１】
2019521406.tif 000003
【図２】
2019521406.tif 000004
【図３】
2019521406.tif 000005
【図４】
2019521406.tif 000006
【図５】
2019521406.tif 000007
【図６】
2019521406.tif 000008
【手続補正書】
【提出日】平成30年10月11日(2018.10.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
情報検索精度の評価方法であって、
予め決定された第１の検索システムを利用して予め決定されたキーワードに対応する少なくとも１つの第１の検索結果を検索し、且つ予め決定された第２の検索システムを利用して前記キーワードに対応する少なくとも１つの第２の検索結果を検索するステップＡと、
予め設定されたシーケンス番号生成規則に基づき、前記第１の検索結果に対応する第１の検索シーケンス番号、及び前記第２の検索結果に対応する第２の検索シーケンス番号を生成するステップＢと、
予め決定された精度分析規則に基づいて生成した前記第１の検索シーケンス番号と前記第２の検索シーケンス番号を分析することにより、前記第２の検索システムに対する前記第１の検索システムの精度を分析するステップＣと、
を含むことを特徴とする情報検索精度の評価方法。
【請求項２】
前記ステップＢは、
予め決定されたスクリーニング規則に基づいて前記第１の検索結果から前記キーワードとマッチングする第３の検索結果をスクリーニングし、前記第２の検索結果から前記キーワードとマッチングする第４の検索結果をスクリーニングするステップＥと、
前記第３の検索結果における各検索内容の前記第１の検索結果での第１のソート番号を決定し、前記第４の検索結果における各検索内容の前記第２の検索結果での第２のソート番号を決定するステップＦと、
前記第１のソート番号に基づいて前記第１の検索結果に対応する第１の検索シーケンス番号を生成し、且つ前記第２のソート番号に基づいて前記第２の検索結果に対応する第２の検索シーケンス番号を生成するステップＧと、
を含むことを特徴とする請求項１に記載の情報検索精度の評価方法。
【請求項３】
前記予め決定されたスクリーニング規則は、
手動方式で前記第１の検索結果及び前記第２の検索結果から前記キーワードとマッチングする検索結果をスクリーニングすること、或いは、
予め決定されたキーワードと関連語とのマッピング関係に基づき、前記キーワードに対応する関連語を決定し、各検索結果に含まれる前記キーワード及び対応する関連語の総量を統計し、検索結果に対応する総量が予め設定された数量以上であると、該検索結果が前記キーワードとマッチングする検索結果であると決定し、検索結果に対応する総量が予め設定された数量より小さいと、該検索結果が前記キーワードとマッチングしない検索結果であると決定すること
を含むことを特徴とする請求項１又は２に記載の情報検索精度の評価方法。
【請求項４】
前記予め決定された精度分析規則は、
それぞれ生成した第１の検索シーケンス番号における各番号を予め設定された公式に代入し、前記第１の検索シーケンス番号における各番号に対応する第１の割引値を計算し、ただし、計算した各第１の割引値の集合が前記第１の検索システムに対応する第１の割引セットであることと、
それぞれ生成した第２の検索シーケンス番号における各番号を予め設定された公式に代入し、前記第２の検索シーケンス番号における各番号に対応する第２の割引値を計算し、ただし、計算した各第２の割引値の集合が前記第２の検索システムに対応する第２の割引セットであることと、
前記第１の割引セットにおける各割引値に対して和を求め、前記第１の検索システムに対応する第１の正確さを取得し、且つ前記第２の割引セットにおける各割引値に対して和を求め、前記第２の検索システムに対応する第２の正確さを取得することと、
前記第１の正確さと前記第２の正確さを分析することにより、前記第２の検索システムに対する前記第１の検索システムの精度を決定することと、
を含むことを特徴とする請求項１に記載の情報検索精度の評価方法。
【請求項５】
前記第１の正確さと前記第２の正確さを分析することにより、前記第２の検索システムに対する前記第１の検索システムの精度を決定する前記ステップは、
前記第１の正確さと前記第２の正確さとの間の大小関係を分析することと、
前記第１の正確さが前記第２の正確さより大きいと、前記第１の検索システムの検索結果が前記第２の検索システムの検索結果より正確であると決定することと、
前記第１の正確さが前記第２の正確さより小さいと、前記第２の検索システムの検索結果が前記第１の検索システムの検索結果より正確であると決定することと、
前記第１の正確さが前記第２の正確さに等しいと、前記第１の検索システムの検索結果の精度と前記第２の検索システムの検索結果の精度が同じであると決定することと、
を含むことを特徴とする請求項４に記載の情報検索精度の評価方法。
【請求項６】
情報検索精度の評価装置であって、記憶装置と、プロセッサと、前記記憶装置に記憶され且つ前記プロセッサに実行可能な情報検索精度の評価システムとを含み、前記情報検索精度の評価システムが前記プロセッサによって実行される時に、
予め決定された第１の検索システムを利用して予め決定されたキーワードに対応する少なくとも１つの第１の検索結果を検索し、且つ予め決定された第２の検索システムを利用して前記キーワードに対応する少なくとも１つの第２の検索結果を検索するステップＡと、
予め設定されたシーケンス番号生成規則に基づき、前記第１の検索結果に対応する第１の検索シーケンス番号、及び前記第２の検索結果に対応する第２の検索シーケンス番号を生成するステップＢと、
予め決定された精度分析規則に基づいて生成した前記第１の検索シーケンス番号と前記第２の検索シーケンス番号を分析することにより、前記第２の検索システムに対する前記第１の検索システムの精度を分析するステップＣと、
を実行することを特徴とする情報検索精度の評価装置。
【請求項７】
前記プロセッサによって実行される前記ステップＢは、
予め決定されたスクリーニング規則に基づいて前記第１の検索結果から前記キーワードとマッチングする第３の検索結果をスクリーニングし、前記第２の検索結果から前記キーワードとマッチングする第４の検索結果をスクリーニングするステップＥと、
前記第３の検索結果における各検索内容の前記第１の検索結果での第１のソート番号を決定し、前記第４の検索結果における各検索内容の前記第２の検索結果での第２のソート番号を決定するステップＦと、
前記第１のソート番号に基づいて前記第１の検索結果に対応する第１の検索シーケンス番号を生成し、且つ前記第２のソート番号に基づいて前記第２の検索結果に対応する第２の検索シーケンス番号を生成するステップＧと、
を含むことを特徴とする請求項６に記載の情報検索精度の評価装置。
【請求項８】
前記予め決定されたスクリーニング規則は、
予め決定されたキーワードと関連語とのマッピング関係に基づき、前記キーワードに対応する関連語を決定し、各検索結果に含まれる前記キーワード及び対応する関連語の総量を統計し、検索結果に対応する総量が予め設定された数量以上であると、該検索結果が前記キーワードとマッチングする検索結果であると決定し、検索結果に対応する総量が予め設定された数量より小さいと、該検索結果が前記キーワードとマッチングしない検索結果であると決定することを含む
ことを特徴とする請求項６に記載の情報検索精度の評価装置。
【請求項９】
前記予め決定された精度分析規則は、
それぞれ生成した第１の検索シーケンス番号における各番号を予め設定された公式に代入し、前記第１の検索シーケンス番号における各番号に対応する第１の割引値を計算し、ただし、計算した各第１の割引値の集合が前記第１の検索システムに対応する第１の割引セットであることと、
それぞれ生成した第２の検索シーケンス番号における各番号を予め設定された公式に代入し、前記第２の検索シーケンス番号における各番号に対応する第２の割引値を計算し、ただし、計算した各第２の割引値の集合が前記第２の検索システムに対応する第２の割引セットであることと、
前記第１の割引セットにおける各割引値に対して和を求め、前記第１の検索システムに対応する第１の正確さを取得し、且つ前記第２の割引セットにおける各割引値に対して和を求め、前記第２の検索システムに対応する第２の正確さを取得することと、
前記第１の正確さと前記第２の正確さを分析することにより、前記第２の検索システムに対する前記第１の検索システムの精度を決定することと、
を含むことを特徴とする請求項６に記載の情報検索精度の評価装置。
【請求項１０】
前記プロセッサによって実行される前記第１の正確さと前記第２の正確さを分析することにより、前記第２の検索システムに対する前記第１の検索システムの精度を決定するステップは、
前記第１の正確さと前記第２の正確さとの間の大小関係を分析するステップと
前記第１の正確さが前記第２の正確さより大きいと、前記第１の検索システムの検索結果が前記第２の検索システムの検索結果より正確であると決定するステップと、
前記第１の正確さが前記第２の正確さより小さいと、前記第２の検索システムの検索結果が前記第１の検索システムの検索結果より正確であると決定するステップと、
前記第１の正確さが前記第２の正確さに等しいと、前記第１の検索システムの検索結果の精度と前記第２の検索システムの検索結果の精度が同じであると決定するステップと、
を含むことを特徴とする請求項９に記載の情報検索精度の評価装置。
【請求項１１】
コンピュータ読み取り可能な記憶媒体であって、処理装置によって実行されて以下の操作を実現する少なくとも１つのコンピュータ読み取り可能なコマンドが記憶された媒体。
Ａ、予め決定された第１の検索システムを利用して予め決定されたキーワードに対応する少なくとも１つの第１の検索結果を検索し、且つ予め決定された第２の検索システムを利用して前記キーワードに対応する少なくとも１つの第２の検索結果を検索し、
Ｂ、予め設定されたシーケンス番号生成規則に基づき、前記第１の検索結果に対応する第１の検索シーケンス番号、及び前記第２の検索結果に対応する第２の検索シーケンス番号を生成し、
Ｃ、予め決定された精度分析規則に基づいて生成した前記第１の検索シーケンス番号と前記第２の検索シーケンス番号を分析することにより、前記第２の検索システムに対する前記第１の検索システムの精度を分析する。
【請求項１２】
前記少なくとも１つのコンピュータコマンドによって実行される前記ステップＢは、
予め決定されたスクリーニング規則に基づいて前記第１の検索結果から前記キーワードとマッチングする第３の検索結果をスクリーニングし、前記第２の検索結果から前記キーワードとマッチングする第４の検索結果をスクリーニングするステップＥと、
前記第３の検索結果における各検索内容の前記第１の検索結果での第１のソート番号を決定し、前記第４の検索結果における各検索内容の前記第２の検索結果での第２のソート番号を決定するステップＦと、
前記第１のソート番号に基づいて前記第１の検索結果に対応する第１の検索シーケンス番号を生成し、且つ前記第２のソート番号に基づいて前記第２の検索結果に対応する第２の検索シーケンス番号を生成するステップＧと、
を含むことを特徴とする請求項１１に記載の媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
プロセッサ１２は、いくつかの実施例において、中央プロセッサ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、ＣＰＵ）、マイクロプロセッサ又は他のデータ処理チップであってもよい。プロセッサ１２は、常に情報検索精度の評価装置１の全体的な操作を制御することに用いられる。例えば、本実施例において、記憶装置１１に記憶されたプログラムコード又は処理データを実行することに用いられ、例えば情報検索精度の評価システム１０等を実行する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
Ｓ３３では、異なる検索システムの検索の正確さを比較し、異なる検索システムの精度を決定する。本実施例において、該ステップは、第１の正確さと第２の正確さを分析することにより、第２の検索システムに対する第１の検索システムの精度を決定する。具体的には、第１の正確さと第２の正確さとの間の大小関係を比較し、第１の検索システムと第２の検索システムの精度を決定する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
さらに、判断ユニット１０３４は、分析サブユニット（図示せず）を含み、分析サブユニットは、第１の正確さと第２の正確さとの間の大小関係を分析することに用いられ、
第１の正確さが第２の正確さより大きいと、第１の検索システムの検索結果が第２の検索システムの検索結果より正確であると決定し、
第１の正確さが第２の正確さより小さいと、第２の検索システムの検索結果が第１の検索システムの検索結果より正確であると決定し、
第１の正確さが第２の正確さに等しいと、第１の検索システムの検索結果の精度と第２の検索システムの検索結果の精度が同じであると決定する。
【国際調査報告】
2019521406.tif 000009
2019521406.tif 000010
2019521406.tif 000011
2019521406.tif 000012