(57)【要約】【課題】文書だけでなく著者や組織等を検索質問や検索対象とする情報検索システムの評価を可能とし、かつ、文書集合のカテゴリ間に関連性がある場合でも、適切な評価ができることを目的とする。【解決手段】データ項目木、下位階層及び上位階層の入力を受け付ける。このデータ項目木から下位カテゴリ群と上位カテゴリ群に分類する。質問フィールド、質問要素、及び検索対象フィールドを受け付ける。適合要素群を下位カテゴリ記憶手段２の下位カテゴリ群から抽出すると共に、不適合要素群を上位カテゴリ記憶手段３の上位カテゴリ群から抽出する。情報検索システムによって情報検索した情報検索結果に対して、適合要素記憶手段４の適合要素群、及び不適合要素記憶手段５の不適合要素群を参照して、システムの評価結果を計算する。【選択図】      図１
2004227155.tif 000002
【特許請求の範囲】
【請求項１】
予め蓄積された複数の要素の中から検索質問に適合する要素を選び出す情報検索システムがどの程度適合要素を検索できるかを調べることにより、前記情報検索システムの評価を行う情報検索評価装置であって、
複数のデータ項目が特定のフィールド内容に従って複数の階層を持つ木構造に分類されて蓄積されているデータ項目木の入力、並びに当該データ項目木における任意の２つの階層を下位階層及び上位階層とする指定の入力を受け付けるデータ項目木受付手段と、
前記データ項目木受付手段によって受け付けたデータ項目木のうち、前記指定された下位階層を根とした下位部分木に属する全てのデータ項目を同じ下位カテゴリとしてまとめた場合に、前記下位カテゴリの集合としての下位カテゴリ群に分類すると共に、前記指定された上位階層を根とした上位部分木に属する全てのデータ項目を同じ上位カテゴリとしてまとめた場合に、前記上位カテゴリの集合としての上位カテゴリ群に分類する分類手段と、
前記分類手段によって分類した下位カテゴリ群を記憶する下位カテゴリ記憶手段と、
前記分類手段によって分類した上位カテゴリ群を記憶する上位カテゴリ記憶手段と、
前記情報検索システムを利用した情報検索に際して選択されたフィールドである質問フィールド、及び、前記質問フィールドの要素であり、前記情報検索の検索質問である質問要素、並びに、前記情報検索に際して選択され、その要素が情報検索の検索結果としてリストアップされるフィールドである検索対象フィールドを受け付ける質問受付手段と、
前記質問受付手段によって受け付けた質問フィールドの要素である質問要素を持つデータ項目と同じ下位カテゴリに属するデータ項目における検索対象フィールドの要素である適合要素群を、前記下位カテゴリ記憶手段に記憶されている下位カテゴリ群から抽出すると共に、前記質問フィールドの要素である質問要素を持つデータ項目と同じ上位カテゴリに属さない全てのデータ項目における検索対象フィールドの要素である不適合要素群を、前記上位カテゴリ記憶手段に記憶されている上位カテゴリ群から抽出する要素群抽出手段と、
前記要素群抽出手段によって抽出した適合要素群を記憶する適合要素記憶手段と、
前記要素群抽出手段によって抽出した不適合要素群を記憶する不適合要素記憶手段と、
評価対象となる情報検索システムによって情報検索した情報検索結果を入力として受け付ける情報検索結果受付手段と、
前記情報検索結果受付手段によって受け付けた情報検索結果としての検索対象フィールドの要素リストに対して、前記適合要素記憶手段に記憶されている適合要素群、及び前記不適合要素記憶手段に記憶されている不適合要素群を参照することで、前記情報検索結果を出した情報検索システムの評価結果を計算する評価計算手段と、
を有することを特徴とする情報検索評価装置。
【請求項２】
予め蓄積された複数の要素の中から検索質問に適合する要素を選び出す情報検索システムがどの程度適合要素を検索できるかを調べることにより、前記情報検索システムの評価を行うコンピュータにより構築された情報検索評価装置を利用して情報検索評価を行う方法において、前記コンピュータが、下位カテゴリ群を記憶する下位カテゴリ記憶手段と、上位カテゴリ群を記憶する上位カテゴリ記憶手段と、適合要素群を記憶する適合要素記憶手段と、不適合要素群を記憶する不適合要素記憶手段とを有するものであって、
前記コンピュータが、
複数のデータ項目が特定のフィールド内容に従って複数の階層を持つ木構造に分類されて蓄積されているデータ項目木の入力、並びに当該データ項目木における任意の２つの階層を下位階層及び上位階層とする指定の入力を受け付けるデータ項目木受付ステップと、
前記データ項目木受付ステップによって受け付けたデータ項目木のうち、前記指定された下位階層を根とした下位部分木に属する全てのデータ項目を同じ下位カテゴリとしてまとめた場合に、前記下位カテゴリの集合としての下位カテゴリ群に分類すると共に、前記指定された上位階層を根とした上位部分木に属する全てのデータ項目を同じ上位カテゴリとしてまとめた場合に、前記上位カテゴリの集合としての上位カテゴリ群に分類する分類ステップと、
前記分類ステップによって分類した下位カテゴリ群を、前記下位カテゴリ記憶手段に記憶する下位カテゴリ記憶ステップと、
前記分類ステップによって分類した上位カテゴリ群を、前記上位カテゴリ記憶手段に記憶する上位カテゴリ記憶ステップと、
前記情報検索システムを利用した情報検索に際して選択されたフィールドである質問フィールド、及び、前記質問フィールドの要素であり、前記情報検索の検索質問である質問要素、並びに、前記情報検索に際して選択され、その要素が情報検索の検索結果としてリストアップされるフィールドである検索対象フィールドを受け付ける質問受付ステップと、
前記質問受付ステップによって受け付けた質問フィールドの要素である質問要素を持つデータ項目と同じ下位カテゴリに属するデータ項目における検索対象フィールドの要素である適合要素群を、前記下位カテゴリ記憶手段に記憶されている下位カテゴリ群から抽出すると共に、前記質問フィールドの要素である質問要素を持つデータ項目と同じ上位カテゴリに属さない全てのデータ項目における検索対象フィールドの要素である不適合要素群を、前記上位カテゴリ記憶手段に記憶されている上位カテゴリ群から抽出する要素群抽出ステップと、
前記要素群抽出ステップによって抽出した適合要素群を、前記適合要素記憶手段に記憶する適合要素記憶ステップと、
前記要素群抽出ステップによって抽出した不適合要素群を、前記不適合要素記憶手段に記憶する不適合要素記憶ステップと、
評価対象となる情報検索システムによって情報検索した情報検索結果を入力として受け付ける情報検索結果受付ステップと、
前記情報検索結果受付ステップによって受け付けた情報検索結果としての検索対象フィールドの要素リストに対して、前記適合要素記憶手段に記憶されている適合要素群、及び前記不適合要素記憶手段に記憶されている不適合要素群を参照することで、前記情報検索結果を出した情報検索システムの評価結果を計算する評価計算ステップと、
を実行することを特徴とする情報検索評価方法。
【請求項３】
予め蓄積された複数の要素の中から検索質問に適合する要素を選び出す情報検索システムがどの程度適合要素を検索できるかを調べることにより、前記情報検索システムの評価を行うコンピュータにより構築された情報検索評価装置で用いられるプログラムにおいて、前記コンピュータが、下位カテゴリ群を記憶する下位カテゴリ記憶手段と、上位カテゴリ群を記憶する上位カテゴリ記憶手段と、適合要素群を記憶する適合要素記憶手段と、不適合要素群を記憶する不適合要素記憶手段とを有するものであって、
前記コンピュータに、
複数のデータ項目が特定のフィールド内容に従って複数の階層を持つ木構造に分類されて蓄積されているデータ項目木の入力、並びに当該データ項目木における任意の２つの階層を下位階層及び上位階層とする指定の入力を受け付けるデータ項目木受付機能と、
前記データ項目木受付機能によって受け付けたデータ項目木のうち、前記指定された下位階層を根とした下位部分木に属する全てのデータ項目を同じ下位カテゴリとしてまとめた場合に、前記下位カテゴリの集合としての下位カテゴリ群に分類すると共に、前記指定された上位階層を根とした上位部分木に属する全てのデータ項目を同じ上位カテゴリとしてまとめた場合に、前記上位カテゴリの集合としての上位カテゴリ群に分類する分類機能と、
前記分類機能によって分類した下位カテゴリ群を、前記下位カテゴリ記憶手段に記憶する下位カテゴリ記憶機能と、
前記分類ステップによって分類した上位カテゴリ群を、前記上位カテゴリ記憶手段に記憶する上位カテゴリ記憶機能と、
前記情報検索システムを利用した情報検索に際して選択されたフィールドである質問フィールド、及び、前記質問フィールドの要素であり、前記情報検索の検索質問である質問要素、並びに、前記情報検索に際して選択され、その要素が情報検索の検索結果としてリストアップされるフィールドである検索対象フィールドを受け付ける質問受付機能と、
前記質問受付機能によって受け付けた質問フィールドの要素である質問要素を持つデータ項目と同じ下位カテゴリに属するデータ項目における検索対象フィールドの要素である適合要素群を、前記下位カテゴリ記憶手段に記憶されている下位カテゴリ群から抽出すると共に、前記質問フィールドの要素である質問要素を持つデータ項目と同じ上位カテゴリに属さない全てのデータ項目における検索対象フィールドの要素である不適合要素群を、前記上位カテゴリ記憶手段に記憶されている上位カテゴリ群から抽出する要素群抽出機能と、
前記要素群抽出機能によって抽出した適合要素群を、前記適合要素記憶手段に記憶する適合要素記憶機能と、
前記要素群抽出機能によって抽出した不適合要素群を、前記不適合要素記憶手段に記憶する不適合要素記憶機能と、
評価対象となる情報検索システムによって情報検索した情報検索結果を入力として受け付ける情報検索結果受付機能と、
前記情報検索結果受付機能によって受け付けた情報検索結果としての検索対象フィールドの要素リストに対して、前記適合要素記憶手段に記憶されている適合要素群、及び前記不適合要素記憶手段に記憶されている不適合要素群を参照することで、前記情報検索結果を出した情報検索システムの評価結果を計算する評価計算機能と、
を実行させることを特徴とする情報検索評価装置用プログラム。
【請求項４】
請求項３に記載の情報検索評価装置用プログラムを記録したことを特徴とする、前記コンピュータで読み取り可能な情報検索評価装置用記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報検索技術に関し、特に予め蓄積された複数の要素の中から検索質問に適合する要素を選び出す情報検索システムがどの程度適合要素を検索できるかを調べることにより、前記情報検索システムの評価を行う情報検索評価装置、情報検索評価方法、情報検索評価装置用プログラム、及び情報検索評価装置用記録媒体に関する。
【０００２】
【従来の技術】
利用者が必要とする文書の条件をキーワードの並びや自然言語で表現して、それを検索質問として入力し、その検索質問に適合する文書を蓄積された複数の文書の中から選び出す検索技術が数多く提案されている（例えば、特許文献１参照）。また、文書そのものだけでなく、文書に付与された著者やその組織等を検索質問や検索対象とする技術も提案されている。
【０００３】
このような情報検索のシステムを評価する方法としては、文書集合と検索質問集合、さらに個々の検索質問に対して適合する文書集合をあらかじめ用意しておき、各検索質問に対してシステムがどれくらい適合文書を検索できるかによってシステムを評価するのが一般的である。このようにあらかじめ用意した評価用のデータはテストコレクションと呼ばれている。実際に、検索質問とそれに適合する新聞記事をセットにしたテストコレクションなどがすでに作成されている（例えば、非特許文献１参照）。
【０００４】
【特許文献１】
特開２００２−３３４０８１号公報
【０００５】
【非特許文献１】
情報処理学会のＢＭＩＲ−Ｊ２（木谷他：日本語情報検索システム評価用テストコレクションＢＭＩＲ−Ｊ２，情処研報，ＤＢＳ−１１４−３，ｐｐ．１５−２２（１９９８））
【０００６】
【発明が解決しようとする課題】
しかし、ＢＭＩＲ−Ｊ２等のテストコレクションは新聞記事等の文書を検索対象とする情報検索のためのものであり、検索質問も文章に限られているため、著者や組織等を検索質問や検索対象とする情報検索システムの評価に利用することはできない。このような情報検索システムを評価するために、著者やその組織が付与された文書が複数のカテゴリに分類された文書集合を利角する方法が考えられるが、異なるカテゴリは明確に区別されているわけではなく、異なるカテゴリのそれぞれに含まれる文書どうしには、非常に関連の深いものも含まれうる。このような場合、検索質問に関連の深い文書（あるいは著者、組織等）も不適合とされてしまうため、適切な評価ができない。
【０００７】
本発明は、上記の従来の課題に鑑みてなされたものであり、その目的とするところは、著者やその組織等が付与され、木構造に分類された文書の集合を利用することで、文書だけでなく著者や組織等を検索質問や検索対象とする情報検索システムの評価を可能とし、かつ、文書集合のカテゴリ間に関連性がある場合でも、情報検索システムの適切な評価を行うことができるようにすることにある。
【０００８】
【課題を解決するための手段】
上記従来の課題を解決するために、請求項１に係る発明は、予め蓄積された複数の要素の中から検索質問に適合する要素を選び出す情報検索システムがどの程度適合要素を検索できるかを調べることにより、前記情報検索システムの評価を行う情報検索評価装置であって、複数のデータ項目が特定のフィールド内容に従って複数の階層を持つ木構造に分類されて蓄積されているデータ項目木の入力、並びに当該データ項目木における任意の２つの階層を下位階層及び上位階層とする指定の入力を受け付けるデータ項目木受付手段と、前記データ項目木受付手段によって受け付けたデータ項目木のうち、前記指定された下位階層を根とした下位部分木に属する全てのデータ項目を同じ下位カテゴリとしてまとめた場合に、前記下位カテゴリの集合としての下位カテゴリ群に分類すると共に、前記指定された上位階層を根とした上位部分木に属する全てのデータ項目を同じ上位カテゴリとしてまとめた場合に、前記上位カテゴリの集合としての上位カテゴリ群に分類する分類手段と、前記分類手段によって分類した下位カテゴリ群を記憶する下位カテゴリ記憶手段と、前記分類手段によって分類した上位カテゴリ群を記憶する上位カテゴリ記憶手段と、前記情報検索システムを利用した情報検索に際して選択されたフィールドである質問フィールド、及び、前記質問フィールドの要素であり、前記情報検索の検索質問である質問要素、並びに、前記情報検索に際して選択され、その要素が情報検索の検索結果としてリストアップされるフィールドである検索対象フィールドを受け付ける質問受付手段と、前記質問受付手段によって受け付けた質問フィールドの要素である質問要素を持つデータ項目と同じ下位カテゴリに属するデータ項目における検索対象フィールドの要素である適合要素群を、前記下位カテゴリ記憶手段に記憶されている下位カテゴリ群から抽出すると共に、前記質問フィールドの要素である質問要素を持つデータ項目と同じ上位カテゴリに属さない全てのデータ項目における検索対象フィールドの要素である不適合要素群を、前記上位カテゴリ記憶手段に記憶されている上位カテゴリ群から抽出する要素群抽出手段と、前記要素群抽出手段によって抽出した適合要素群を記憶する適合要素記憶手段と、前記要素群抽出手段によって抽出した不適合要素群を記憶する不適合要素記憶手段と、評価対象となる情報検索システムによって情報検索した情報検索結果を入力として受け付ける情報検索結果受付手段と、前記情報検索結果受付手段によって受け付けた情報検索結果としての検索対象フィールドの要素リストに対して、前記適合要素記憶手段に記憶されている適合要素群、及び前記不適合要素記憶手段に記憶されている不適合要素群を参照することで、前記情報検索結果を出した情報検索システムの評価結果を計算する評価計算手段と、を有することを特徴とする情報検索評価装置である。
【０００９】
ここで、「データ項目」とは、名称と属性とからなる情報であり、収集された複数のデータ項目であるデータ項目群も含むものとする。
【００１０】
また、本発明の「情報検索評価装置」は、単一のコンピュータにより構築されている場合だけでなく、各手段（ステップの実行、機能の実行）を分割して２つ以上のコンピュータによって構築されている場合も含む。
【００１１】
請求項２に係る発明は、予め蓄積された複数の要素の中から検索質問に適合する要素を選び出す情報検索システムがどの程度適合要素を検索できるかを調べることにより、前記情報検索システムの評価を行うコンピュータにより構築された情報検索評価装置を利用して情報検索評価を行う方法において、前記コンピュータが、下位カテゴリ群を記憶する下位カテゴリ記憶手段と、上位カテゴリ群を記憶する上位カテゴリ記憶手段と、適合要素群を記憶する適合要素記憶手段と、不適合要素群を記憶する不適合要素記憶手段とを有するものであって、前記コンピュータが、複数のデータ項目が特定のフィールド内容に従って複数の階層を持つ木構造に分類されて蓄積されているデータ項目木の入力、並びに当該データ項目木における任意の２つの階層を下位階層及び上位階層とする指定の入力を受け付けるデータ項目木受付ステップと、前記データ項目木受付ステップによって受け付けたデータ項目木のうち、前記指定された下位階層を根とした下位部分木に属する全てのデータ項目を同じ下位カテゴリとしてまとめた場合に、前記下位カテゴリの集合としての下位カテゴリ群に分類すると共に、前記指定された上位階層を根とした上位部分木に属する全てのデータ項目を同じ上位カテゴリとしてまとめた場合に、前記上位カテゴリの集合としての上位カテゴリ群に分類する分類ステップと、前記分類ステップによって分類した下位カテゴリ群を、前記下位カテゴリ記憶手段に記憶する下位カテゴリ記憶ステップと、前記分類ステップによって分類した上位カテゴリ群を、前記上位カテゴリ記憶手段に記憶する上位カテゴリ記憶ステップと、前記情報検索システムを利用した情報検索に際して選択されたフィールドである質問フィールド、及び、前記質問フィールドの要素であり、前記情報検索の検索質問である質問要素、並びに、前記情報検索に際して選択され、その要素が情報検索の検索結果としてリストアップされるフィールドである検索対象フィールドを受け付ける質問受付ステップと、前記質問受付ステップによって受け付けた質問フィールドの要素である質問要素を持つデータ項目と同じ下位カテゴリに属するデータ項目における検索対象フィールドの要素である適合要素群を、前記下位カテゴリ記憶手段に記憶されている下位カテゴリ群から抽出すると共に、前記質問フィールドの要素である質問要素を持つデータ項目と同じ上位カテゴリに属さない全てのデータ項目における検索対象フィールドの要素である不適合要素群を、前記上位カテゴリ記憶手段に記憶されている上位カテゴリ群から抽出する要素群抽出ステップと、前記要素群抽出ステップによって抽出した適合要素群を、前記適合要素記憶手段に記憶する適合要素記憶ステップと、前記要素群抽出ステップによって抽出した不適合要素群を、前記不適合要素記憶手段に記憶する不適合要素記憶ステップと、評価対象となる情報検索システムによって情報検索した情報検索結果を入力として受け付ける情報検索結果受付ステップと、前記情報検索結果受付ステップによって受け付けた情報検索結果としての検索対象フィールドの要素リストに対して、前記適合要素記憶手段に記憶されている適合要素群、及び前記不適合要素記憶手段に記憶されている不適合要素群を参照することで、前記情報検索結果を出した情報検索システムの評価結果を計算する評価計算ステップと、を実行することを特徴とする情報検索評価方法である。
【００１２】
請求項３に係る発明は、予め蓄積された複数の要素の中から検索質問に適合する要素を選び出す情報検索システムがどの程度適合要素を検索できるかを調べることにより、前記情報検索システムの評価を行うコンピュータにより構築された情報検索評価装置で用いられるプログラムにおいて、前記コンピュータが、下位カテゴリ群を記憶する下位カテゴリ記憶手段と、上位カテゴリ群を記憶する上位カテゴリ記憶手段と、適合要素群を記憶する適合要素記憶手段と、不適合要素群を記憶する不適合要素記憶手段とを有するものであって、前記コンピュータに、複数のデータ項目が特定のフィールド内容に従って複数の階層を持つ木構造に分類されて蓄積されているデータ項目木の入力、並びに当該データ項目木における任意の２つの階層を下位階層及び上位階層とする指定の入力を受け付けるデータ項目木受付機能と、前記データ項目木受付機能によって受け付けたデータ項目木のうち、前記指定された下位階層を根とした下位部分木に属する全てのデータ項目を同じ下位カテゴリとしてまとめた場合に、前記下位カテゴリの集合としての下位カテゴリ群に分類すると共に、前記指定された上位階層を根とした上位部分木に属する全てのデータ項目を同じ上位カテゴリとしてまとめた場合に、前記上位カテゴリの集合としての上位カテゴリ群に分類する分類機能と、前記分類機能によって分類した下位カテゴリ群を、前記下位カテゴリ記憶手段に記憶する下位カテゴリ記憶機能と、前記分類ステップによって分類した上位カテゴリ群を、前記上位カテゴリ記憶手段に記憶する上位カテゴリ記憶機能と、前記情報検索システムを利用した情報検索に際して選択されたフィールドである質問フィールド、及び、前記質問フィールドの要素であり、前記情報検索の検索質問である質問要素、並びに、前記情報検索に際して選択され、その要素が情報検索の検索結果としてリストアップされるフィールドである検索対象フィールドを受け付ける質問受付機能と、前記質問受付機能によって受け付けた質問フィールドの要素である質問要素を持つデータ項目と同じ下位カテゴリに属するデータ項目における検索対象フィールドの要素である適合要素群を、前記下位カテゴリ記憶手段に記憶されている下位カテゴリ群から抽出すると共に、前記質問フィールドの要素である質問要素を持つデータ項目と同じ上位カテゴリに属さない全てのデータ項目における検索対象フィールドの要素である不適合要素群を、前記上位カテゴリ記憶手段に記憶されている上位カテゴリ群から抽出する要素群抽出機能と、前記要素群抽出機能によって抽出した適合要素群を、前記適合要素記憶手段に記憶する適合要素記憶機能と、前記要素群抽出機能によって抽出した不適合要素群を、前記不適合要素記憶手段に記憶する不適合要素記憶機能と、評価対象となる情報検索システムによって情報検索した情報検索結果を入力として受け付ける情報検索結果受付機能と、前記情報検索結果受付機能によって受け付けた情報検索結果としての検索対象フィールドの要素リストに対して、前記適合要素記憶手段に記憶されている適合要素群、及び前記不適合要素記憶手段に記憶されている不適合要素群を参照することで、前記情報検索結果を出した情報検索システムの評価結果を計算する評価計算機能と、を実行させることを特徴とする情報検索評価装置用プログラムである。
【００１３】
ここで、本発明における「プログラム」とは、コンピュータによる処理に適した命令の順番付けられた列からなるものをいい、コンピュータのＨＤ（Ｈａｒｄ  Ｄｉｓｋ）、ＣＤ−ＲＷ等にインストールされているものや、ＣＤ−ＲＯＭ、ＤＶＤ、ＦＤ、半導体メモリ、コンピュータのＨＤＤ等の各種記録媒体に記録されているものや、インターネット等の外部ネットワークを介して配信されるものも含まれる。
【００１４】
請求項４に係る発明は、請求項３に記載の情報検索評価装置用プログラムを記録したことを特徴とする、前記コンピュータで読み取り可能な情報検索評価装置用記録媒体である。
【００１５】
ここで、本発明における「記録媒体」とは、上記コンピュータで上記各機能を実行させるためのプログラムの読み取りに使用することができればよく、情報を媒体の物理的特性を利用してどのように記録するか等の物理的な記録方法には依存しない。例えば、ＦＤ（Ｆｌｅｘｉｂｌｅ  Ｄｉｓｋ）、ＣＤ−ＲＯＭ（Ｒ，ＲＷ）（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＣＤ  Ｒｅｃｏｒｄａｂｌｅ，ＣＤ  Ｒｅｗｒｉｔａｂｌｅ））、ＤＶＤ−ＲＯＭ（ＲＡＭ，Ｒ，ＲＷ）（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＤＶＤ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ，ＤＶＤ  Ｒｅｃｏｒｄａｂｌｅ，ＤＶＤ  Ｒｅｗｒｉｔａｂｌｅ））、半導体メモリ、ＭＯ（Ｍａｇｎｅｔｏ  Ｏｐｔｉｃａｌ  Ｄｉｓｋ）、ＭＤ（Ｍｉｎｉ  Ｄｉｓｋ）、磁気テープ等が該当する。
【００１６】
【発明の実施の形態】
以下、図面を用いて、本発明の一実施形態を説明する。
【００１７】
図１は、本発明の一実施形態に係る情報検索評価装置１の機能構成図である。この情報検索評価装置１は、物理的装置としてのコンピュータ、その構成要素であるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、各種記憶装置［ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ），ＨＤ（Ｈａｒｄ  Ｄｉｓｋ）］、入力装置、出力装置、及び、このコンピュータに接続された物理的装置等から成るハードウェア資源と、このコンピュータの動作に関するプログラム（ｐ）としてのソフトウェアとが協働して実現された具体的手段によって構築されている。すなわち、情報検索評価装置１は、図１に示すように、データ項目木受付手段１１、分類手段１２、質問受付手段１３、要素群抽出手段１４、情報検索結果受付手段１５、及び評価計算手段１６等のソフトウェアによる情報処理が、下位カテゴリ記憶手段２、上位カテゴリ記憶手段３、適合要素記憶手段４、及び不適合要素記憶手段５等のハードウェア資源を用いて具体的に実現される。尚、各記憶手段２，３，４，５は、上記ＨＤの一部の記憶領域に構築されている。
【００１８】
また、分類手段１２への入力対象であるデータ項目木には、データ項目（以下、データ項目群の場合も含む）という情報が複数蓄積されている。この「データ項目」とは、名称と属性とからなる情報であり、収集された複数のデータ項目をデータ項目群という。
【００１９】
図２は、データ項目の形式を示した図である。図２に示すように、それぞれのデータ項目は予め定められたフィールドを持ち、そこに値として要素もしくは要素の列が指定されている。ここでは、フィールド番号順に、要素列ａ，ｂ，…，ｋ，…が指定されている場合を示している。
【００２０】
図３は、データ項目木の例を示した図である。データ項目木は、複数のデータ項目が、特定のフィールドの内容に従って、複数の階層を持つ木構造に分類されて蓄積されたものである。データ項目木の葉ノードには複数のデータ項目（又はデータ項目群）が割り当てられている。尚、図３では図示していないが、データ項目（又はデータ項目群）が中間ノードに割り当てられていても良い。
【００２１】
図１に示すデータ項目木受付手段１１は、オペレータによる入力装置の操作によって、図３に示すようなデータ項目木、並びに、上位階層及び下位階層の指定の入力を受け付ける機能を有する。図３に示すデータ項目木は、複数のデータ項目１０１〜１１０が複数の階層を根とする複数の部分木によって構成されている。
【００２２】
また、下位階層は、オペレータにより指定されたデータ項目木の１つ（任意）階層を指す。また、上位階層は、同じくオペレータにより指定されたデータ項目木の１つ（任意）の階層を指し、下位階層と同じ階層、若しくは下位階層よりも上位の階層である。オペレータは、例えば、下位階層として階層３を指定し、上位階層として階層２を指定することができる。
【００２３】
分類手段１２は、データ項目木受付手段１１によって受け付けた図３に示すデータ項目木を、図４に示すように、下位階層（ここでは、階層３）を根とする複数の部分木（以下、「下位部分木」という）に分解すると共に同じ下位部分木に属するデータ項目を同じカテゴリに収録することで、全てのデータ項目１０１〜１１０を分類し、下位カテゴリ１３１〜１３７の集合（以下、「下位カテゴリ群」という）を作成する機能を有する。例えば、図４において、データ項目１０３，１０４は同じ下位カテゴリ１３３に収録され、データ項目１０８，１０９は同じ下位カテゴリ１３６に収録されることで、下位カテゴリの分類が行われる。図４では、全部で７個の下位カテゴリ１３１〜１３７が存在し、これらによって下位カテゴリ群が構成されている。
【００２４】
また、分類手段１２は、データ項目受付手段１１によって受け付けた図３に示すデータ項目木を、図５に示すように、上位階層（ここでは、階層２）を根とする複数の部分木（以下、「上位部分木」という）に分解すると共に同じ上位部分木に属するデータ項目を同じカテゴリに収録することで、全てのデータ項目１０１〜１１０を分類し、上位カテゴリ１２１〜１２４の集合（以下、「上位カテゴリ群」という）を作成する機能を有する。例えば、図５において、データ項目１０１，１０２は同じ上位カテゴリ１２１に収録され、データ項目１０３〜１０６は同じ上位カテゴリ１２２に収録されることで、上位カテゴリの分類が行われる。図５では、全部で４個の上位カテゴリ１２１〜１２４が存在し、これらによって上位カテゴリ群が構成されている。このように、同じカテゴリのデータ項目は、必ずしも同じ階層にある訳ではない。すなわち、カテゴリは階層を基準として分類するのではなく、部分木の根を基準として分類するのである。尚、上位カテゴリは、下位カテゴリの和集合となる。
【００２５】
更に、分類手段１２は、上記分類した下位カテゴリ群を下位カテゴリ記憶手段２に記憶すると共に、上記分類した上位カテゴリ群を上位カテゴリ記憶手段３に記憶する機能を有する。
【００２６】
質問受付手段１３は、オペレータが入力装置の操作によって入力した、質問フィールド、質問要素、及び検索対象フィールドを受け付ける機能を有する。このうち、質問フィールドは、情報検索システムを利用した情報検索に際して検索者により選択されたフィールドである。質問要素は、上記質問フィールドの要素であり、これを情報検索の検索質問とする。検索対象フィールドは、情報検索に際して検索者により選択され、その要素が情報検索の検索結果としてリストアップされるフィールドである。
【００２７】
要素群抽出手段１４は、上記質問フィールドの要素である質問要素を持つデータ項目と同じ下位カテゴリに属するデータ項目における検索対象フィールドの要素（以下、「適合要素群」という）を、下位カテゴリ記憶手段２に記憶されている下位カテゴリ群から抽出する機能を有する。
【００２８】
また、要素群抽出手段１４は、上記質問フィールドの要素である質問要素を持つデータ項目と同じ上位カテゴリに属さない全てのデータ項目における検索対象フィールドの要素（以下、「不適合要素群」という）を、上位カテゴリ記憶手段３に記憶されている上位カテゴリ群から抽出する機能を有する。但し、データ項目と同じ上位カテゴリに属し、同じ下位カテゴリに属さないデータ項目は利用しない。
【００２９】
更に、要素群抽出手段１４は、上記抽出した適合要素群を適合要素記憶手段４に記憶させると共に、上記抽出した不適合要素群を不適合要素記憶手段５に記憶させる機能を有する。
【００３０】
情報検索結果受付手段１５は、評価対象となる情報検索システムによって情報検索した結果（以下、「情報検索結果」という）を入力として受け付ける機能を有する。この情報検索結果は、オペレータによる入力装置の操作によって入力されてもよいし、情報検索システムから直接ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の通信ネットワークを介した伝達により入力されてもよい。
【００３１】
評価計算手段１６は、情報検索結果としての検索対象フィールドの要素リストに対して、適合要素記憶手段４に記憶されている適合要素群、及び不適合要素記憶手段５に記憶されている不適合要素群を参照することで、上記情報検索結果を出した情報検索システムの評価結果を計算する機能を有する。例えば、情報検索結果が検索対象フィールドの要素の集合として与えられた場合は、適合率、再現率、Ｆ値等を評価結果として計算する。この場合、適合要素群Ｔ、不適合要素群Ｕ、情報検索結果Ｓに対して、
【数１】
2004227155.tif 000003
と表すことができる。尚、αは０から１までの実数値である。
【００３２】
また、情報検索結果が検索対象フィールドの要素の順位付リストとして与えられた場合は、適合率−再現率グラフや、ブレイクイブンポイントの適合率、再現率等を評価結果として計算する。
【００３３】
続いて、図６を用いて、本実施形態の動作を説明する。尚、ここでは、データ項目を特許文書（ここでは、特許庁提出用の願書）としたときを例にとって説明する。
【００３４】
この場合、データ項目である特許文書には「整理番号」、「発明者」、「発明の名称」等の書誌情報が記載されており、これらをフィールドとして利用する。特許文書は周知の如く、その内容（「発明の名称」や「特許請求の範囲」）にしたがって技術分野ごとに分類されている。特許の分類構造はＩＰＣ（国際特許分類）と呼ばれる木構造になっているため、これをデータ項目木として利用する。ＩＰＣの木構造では、根の側から順に「セクション」、「クラス」、「サブクラス」、「グループ」といた階層があり、これらがそれぞれ図３における階層１、階層２、階層３、階層４に相当する。階層０（根）には特に名前はついていない。
【００３５】
オペレータが入力装置により、データ項目木受付手段１１に対して、例えば、「下位階層：＝階層３（サブクラス）」、「上位階層：＝階層２（クラス）」と入力する。これにより、分類手段１２によってＩＰＣにおけるサブクラスの集合が下位カテゴリ群となり、クラスの集合が上位カテゴリ群となるように分類される。上位カテゴリ群、下位カテゴリ群の例を図６に示す。実線の囲みが下位カテゴリであり、点線の囲みが上位カテゴリである。
【００３６】
次に、オペレータが入力装置により、質問受付手段１３に対して図６の上位カテゴリ群及び下位カテゴリ群以外に、例えば、「質問フィールド：＝整理番号」、「質問要素：＝１」、「検索対象フィールド：＝発明者」を入力する。すると、質問フィールド「整理番号」の値として、質問要素「１」をもつデータ項目は「データ項目１」であることから、要素群抽出手段１４により、「データ項目１」と同じ下位カテゴリ（「下位カテゴリ１」）に属する「データ項目１」と「データ項目２」の発明者フィールドの値である「鈴木」、「佐藤」、「山田」が適合要素群として抽出されて、適合要素記憶手段４に記憶される。また、「データ項目１」と同じ上位カテゴリ（「上位カテゴリ１」）に属さない「データ項目５」、「データ項目６」、「データ項目７」、「データ項目８」の発明者フィールドの値である「渡辺」、「斎藤」、「小林」、「山本」、「中村」が不適合要素群として抽出されて、不適合要素記憶手段５に記憶される。尚、このデータ項目と同じ上位カテゴリに属し、同じ下位カテゴリに属さない「データ項目３」「データ項目４」は使用しない。
【００３７】
次に、オペレータが入力装置により、情報検索結果受付手段１５に対して、適合要素群は、Ｔ＝｛鈴木，佐藤，山田｝であり、不適合要素群は、Ｕ＝｛渡辺，斎藤，小林，山本，中村｝であるので、情報検索結果Ｓ＝｛鈴木，佐藤，渡辺、斎藤，佐々木｝を入力する。これにより、評価計算手段１６によって
【数２】
2004227155.tif 000004
と計算し、α＝０．５とすると、Ｆ値ｆ＝０．５７となる。このようにして、これらの値を評価結果として出力することができる。
【００３８】
以上説明したように、本実施形態によれば、発明者（名）のフィールドが付与され、木構造に分類された文書の集合を利用することで、文書だけでなく発明者を検索質問や検索対象とするような情報検索システムの評価を可能とし、かつ、文書集合のカテゴリ間に関連性がある場合でも、情報検索の適切な評価を行うことができる。
【００３９】
尚、情報検索評価装置１に対するプログラム（ｐ）の記録、インストール作業は、情報検索評価装置１で読み取り可能なプログラム（ｐ）が記録されているＣＤ−ＲＯＭ等の記録媒体を利用することによって行うことも可能である。
【００４０】
また、情報検索評価装置１は、単一のコンピュータにより構築されている場合だけでなく、各手段（ステップの実行、機能の実行）を分割して２つ以上のコンピュータによって構築されていてもよい。
【００４１】
【発明の効果】
以上説明したように、本発明によれば、著者やその組織等のフィールドが付与され、木構造に分類された文書の集合を利用することで、文書だけでなく著者や組織等を検索質問や検索対象とする情報検索システムの評価を可能とし、かつ、文書集合のカテゴリ間に関連性がある場合でも、情報検索システムの適切な評価を行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る情報検索評価装置１の機能構成図である。
【図２】データ項目を示す図である。
【図３】データ項目木を示す図である。
【図４】分類手段１１が処理中に参照する下位部分木を示す図である。
【図５】分類手段１１が処理中に参照する上位部分木を示す図である。
【図６】下位カテゴリ群、上位カテゴリ群を示す図である。
【符号の説明】
１  情報検索評価装置
２  下位カテゴリ記憶手段
３  上位カテゴリ記憶手段
４  適合要素記憶手段
５  不適合要素記憶手段
１１  データ項目木受付手段
１２  分類手段
１３  質問受付手段
１４  要素群抽出手段
１５  情報検索結果受付手段
１６  評価計算手段
【図１】
2004227155.tif 000005
【図２】
2004227155.tif 000006
【図３】
2004227155.tif 000007
【図４】
2004227155.tif 000008
【図５】
2004227155.tif 000009
【図６】
2004227155.tif 000010