情報検索の分野は，欧米において過去数十年の間に，英語を中心とした文書を対象に研究が盛んに進められ，高速な文字列検索アルゴリズムや自動索引づけなどに多くの成果が得られた．これらの技術が基礎となり，大規模な文書集合に対する検索技術，新しい評価技術の向上を目的として，TREC(TextREtrievalConference)\footnote{TRECワークショップホームページ:http://trec.nist.gov}などのコンテストが開催され，新しい技術の開発やこれまでの技術の改良などが活発に行われている．日本においても，情報抽出，検索技術に関する研究が盛んに行われ，数多くの優れた日本語情報検索システムが提案されている．このようなシステムを評価するための日本語テストコレクションの整備も進み\cite{kitani}，個々の検索システムを容易に評価できるようになった．さらに，共通のデータベース，プラットフォームにおけるシステム評価の場として，IREX(InformationRetrievalandExtractionExercise)ワークショップ\footnote{IREXワークショップホームページ:http://cs.nyu.edu/cs/projects/proteus/irex/}が開催された．このワークショップには，情報検索(IR)と情報抽出(NE)の各課題に対して数多くのシステムが参加し，全体的な評価を通して様々な議論が行われた．IREXの目標のひとつとして，共通の基準における各検索システムの評価を基にした問題点の共有と，それによるこの分野の飛躍的な進歩，発展がある\cite{sekine99}．一般的に，情報検索システムの性能評価をする際には，提案された手法を利用したシステムと利用していないシステムとの比較を行う．比較する際，一つのシステムからみると，参加した数多くのシステムにおける評価結果の違いから，研究の新しい方向性や発展性が発見できる．しかし，IREXでは，数多くのシステムが参加しているため，ふたつのシステム間の比較実験では実験回数が莫大となり，共通点，相違点の整理が複雑になってしまう．また，他の比較手法として，使用されたシステムとは別の基準システムを作り，比較を行う手法も提案されている\cite{Hull93}．しかし，その場合，システム間の相違点が多くなり，直接的に何が精度向上の原因であるのかをとらえることが難しくなる．したがって，すべての検索システムを対象として，システムの構成要素を評価すると同時に，全体的なシステムの検索精度を評価するようなシステム指向の評価方法が必要となる．このような全体的な評価は，問題点を発見，解決するための議論を進める上で重要な課題であると考えられ，TRECやIREXでは様々な評価が行われている\cite{Lagergren98}\cite{Voorhees98SIGIR}\cite{Matuo99}．本論文では，IREXにおけるIR課題の本試験の結果，および参加した各システムについての，参加者が回答したアンケート結果を参考にして，IR課題におけるシステムの特徴と精度の関連性を独自の統計的な手法を用いて分析する．これまでは，手法を利用したシステムと利用していないシステムとの実験結果を比較することによって，その手法の有効性が評価されていた．これに対し，我々の提案する評価手法は，数多くのシステムにおける検索結果を基にして，システムに用いられた手法との関連性を客観的な相関係数として表し，検索システムに対し有効な手法を明確にしている．このような検索システムに対し有効な手法を示す評価は，これまでTREC7においても行われているが，比較に用いられたすべてのシステムで再現率・適合率曲線の違いがほとんど無い条件の下で行われている\cite{Voorhees98}．この条件において，比較に用いたシステムが利用した手法が示されているが，客観的にその手法が有効かどうかの判断は難しい．その点で，我々の評価手法はどのような再現率・適合率曲線に対しても客観的に有効な手法を示すことができる．さらに，我々の評価手法は，検索結果でのランクの上位に，関連のある文書を数多く検索するための有効な手法を示すことができる．この分析においては，IRシステムのアンケートの中でシステムの性能に大きく影響する次の3点\begin{itemize}\item索引づけ，索引構造\item検索式の生成\item検索モデル，ランクづけ\end{itemize}に注目して，これらの要素を実現するために用いられた手法が検索精度とどの程度関連があるのかを調査する．IREXでは，検索課題\footnote{検索課題の例としては，以下のようなものがある．\\$<$TOPIC$>$\\$<$TOPIC-ID$>$1001$<$/TOPIC-ID$>$\\$<$DESCRIPTION$>$企業合併$<$/DESCRIPTION$>$\\$<$NARRATIVE$>$記事には企業合併成立の発表が述べられており、その合併に参加する企業の名前が認定できる事。また、合併企業の分野、目的など具体的内容のいずれかが認定できる事。企業合併は企業併合、企業統合、企業買収も含む。$<$/NARRATIVE$>$\\$<$/TOPIC$>$}に，検索要求を簡潔に表現したDESCRIPTIONタグと，人間が判断可能な程度の詳細な検索要求の記述をしたNARRATIVEタグが用いられている．通常，WWWサイトなどに存在する検索エンジンに入力される索引語の数は2，3語と少ないために，DESCRIPTIONタグのみを検索実験に考慮する方が実用的である．しかし，DESCRIPTIONタグのみを利用した場合には曖昧さが生じてしまい，人間が可能な限り正確に検索できるという点においては，詳細に書かれているNARRATIVEタグの方が重要な情報であるといえる．実際，TRECなどにおいても，このような検索要求の長さに対する精度への影響が議論され，NARRATIVEタグの使用による精度の違いが分析されている\cite{Voorhees97}\cite{Voorhees98}\cite{Hull96}．このようなことから，IREXにおいても，検索式を作成する際のNARRATIVEタグの使用有無により，検索システムに与える影響が変化するものと考えられる．このことを明らかにするため，検索システムにおけるNARRATIVEタグの利用有無によりshortとlongに分け，それぞれの平均適合率と相関の高いシステムの特徴を調べる．再現率・適合率曲線に対し単回帰分析を行い直線として近似した場合，その切片が大きい時，ランクの上位に適合する文書を検索できる確率が高いと考えられる．また，傾きが平行に近いほど，システムは再現率の増加とともに起こる適合率の減少を抑えることができると考えられる．そこで，検索結果を平均して得られた再現率・適合率曲線に単回帰分析を行い直線として近似し，その切片と傾きがさまざまな手法のなかでどの手法に関連性が強いのかを調べる．また，同様に，shortとlongにおける切片と傾きとの相関が高いシステムの特徴を調べる．これらを分析することにより，本試験に参加したすべてのシステムで，検索質問をshortとlongに分けたそれぞれの場合に対して，傾き，切片から総合的に，どの手法と関連性が強いかを考察する．\vspace*{-0.3cm}