本稿では，テキスト要約の自動評価手法について述べる．テキスト自動要約に関する研究は，テキスト中の表層的な情報から重要な箇所を判断し重要な部分のみを抽出するLuhn等，Edmundson等の研究\cite{H.P.Luhn.58,H.P.Edmundson.69}に始まり，現在も様々な方法が提案されている\cite{C.D.Paice.90,C.Aone.98}．ここ数年はインターネットの急速な普及に伴って，国内外での研究活動が非常に活発になっている\cite{M.Okumura.99J,I.Mani.00}．テキスト要約の研究において，評価の重要性は言うまでもない．最も信頼性が高いのは要約の経験者が直接要約を見て評価する方法であるが，コストが非常に大きいというデメリットがある．このためより低コストで効率の良い方法として，要約の経験者によって作成された要約を正解とし，正解との一致度を機械的に評価する方法が一般によく用いられる．しかし，要約は観点や戦略などの違いから，同じテキストに対しても複数の要約者から得られる結果は多様であることが知られている\cite{G.J.Rath.61,K.S.Jones.96,H.Jing.98,K.Saito.01J}．要約タスクにおいて唯一の理想的な要約が存在するという前提は現実には成り立たず，それゆえ唯一の正解に基づく評価では，対象の評価結果が正解との相性に影響され易いという問題がある．本稿では，このような従来法の問題点を踏まえ，複数の正解に基づく信頼性の高い評価法の提案を行なう．さらに，正解として用いる要約集合の満たすべき条件について，要約の品質と網羅性の観点から検討を試みる．提案手法は重要文抽出結果を評価することを前提に定式化されているが，手法の基本的アイデアや検討内容の多くはテキスト要約一般に共通するものである．