本研究の目的は，情報抽出のサブタスクである固有表現抽出(NamedEntityTask)の難易度の指標を定義することである．情報抽出とは，与えられた文章の集合から，「人事異動」や「会社合併」など，特定の出来事に関する情報を抜き出し，データベースなど予め定められた形式に変換して格納することであり，米国のワークショップMessageUnderstandingConference(MUC)でタスクの定義・評価が行われてきた．固有表現(NamedEntity)とは，情報抽出の要素となる表現のことである．固有表現抽出(NamedEntityTask)はMUC-6\cite{MUC6}において初めて定義され，組織名(Organization)，人名(Person)，地名(Location)，日付表現(Date)，時間表現(Time)，金額表現(Money)，割合表現(Percent)という7種類の表現が抽出すべき対象とされた．これらは，三つに分類されており，前の三つがentitynames(ENAMEX)，日付表現・時間表現がtemporalexpressions(TIMEX)，金額表現・割合表現がnumberexpressions(NUMEX)となっている．1999年に開かれたIREXワークショップ\cite{IREXproc}では，MUC-6で定義された7つに加えて製品名や法律名などを含む固有物名(Artifact)というクラスが抽出対象として加えられた．固有表現抽出システムの性能は，再現率(Recall)や適合率(Precision)，そしてその両者の調和平均であるF-measureといった客観的な指標\footnotemark{}によって評価されてきた．\footnotetext{再現率は，正解データ中の固有表現の数（G）のうち，正しく認識された固有表現表現の数（C）がどれだけであったかを示す．適合率は，固有表現とみなされたものの数（S）のうち，正しく認識された固有表現の数（C）がどれだけであったかを示す．F-measureは，両者の調和平均である．それぞれの評価基準を式で示せば以下のようになる．\begin{quote}再現率（R）=C/G\\適合率（P）=C/S\\F-measure=2PR/(P+R)\end{quote}}しかし，単一システムの出力に対する評価だけでは，あるコーパスに対する固有表現抽出がどのように難しいのか，どのような情報がそのコーパスに対して固有表現抽出を行なう際に有効なのかを知ることは難しい．例えば，あるコーパスについて，あるシステムが固有表現抽出を行い，それらの結果をある指標で評価したとする．得られた評価結果が良いときに，そのシステムが良いシステムなのか，あるいはコーパスが易しいのかを判断することはできない．評価コンテストを行い，単一のシステムでなく複数のシステムが同一のコーパスについて固有表現抽出を行い，それらの結果を同一の指標で評価することで，システムを評価する基準を作成することはできる．しかしながら，異なるコーパスについて，複数の固有表現抽出システムの評価結果を蓄積していくことは大きなコストがかかる．また，継続して評価を行なっていったとしても，評価に参加するシステムは同一であるとは限らない．異なるコーパスについて，個別のシステムとは独立に固有表現抽出の難易度を測る指標があれば，コーパス間の評価，また固有表現抽出システム間の評価がより容易になると考えられる．本研究は，このような指標を定義することを目指すものである．\subsection{固有表現抽出の難易度における前提}異なる分野における情報抽出タスクの難易度を比較することは，複数の分野に適用可能な情報抽出システムを作成するためにも有用であり，実際複数のコーパスに対して情報抽出タスクの難易度を推定する研究が行われてきている．Baggaet.al~\cite{bagga:97}は，MUCで用いられたテストコーパスから意味ネットワークを作成し，それを用いてMUCに参加した情報抽出システムの性能を評価している．固有表現抽出タスクに関しては，Palmeret.al~\cite{palmer:anlp97}がMultilingualEntityTask~\cite{MUC7}で用いられた6カ国語のテストコーパスから，各言語における固有表現抽出技術の性能の下限を推定している．本研究では，固有表現抽出の難易度を，テストコーパス内に現れる固有表現，またはその周囲の表現に基づいて推定する指標を提案する．指標の定義は，「表現の多様性が抽出を難しくする」という考えに基づいている．文章中の固有表現を正しく認識するために必要な知識の量に着目すると，あるクラスに含まれる固有表現の種類が多ければ多いほど，また固有表現の前後の表現の多様性が大きいほど，固有表現を認識するために要求される知識の量は大きくなると考えられる．あらゆるコーパスを統一的に評価できるような，固有表現抽出の真の難易度は，現在存在しないので，今回提案した難易度の指標がどれほど真の難易度に近いのかを評価することはできない．本論文では，先に述べた，「複数のシステムが同一のコーパスについて固有表現抽出を行った結果の評価」を真の難易度の近似と見なし，これと提案した指標とを比較することによって，指標の評価を行うことにする．具体的には，1999年に開かれたIREXワークショップ\cite{IREXproc}で行われた固有表現抽出課題のテストコーパスについて提案した指標の値を求め，それらとIREXワークショップに参加した全システムの結果の平均値との相関を調べ，指標の結果の有効性を検証する．このような指標の評価方法を行うためには，できるだけ性質の異なる数多くのシステムによる結果を得る必要がある．IREXワークショップでは，15システムが参加しており，システムの種類も，明示的なパタンを用いたものやパタンを用いず機械学習を行ったもの，またパタンと機械学習をともに用いたものなどがあり，機械学習の手法も最大エントロピーやHMM，決定木，判別分析などいくつかバラエティがあるので，これらのシステムの結果を難易度を示す指標の評価に用いることには一定の妥当性があると考えている．\subsection{\label{section:IREX_NE}IREXワークショップの固有表現抽出課題}\begin{table}[t]\small\caption{\label{table:preliminary_comparison}IREX固有表現抽出のテストコーパス}\begin{center}\begin{tabular}{|l||r|r|r|}\hline&&\multicolumn{2}{|c|}{本試験}\\\cline{3-4}&予備試験&総合課題&限定課題\\\hline記事数&36&72&20\\単語数&11173&21321&4892\\文字数&20712&39205&8990\\\hline\end{tabular}\end{center}\end{table}IREXワークショップの固有表現抽出課題では，予備試験を含め，3種類のテストコーパスが評価に用いられた．表\ref{table:preliminary_comparison}に各々の記事数，単語数，文字数を示す．単語の切り分けにはJUMAN3.3~\cite{JUMAN33}を用い，単語の切り分けが固有表現の開始位置・終了位置と異なる場合には，その位置でさらに単語を分割した．IREXワークショップに参加した固有表現抽出システムの性能評価はF-measureで示されている．表\ref{table:F-measures}に各課題におけるF-measureの値を示す．本試験の評価値は，IREXワークショップに参加した全15システムの平均値である．一方，予備試験においては，全システムの評価は利用できなかったため，一つのシステム\cite{nobata:irex1}の出力結果を評価した値を用いている．このシステムは，決定木を生成するプログラム\cite{quinlan:93}を用いた固有表現抽出システム\cite{sekine:wvlc98}をIREXワークショップに向けて拡張したものである．IREXでは，8つの固有表現クラスが定義された．表\ref{table:F-measures}から，最初の4つの固有表現クラス(組織名，人名，地名，固有物名)は残り4つの固有表現クラス(日付表現，時間表現，金額表現，割合表現)よりも難しかったことが分かる．以下では，両者を区別して議論したいときには，MUCでの用語に基づき前者の4クラスを「ENAMEXグループ」と呼び，後者の4クラスを「TIMEX-NUMEXグループ」と呼ぶことにする．\begin{table}[t]\small\caption{\label{table:F-measures}IREX固有表現抽出の性能評価}\begin{center}\begin{tabular}{|l||r|r|r|}\hline&&\multicolumn{2}{|c|}{本試験}\\\cline{3-4}クラス&予備試験&総合課題&限定課題\\\hline\hline組織名&55.6&57.3&55.2\\\hline人名&71.3&67.8&68.8\\\hline地名&65.7&69.8&68.1\\\hline固有物名&18.8&25.5&57.9\\\hline日付表現&83.6&86.5&89.4\\\hline時間表現&69.4&83.0&89.8\\\hline金額表現&90.9&86.4&91.4\\\hline割合表現&100.0&86.4&---\\\hline\hline全表現&66.5&69.5&71.7\\\hline\end{tabular}\end{center}\end{table}\subsection{指標の概要}以下，本稿では，まず固有表現内の文字列に基いて，固有表現抽出の難易度を示す指標を提案する．ここで提案する指標は2種類ある．\begin{itemize}\itemFrequencyoftokens:各固有表現クラスの頻度と異なり数を用いた指標(\ref{section:FT}節)\itemTokenindex:固有表現内の個々の表現について，その表現のクラス内における頻度とコーパス全体における頻度を用いた指標(\ref{section:TI}節)\end{itemize}これらの指標の値を示し，それらと実際のシステムの評価結果との相関を調べた結果について述べる．次に，固有表現の周囲の文字列に基いた指標についても，固有表現内の文字列に基いた指標と同様に2種類の指標を定義し，それらの値とシステムの評価結果との相関の度合を示す(\ref{section:CW}節)．