\section{はじめに}
本研究の目的は，情報抽出のサブタスクである固有表現抽出(NamedEntityTask)の難易度の指標を定義することである．情報抽出とは，与えられた文章の集合から，「人事異動」や「会社合併」など，特定の出来事に関する情報を抜き出し，データベースなど予め定められた形式に変換して格納することであり，米国のワークショップMessageUnderstandingConference(MUC)でタスクの定義・評価が行われてきた．固有表現(NamedEntity)とは，情報抽出の要素となる表現のことである．固有表現抽出(NamedEntityTask)はMUC-6\cite{MUC6}において初めて定義され，組織名(Organization)，人名(Person)，地名(Location)，日付表現(Date)，時間表現(Time)，金額表現(Money)，割合表現(Percent)という7種類の表現が抽出すべき対象とされた．これらは，三つに分類されており，前の三つがentitynames(ENAMEX)，日付表現・時間表現がtemporalexpressions(TIMEX)，金額表現・割合表現がnumberexpressions(NUMEX)となっている．1999年に開かれたIREXワークショップ\cite{IREXproc}では，MUC-6で定義された7つに加えて製品名や法律名などを含む固有物名(Artifact)というクラスが抽出対象として加えられた．固有表現抽出システムの性能は，再現率(Recall)や適合率(Precision)，そしてその両者の調和平均であるF-measureといった客観的な指標\footnotemark{}によって評価されてきた．\footnotetext{再現率は，正解データ中の固有表現の数（G）のうち，正しく認識された固有表現表現の数（C）がどれだけであったかを示す．適合率は，固有表現とみなされたものの数（S）のうち，正しく認識された固有表現の数（C）がどれだけであったかを示す．F-measureは，両者の調和平均である．それぞれの評価基準を式で示せば以下のようになる．\begin{quote}再現率（R）=C/G\\適合率（P）=C/S\\F-measure=2PR/(P+R)\end{quote}}しかし，単一システムの出力に対する評価だけでは，あるコーパスに対する固有表現抽出がどのように難しいのか，どのような情報がそのコーパスに対して固有表現抽出を行なう際に有効なのかを知ることは難しい．例えば，あるコーパスについて，あるシステムが固有表現抽出を行い，それらの結果をある指標で評価したとする．得られた評価結果が良いときに，そのシステムが良いシステムなのか，あるいはコーパスが易しいのかを判断することはできない．評価コンテストを行い，単一のシステムでなく複数のシステムが同一のコーパスについて固有表現抽出を行い，それらの結果を同一の指標で評価することで，システムを評価する基準を作成することはできる．しかしながら，異なるコーパスについて，複数の固有表現抽出システムの評価結果を蓄積していくことは大きなコストがかかる．また，継続して評価を行なっていったとしても，評価に参加するシステムは同一であるとは限らない．異なるコーパスについて，個別のシステムとは独立に固有表現抽出の難易度を測る指標があれば，コーパス間の評価，また固有表現抽出システム間の評価がより容易になると考えられる．本研究は，このような指標を定義することを目指すものである．\subsection{固有表現抽出の難易度における前提}異なる分野における情報抽出タスクの難易度を比較することは，複数の分野に適用可能な情報抽出システムを作成するためにも有用であり，実際複数のコーパスに対して情報抽出タスクの難易度を推定する研究が行われてきている．Baggaet.al~\cite{bagga:97}は，MUCで用いられたテストコーパスから意味ネットワークを作成し，それを用いてMUCに参加した情報抽出システムの性能を評価している．固有表現抽出タスクに関しては，Palmeret.al~\cite{palmer:anlp97}がMultilingualEntityTask~\cite{MUC7}で用いられた6カ国語のテストコーパスから，各言語における固有表現抽出技術の性能の下限を推定している．本研究では，固有表現抽出の難易度を，テストコーパス内に現れる固有表現，またはその周囲の表現に基づいて推定する指標を提案する．指標の定義は，「表現の多様性が抽出を難しくする」という考えに基づいている．文章中の固有表現を正しく認識するために必要な知識の量に着目すると，あるクラスに含まれる固有表現の種類が多ければ多いほど，また固有表現の前後の表現の多様性が大きいほど，固有表現を認識するために要求される知識の量は大きくなると考えられる．あらゆるコーパスを統一的に評価できるような，固有表現抽出の真の難易度は，現在存在しないので，今回提案した難易度の指標がどれほど真の難易度に近いのかを評価することはできない．本論文では，先に述べた，「複数のシステムが同一のコーパスについて固有表現抽出を行った結果の評価」を真の難易度の近似と見なし，これと提案した指標とを比較することによって，指標の評価を行うことにする．具体的には，1999年に開かれたIREXワークショップ\cite{IREXproc}で行われた固有表現抽出課題のテストコーパスについて提案した指標の値を求め，それらとIREXワークショップに参加した全システムの結果の平均値との相関を調べ，指標の結果の有効性を検証する．このような指標の評価方法を行うためには，できるだけ性質の異なる数多くのシステムによる結果を得る必要がある．IREXワークショップでは，15システムが参加しており，システムの種類も，明示的なパタンを用いたものやパタンを用いず機械学習を行ったもの，またパタンと機械学習をともに用いたものなどがあり，機械学習の手法も最大エントロピーやHMM，決定木，判別分析などいくつかバラエティがあるので，これらのシステムの結果を難易度を示す指標の評価に用いることには一定の妥当性があると考えている．\subsection{\label{section:IREX_NE}IREXワークショップの固有表現抽出課題}\begin{table}[t]\small\caption{\label{table:preliminary_comparison}IREX固有表現抽出のテストコーパス}\begin{center}\begin{tabular}{|l||r|r|r|}\hline&&\multicolumn{2}{|c|}{本試験}\\\cline{3-4}&予備試験&総合課題&限定課題\\\hline記事数&36&72&20\\単語数&11173&21321&4892\\文字数&20712&39205&8990\\\hline\end{tabular}\end{center}\end{table}IREXワークショップの固有表現抽出課題では，予備試験を含め，3種類のテストコーパスが評価に用いられた．表\ref{table:preliminary_comparison}に各々の記事数，単語数，文字数を示す．単語の切り分けにはJUMAN3.3~\cite{JUMAN33}を用い，単語の切り分けが固有表現の開始位置・終了位置と異なる場合には，その位置でさらに単語を分割した．IREXワークショップに参加した固有表現抽出システムの性能評価はF-measureで示されている．表\ref{table:F-measures}に各課題におけるF-measureの値を示す．本試験の評価値は，IREXワークショップに参加した全15システムの平均値である．一方，予備試験においては，全システムの評価は利用できなかったため，一つのシステム\cite{nobata:irex1}の出力結果を評価した値を用いている．このシステムは，決定木を生成するプログラム\cite{quinlan:93}を用いた固有表現抽出システム\cite{sekine:wvlc98}をIREXワークショップに向けて拡張したものである．IREXでは，8つの固有表現クラスが定義された．表\ref{table:F-measures}から，最初の4つの固有表現クラス(組織名，人名，地名，固有物名)は残り4つの固有表現クラス(日付表現，時間表現，金額表現，割合表現)よりも難しかったことが分かる．以下では，両者を区別して議論したいときには，MUCでの用語に基づき前者の4クラスを「ENAMEXグループ」と呼び，後者の4クラスを「TIMEX-NUMEXグループ」と呼ぶことにする．\begin{table}[t]\small\caption{\label{table:F-measures}IREX固有表現抽出の性能評価}\begin{center}\begin{tabular}{|l||r|r|r|}\hline&&\multicolumn{2}{|c|}{本試験}\\\cline{3-4}クラス&予備試験&総合課題&限定課題\\\hline\hline組織名&55.6&57.3&55.2\\\hline人名&71.3&67.8&68.8\\\hline地名&65.7&69.8&68.1\\\hline固有物名&18.8&25.5&57.9\\\hline日付表現&83.6&86.5&89.4\\\hline時間表現&69.4&83.0&89.8\\\hline金額表現&90.9&86.4&91.4\\\hline割合表現&100.0&86.4&---\\\hline\hline全表現&66.5&69.5&71.7\\\hline\end{tabular}\end{center}\end{table}\subsection{指標の概要}以下，本稿では，まず固有表現内の文字列に基いて，固有表現抽出の難易度を示す指標を提案する．ここで提案する指標は2種類ある．\begin{itemize}\itemFrequencyoftokens:各固有表現クラスの頻度と異なり数を用いた指標(\ref{section:FT}節)\itemTokenindex:固有表現内の個々の表現について，その表現のクラス内における頻度とコーパス全体における頻度を用いた指標(\ref{section:TI}節)\end{itemize}これらの指標の値を示し，それらと実際のシステムの評価結果との相関を調べた結果について述べる．次に，固有表現の周囲の文字列に基いた指標についても，固有表現内の文字列に基いた指標と同様に2種類の指標を定義し，それらの値とシステムの評価結果との相関の度合を示す(\ref{section:CW}節)．
\section{\label{section:FT}Frequencyoftokens}
本節では，固有表現クラスに含まれる文字列の頻度と異なり数とを用いて，固有表現抽出の難易度を示す指標について述べる．このような指標は，ある固有表現クラス内において，異なる文字列が数多く現れるならば，そのクラスの固有表現を認識することは難しくなる，という仮定に基づいている．頻度や異なり数を考慮する文字列の単位には，固有表現そのもの，単語，また単一の文字をとることができる．\subsection{\label{subsec:FE}固有表現を単位とする指標}まず，固有表現そのものを単位として分析を行なう．表\ref{table:FE_first}に，各クラスがもつ固有表現の異なり数を示す．予備試験と本試験の総合課題では，全表現の異なり数が各クラスの異なり数の合計よりも少ない．これは，複数のクラスに分類される固有表現がそれぞれ3個ずつあったからである．また，限定課題には割合表現が現われなかったので，数値が入っていない．\begin{table}[t]\small\caption{\label{table:FE_first}各クラスの固有表現の異なり数}\begin{center}\begin{tabular}{|l||r|r|r|}\hline&&\multicolumn{2}{|c|}{本試験}\\\cline{3-4}クラス&予備試験&総合課題&限定課題\\\hline\hline組織名&131&187&48\\\hline人名&113&217&71\\\hline地名&89&191&78\\\hline固有物名&31&39&9\\\hline日付表現&71&126&49\\\hline時間表現&16&32&15\\\hline金額表現&28&13&7\\\hline割合表現&6&16&-\\\hline\hline全表現&482(485)&818(821)&277\\\hline\end{tabular}\end{center}\end{table}異なり数を指標として用いるには，コーパスサイズの影響を除く必要がある．最初に定義する指標は，各クラスについて固有表現の異なり数を出現頻度で正規化したものである．以下これをFE(FrequencyofEntities)と呼ぶ．FEの定義を式で示せば式\ref{eq:FE}となる．\(D_E\)は各クラスに含まれる固有表現の異なり数，\(N_E\)は各クラス内の固有表現の総出現数である．FEは，あるクラス内の固有表現を抽出することが難しいときに，指標の値が大きくなることを意図して定義されている．\begin{equation}\label{eq:FE}\mbox{\itFE}=\frac{D_E}{N_E}\end{equation}FEの値を求める際には，文章中に現れる数字を全て文字``＃''で置き換えた．これは，各数字を異なる表現とみなすよりも同一の表現とみなす方が固有表現の多様性を捉える際にはより適切であるという判断による．数字を同一の文字とみなすことによってTIMEX-NUMEXグループに含まれる固有表現クラスのFEの値は小さくなるが，これはTIMEX-NUMEXグループの認識精度が非常に高いという結果に合致する．FEの値を表\ref{table:FE_second}に示す．\begin{table}[t]\small\caption{\label{table:FE_second}各クラスのFEの値}\begin{center}\begin{tabular}{|l||l|l|l|}\hline&&\multicolumn{2}{|c|}{本試験}\\\cline{3-4}クラス&予備試験&総合課題&限定課題\\\hline\hline組織名&0.61&0.48&0.65\\&(=131/214)&(=187/389)&(=48/74)\\\hline人名&0.67&0.61&0.73\\&(=113/169)&(=217/355)&(=71/97)\\\hline地名&0.46&0.46&0.75\\&(=89/192)&(=190/416)&(=78/106)\\\hline固有物名&0.71&0.80&0.69\\&(=30/42)&(=39/49)&(=9/13)\\\hline日付表現&0.33&0.18&0.24\\&(=36/110)&(=51/277)&(=17/72)\\\hline時間表現&0.46&0.27&0.53\\&(=11/24)&(=16/59)&(=10/19)\\\hline金額表現&0.09&0.13&0.13\\&(=3/33)&(=2/15)&(=1/8)\\\hline割合表現&0.50&0.29&---\\&(=3/6)&(=6/21)&---\\\hline\hline全表現&0.53&0.45&0.60\\&(=415/790)&(=706/1581)&(=235/389)\\\hline\end{tabular}\end{center}\end{table}\subsection{\label{subsec:FW}単語，文字単位の指標}前節では固有表現そのものを指標を計算する単位として用いたが，単語や文字を単位としても同様に指標を定義することができる．固有表現よりも短かく頻度の大きい単語や文字を単位にすることで，よりコーパスサイズの影響を受けにくい指標が得られると期待される．以下，単語単位の指標をFW，文字単位の指標をFCと呼ぶ．FW，FCの定義はFEと同様に，それぞれ式\ref{eq:FW}，式\ref{eq:FC}によって表わせる．\begin{eqnarray}\label{eq:FW}\mbox{\itFW}&=&\frac{D_W}{N_W}\\&\mbox{但し:}&\nonumber\\&D_W&\mbox{各固有表現クラスに含まれる単語の異なり数}\nonumber\\&N_W&\mbox{各固有表現クラスに含まれる単語の総出現数}\nonumber\end{eqnarray}\begin{eqnarray}\label{eq:FC}\mbox{\itFC}&=&\frac{D_C}{N_C}\\&\mbox{但し:}&\nonumber\\&D_C&\mbox{各固有表現クラスに含まれる文字の異なり数}\nonumber\\&N_C&\mbox{各固有表現クラスに含まれる文字の総出現数}\nonumber\end{eqnarray}FEと同様に，FW・FCにおいても数字は同一の文字とみなして値を求めた．FWとFCの値の傾向は似通っているので，ここではFCの値のみを示す(表\ref{table:FC})．FCではクラス間の差がFEよりも際だっており，特にTIMEX-NUMEXグループ内のクラスに対するFCの値はきわめて小さい．\begin{table}[t]\small\caption{\label{table:FC}各クラスのFCの値}\begin{center}\begin{tabular}{|l||l|l|l|}\hline&&\multicolumn{2}{|c|}{本試験}\\\cline{3-4}クラス&予備試験&総合課題&限定課題\\\hline\hline組織名&0.29&0.20&0.38\\&(=258/883)&(=365/1792)&(=139/365)\\\hline人名&0.39&0.26&0.48\\&(=222/575)&(=319/1228)&(=148/311)\\\hline地名&0.30&0.19&0.34\\&(=186/618)&(=284/1491)&(=155/462)\\\hline固有物名&0.53&0.50&0.58\\&(=131/245)&(=175/347)&(=34/59)\\\hline日付表現&0.16&0.07&0.07\\&(=44/282)&(=54/737)&(=15/226)\\\hline時間表現&0.18&0.09&0.14\\&(=12/66)&(=16/182)&(=10/71)\\\hline金額表現&0.06&0.09&0.13\\&(=4/72)&(=3/34)&(=2/16)\\\hline割合表現&0.38&0.10&---\\&(=5/13)&(=7/58)&---\\\hline\hline全表現&0.20&0.12&0.24\\&(=555/2754)&(=717/5869)&(=355/1510)\\\hline\end{tabular}\end{center}\end{table}\subsection{指標の有効性}指標の有効性を確かめるために，各指標がシステムの評価結果とどの程度相関しているかを調べる．まず，各固有表現クラスに対するFE・FW・FCの値とF-measureとの散布図を予備試験(図\ref{figure:scatter_diagram_dryrun})，本試験の総合課題(図\ref{figure:scatter_diagram_general})，限定課題(図\ref{figure:scatter_diagram_arrest})それぞれについて示す．どの図においても，縦軸に指標の値，横軸にF-measureの値をとっている．各クラスに対応するF-measureの値には，以下のような，クラス名を示す英字3文字のラベルを付した：\begin{quote}組織名(ORG)，人名(PRS)，地名(LOC)，固有物名(ART)，\\日付表現(DAT)，時間表現(TIM)，金額表現(MON)，割合表現(PRC)\end{quote}予備試験と総合課題においては，TIMEX-NUMEXグループが右下にまとまり，固有物名を除いたENAMEXグループがややその左上に位置する．その左上に位置しているのは，固有物名である．限定課題においては，固有物名は他のENAMEXグループに属するクラスと同様の位置にある．F-measureの値においても，指標の値においても，値の傾向としてはほぼ同様であるといえる．各クラスごとにFE・FW・FCの値とF-measureとの相関係数を求めた結果を表\ref{table:FEWC_CC}に示す．これらの指標は，固有表現の抽出が難しいときに値が大きくなることを意図して定義されたものである．即ち，F-measureの値との負の相関が高くなることを意図して作成された指標である．\begin{table}[t]\small\caption{\label{table:FEWC_CC}指標とF-measureとの相関}\begin{center}\begin{tabular}{|l||r|r|r|}\hline課題&FE&FW&FC\\\hline\hline予備試験&-0.66&-0.63&-0.61\\\hline本試験(総合)&-0.91&-0.92&-0.97\\\hline本試験(限定)&-0.80&-0.87&-0.89\\\hline\end{tabular}\end{center}\end{table}表\ref{table:FEWC_CC}から，FW・FCは予備試験のコーパスにおいてはFEよりも相関が弱いが，本試験のコーパスにおいては総合・限定課題どちらにおいてもFEより相関が強いことが分かる．予備試験に対するシステムの評価結果は1つのシステムによるものであることを考慮すると，本試験の二つの課題に対して相関が強いほうが指標としてより信頼できる．本試験のコーパスに対する結果から，固有表現よりも単語の方が，単語よりも文字の方が指標の値を求める単位としては安定しているといえる．\begin{figure}[hb]\small\begin{center}\epsfile{file=dryrun_scatter_diagram.eps,scale=0.9}\end{center}\caption{\label{figure:scatter_diagram_dryrun}指標とF-measureとの散布図(予備試験)}\end{figure}\begin{figure}[htp]\small\begin{center}\epsfile{file=general_scatter_diagram.eps,scale=0.9}\end{center}\caption{\label{figure:scatter_diagram_general}指標とF-measureとの散布図(総合課題)}\begin{center}\epsfile{file=arrest_scatter_diagram.eps,scale=0.9}\end{center}\caption{\label{figure:scatter_diagram_arrest}指標とF-measureとの散布図(限定課題)}\end{figure}\newpage
\section{\label{section:TI}Tokenindex}
本節では，固有表現内の個々の表現について，その表現のクラス内における頻度とコーパス全体における頻度との関係に基いて固有表現抽出の難易度を示すことを考える．これは，あるクラスに相対的に関連の強い文字列が多いほど，そのクラスの固有表現を抽出することはより易しくなるという仮定に基づいている．先に定義した指標では，クラス内の頻度のみを用いており，個々の固有表現内の文字列については考慮していなかった．本節で考える指標では，ある文字列の固有表現クラスとの関連の強さを，その文字列のクラス内での頻度とコーパス全体の頻度の双方を用いて定義する．つまりある文字列の頻度が高く，かつそのほとんどが特定の固有表現クラス内に限られるならば，その文字列はそのクラスと関連が強くなり，そのような文字列が多いほどそのクラスにおける固有表現の抽出は易しくなるという仮定に基づく．\subsection{\label{subsec:CI}文字単位の指標}以下では，文字を単位として指標を定義する．文字を単位として選んだのは，先に定義された指標の中では，文字を単位とした指標が最もシステムの評価結果との相関が強かったためである．まず，各文字ごとの指標CI$_c$を定義する．文字\(c\)のクラス\(L\)に対するCI$_c$の値は，式\ref{eq:character_index_each}によって与えられる．\(n_L(c)\)は文字\(c\)のクラス\(L\)における頻度，\(n_{(c)}\)はコーパス全体での頻度を現わす．\(N_{C^L}\)はクラス\(L\)内の総文字数である．つまり，右辺第1項\(\frac{n_L(c)}{N_{C^L}}\)はクラス\(L\)での文字\(c\)の相対頻度を示し，第2項\(\frac{n_L(c)}{n(c)}\)は文字\(c\)がクラス\(L\)にどれだけ偏って現れるかを示しているので，CI\(_c\)は文字\(c\)のクラス\(L\)における偏りを相対頻度で正規化したものとなる．\begin{equation}\label{eq:character_index_each}\mbox{CI$_c$}=\frac{n_L(c)}{N_{C^L}}\frac{n_L(c)}{n(c)}\end{equation}各固有表現クラスに現れる全文字のCI$_c$の値を合計した値を，新たな指標CI(CharacterIndex)として用いることにする．\begin{equation}\label{eq:character_index}\mbox{CI}=\sum_{c\inC^L}\mbox{CI$_c$}\end{equation}この指標は，固有表現の抽出が易しいときに値が大きくなることを意図して定義されたものである．従って，システムの評価結果との正の相関が強ければ，指標として優れていることになる．CI\(_c\)は，クラス\(L\)の表現に文字\(c\)が生じる条件付き確率\(p(c\vertL)\)と，文字cがあったときにそれがクラス\(L\)の表現の一部である条件付き確率\(p(L\vertc)\)との積を推定する式となっている．\[\mbox{CI$_c$}=p(c\vertL)\cdotp(L\vertc)\]CI\(_c\)は，文字\(c\)の出現確率\(p(c)\)，クラス\(L\)内の文字が出現する確率\(p(L)\)，文字\(c\)とクラス\(L\)の同時確率\(p(c,L)\)を用いて次のように変形できる．\[\mbox{CI$_c$}=\frac{p(c,L)^2}{p(c)\cdotp(L)}\]これは，文字\(c\)とクラス\(L\)に対する相互情報量に基づく尺度(式\ref{eq:mutual_information})に類似する．\begin{equation}\label{eq:mutual_information}\mbox{MI$_c$}=\log_2\left(\frac{p(c,L)}{p(c)\cdotp(L)}\right)\end{equation}異なる点は，\(log\)を取っていないことと，同時確率\(p(c,L)\)が二乗になっていることである．この違いによって，文字\(c\)がクラス\(L\)にのみ出現する場合，相互情報量に基づく尺度では，その文字の頻度に関わらず一定値になるのに対し，CI\(c\)の値では，さらにその文字がクラス\(L\)の全表現のうちどのくらいの割合を占めるかを指標として含むことができる．また，CI\(_c\)の定義は，CI\(_c\)の総和としてCIを求める際に必要な正規化となっており，クラス\(L\)内の全ての文字が\(L\)にのみ現れるならば，CIは最大値1をとる．これに対し，相互情報量に基づく尺度では，そのクラス内での文字の分布により最大値は一定でない．\begin{table}[tb]\small\caption{\label{table:CI}各クラスのCIの値}\begin{center}\begin{tabular}{|l||l|l|l|}\hline&&\multicolumn{2}{|c|}{本試験}\\\cline{3-4}クラス&予備試験&総合課題&限定課題\\\hline\hline組織名&0.34&0.31&0.45\\\hline人名&0.51&0.45&0.59\\\hline地名&0.38&0.40&0.56\\\hline固有物名&0.21&0.15&0.27\\\hline日付表現&0.39&0.48&0.60\\\hline時間表現&0.36&0.40&0.47\\\hline金額表現&0.47&0.51&0.51\\\hline割合表現&0.33&0.27&---\\\hline\hline全表現&0.57&0.58&0.71\\\hline\end{tabular}\end{center}\end{table}\subsection{CIの有効性}表\ref{table:index_CC_CI}に，CIとシステムの評価結果との相関係数の値を示す．CIとシステムの評価との相関は先に定義した指標のそれと比べると低く，指標としては十分でないことを示している．相関が低い理由の一つとしては，CIの値が，各固有表現クラスに含まれる全文字のCI$_c$の値を合計した値であることが考えられる．CI$_c$の値が低い文字はそのクラスに含まれる固有表現を抽出するのに有用であるとはいえないので，そのような文字はCIを求める際に取り除く必要がある．CI$_c$の値に対する閾値を設け，閾値以上の値についてのみCIの値に加えることで，CIの値をより指標として優れたものにできると考えられる．図\ref{figure:CI}は，CI$_c$に対する閾値と相関係数との関係を示すグラフである．CI$_c$に対する閾値を示す軸には対数軸を取っている．グラフから，3種類のテストコーパス全てについて相関係数の値は一旦上昇し，その後低下していることが分かる．各々の相関係数の最大値と，それに対応する閾値は表\ref{table:index_CC_CI}に示してある．これらの値は前節で提示した指標の相関係数と同程度になっている．もっとも，相関係数の最大値を与える閾値は，システムの評価結果を用いて初めて明らかになるので，新しいタスクのテストコーパスにおいては，事前に閾値を何らかの方法で決定する必要がある．新しいタスクにおいて閾値を求める方法の一つとしては，予め閾値を求めるために本当に評価したいコーパスと同じ種類のデータを用意し，同じ固有表現クラスの定義を用いて複数の参加システムについて実験をしておき，そこで得られた閾値を，本当に評価したいコーパスについて用いることが考えられる．例えば，性質の似た2種類のコーパスを用いて予備試験と本試験を行い，それぞれについて複数システムの評価結果を得ることができれば，予備試験の結果から閾値を得て本試験に用いることができる．今回の実験においては，予備試験に対して1システムの結果のみを用いているが，それでもその結果から得られた閾値を本試験のコーパスに対して用いるならば，表\ref{table:index_CC_CI}の最後の行に示すように，最大値に近い相関係数の値が得られるので，この方法によって妥当な閾値が得られたといえる．CIの値の振舞いをより詳しく調べるために，固有表現クラスをENAMEXグループとTIMEX-NUMEXグループの二つに分け，各々についてCI$_c$の値が大きい順に文字を並べてCI$_c$の値の変化を示したのが図\ref{figure:CI}である．TIMEX-NUMEXグループにおいてはCI$_c$の値が他に比べて極立って大きい文字がいくつか存在するのに対し，ENAMEXグループにはそのような文字は存在せず，なだらかにCI$_c$の値が変化していくことがグラフから見てとれる．このことは，ENAMEXグループの固有表現には多くの文字がほぼ同程度に関連しているが，極立って強い関連を持つものはなく，固有表現を抽出する際にはほぼ全ての文字を考慮する必要があること，一方NUMEX-TIMEXグループの固有表現には，少数の文字が非常に強く関連していることを示唆している．\begin{table}[t]\small\caption{\label{table:index_CC_CI}CIとF-measureとの相関}\begin{center}\begin{tabular}{|l|rr|rr|rr|}\hlineCIに対する条件&\multicolumn{2}{c|}{予備試験}&\multicolumn{2}{c|}{本試験(総合)}&\multicolumn{2}{c|}{本試験(限定)}\\\hline\hline閾値なし&0.62&&0.75&&0.49&\\\hline最大値(CI$_c$への閾値)&0.86&(0.005)&0.88&(0.004)&0.96&(0.009)\\\hline予備試験の閾値に対する値&\multicolumn{2}{c|}{-}&0.86&(0.005)&0.95&(0.005)\\\hline\end{tabular}\end{center}\end{table}\begin{figure}[tb]\small\begin{center}\epsfile{file=CI_graph.eps,scale=0.8}\end{center}\caption{\label{figure:CI}CIとF-measureとの相関の変化}\end{figure}\subsection{CI$_c$による文字の重要度}本節では，CI$_c$の値に基づいて，固有表現を抽出する際に有用と思われる文字を具体的に挙げて述べる．表\ref{table:characters_with_CIc_numex}にTIMEX-NUMEXグループにおいてCI$_c$の値が大きい文字を示す．対象課題は本試験の総合課題である．「＃」は数字全体を示している．前節で見たように，TIMEX-NUMEXグループには，CI$_c$の値が非常に大きい文字がいくつか存在する．これらの文字がそのクラスに属する表現と強く結びついていることは人間の直観から見ても妥当だといえる．実際，金額表現クラスにおける「円」，割合表現クラスにおける「％」のCI$_c$の値は非常に大きく，各クラスに対するCIの値の半分以上を占めている．一方，コーパス中の数字の頻度は非常に大きいが，TIMEX-NUMEXグループ内の各クラスに同様に現れるため，日付表現以外ではCI$_c$の値は小さい．\begin{table}[tb]\small\caption{\label{table:characters_with_CIc_numex}TIMEX-NUMEXグループ内でCI$_c$の値が大きい文字}\begin{center}\begin{tabular}{|l||r|r|l|}\hlineクラス&CI$_c$&\(n_L(c)\)&文字\\\hline\hline日付表現&0.1113&277&＃\\\cline{2-4}&0.1071&143&日\\\cline{2-4}&0.0931&75&月\\\cline{2-4}&0.0893&98&年\\\cline{2-4}&0.0421&31&昨\\\hline\hline時間表現&0.1868&34&午\\\cline{2-4}&0.0586&32&時\\\cline{2-4}&0.0368&23&後\\\cline{2-4}&0.0352&8&夜\\\cline{2-4}&0.0330&6&夕\\\hline\hline金額表現&0.4412&15&円\\\cline{2-4}&0.0588&2&銭\\\cline{2-4}&0.0091&17&＃\\\hline\hline割合表現&0.1379&8&％\\\cline{2-4}&0.0616&5&倍\\\cline{2-4}&0.0276&4&半\\\cline{2-4}&0.0212&4&割\\\cline{2-4}&0.0134&27&＃\\\hline\end{tabular}\end{center}\end{table}次に，ENAMEXグループにおける各文字のCI$_c$の値の傾向を調べる．表\ref{table:characters_with_CIc_enamex}に，ENAMEXグループにおいてCI$_c$の値が大きい文字を示す．対象課題は同様に本試験の総合課題である．これを見ると，人名以外の3つのクラスにおいては，接尾辞として用いられる文字においてCI$_c$の値が比較的大きいことが分かる．これをより明確に示すために，ENAMEXグループにおいてCI$_c$を文字bi-gramについて求めた結果を表\ref{table:characters_with_CIc_bigram_enamex}に示す．{\tt[BOE]}は固有表現の開始，{\tt[EOE]}は終了を示す．文字bi-gramに対する結果からは，組織名クラスにおける「党」や「銀」，固有物名における「法」，地名における「市」や「国」など，いくつかの接尾辞に対して高いCI$_c$の値が得られた．これらの接尾辞が，特定の固有表現クラスに属する表現と強く結びついていることは人間の直観から見て妥当だといえる．今回の実験では，固有表現中の先頭にあるか末尾にあるかといった位置の情報は用いなかったが，このような位置情報を取り入れることで，指標の値から固有表現抽出に必要な知識の一部をより効率良く得ることができると考えられる．\begin{table}[htbp]\small\caption{\label{table:characters_with_CIc_enamex}ENAMEXグループ内でCI$_c$の値が大きい文字}\begin{center}\begin{tabular}{|l|c|r|l|}\hlineクラス&CI$_c$&\(n_L(c)\)&文字\\\hline\hline組織名&0.0177&41&銀\\\cline{2-4}&0.0159&43&党\\\cline{2-4}&0.0108&22&庁\\\cline{2-4}&0.0106&19&衆\\\cline{2-4}&0.0087&22&Ａ\\\hline\hline人名&0.0200&34&原\\\cline{2-4}&0.0172&35&田\\\cline{2-4}&0.0155&19&郎\\\cline{2-4}&0.0126&18&藤\\\cline{2-4}&0.0109&21&山\\\hline\hline地名&0.0323&51&米\\\cline{2-4}&0.0161&36&市\\\cline{2-4}&0.0151&30&京\\\cline{2-4}&0.0125&24&ボ\\\cline{2-4}&0.0124&33&東\\\hline\hline固有物名&0.0206&20&法\\\cline{2-4}&0.0080&6&商\\\cline{2-4}&0.0058&2&仙\\\cline{2-4}&0.0043&3&賞\\\cline{2-4}&0.0038&2&鳳\\\hline\end{tabular}\end{center}\caption{\label{table:characters_with_CIc_bigram_enamex}ENAMEXグループ内でCI$_c$の値が大きい文字bi-gram}\begin{center}\begin{tabular}{|l|c|r|l|}\hlineクラス&CI$_c$&\(n_L(c)\)&文字bi-gram\\\hline\hline組織名&0.0125&39&党{\tt[EOE]}\\\cline{2-4}&0.0119&27&長銀\\\cline{2-4}&0.0111&26&銀{\tt[EOE]}\\\cline{2-4}&0.0110&24&自民\\\cline{2-4}&0.0101&22&民党\\\hline\hline人名&0.0126&20&上原\\\cline{2-4}&0.0120&19&郎{\tt[EOE]}\\\cline{2-4}&0.0107&17&原{\tt[EOE]}\\\cline{2-4}&0.0074&24&{\tt[BOE]}上\\\cline{2-4}&0.0069&11&佐藤\\\hline\hline固有物名&0.0146&14&法{\tt[EOE]}\\\cline{2-4}&0.0130&6&商法\\\cline{2-4}&0.0057&5&{\tt[BOE]}商\\\cline{2-4}&0.0057&3&ドラ\\\cline{2-4}&0.0051&2&鳳仙\\\hline\hline地名&0.0252&49&{\tt[BOE]}米\\\cline{2-4}&0.0163&31&米{\tt[EOE]}\\\cline{2-4}&0.0139&46&{\tt[BOE]}日\\\cline{2-4}&0.0136&36&本{\tt[EOE]}\\\cline{2-4}&0.0121&36&日本\\\cline{2-4}&0.0110&21&京都\\\cline{2-4}&0.0104&26&市{\tt[EOE]}\\\cline{2-4}&0.0100&44&国{\tt[EOE]}\\\hline\end{tabular}\end{center}\end{table}\newpage
\section{\label{section:CW}固有表現周囲の文字列に基づく指標}
固有表現内の文字列に関する分析だけでは，難易度を調べるのに十分ではない．あるクラス内の固有表現が多様であったとしても，その周囲の表現が定まっているならば，そのクラスの固有表現抽出に関する難易度は小さくなると考えられる．本節では，固有表現の周囲の表現に着目して新たな指標を定義し，その有効性を先に定義した指標と同様に検証する．以下では指標を求める際の文字列の単位としては全て単語を用いている．\subsection{Frequencyofcontextwords}まず，FE・FW・FCと同様に，固有表現の周囲の単語について，その頻度と異なり数に基づいた指標FCW(Frequencyofcontextwords)を定義する．FCWは固有表現クラスの周囲\(m\)語以内の単語を対象とする指標であり，式\ref{eq:FCW}のように定義される．\begin{eqnarray}\label{eq:FCW}\mbox{\itFCW}&=&\frac{DCW_{m}}{NCW_{m}}\\&\mbox{但し:}&\nonumber\\&DCW_{m}&\mbox{各固有表現クラスの周囲\(m\)語以内に現れる単語の異なり数}\nonumber\\&NCW_{m}&\mbox{各固有表現クラスの周囲\(m\)語以内に現れる単語の総出現数}\nonumber\end{eqnarray}周囲の単語とみなす範囲\(m\)を，固有表現の直前または直後1単語から最大4単語まで変化させ，指標の値を求めた．また，固有表現の直前に現われる単語に関する指標{\itFCWpre}と，固有表現の直後に現れる単語に関する指標{\itFCWfol}とをそれぞれ求めた．\begin{eqnarray}\label{eq:FCWpre}\mbox{\itFCWpre}&=&\frac{DCW\mbox{\itpre}_{m}}{NCW\mbox{\itpre}_{m}}\\&\mbox{但し:}&\nonumber\\&DCW\mbox{\itpre}_{m}&\mbox{各固有表現クラスの直前\(m\)語以内に現れる単語の異なり数}\nonumber\\&NCW\mbox{\itpre}_{m}&\mbox{各固有表現クラスに直前\(m\)語以内に現れる単語の総出現数}\nonumber\end{eqnarray}\begin{eqnarray}\label{eq:FCWfol}\mbox{\itFCWfol}&=&\frac{DCW\mbox{\itfol}_{m}}{NCW\mbox{\itfol}_{m}}\\&\mbox{但し:}&\nonumber\\&DCW\mbox{\itfol}_{m}&\mbox{各固有表現クラスの直後\(m\)語以内に現れる単語の異なり数}\nonumber\\&NCW\mbox{\itfol}_{m}&\mbox{各固有表現クラスに直後\(m\)語以内に現れる単語の総出現数}\nonumber\end{eqnarray}指標とシステムの評価結果との相関を表\ref{table:index_CC_FCW}に示す．負の相関が強いほどこの指標の値がシステムの結果とよく合致していることになるが，相関係数の値から，FCWは指標として適切であるとはいえない．\begin{table}[t]\small\caption{\label{table:index_CC_FCW}FCWとF-measureとの相関}\begin{center}\begin{tabular}{|l||rrrr|}\hline&\multicolumn{4}{|c|}{FCWpre:直前の単語}\\\cline{2-5}課題&1語&2語&3語&4語\\\hline\hline予備試験&0.50&0.22&0.20&0.18\\\hline本試験(総合)&0.16&-0.05&0.01&0.01\\\hline本試験(限定)&-0.56&-0.36&0.00&0.16\\\hline\hline&\multicolumn{4}{|c|}{FCWfol:直後の単語}\\\cline{2-5}課題&1語&2語&3語&4語\\\hline\hline予備試験&0.58&0.50&0.49&0.46\\\hline本試験(総合)&0.34&0.43&0.23&0.26\\\hline本試験(限定)&0.06&0.13&0.34&0.49\\\hline\end{tabular}\end{center}\end{table}\subsection{Contextwordindex}\label{section:CWI}固有表現の周囲の単語を用いた新たな指標として，CIと同様にCWI(ContextWordIndex)を定義する．CWIの定義は式\ref{eq:context_word_index}で与えられる．\begin{eqnarray}\label{eq:context_word_index}\mbox{CWI}_w&=&\frac{1}{m}\frac{n_L(w)}{N_{W^L}}\frac{n_L(w)}{n(w)}\nonumber\\\mbox{CWI}&=&\sum_{w\inW^L_{m}}\mbox{CWI}_w\end{eqnarray}\(m\)は固有表現の周囲の単語とみなされる語の範囲を示し，右辺第1項\(\frac{1}{m}\)は，範囲\(m\)を大きくしたときに頻度を補正するための項である．\(W^L_m\)は，固有表現クラス\(L\)の周囲\(m\)語以内に現れる単語の集合を示す．\(n_L(w)\)は，単語\(w\)がクラス\(L\)の固有表現の周囲\(m\)語以内に現れる頻度，\(n_{(w)}\)はコーパス全体での頻度を現わす．\(N_{W^L}\)はクラス\(L\)の固有表現周囲に現れる単語の総数である．すなわち，右辺第2項\(\frac{n_L(w)}{N_{W^L}}\)はクラス\(L\)に対する単語\(w\)の相対頻度を示し，第3項\(\frac{n_L(w)}{n(w)}\)は単語\(w\)がクラス\(L\)に属する表現の周囲\(m\)語以内にどれだけ偏って現れるかを示す．表\ref{table:CWI}に，\(m=1\)のときの各クラスにおけるCWIの値を示す．FCWと同様に，直前の単語に関する指標CWIpreと直後の単語に関する指標CWIfolとを別々に求めた．各課題における指標の値のうち，クラス間で最も大きいものを太字で示した．\begin{table*}[t]\small\caption{\label{table:CWI}各クラスのCWIの値\((m=1)\)}\begin{center}\begin{tabular}{|l||c|c|c|c|c|c|}\hline&\multicolumn{2}{|c|}{予備試験}&\multicolumn{2}{|c|}{総合課題}&\multicolumn{2}{|c|}{限定課題}\\\cline{2-7}クラス&CWIpre&CWIfol&CWIpre&CWIfol&CWIpre&CWIfol\\\hline\hline組織名&0.23&0.30&0.16&0.22&0.15&0.20\\\hline人名&0.18&{\bf0.47}&0.17&{\bf0.53}&0.16&{\bf0.58}\\\hline地名&0.22&0.35&0.20&0.21&0.29&0.27\\\hline固有物名&0.09&0.10&0.05&0.18&0.02&0.56\\\hline日付表現&0.13&0.25&0.15&0.22&0.14&0.33\\\hline時間表現&{\bf0.29}&0.07&{\bf0.29}&0.20&{\bf0.44}&0.40\\\hline金額表現&0.14&0.20&0.25&0.28&0.37&0.45\\\hline割合表現&0.07&0.04&0.12&0.27&---&---\\\hline\hline全表現&0.32&0.41&0.30&0.36&0.34&0.43\\\hline\end{tabular}\end{center}\end{table*}\subsection{CWI$_w$による単語の重要度}固有表現の周囲の単語とみなす範囲を，固有表現の直前または直後1単語から最大4単語まで変化させ，システムの評価結果との相関を調べた．結果を表\ref{table:index_CC_CWI}に示す．ここでは正の相関が強いほどシステムの結果とよく合致していることを表わす．CWIの指標としての有効性はFCWよりは高いが，その他の指標と比べると低い．CWIは固有表現の周囲の表現がもつ情報を十分に利用しているとはいえないが，しかし課題や固有表現クラスによっては，人間の直観に沿うような結果が得られている．\(m=1\)のときの結果から，具体的な単語の例を表\ref{table:timeCWIpres}，表\ref{table:personCWIfols}，また表\ref{table:arrestCWIfols}に示す．これらの表において単語に添えられている値は，単語ごとの指標CWI$_w$と，あるクラスに属する固有表現の前または後に現われた頻度\(n_L(w)\)である．\begin{table}[tbp]\small\caption{\label{table:index_CC_CWI}CWIとF-measureとの相関}\begin{center}\begin{tabular}{|l||rrrr|}\hline&\multicolumn{4}{|c|}{CWIpre:直前の単語}\\\cline{2-5}課題&\(m=1\)&\(m=2\)&\(m=3\)&\(m=4\)\\\hline\hline予備試験&-0.07&-0.34&-0.53&-0.49\\\hline本試験(総合)&0.66&-0.01&-0.01&-0.04\\\hline本試験(限定)&0.67&0.39&0.46&0.20\\\hline\hline&\multicolumn{4}{|c|}{CWIfol:直後の単語}\\\cline{2-5}課題&\(m=1\)&\(m=2\)&\(m=3\)&\(m=4\)\\\hline\hline予備試験&-0.01&-0.24&-0.07&-0.09\\\hline本試験(総合)&0.14&0.29&0.00&0.02\\\hline本試験(限定)&0.06&0.46&0.36&0.10\\\hline\end{tabular}\end{center}\caption{\label{table:timeCWIpres}総合課題の時間表現に対してCWIpre$_w$の値が大きい単語}\begin{center}\begin{tabular}{|r|r|l|}\hlineCWIpre$_w$&\(n_L(w)\)&単語\\\hline\hline0.1805&35&＃日\\\hline0.0920&8&同日\\\hline0.0086&1&＃年＃月＃日\\\hline0.0067&5&同\\\hline0.0057&1&昨年＃月＃日\\\hline\end{tabular}\end{center}\caption{\label{table:personCWIfols}人名に対してCWIfol$_w$の値が大きい単語}\begin{center}\begin{tabular}{|l||r|r|p{1.5cm}|}\hline課題&CWIfol$_w$&\(n_L(w)\)&単語\\\hline\hline本試験(限定)&0.0471&30&容疑者\\\hline本試験(限定)&0.0407&33&（\\\hline予備試験&0.0406&28&氏\\\hline本試験(総合)&0.0370&54&さん\\\hline本試験(限定)&0.0340&13&さん\\\hline予備試験&0.0228&17&さん\\\hline本試験(総合)&0.0214&29&氏\\\hline本試験(総合)&0.0170&28&】\\\hline本試験(総合)&0.0164&25&被告\\\hline\end{tabular}\end{center}\caption{\label{table:arrestCWIfols}限定課題においてCWIfol$_w$の値が大きい単語}\begin{center}\begin{tabular}{|l||r|r|p{1.5cm}|}\hlineクラス&CWIfol&CWIfol$_w$&単語\\\hline\hline固有物名&0.5640&0.5470&違反\\\hline時間表現&0.4015&0.3876&ごろ\\\hline金額表現&0.4460&0.3750&相当\\\hline\end{tabular}\end{center}\end{table}表\ref{table:CWI}から3種類の課題全てにおいて時間表現クラスは他のクラスよりCWIpreの値が大きいことが分かるが，これは表\ref{table:timeCWIpres}に示すように，時間表現の直前には日付表現がよく現われていることによる．この逆が成り立たないことは，日付表現クラスのCWIfolの値が時間表現のCWIpreの値ほど高くないことから分かる．日付表現クラスは時間表現クラスとともに現れることも多いが，単独で現れることも多いからである．人名クラスについても同様に，どの課題でも他のクラスよりCWIfolの値が大きいことが表\ref{table:CWI}から分かる．表\ref{table:personCWIfols}にCWIfol$_w$の値が大きい単語を示す．どの課題においても敬称や呼称が人名の直後によく現れており，これらの単語は人名を抽出する際に有用であることが分かる．固有物名，金額表現，時間表現クラスはそれぞれ本試験の限定課題においてCWIfolの値が大きい．表\ref{table:arrestCWIfols}に示すように，そのほとんどが特定の一単語がもつCWIfol$_w$の値によるものである．これは，限定課題におけるコーパスが逮捕に関する記事のみから成っており，単語の用いられ方が他の種類の記事に比べてより固定されていることが理由であると考えられる．
\section{個々のシステムとの相関}
\begin{figure}[tb]\begin{center}\epsfile{file=hist_graph_g_in.eps,scale=0.55}\epsfile{file=hist_graph_g_ex.eps,scale=0.55}\end{center}\caption{\label{figure:hist_graphs_g}指標とシステムの評価結果との相関係数(総合課題)}\end{figure}\begin{figure}[tb]\begin{center}\epsfile{file=hist_graph_a_in.eps,scale=0.55}\epsfile{file=hist_graph_a_ex.eps,scale=0.55}\end{center}\caption{\label{figure:hist_graphs_a}指標とシステムの評価結果との相関係数(限定課題)}\end{figure}IREXワークショップに参加した全システムの性能について，その平均値との相関を調べることによって指標の結果の有効性を検討してきた．本節では，各システムの性能と指標との相関について示す．IREXで行なわれた本試験の総合課題・限定課題それぞれについて，定義した指標と参加した各システムの評価結果との相関係数を調べた結果を図\ref{figure:hist_graphs_g}，\ref{figure:hist_graphs_a}に示す．指標の種類はFE,FW,FC,CI,CWIpre,CWIfolの全6種類である．CIについては，図\ref{figure:CI}から得られたしきい値を用いた結果を示した．固有表現内の文字列を用いた指標(FE,FW,FC,CI)との相関は，どちらの課題においても，ほとんどのシステムで高い．固有表現の周囲の単語を用いた指標(CWIpre,CWIfol)との相関はそれに比べると低いことが分かる．特に限定課題では，固有表現の周囲の単語を用いた指標との相関はシステムによって大きくばらつきがある．表\ref{table:each_system_fmeasure}に，個々のシステムについて，そのF-measureの値と手法の特徴をまとめた．括弧内に示した値は，各々のシステムのF-measureについて，それ以外の全システムのF-measureの平均との相関係数をとったものである．また，表\ref{table:each_system_index_general}，表\ref{table:each_system_index_arrest}に，IREXで行なわれた本試験の総合課題・限定課題それぞれについて，定義した指標と参加した各システムの評価結果との相関係数を調べた結果を示す．これは，図\ref{figure:hist_graphs_g}，図\ref{figure:hist_graphs_a}を記述するのに用いたものである．固有表現の周囲の単語を用いた指標は，どのシステムにおいても相関係数の値が低く，また，バラツキが大きいので以下の考察ではふれない．総合課題においては，各システムの評価と全体との相関は，システムOを除いて非常に高い．限定課題においては，システムE,F,Oにおいて，全体との相関が低くなっている．固有表現内の文字列を用いた指標(FE,FW,FC,CI)との相関は，両課題においてほぼシステム全体との相関に類似した結果になっている．システムE,F,Oはそれぞれ異なる機械学習手法を用いており，また評価結果も互いに近い値ではないので，手法の特徴が指標との相関に影響しているとはいえないが，システムFとOについては，評価時に用いたプログラムやデータに不備があり，本来の性能が発揮されていなかったことがワークショップにて発表された．このことが，F-measureの値や指標の値の双方において，他のシステムとの相関が低い原因になっていると考えられる．システムEについては，総合課題においては相関が高いが，限定課題では相関が低くなっている．システムの各クラスごとの評価を見ると，とくに固有物名・組織名での結果が平均に比べて高く，この差が相関が低くなった原因と考えられる(表\ref{table:system_E})．システムEは，限定課題用にチューニングは行っていないが，手作業および自動生成によって得られたNグラムパタンを用いており，これらのパタンが，限定課題の固有物名としてよく現れる法律名などに対応していたと考えられる．\begin{table}\begin{center}\caption{システムEの各クラスごとの評価結果}\label{table:system_E}\begin{tabular}{l|rrr}\hlineクラス&全平均&システムE&値の差\\\hline組織名&55.2&74.2&(+19.0)\\人名&68.8&68.9&(+0.1)\\地名&68.1&61.2&(-6.8)\\固有物名&57.9&91.7&(+33.8)\\日付表現&89.4&91.2&(+1.8)\\時間表現&89.8&89.5&(-0.3)\\金額表現&91.4&100.0&(+8.6)\\\hline全表現&71.7&74.6&(+2.9)\\\hline\end{tabular}\end{center}\end{table}総じて，固有表現内の文字列に基づいた指標と各システムの性能との相関は，ほぼ全システムの平均との相関と同じ傾向を示しているが，固有表現の周囲の単語を用いた指標は改善の必要があるといえる．\begin{table*}\begin{center}\small\caption{各システムの性能評価・手法の特徴:\\システムの評価はF-measureの値．括弧内の数字は，各システムのF-measureと，\\それ以外の全システムのF-measureの平均との相関係数．}\label{table:each_system_fmeasure}\begin{tabular}{c|rr|rr|cl}\hline&\multicolumn{4}{|c|}{各システムの評価}&\multicolumn{2}{c}{手法の特徴}\\\cline{2-7}システム&\multicolumn{2}{|c|}{総合課題}&\multicolumn{2}{|c|}{限定課題}&パタンの使用&機械学習の手法\\\hlineA&57.69&(0.956)&54.17&(0.972)&Y&-\\B&80.05&(0.989)&78.08&(0.901)&Y&有限状態変換器\\C&66.60&(0.969)&59.87&(0.756)&Y&-\\D&70.34&(0.973)&80.37&(0.927)&N&決定木\\E&66.74&(0.975)&74.56&(0.520)&Y&Nグラムパタン\\F&72.18&(0.876)&74.90&(0.493)&N&最大エントロピー\\G&75.30&(0.967)&77.61&(0.901)&Y&-\\H&77.37&(0.990)&85.02&(0.905)&N&最大エントロピー\\I&57.63&(0.901)&64.81&(0.908)&Y&-\\J&74.82&(0.961)&81.94&(0.820)&Y&-\\K&71.96&(0.975)&72.77&(0.923)&Y&決定木\\L&60.96&(0.984)&58.46&(0.882)&N&隠れマルコフモデル\\M&83.86&(0.892)&87.43&(0.933)&Y&-\\N&69.82&(0.932)&70.12&(0.779)&Y&-\\O&57.76&(0.424)&55.24&(0.229)&Y&パタン学習と判別分析\\\hline\end{tabular}\end{center}\end{table*}\begin{table*}\begin{center}\small\caption{指標とシステムの評価結果との相関係数(総合課題)}\label{table:each_system_index_general}\begin{tabular}{c|cccc|cc}\hlineシステム&FE&FW&FC&CI&CWIpre&CWIfol\\\hlineA&-0.927&-0.935&-0.906&0.894&0.570&0.156\\B&-0.944&-0.943&-0.984&0.877&0.699&0.223\\C&-0.923&-0.931&-0.979&0.806&0.625&0.122\\D&-0.870&-0.897&-0.914&0.821&0.572&0.205\\E&-0.922&-0.938&-0.942&0.925&0.661&0.270\\F&-0.676&-0.704&-0.821&0.629&0.384&0.343\\G&-0.836&-0.881&-0.905&0.832&0.645&0.275\\H&-0.900&-0.908&-0.967&0.883&0.737&0.344\\I&-0.899&-0.854&-0.904&0.770&0.471&0.150\\J&-0.832&-0.825&-0.922&0.755&0.504&0.318\\K&-0.913&-0.902&-0.920&0.906&0.616&0.316\\L&-0.896&-0.920&-0.965&0.865&0.704&0.274\\M&-0.733&-0.704&-0.884&0.725&0.630&0.579\\N&-0.966&-0.979&-0.942&0.894&0.681&0.038\\O&-0.369&-0.342&-0.494&0.556&0.767&0.751\\\hline\end{tabular}\end{center}\end{table*}\begin{table*}\begin{center}\small\caption{指標とシステムの評価結果との相関係数(限定課題)}\label{table:each_system_index_arrest}\begin{tabular}{c|cccc|cccc}\hlineシステム&FE&FW&FC&CI&CWIpre&CWIfol\\\hlineA&-0.753&-0.855&-0.894&0.923&0.726&0.483\\B&-0.756&-0.687&-0.684&0.886&0.444&0.547\\C&-0.721&-0.884&-0.929&0.787&0.744&0.096\\D&-0.771&-0.792&-0.770&0.870&0.646&0.344\\E&-0.767&-0.535&-0.451&0.622&0.133&0.058\\F&-0.267&-0.355&-0.484&0.582&0.110&0.682\\G&-0.729&-0.684&-0.679&0.869&0.482&0.547\\H&-0.754&-0.841&-0.906&0.886&0.708&0.345\\I&-0.904&-0.852&-0.818&0.926&0.509&0.353\\J&-0.587&-0.776&-0.858&0.775&0.802&0.322\\K&-0.959&-0.886&-0.886&0.958&0.519&0.383\\L&-0.575&-0.791&-0.868&0.838&0.758&0.452\\M&-0.672&-0.709&-0.725&0.832&0.704&0.503\\N&-0.671&-0.701&-0.646&0.770&0.492&0.315\\O&0.135&0.035&-0.023&0.260&-0.085&0.570\\\hline\end{tabular}\end{center}\end{table*}
\section{結論}
本論文では，固有表現抽出の難易度を示す指標を定義し，IREXワークショップで行なわれた課題についてそれらの指標を適用し，参加したシステムの評価結果と相関を調べることで，その有効性を検証した．指標を定義するために，固有表現内の文字列，あるいは固有表現周囲の文字列に対して，固有表現クラスごとの頻度・異なり数や，個々の表現のクラス内における頻度とコーパス全体における頻度を用いた．定義された指標のうち，固有表現内の文字列に基いた指標に対しては非常に高い相関が得られた．また，個々の表現に対する指標の値と固有表現抽出における有効性との関係を具体例から考察した．今後の課題としては，まず固有表現の周囲の表現に基づいた指標を改良して指標としての有効性を高めることが挙げられる．また，固有表現内の文字列に基づいた指標に位置情報を加え，接頭辞や接尾辞などの有効性を測れるようにすることも考えられる．最終的には，指標による分析を通して，与えられた分野の固有表現抽出に有用な情報を自動的に獲得したいと考えている．\bibliographystyle{jnlpbbl}\begin{thebibliography}{}\bibitem[\protect\BCAY{Bagga\BBA\Biremann}{Bagga\BBA\Biremann}{1997}]{bagga:97}Bagga,A.\BBACOMMA\\BBA\Biremann,A.~W.\BBOP1997\BBCP.\newblock\BBOQ{AnalyzingtheComplexityofaDomainWithRespectToAnInformationExtractionTask}\BBCQ\\newblockIn{\BemTheTenthInternationalConferenceonResearchonComputationalLinguistics(ROCLINGX)},pp.~175--184.\bibitem[\protect\BCAY{DARPA}{DAR}{1995}]{MUC6}DARPA\BBOP1995\BBCP.\newblock{\Bem{ProceedingsoftheSixthMessageUnderstandingConference(MUC-6)}},Columbia,MD,USA.MorganKaufmann.\bibitem[\protect\BCAY{DARPA}{DAR}{1998}]{MUC7}DARPA\BBOP1998\BBCP.\newblock{\Bem{ProceedingsoftheSeventhMessageUnderstandingConference(MUC-7)}},Fairfax,VA,USA.\bibitem[\protect\BCAY{IREX}{IREX}{1999}]{IREXproc}IREX実行委員会\JED\\BBOP1999\BBCP.\newblock\Jem{{IREXワークショップ予稿集}}.IREX実行委員会.\bibitem[\protect\BCAY{松本，黒橋，山地，妙木，長尾}{松本\Jetal}{1997}]{JUMAN33}松本裕治，黒橋禎夫，山地治，妙木裕，長尾真\BBOP1997\BBCP.\newblock\Jem{日本語形態素解析システムJUMAN(version3.3)}.\newblock京都大学工学部,奈良先端科学技術大学院大学.\bibitem[\protect\BCAY{野畑}{野畑}{1999}]{nobata:irex1}野畑周\BBOP1999\BBCP.\newblock\JBOQ決定木を用いた学習に基づく固有表現抽出システム\JBCQ\\newblock\Jem{IREXワークショップ予稿集},pp.~201--206.\bibitem[\protect\BCAY{野畑，関根，辻井}{野畑\Jetal}{2000}]{nobata:nlp2000}野畑周，関根聡，辻井潤一\BBOP2000\BBCP.\newblock\JBOQ固有表現抽出技術の難易度に関する分析\JBCQ\\newblock\Jem{言語処理学会第６回年次大会併設ワークショップ}.\bibitem[\protect\BCAY{NOBATA,SEKINE\BBA\TSUJII}{NOBATAet~al.}{2000}]{nobata:acl2000}Nobata,C.,Sekine,S.\JBA\BBA\Tsujii,J.\BBOP2000\BBCP.\newblock\BBOQDifficultyIndicesfortheNamedEntitytaskinJapanese\BBCQ\\newblockIn{\BemProceedingsofthe38thAnnualMeetingofAssociationforComputationalLinguistics(ACL2000)},pp.~344--351.\bibitem[\protect\BCAY{Palmer\BBA\Day}{Palmer\BBA\Day}{1997}]{palmer:anlp97}Palmer,D.~D.\BBACOMMA\\BBA\Day,D.~S.\BBOP1997\BBCP.\newblock\BBOQ{AStatisticalProfileoftheNamedEntityTask}\BBCQ\\newblockIn{\BemProceedingsoftheFifthConferenceonAppliedNaturalLanguageProcessing(ANLP'97)},pp.~190--193.\bibitem[\protect\BCAY{Quinlan}{Quinlan}{1993}]{quinlan:93}Quinlan,J.~R.\BBOP1993\BBCP.\newblock{\BemC4.5:ProgramsforMachineLearning}.\newblockMorganKaufmannPublishers,Inc.,SanMateo,California.\bibitem[\protect\BCAY{Sekine,Grishman\BBA\Shinnou}{Sekineet~al.}{1998}]{sekine:wvlc98}Sekine,S.,Grishman,R.\BBA\Shinnou,H.\BBOP1998\BBCP.\newblock\BBOQA{D}ecision{T}ree{M}ethodfor{F}indingand{C}lassifying{N}amesin{J}apanese{T}exts\BBCQ\\newblockIn{\BemProceedingsoftheSixthWorkshoponVeryLargeCorpora},pp.~171--178\Montreal,Canada.\end{thebibliography}\begin{biography}\biotitle{略歴}\bioauthor{野畑周}{1995年東京大学理学部情報科学科卒業．2000年東京大学大学院理学系研究科博士課程修了．博士(理学)．同年通信総合研究所関西先端研究センター知的機能研究室非常勤研究員．2001年より，同けいはんな情報通信融合研究センター自然言語グループ専攻研究員．言語処理学会，情報処理学会，ACL各会員．}\bioauthor{関根聡}{AssistantResearchProfessor,NewYorkUniversity．1987年東京工業大学応用物理学科卒業．同年松下電器東京研究所に入社．1990年〜1992年UMIST客員研究員．1992年UMIST計算言語学科修士．1994年からNYU,ComputerScienceDepartment,AssitantResearchScientist．1998年Ph.D.．同年から現職．自然言語処理の研究に従事．コーパスベース，パーザー，分野依存性，情報抽出，情報検索等に興味を持つ．言語処理学会，人工知能学会，ACL各会員．}\bioauthor{辻井潤一}{京都大学大学院工学博士．1971年京都大学工学部電気工学科卒業，1973年同大学大学院修士課程修了．同年4月より，同大学電気工学第2教室助手，助教授を経て，1988年から英国UMIST(UniversityofManchesterInstituteofScienceandTechnology)の教授．同大学の計算言語学センター所長などを経て，1995年より東京大学大学院理学系研究科情報科学専攻・教授．組織変更により，現在は，同大学院情報理工学系研究科・コンピュータ科学専攻教授．また，1981年〜1982年，フランスCNRS（グルノーブル）の招聘研究員．言語処理学会，情報処理学会，ACL各会員．}\bioreceived{受付}\biorevised{再受付}\bioaccepted{採録}\end{biography}\end{document}