SENSEVALは語義曖昧性解消を対象としたコンテストである．
本論文では，第2回SENSEVAL (SENSEVAL-2) における
日本語辞書タスクの概要について報告する．
日本語辞書タスクでは，
語の意味の区別(曖昧性)を岩波国語辞典によって定義した．
参加者には，岩波国語辞典，訓練データ，評価データの3つが配布された．
訓練データは，3,000個の新聞記事中の単語に
正しい語義を付与したコーパスである．
一方評価データは，参加者のシステムが語義を選択するべき
単語を含んだ新聞記事である．
評価単語の種類は，名詞50，動詞50，合わせて100個である．
また各評価単語毎に100ずつ語義を選択するとしたため，
評価単語の総数は10,000である．
正解データは，評価対象となる10,000個の単語について，
二名の作業者が独立に正しい語義を付与して作成した．
この際，二者の語義が一致した割合は0.863であり，
Cohenの$\kappa$ は0.657であった．
また，二者の語義が一致しなかった場合には，第三者が正しい語義を選んだ．
日本語辞書タスクには，3団体7システムが参加した．
ベースラインシステムのスコア(正解率)が0.726であるのに対し，
一番成績の良かった参加者のシステムのスコアは0.786であった．
SENSEVAL-2 日本語辞書タスク