SemEval
SemEval/Senseval評価ワークショップのフレームワークは、ARPA(Advanced Research Projects Agency、国防高等研究計画庁(DARPA)に名称変更)が実施しているメッセージ理解会議(Message Understanding Conferences, MUC)などの評価ワークショップを模している。
最初に、参加者と思われる全員にエクササイズのデザインに興味を示し、参加してもらうために招かれた。
最終ワークショップに向けた予定が立てられた。
評価資料の選定計画が合意された。
個々のタスクの「ゴールドスタンダード」が取得され、多くの場合、人間のアノテーターは、コンピューターシステムの適合率と再現率スコアを測定するためのゴールドスタンダードと見なされる。これらの「ゴールドスタンダード」は、計算システムの目標である。 WSDタスクでは、人間のアノテーターは、一連の正しいWSD回答(つまり、特定のコンテキストにおける特定の単語の正しい意味)を生成するタスクに設定された。
回答のないゴールドスタンダードの資料が参加者にリリースされ、参加者はプログラムを実行して、一連の回答を主催者に返した。
その後、主催者が回答を採点し、ワークショップで採点が発表され、議論された。
SemEvalの評価演習は、テキストの意味分析における問題点を検討するためのメカニズムを提供する。関心のあるトピックは、形式的な計算意味論に見られる論理的な厳密さには欠けており、人間の言語理解に関連する問題の種類を特定し、特徴付けようとしている。主な目的は、コンピュータシステムを用いて人間の処理を再現することで、タスク(次節で示す)は、特定可能な問題を扱うために、個人やグループによって開発され、それが何らかの具体的な形をとるようになる。
意味分析の最初の主要な分野は、単語レベル(慣用表現を含むと考えられる)での意図した意味の識別である。これは、単語の意味の曖昧性の解消(単語には離散的な意味があり、むしろその単語がどのように使われているか、すなわち文脈によって特徴づけられるという概念から発展)である。この分野のタスクには、語彙サンプルと全単語の曖昧性の判別、複数言語(multi-lingual)と言語間(cross-lingual)の曖昧性の判別、および語彙置換が含まれており、単語感覚の識別が難しい。このため、このトピックに関連する他のタスクには、「単語感覚の誘導」や「下位カテゴリ化の獲得」、「語彙資源の評価」などがある。
意味分析の第二の主要な分野は、異なる文やテキスト要素がどのようにして組み合わされているかを理解することである。この分野のタスクには、意味的役割のラベリング、意味的関係分析、および共参照解決が含まれている。この分野の他のタスクは、時間情報処理、換喩解決、意味分析など、意味分析のより専門的な問題を見る。
元来、語義曖昧性解消アルゴリズムの品質を評価することは主に本質的な評価の問題であり、それに組み込まれたWSDに関する要素を評価する試みはほとんど行われていなかった。
エンドユーザーアプリケーションにおけるWSDの価値を示す証拠を提供し始めたのは、ごく最近(2006年)のことである。 1990年頃まで、語義曖昧性解消タスクの議論は、包括的な評価ではなく、主に実例に焦点を当てていたが、 1990年代初頭には、より体系的で厳密な本質的評価が始まり、曖昧な単語の小さなセットを使ったより正式な実験も行われた。