SemEval
SemEvalおよびSensevalの演習の目的は、意味分析(Semantic Analysis)システムを評価することである。ここで「意味分析」とは、意味の形式的な分析を指し、「計算」とは、原理的に効果的な実装を支援するアプローチを指す。
最初の3つの評価であるSenseval-1からSenseval-3までは、語義曖昧性解消(Word Sense Disambiguation , WSD)に焦点を当てており、毎回、課題の言語数と参加チーム数が増加している。 4番目のワークショップであるSemEval-2007(SemEval-1)から、タスクの性質は、語義曖昧性解消以外の意味分析タスクを含むように進化した。
SemEvalコミュニティは、*SEM会議の構想をきっかけに、*SEM会議に関連して評価ワークショップを毎年開催することを決定した。但しすべての評価タスクが毎年実施されるわけではないことも決定された。例えば、WSDタスクはSemEval-2012ワークショップには含まれていなかった。
Senseval-1とSenseval-2は、利用可能なコーパスと機械辞書である主要言語でのWSDシステムの評価に焦点を当てた。 Senseval-3では、語彙だけでなく、意味ロール(形式的意味論ではシータロールと呼ばれる)、論理形式の変換(一般的にフレーズや節、文の意味論は一次の論理形式で表現される)、機械翻訳における意味論解析の性能を検討している。
様々な計算意味論システムの種類がWSDのカバー範囲を超えるようになると、SensevalはSemEvalへと発展し、より多くの計算意味論システムの側面が評価されるようになった。