SemEval
この分野のタスクには、情報抽出、質問回答、文書要約、機械翻訳、語彙・意味ネットワークの構築、言語モデリング、言い換え、テキストの含意の認識など多くの潜在的な応用分野があり、それぞれの分野で意味解析の類いでの貢献は、最も優れた研究課題を構成している。
たとえば、単語の意味の誘導と明確化のタスクには、3つのフェーズがある。
トレーニングフェーズ(training phase)では、評価タスクの参加者には、多義語の単語セットのセンスインベントリを誘導するための訓練データセットを使用した。訓練データセットは、多義語の名詞/動詞とそれらが発生した文インスタンスのセットからなる。形態素解析器、Part-of-Speechタグ付け器、構文解析器などの形態素と構文の自然言語処理コンポーネント以外には、他のリソースを使用することはできなかった。
テストフェーズ(testing phase)では、トレーニングフェーズで得られた誘導センスインベントリを用いて、曖昧性解消サブタスクのテストセットが参加者に提供された。
評価フェーズ(evaluation phase)では、教師、教師なしのフレームワークでテストフェーズでの回答を評価した。
WSIの教師なし評価では、Vメジャー(Rosenberg and Hirschberg, 2007)とペアFスコア(Artiles et al., 2009)の2種類の評価を考慮した。この評価は、SemEval-2007 WSIタスクの教師付き評価(Agirre and Soroa, 2007)を踏襲したものである。
これは、新しい* SEM、語彙および計算意味論に関する最初の合同会議に関連付けられ、カナダのモントリオールにあるNAACLと共催であった。 SemEval-2012には、計算意味論システムの評価を対象とした8つの異なるタスクが含まれていた。ただし、SemEval-2012に関連するWSDタスクはなく、WSD関連のタスクは次のSemEval-2013に予定された。
SemEval-2013は、米国ジョージア州の北米計算言語学会であるNAACL 2013に関連付けられ、2013年に開催された。これには、計算意味論システムの評価を対象とした13の異なるタスクが含まれていた。
SemEval-2014は2014年に開催された。 COLING 2014、第25回計算言語学国際会議(International Conference on Computational Linguistics)および* SEM 2014、アイルランドのダブリンでの第2回 辞書的意味論・計算意味論(Lexical and Computational Semantics)合同会議と共催。 SemEval-2014には、さまざまな計算意味論システムを評価する10の異なるタスクがあった。
SemEval-2015は2015年に開催された。NAACL-HLT 2015、計算言語学会(Association for Computational Linguistics)北米支部の2015年会議、Human LanguageTechnologiesおよび* SEM 2015、米国デンバーの語彙および計算意味論に関する第3回合同会議と共催。 SemEval-2015には、さまざまな計算意味論システムを評価する17の異なるタスクがあった。