SemEval
1997年4月、マーサ・パーマー(Martha Palmer)とマーク・ライト(Marc Light)は、「語彙的意味論によるタグ付け(Tagging with Lexical Semantics: Why, What, and How? )」と題するワークショップを開催した。当時、手動でアノテーションされたコーパスが品詞タグ付けや構文解析などのNLPの他の分野に革命を起こし、コーパス駆動型のアプローチが自動意味解析にも革命を起こす可能性を秘めていることが明確に認識されていた。 Kilgarriff氏は、「この分野には評価が必要だという高いコンセンサスがあった」と振り返り、Resnik氏とYarowsky氏の実践的な提案をきっかけに議論が始まり、Sensevalの評価演習(evaluation exercises)が生まれたという。
SemEval-2010を経て、多くの参加者が3年周期を「長い」と感じるようになった。Conference on Natural Language Learning (CoNLL) やRecognizing Textual Entailments(RTE) など、他にも多くの共有タスクが毎年開催されている。このため、Semevalのコーディネーターは、タスクオーガナイザーに2年周期と3年周期のどちらかを選択する機会を与え、 SemEvalコミュニティは後者を支持した。SemEvalコミュニティ内の票は3年周期を支持していたが、主催者とコーディネーターはSemEvalタスクを2つの評価ワークショップに分割することに落ち着いた。これは、新しい*SEM会議の導入がきっかけとなった。SemEvalの主催者は、「私たちのイベントを*SEM会議と関連づけ、SemEvalワークショップを*SEM会議と結びつけることが適切である」と考えた。主催者は、毎年開催される*SEMとの関連性についてタスクコーディネーター/主催者と参加者から非常に肯定的な反応を得て、8つのタスクが2012年に変更することを希望した。このような経緯からSemEval-2012とSemEval-2013が誕生した。現在の計画では、毎年のSemEvalスケジュールに切り替えて、*SEM会議との関連付けを行うことになっているが、必ずしもすべてのタスクが毎年実施される必要はない。