Identification of plausible and incoherent instructions
Identifikace věrohodných a nesouvislých pokynů
Year: 2022
Authors: Andrei Alexandru Manea

Abstract (English):
This paper addresses the problem of plausibility in instructional texts. This may occur from various
interpretations of ambiguous or vague contexts when there are phrases not explicitly defined.
The 7th task from Semeval 2022 competition was about a corpus with revisions of Wikihow
underspecified instructional texts. The revisions were turned into cloze test sentences containing a
context with a placeholder and 5 possible phrases as a possible choice that can illustrate various
interpretations. Each one also has a plausibility grade and a label which was the target of the competition.
For participating, we initiated a ”first round” of experiments for finetuning Transformer
based models: given a sentence with the context and the filler, we have a model to predict the
mentioned labels, and another model deals with the plausibility score. The performance of our best
classifier ranked us in 18th place out of 19 candidates.
After the competition ended, we carried on with implementations, trying to overcome the last
performance in a ”second round”. We implemented certain augmentations, explained in Appendices,
a new loss: CORAL, used for exploiting the fact that our labels can be ordered and eventually
trained into a multitask model. These improvements would have placed us in 11th place in
classification and in 7th place in the regression task.
Moreover, we implemented a minimalist web application for evaluating the plausibility score
in cloze tests. This may be further extended in an online platform with more tests dedicated to
language learners for evaluating their reading comprehension.

Abstract (Czech):
Tento článek se zabývá problémem věrohodnosti v učebních textech. K tomu může dojít z různých
výklady nejednoznačných nebo vágních kontextů, pokud existují fráze, které nejsou explicitně definovány.
7. úkol ze soutěže Semeval 2022 byl o korpusu s revizemi Wikihow
nedostatečně specifikované učební texty. Revize byly převedeny do uzavřených testovacích vět obsahujících a
kontext se zástupným symbolem a 5 možnými frázemi jako možný výběr, který může ilustrovat různé
výklady. Každý z nich má také stupeň věrohodnosti a označení, které bylo cílem soutěže.
Kvůli účasti jsme zahájili „první kolo“ experimentů pro doladění Transformeru
založené modely: dostaneme-li větu s kontextem a výplní, máme model k předpovědi
zmíněných štítků a další model se zabývá skóre věrohodnosti. Výkon našich nejlepších
klasifikátor nás zařadil na 18. místo z 19 kandidátů.
Po skončení soutěže jsme pokračovali v implementacích a snažili se překonat poslední
výkon ve „druhém kole“. Implementovali jsme určitá rozšíření, vysvětlená v dodatcích,
nová ztráta: CORAL, sloužící k využití toho, že naše etikety lze objednat a popř
trénovaný na multitaskový model. Tato vylepšení by nás umístila na 11. místo
klasifikaci a na 7. místě v regresní úloze.
Navíc jsme implementovali minimalistickou webovou aplikaci pro hodnocení skóre věrohodnosti
v uzavřených testech. To může být dále rozšířeno v online platformě s dalšími testy věnovanými
studentům jazyků k hodnocení jejich porozumění čtenému textu.