ufal/bilingual-abstracts-corpus huggingface dataset:
Assessing the Featural Organisation of Paradigms with Distributional Methods
Posouzení charakteru organizace paradigmat pomocí distribučních metod
Year: 2023
Authors: Olivier Bonami, Lukáš Kyjánek, Marine Wauquier

Abstract (English):
In this paper, we apply distributional methods to Czech data to compare the predictions of two views of inflectional paradigms, as systems of orthogonal morphosyntactic feature oppositions, or as systems of multilateral contrasts between pairs of morphologically related words, not necessarily reducible to orthogonal features.

We define two predictive tasks that probe what it means for two pairs of paradigm cells to contrast in the same features: in the first, we train a classifier to discriminate between two paradigm cells; in the second, we train a family of models to predict the vector of the word in one cell from that of the word in another cell. By varying the choice of training and test data, we show that (i) a model trained on data that contrast in a manner orthogonal to its test data performs on average at chance level, while (ii) a model trained on data that contrast in a manner parallel to its test data performs on average better than chance but still worse than a model trained on the same pair of cell used for testing. This is incompatible with the predictions of a reductive view of paradigms as systems of feature contrasts.

Abstract (Czech):
V tomto článku aplikujeme distribuční metody na česká data ke srovnání predikcí dvou pohledů na flektivní paradigmata, a to jako buď systémy ortogonálních opozic morfo-syntaktických rysů, nebo jako systémy multilaterálních kontrastů mezi dvojicemi morfologicky příbuzných slov, které nemusí být nutně redukovatelné na ortogonální rysy.

Definujeme dvě prediktivní úlohy, které zjišťují, co to znamená, když dva páry buněk paradigmatu kontrastují ve stejných rysech: v první trénujeme klasifikátor, aby rozlišoval mezi dvěma buňkami paradigmatu; ve druhé trénujeme rodinu modelů pro predikci vektoru slova v jedné buňce z vektoru slova v jiné buňce. Změnou výběru trénovacích a testovacích dat ukazujeme, že (i) model trénovaný na datech, která kontrastují způsobem ortogonálním k jeho testovacím datům, funguje v průměru na úrovni náhody, zatímco (ii) model trénovaný na datech, která kontrastují způsobem paralelnosti s jeho testovacími daty, funguje v průměru lépe než náhoda, ale stále hůře než model trénovaný na stejném páru buněk použitém pro testování. To je neslučitelné s předpověďmi reduktivního pohledu na paradigmata jako systémy kontrastů rysů.
Team Iterate @ AutoMin 2023 - Experiments with Iterative Minuting
Team Iterate @ AutoMin 2023 - Experimenty s iterativně vytvářenými zápisky
Year: 2023
Authors: František Kmječ, Ondřej Bojar

Abstract (English):
This report describes the development of our system for automatic minuting created for the AutoMin 2023 Task A. As a baseline, we utilize a system based on the BART encoder-decoder model paired with a preprocessing pipeline similar to the one introduced by the winning solutions at AutoMin 2021. We then further explore the possibilities for iterative summarization by constructing an iterative minuting dataset from the provided data, finetuning on it and feeding the model previously generated minutes. We also experiment with adding more context by utilizing the Longformer encoder-decoder model and finetuning it on the SAMSum dataset. Our submitted solution is of the baseline approach, since we were unable to match its performance with our iterative variants. With the baseline, we achieve a ROUGE-1 score of 0.368 on the ELITR minuting corpus development set. We finally explore the performance of Vicuna 13B quantized language model for summarization.

Abstract (Czech):
Tato zpráva popisuje vývoj našeho systému pro automatické vytváření zápisků z jednání sestaveného pro AutoMin 2023 Task A. Jako základní scénář využíváme systém založený na modelu enkodéru-dekodéru BART s naším předzpracováním podobným tomu, které bylo představeno vítěznými řešeními na AutoMin 2021. Dále zkoumáme možnosti iterativní sumarizace vytvořením iterativního pohledu na poskytnutá data, finetuningem na něm a vložením dříve generovaných zápisků do modelu. Experimentujeme také s přidáním dalších souvislostí využitím modelu enkodéru-dekodéru Longformer a finetuningem na datovém souboru SAMSum. Pro účast v soutěži nakonec volíme základní přístup, protože jsme nebyli schopni sladit jeho výkon s našimi iterativními variantami. Se základním scénářem dosahujeme skóre ROUGE-1 0,368 na vývojovém souboru korpusu ELITR Minuting Corpus. Nakonec zkoumáme výkon kvantovaného jazykového modelu Vicuna 13B pro sumarizaci.
The Epistemic Marker určitě in the Light of Corpus Data
Epistemická částice určitě ve světle korpusových dat
Year: 2023
Authors: Barbora Štěpánková, Jana Šindlerová, Lucie Poláková

Abstract (English):
The paper presents a pilot study for a research project on epistemic modality and/or evidentiality markers in Czech. The study focuses on the expression "určitě". Although this marker is typically considered to signal high certainty, the dictionary of standard Czech (Slovník spisovné češtiny, SSČ) also offers an alternative meaning of probability, indicating a lower degree of certainty. We use parallel data from the InterCorp v15 corpus to determine whether the probability meaning can be identified unequivocally in real language data and whether it correlates with specific translation equivalents, linguistic features, or lexical context. Based on our findings, we propose an alternative method for distinguishing between different shades of meaning based on the communicative functions of the utterances, and we draw conclusions regarding the relevance of individual grammatical and lexical clues in context for future annotations.

Abstract (Czech):
Článek je pilotní studií v rámci projektu zaměřeného na epistemickou modalitu a evidencialitu v češtině. Částice "určitě" je obvykle chápána jako výraz vyjadřující vysokou míru jistoty, ve Slovníku spisovné češtiny se však objevuje i s významem vyjadřujícím střední míru jistoty. S využitím dat z paralaleního korpusu InterCorp v15 jsme se pokusili zjistit, zda lze v kontextu identifikovat oba jistotní významy, a to za pomoci překladových ekvivalentů, jazykové intuice rodilých mluvčích a anotace jazykových rysů v lexikálním kontextu. Na základě provedených analýz navrhujeme alternativní metodu pro rozlišování významových odstínů podle komunikačních funkcí výpovědí a vyvozujeme závěry ohledně relevance jednotlivých gramatických a lexikálních rysů v kontextu pro budoucí anotaci.
ÚFAL CorPipe at CRAC 2023: Larger Context Improves Multilingual Coreference Resolution
ÚFAL CorPipe na CRAC 2023: Větší kontext pomáhá při rozpoznávání koreference ve více jazycích
Year: 2023
Authors: Milan Straka

Abstract (English):
We present CorPipe, the winning entry to the CRAC 2023 Shared Task on Multilingual Coreference Resolution. Our system is an improved version of our earlier multilingual coreference pipeline, and it surpasses other participants by a large margin of 4.5 percent points. CorPipe first performs mention detection, followed by coreference linking via an antecedent-maximization approach on the retrieved spans. Both tasks are trained jointly on all available corpora using a shared pretrained language model. Our main improvements comprise inputs larger than 512 subwords and changing the mention decoding to support ensembling. The source code is available at https://github.com/ufal/crac2023-corpipe.

Abstract (Czech):
Představujeme CorPipe, vítězný systém z CRAC 2023 Shared Task on Multilingual Coreference Resolution. CorPipe je vylepšenou verzí našeho dřívějšího vícejazyčného koreferenčního systému a překonává ostatní účastníky s velkým náskokem 4,5 procentního bodu. Náš systém nejprve rozpoznává koreferenční zmínky a poté předpovídá koferenční odkazy na získaných úsecích. Obě úlohy jsou trénovány společně na všech dostupných korpusech pomocí sdíleného předtrénovaného jazykového modelu. Naše hlavní vylepšení zahrnují vstupy delší než 512 podslov a změnu dekódování podporující ensembling. Zdrojový kód je k dispozici na adrese https://github.com/ufal/crac2023-corpipe.
FINDINGS OF THE IWSLT 2023 EVALUATION CAMPAIGN
Výsledky evaluační kampaně IWSLT 2023
Year: 2023
Authors: Milind Agarwal, Sweta Agrawal, Antonios Anastasopoulos, Luisa Bentivogli, Ondřej Bojar, Claudia Borg, Marine Carpuat, Roldano Cattoni, Mauro Cettolo, Mingda Chen, William Chen, Khalid Choukri, Alexandra Chronopoulou, Thierry Declerck, Qianqian Dong, Kevin Duh, Yannick Estève, Marcello Federico, Souhir Gahbiche, Barry Haddow, Benjamin Hsu, Phu Mon Htut, Hirofumi Inaguma, Dávid Javorský, John Judge, Yasumasa Kano, Tom Ko, Rishu Kumar, Pengwei Li, Xutai Ma, Prashant Mathur, Evgeny Matusov, Paul McNamee, John McCrae, Kenton Murray, Maria Nadejde, Satoshi Nakamura, Matteo Negri, Ha Nguyen, Jan Niehues, Xing Niu, Atul Kr. Ojha, John Ortega, Proyag Pal, Juan Pino, Lonneke van der Plas, Peter Polák, Elijah Rippeth, Elizabeth Salesky, Jiatong Shi, Matthias Sperber, Sebastian Stüker, Katsuhito Sudoh, Yun Tang, Brian Thompson, Kevin Tran, Marco Turchi, Alex Waibel, Mingxuan Wang, Shinji Watanabe, Rodolfo Zevallos

Abstract (English):
This paper reports on the shared tasks organized by the 20th IWSLT Conference. The shared tasks address 9 scientific challenges in spoken language translation: simultaneous and offline translation, automatic subtitling and dubbing, speech-to-speech translation, multilingual, dialect and low-resource speech translation, and formality control. The shared tasks attracted a total of 38 submissions by 31 teams. The growing interest towards spoken language translation is also witnessed by the constantly increasing number of shared task organizers and contributors to the overview paper, almost evenly distributed across industry and academia.

Abstract (Czech):
Tento dokument informuje o sdílených úkolech organizovaných 20. konferencí IWSLT. Sdílené úkoly řeší 9 vědeckých výzev v mluveném překladu: simultánní a offline překlad, automatické titulky a dabing, překlad řeči do řeči, vícejazyčný, dialektový a nízkozdrojový překlad řeči a kontrola formalit. Sdílené úkoly přilákaly celkem 38 příspěvků od 31 týmů. Rostoucí zájem o překlady do mluveného jazyka je také svědkem neustále se zvyšujícího počtu organizátorů sdílených úkolů a přispěvatelů do přehledu, téměř rovnoměrně distribuovaných napříč průmyslem a akademickou sférou.
Better Translation + Split and Generate for Multilingual RDF-to-Text (WebNLG 2023)
Lepší překlad + rozdělení a generování pro vícejazyčný převod RDF na text (WebNLG 2023)
Year: 2023
Authors: Nalin Kumar, Saad Obaid ul Islam, Ondřej Dušek

Abstract (English):
This paper presents system descriptions of our submitted outputs for WebNLG Challenge 2023. We use mT5 in multi-task and multilingual settings to generate more fluent and reliable verbalizations of the given RDF triples. Furthermore, we introduce a partial decoding technique to produce more elaborate yet simplified outputs. Additionally, we demonstrate the significance of employing better translation systems in creating training data.

Abstract (Czech):
Tento článek představuje popisy systémů pro námi předložené výstupy v soutěži WebNLG Challenge 2023. Používáme mT5 ve víceúlohovém a vícejazyčném prostředí k vytváření plynulejších a spolehlivějších verbalizací zadaných trojic RDF. Dále zavádíme techniku částečného dekódování pro tvorbu propracovanějších, ale zjednodušených výstupů. Kromě toho demonstrujeme význam využití lepších překladových systémů při vytváření trénovacích dat.
Multimodal Shannon Game with Images
Multimodální hra Shannon s obrázky
Year: 2023
Authors: Sunit Bhattacharya

Abstract (English):
The Shannon game has long been used as a thought experiment in linguistics and NLP, asking participants to guess the next letter in a sentence based on its preceding context.
We extend the game by introducing an optional extra modality in the form of image information.
To investigate the impact of multimodal information in this game, we use human participants and a language model (LM, GPT-2).

We show that the addition of image information improves both self-reported confidence and accuracy for  both humans and LM.
Certain word classes, such as nouns and determiners, benefit more from the additional modality information.
The priming effect in both humans and the LM becomes more apparent as the context size (extra modality information + sentence context) increases.
These findings highlight the potential of multimodal information in improving language understanding and modeling.

Abstract (Czech):
Hra Shannon je již dlouho používána jako myšlenkový experiment v lingvistice a NLP, který po účastnících požaduje, aby odhadli další písmeno ve větě na základě předchozího kontextu.
Rozšiřujeme hru zavedením volitelné extra modality ve formě obrazové informace.
K prozkoumání dopadu multimodálních informací v této hře používáme lidské účastníky a jazykový model (LM, GPT-2).

Ukazujeme, že přidání obrazové informace zlepšuje sebejistotu a přesnost jak u lidí, tak u LM.
Určité slovní třídy, jako podstatná jména a determinanty, těží více z dodatečné informace o modalitě.
Primitivní efekt u lidí i u LM se stává zřetelnějším s rostoucí velikostí kontextu (extra informace o modalitě + kontext věty).
Tato zjištění zdůrazňují potenciál multimodálních informací při zlepšování porozumění jazyku a modelování.
EMMT: A simultaneous eye-tracking, 4-electrode EEG and audio corpus for multi-modal reading and translation scenarios
EMMT: simultánní eye-tracking a EEG se čtyřmi elektrodami a zvukový korpus pro multimodální čtení a sledování překladatelských scénářů
Year: 2023
Authors: Sunit Bhattacharya, Věra Kloudová, Vilém Zouhar, Ondřej Bojar

Abstract (English):
We present the Eyetracked Multi-Modal Translation (EMMT) corpus, a dataset containing monocular eye movement recordings, audio and 4-electrode electroencephalogram (EEG) data of 43 participants. The objective was to collect cognitive signals as responses of participants engaged in a number of language intensive tasks involving different text-image stimuli settings when translating from English to Czech. 
Each participant was exposed to 32 text-image stimuli pairs and asked to (1) read the English sentence, (2) translate it into Czech, (3) consult the image, (4) translate again, either updating or repeating the previous translation. The text stimuli consisted of 200 unique sentences with 616 unique words coupled with 200 unique images as the visual stimuli. 
The recordings were collected over a two week period and all the participants included in the study were Czech natives with strong English skills. Due to the nature of the tasks involved in the study and the relatively large number of participants involved, the corpus is well suited for research in Translation Process Studies, Cognitive Sciences among other disciplines.

Abstract (Czech):
Představujeme korpus EMMT (Eyetracked Multi-Modal Translation), který obsahuje záznamy monokulárních očních pohybů, zvukové záznamy a data ze 4elektrodového elektroencefalogramu (EEG) 43 účastníků. Cílem bylo shromáždit kognitivní signály jako odpovědi účastníků zpracovávajících řadu jazykově náročných úkolů za různých podmínek týkajících se textových a obrazových podnětů při překladu z angličtiny do češtiny. 
Každý účastník zpracoval 32 dvojic textových a obrazových podnětů a byl požádán, aby (1) přečetl anglickou větu, (2) přeložil ji do češtiny, (3) konzultoval obrázek, (4) větu znovu přeložil, přičemž buď aktualizoval, nebo zopakoval předchozí překlad. Textové podněty se skládaly z 200 unikátních vět se 616 unikátními slovy ve spojení s 200 unikátními obrázky jako vizuálními podněty. 
Nahrávky byly shromažďovány po dobu dvou týdnů a všichni účastníci zahrnutí do studie byli rodilí Češi s dobrou znalostí angličtiny. Vzhledem k povaze úkolů zahrnutých do studie a relativně velkému počtu zapojených účastníků je korpus vhodný mimo jiné pro výzkum v oblasti studia překladatelských procesů, kognitivních věd a dalších oborů.
Unveiling Multilinguality in Transformer Models: Exploring Language Specificity in Feed-Forward Networks
Odhalení mnohojazyčnosti v modelech transformátorů: zkoumání jazykové specifičnosti v sítích s posuvem vpřed
Year: 2023
Authors: Sunit Bhattacharya, Ondřej Bojar

Abstract (English):
Recent research suggests that the feed-forward
module within Transformers can be viewed as
a collection of key-value memories, where the
keys learn to capture specific patterns from the
input based on the training examples. The val-
ues then combine the output from the ‘memo-
ries’ of the keys to generate predictions about
the next token. This leads to an incremental
process of prediction that gradually converges
towards the final token choice near the output
layers.
This interesting perspective raises questions
about how multilingual models might lever-
age this mechanism. Specifically, for autore-
gressive models trained on two or more lan-
guages, do all neurons (across layers) respond
equally to all languages? No! Our hypothe-
sis centers around the notion that during pre-
training, certain model parameters learn strong
language-specific features, while others learn
more language-agnostic (shared across lan-
guages) features. To validate this, we con-
duct experiments utilizing parallel corpora of
two languages that the model was initially pre-
trained on. Our findings reveal that the layers
closest to the network’s input or output tend to
exhibit more language-specific behaviour com-
pared to the layers in the middle.

Abstract (Czech):
Nedávné výzkumy naznačují, že zpětná vazba
modul v rámci Transformers lze zobrazit jako
kolekci klíčových-hodnotových pamětí, kde
klíče naučit zachytit konkrétní vzory z
vstup založený na příkladech školení. Val-
ues pak kombinovat výstup z „memo-
ries’ klíčů generovat předpovědi o
další token. To vede k inkrementální
proces predikce, který se postupně sbližuje
směrem ke konečnému výběru tokenu v blízkosti výstupu
vrstvy.
Tento zajímavý pohled vyvolává otázky
o tom, jak vícejazyčné modely mohou páčit-
tento mechanismus stárnout. Konkrétně pro autore-
gressive modely trénované na dvou nebo více lan-
guages, reagují všechny neurony (napříč vrstvami)
stejně do všech jazyků? Ne! Naše hypotéza-
sis center kolem představy, že během pre-
trénink, některé parametry modelu se učí silně
jazykově specifické rysy, zatímco jiní se učí
více jazykově-agnostické (sdílené přes lan-
guages) rysy. Pro potvrzení tohoto, jsme con-
Pokusy potrubí s využitím paralelních korpusů
dvou jazyků, na kterých byl model zpočátku pre-
trénován. Naše zjištění odhalují, že vrstvy
nejblíže vstupu nebo výstupu sítě mají tendenci
vykazovat jazykově specifické chování com-
pared na vrstvy uprostřed.
Stroop Effect in Multi-Modal Sight Translation
Stroopův efekt v multimodálním překladu zraku
Year: 2023
Authors: Sunit Bhattacharya, Vilém Zouhar, Věra Kloudová, Ondřej Bojar

Abstract (English):
This study investigates the human translation process from English to Czech in a multi-modal scenario (images) using reaction times. We make a distinction between ambiguous and unambiguous sentences where in the former, more information would be needed in order to make a proper translation (e.g. gender of the subject). Simultaneously, we also provide visual aid to help in disambiguation, which is necessary for the ambiguous sentences. We confirm that ambiguous sentences take longer to translate and the provision of disambiguating visual aid slows the translation process. When provided with an unrelated visual aid, humans are able to recognize and spend less time on it but still significantly more than in other conditions. These findings are a clear manifestation of the Stroop effect (longer processing times for incongruent combinations).

Abstract (Czech):
Tato studie zkoumá proces lidského překladu z angličtiny do češtiny v multimodálním scénáři (obrázcích) s využitím reakčních časů. Rozlišujeme mezi nejednoznačnými a jednoznačnými větami, kde by v prvním případě bylo pro správný překlad potřeba více informací (např. rod předmětu). Zároveň poskytujeme i názornou pomůcku, která pomáhá při jednoznačnosti, která je u nejednoznačných vět nezbytná. Potvrzujeme, že překlad nejednoznačných vět trvá déle a poskytnutí jednoznačné vizuální pomůcky proces překladu zpomaluje. Když je jim poskytnuta nesouvisející vizuální pomůcka, lidé jsou schopni ji rozpoznat a strávit na ní méně času, ale stále výrazně více než v jiných podmínkách. Tyto nálezy jsou jasným projevem Stroopova efektu (delší doby zpracování u nekongruentních kombinací).
Multimodal Shannon Game with Images
Multimodální hra Shannon s obrázky
Year: 2023
Authors: Sunit Bhattacharya, Vilém Zouhar, Ondřej Bojar

Abstract (English):
In the Shannon game, the goal is to guess the next letter in a sentence based on the previous context.
It has since become a widely known thought experiment on which concepts in psycholinguistics, computational linguistics and natural language processing are based.
We extend this game by including an optional extra modality in the form of images and run an experiment on human participants.

We find that the presence of an image greatly improves users' confidence and accuracy accross all POS.
This includes determiners (a, an, the), which should otherwise be predicted solely from the previous (left) context of the sentence.

Abstract (Czech):
Ve hře Shannon je cílem uhodnout další písmeno ve větě na základě předchozího kontextu.
Od té doby se stal široce známým myšlenkovým experimentem, na kterém jsou založeny koncepty v psycholingvistice, počítačové lingvistice a zpracování přirozeného jazyka.
Tuto hru rozšiřujeme o volitelnou extra modalitu ve formě obrázků a provádíme experiment na lidských účastnících.

Zjistili jsme, že přítomnost obrázku výrazně zvyšuje důvěru a přesnost uživatelů ve všech POS.
To zahrnuje determinanty (a, an, the), které by jinak měly být predikovány výhradně z předchozího (levého) kontextu věty.
ÚFAL Submission for SIGTYP Supervised Cognate Detection Task
ÚFAL Podání pro SIGTYP supervizovaný úkol detekce příbuzných
Year: 2023
Authors: Tomasz Limisiewicz

Abstract (English):
In this work, I present ÚFAL submission for the supervised task of detecting cognates and derivatives. Cognates are word pairs in different languages sharing the origin in earlier attested forms in ancestral language, while derivatives come directly from another language. For the task, I developed gradient boosted tree classifier trained on linguistic and statistical features. The solution came first from two delivered systems with an 87% F1 score on the test split. This write-up gives an insight into the system and shows the importance of using linguistic features and character-level statistics for the task.

Abstract (Czech):
V této práci uvádím zadání ÚFAL pro řízený úkol detekce příbuzných a odvozenin. Příbuzné jsou slovní páry v různých jazycích, které sdílejí původ v dřívějších ověřených formách v jazyce předků, zatímco odvozeniny pocházejí přímo z jiného jazyka. Pro tento úkol jsem vyvinul gradientem zesílený stromový klasifikátor trénovaný na lingvistických a statistických vlastnostech. Řešení vzešlo ze dvou dodaných systémů s 87% skóre F1 na testovacím rozdělení. Tento zápis poskytuje náhled do systému a ukazuje důležitost používání jazykových funkcí a statistik na úrovni znaků pro daný úkol.