ufal/bilingual-abstracts-corpus huggingface dataset:
AI: WHEN A ROBOT WRITES A PLAY
AI: KDYŽ ROBOT PÍŠE HRU
Year: 2023
Authors: Rudolf Rosa, Daniel Hrbek

Abstract (English):
This volume is a direct result of the Theatre About Science Conference, held in November 2021 in
Coimbra, Portugal. Most of the articles build upon presentations given at the conference, but some
were written specifically for this publication.

On the occasion of the centenary of Karel Čapek›s play R.U.R (Čapek, 1920), the Švanda Theatre prepared a presentation of a unique project, THEaiTRE, conceived by a Czech innovator Tomáš Studeník, which examines whether artificial intelligence can write a play. Within a few months, the computer generated images from the life of a robot that has to face the joys and sorrows of everyday life. And it revealed to us how it perceives basic human issues such as birth, dying, the desire for love, the search for jobs, or aging.

Abstract (Czech):
Tento svazek je přímým výsledkem konference Theatre About Science, která se konala v listopadu 2021 v
Coimbra, Portugalsko. Většina článků vychází z prezentací přednesených na konferenci, ale některé
byly napsány speciálně pro tuto publikaci.

U příležitosti stého výročí hry Karla Čapka R.U.R (Čapek, 1920) připravilo Švandovo divadlo představení unikátního projektu THEaiTRE českého inovátora Tomáše Studeníka, který zkoumá, zda umělá inteligence dokáže napsat hru. Počítač během pár měsíců vygeneroval obrázky ze života robota, který musí čelit radostem i strastem všedního dne. A prozradila nám, jak vnímá základní lidská témata jako zrození, umírání, touha po lásce, hledání zaměstnání nebo stárnutí.
DVPP “Artificial Intelligence”
DVPP “Umělá inteligence”
Year: 2023
Authors: Rudolf Rosa, Jindřich Libovický, Ondřej Hrách, Tereza Hannemann

Abstract (English):
The aim of the course is to show artificial intelligence from the perspective of various disciplines of science. To reflect on how artificial intelligence affects our daily lives in various fields. The course will focus mainly on contexts/perspectives: AI in psychology, pedagogy, transport, health, linguistics, journalism and theatre. Within all parts of the course, emphasis will be placed on strengthening the multiperspective view of artificial intelligence, providing a broad pension of information on the use of artificial intelligence, its role, impacts and vision for the future.

Abstract (Czech):
Cílem kurzu je ukázat umělou inteligenci z perspektivy různých vědních disciplín. Zamyslet nad tím, jak umělá inteligence ovlivňuje náš každodenní život v různých oblastech. Kurz bude zaměřen především na kontexty/perspektivy: AI v psychologie, pedagogice, dopravě, zdravotnictví, lingvistice, žurnalistice a divadle. V rámci všech částí kurzu bude kladen důraz na posilování multiperspektivního pohledu na umělou inteligenci, poskytnutí širokého penza informací o využití umělé inteligence, její roli, dopadech a vizi do budoucnosti.
CorefUD 1.1
CorefUD 1.1
Year: 2023
Authors: Michal Novák, Martin Popel, Zdeněk Žabokrtský, Daniel Zeman, Anna Nedoluzhko, Kutay Acar, Peter Bourgonje, Silvie Cinková, Gülşen Cebiroğlu Eryiğit, Jan Hajič, Christian Hardmeier, Dag Haug, Tollef Jørgensen, Andre Kåsen, Pauline Krielke, Frédéric Landragin, Ekaterina Lapshinova-Koltunski, Petter Mæhlum, Maria Antònia Martí, Marie Mikulová, Anders Nøklestad, Maciej Ogrodniczuk, Lilja Øvrelid, Tuğba Pamay Arslan, Marta Recasens, Per Erik Solberg, Manfred Stede, Milan Straka, Svetlana Toldova, Noémi Vadász, Erik Velldal, Veronika Vincze, Amir Zeldes, Voldemaras Žitkus

Abstract (English):
CorefUD is a collection of previously existing datasets annotated with coreference, which we converted into a common annotation scheme.

Abstract (Czech):
CorefUD je kolekce existujících korpusů s anotací koreference, které jsme převedli na jednotné anotační schéma.
Linguistically annotated multilingual comparable corpora of parliamentary debates in English ParlaMint-en.ana 4.0
Lingvisticky anotovaný vícejazyčný korpus parlamentních debat v angličtině ParlaMint.ana 4.0
Year: 2023
Authors: Taja Kuzman, Nikola Ljubešić, Tomaž Erjavec, Matyáš Kopp, Maciej Ogrodniczuk, Petya Osenova, Paul Rayson, John Vidler, Rodrigo Agerri, Manex Agirrezabal, Tommaso Agnoloni, José Aires, Monica Albini, Jon Alkorta, Iván Antiba-Cartazo, Ekain Arrieta, Mario Barcala, Daniel Bardanca, Starkaður Barkarson, Roberto Bartolini, Roberto Battistoni, Núria Bel, Maria del Mar Bonet Ramos, María Calzada Pérez, Aida Cardoso, Çağrı Çöltekin, Matthew Coole, Roberts Darģis, Jesse de Does, Ruben de Libano, Griet Depoorter, Katrien Depuydt, Sascha Diwersy, Réka Dodé, Kike Fernandez, Elisa Fernández Rei, Francesca Frontini, Marcos Garcia, Noelia García Díaz, Pedro García Louzao, Maria Gavriilidou, Dimitris Gkoumas, Ilko Grigorov, Vladislava Grigorova, Dorte Haltrup Hansen, Mikel Iruskieta, Johan Jarlbrink, Kinga Jelencsik-Mátyus, Bart Jongejan, Neeme Kahusk, Martin Kirnbauer, Anna Kryvenko, Noémi Ligeti-Nagy, Giancarlo Luxardo, Carmen Magariños, Måns Magnusson, Carlo Marchetti, Maarten Marx, Katja Meden, Amália Mendes, Michal Mochtak, Martin Mölder, Simonetta Montemagni, Costanza Navarretta, Bartłomiej Nitoń, Fredrik Mohammadi Norén, Amanda Nwadukwe, Mihael Ojsteršek, Andrej Pančur, Vassilis Papavassiliou, Rui Pereira, María Pérez Lago, Stelios Piperidis, Hannes Pirker, Marilina Pisani, Henk van der Pol, Prokopis Prokopidis, Valeria Quochi, Xosé Luís Regueira, Michał Rudolf, Manuela Ruisi, Peter Rupnik, Daniel Schopper, Kiril Simov, Laura Sinikallio, Jure Skubic, Minna Tamper, Lars Magne Tungland, Jouni Tuominen, Ruben van Heusden, Zsófia Varga, Marta Vázquez Abuín, Giulia Venturi, Adrián Vidal Miguéns, Kadri Vider, Ainhoa Vivel Couso, Adina Ioana Vladu, Tanja Wissik, Väinö Yrjänäinen, Rodolfo Zevallos, Darja Fišer

Abstract (English):
ParlaMint is a multilingual set of comparable corpora containing parliamentary debates. It contains parliament debates from these countries and regions: Austria, Belgium, Bosnia, Bulgaria, Basque Country, Catalonia, Croatia, Czechia, Denmark, Estonia, Galicia, Greek, Finland, France, Iceland, Italy, Latvia, Hungary, Netherlands, Norway, Poland, Portugal, Serbia, Slovenia, Spain, Sweden, Turkey, UK, Ukraine.

Abstract (Czech):
ParlaMint je vícejazyčný soubor srovnatelných korpusů obsahujících parlamentní debaty. Obsahuje parlamentní debaty z těchto zemí a regionů: Belgie, Bosna, Bulharsko, Baskicko, Katalánsko, Chorvatsko, Česko, Dánsko, Estonsko, Galicie, Řecko, Finsko, Francie, Island, Itálie, Lotyšsko, Maďarsko, Nizozemsko, Norsko, Polsko, Portugalsko, Srbsko, Slovinsko, Španělsko, Švédsko, Turecko, Spojené království, Ukrajina.
Linguistically annotated multilingual comparable corpora of parliamentary debates in English ParlaMint-en.ana 3.0
Lingvisticky anotovaný vícejazyčný korpus parlamentních debat v angličtině ParlaMint.ana 3.0
Year: 2023
Authors: Taja Kuzman, Nikola Ljubešić, Tomaž Erjavec, Matyáš Kopp, Maciej Ogrodniczuk, Petya Osenova, Darja Fišer, Hannes Pirker, Tanja Wissik, Daniel Schopper, Martin Kirnbauer, Michal Mochtak, Peter Rupnik, Henk van der Pol, Griet Depoorter, Jesse de Does, Kiril Simov, Vladislava Grigorova, Ilko Grigorov, Bart Jongejan, Dorte Haltrup Hansen, Costanza Navarretta, Martin Mölder, Neeme Kahusk, Kadri Vider, Núria Bel, Iván Antiba-Cartazo, Marilina Pisani, Rodolfo Zevallos, Xosé Luís Regueira, Adina Ioana Vladu, Carmen Magariños, Daniel Bardanca, Mario Barcala, Marcos Garcia, María Pérez Lago, Pedro García Louzao, Ainhoa Vivel Couso, Marta Vázquez Abuín, Noelia García Díaz, Adrián Vidal Miguéns, Elisa Fernández Rei, Sascha Diwersy, Giancarlo Luxardo, Matthew Coole, Paul Rayson, Amanda Nwadukwe, Dimitris Gkoumas, Vassilis Papavassiliou, Prokopis Prokopidis, Maria Gavriilidou, Stelios Piperidis, Noémi Ligeti-Nagy, Kinga Jelencsik-Mátyus, Zsófia Varga, Réka Dodé, Starkaður Barkarson, Tommaso Agnoloni, Roberto Bartolini, Francesca Frontini, Simonetta Montemagni, Valeria Quochi, Giulia Venturi, Manuela Ruisi, Carlo Marchetti, Roberto Battistoni, Roberts Darģis, Ruben van Heusden, Maarten Marx, Katrien Depuydt, Lars Magne Tungland, Michał Rudolf, Bartłomiej Nitoń, José Aires, Amália Mendes, Aida Cardoso, Rui Pereira, Väinö Yrjänäinen, Fredrik Mohammadi Norén, Måns Magnusson, Johan Jarlbrink, Katja Meden, Andrej Pančur, Mihael Ojsteršek, Çağrı Çöltekin, Anna Kryvenko

Abstract (English):
ParlaMint-en.ana is a multilingual set of comparable linguistically annotated corpora translated to English containing parliamentary debates. It contains parliament debates from these countries and regions: Austria, Belgium, Bosnia, Bulgaria, Catalonia, Croatia, Czechia, Denmark, Estonia, Galicia, Greek, France, Iceland, Italy, Latvia, Hungary, Netherlands, Norway, Poland, Portugal, Serbia, Slovenia, Sweden, Turkey, UK, Ukraine

Abstract (Czech):
ParlaMint.ana je vícejazyčný soubor srovnatelných jazykově anotovaných korpusů přeložený do angličtiny obsahujících parlamentní debaty. Obsahuje parlamentní debaty z těchto zemí a regionů: Belgie, Bosna, Bulharsko, Katalánsko, Chorvatsko, Česko, Dánsko, Estonsko, Galicie, Řecko, Francie, Island, Itálie, Lotyšsko, Maďarsko, Nizozemsko, Norsko, Polsko, Portugalsko, Srbsko, Slovinsko, Švédsko, Turecko, Velká Británie, Ukrajina
Overview of the 10th Workshop on Asian Translation
Přehled 10. workshopu o překladech pro asijské jazyky
Year: 2023
Authors: Toshiaki Nakazawa, Kazutaka Kinugawa, Hideya Mino, Isao Goto, Raj Dabre, Shohei Higashiyama, Shantipriya Parida, Makoto Morishita, Ondřej Bojar, Akiko Eriguchi, Yusuke Oda, Chenhui Chu, Sadao Kurohashi

Abstract (English):
This paper presents the results of the shared tasks from the 10th workshop on Asian translation (WAT2023). For the WAT2023, 2 teams submitted their translation results for the human evaluation.
We also accepted 1 research paper. About 40 translation results were submitted to the automatic evaluation server, and selected submissions were manually evaluated.

Abstract (Czech):
Tento článek představuje výsledky společných úkolů z 10. workshopu o asijském překladu (WAT2023). V rámci workshopu WAT2023 předložily 2 týmy své výsledky překladu k hodnocení lidmi a přijali jsme také 1 výzkumnou práci. Na automatický hodnotící server bylo zasláno přibližně 40 výsledků překladů a vybrané příspěvky byly hodnoceny ručně.
Discussion after the derniere of the performance AI: When a Robot Writes a Play
Diskuze po derniéře představení AI: Když robot píše hru
Year: 2023
Authors: Daniel Hrbek, David Košťák, Rudolf Rosa, Tomáš Musil

Abstract (English):
What does the robot think about, how does it feel and can it write a play? Snippets from the life of artificial intelligence in its own words. Futuristic Little Prince of the postpandemic era. Every reprise will be followed by a debate with experts in artificial intelligence and theater makers. The show is not only a testament to the current capabilities of computer technology, but also an engaging vision of the future world inspired by the sci-fi classics.

Abstract (Czech):
O čem robot přemýšlí, co cítí a dokáže napsat divadelní hru? Střípky ze života umělé inteligence jejími vlastními slovy. Futuristický Malý princ z doby postpandemické. Inscenace, po jejíž každé repríze následuje debata s odborníky na umělou inteligenci i divadelními tvůrci, je nejen svědectvím o současných schopnostech počítačových technologií, ale i poutavou vizí budoucího světa inspirující se v klasikách žánru sci-fi.
The OmniOMR Project
Projekt OmniOMR
Year: 2023
Authors: Jan Hajič, jr., Petr Žabička, Jan Rychtář, Jiří Mayer, Martina Dvořáková, Filip Jebavý, Markéta Vlková, Pavel Pecina

Abstract (English):
In March 2023, the OmniOMR project started with the aim of applying OMR technologies in a digital library
environment. The project aims to provide full-text search functionality in musical documents in diverse library collections, covering primarily Common Western Music Notation, but (white) mensural and diastematic chant notations as well, both printed and handwritten. To provide this capability, we aim to build
an ”OmniOMR Service” - not just for recognition, but also the preceding step of music notation detection and classification, as not all documents that contain music notation are marked in library collections with the appropriate metadata. A significant condition for the project’s success is building a dataset that accurately reflects the challenges present in a broad library collection. This report lays out in more detail the goals of the project, its current status, and most importantly, we outline the opportunities for collaboration across the OMR community.

Abstract (Czech):
V březnu 2023 byl zahájen projekt OmniOMR s cílem aplikovat technologie OMR v prostředí digitální knihovny. Cílem projektu je zajistit funkčnost fulltextového vyhledávání v hudebních dokumentech v rozličných knihovních sbírkách, pokrývající především Common Western Music Notation, ale i (bílé) menzurální a diastematické zápisy nápěvů, tištěných i psaných rukou. Pro zajištění této schopnosti chceme vybudovat službu OmniOMR - nejen pro rozpoznávání, ale také pro předchozí krok detekce a klasifikace notových zápisů, protože ne všechny dokumenty, které obsahují notový zápis, jsou v knihovních sbírkách označeny příslušnými metadaty. Významnou podmínkou úspěchu projektu je sestavení datasetu, který přesně odráží výzvy obsažené v široké knihovní sbírce. Tato zpráva podrobněji popisuje cíle projektu, jeho současný stav, a co je nejdůležitější, nastiňuje možnosti spolupráce napříč komunitou OMR.
The ParlaMint Project: Ever-growing Family of Comparable and Interoperable Parliamentary Corpora
Projekt ParlaMint: Stále rostoucí rodina srovnatelných a interoperabilních parlamentních korporací
Year: 2023
Authors: Maciej Ogrodniczuk, Petya Osenova, Tomaž Erjavec, Darja Fišer, Nikola Ljubešić, Çağrı Çöltekin, Matyáš Kopp, Katja Meden, Taja Kuzman

Abstract (English):
We present an overview of the current status of the CLARIN flagship project ParlaMint (ParlaMint II), summarizing coverage of the parliament corpora, their size and time span. The organization of the workflow is outlined and newly added corpus enrichment procedures are described,
such as machine translation of the corpora into English and showcasing of multimodal aspects.
Last but not least, a number of ways for exploring the corpora are described.

Abstract (Czech):
Představujeme přehled aktuálního stavu vlajkového projektu CLARIN ParlaMint (ParlaMint II), shrnující pokrytí korpusu parlamentu, jejich velikost a časové rozpětí. Je nastíněna organizace workflow a jsou popsány nově přidané postupy obohacování korpusu, jako je strojový překlad korpusu do angličtiny a ukázka multimodálních aspektů. V neposlední řadě je popsána řada způsobů, jak korpus prozkoumat.
Generating clickbait spoilers with an ensemble of large language models
Generování clickbaitových spoilerů pomocí souboru velkých jazykových modelů
Year: 2023
Authors: Mateusz Woźny, Mateusz Lango

Abstract (English):
Clickbait posts are a widespread problem in the webspace. The generation of spoilers, i.e. short texts that neutralize clickbait by providing information that makes it uninteresting, is one of the proposed solutions to the problem. Current state-of-the-art methods are based on passage retrieval or question answering approaches and are limited to generating spoilers only in the form of a phrase or a passage. In this work, we propose an ensemble of fine-tuned large language models for clickbait spoiler generation. Our approach is not limited to phrase or passage spoilers, but is also able to generate multipart spoilers that refer to several non-consecutive parts of text. Experimental evaluation demonstrates that the proposed ensemble model outperforms the baselines in terms of BLEU, METEOR and BERTScore metrics.

Abstract (Czech):
Clickbait příspěvky jsou ve webovém prostoru rozšířeným problémem. Jedním z navrhovaných řešení tohoto problému je generování spoilerů, tj. krátkých textů, které clickbait neutralizují tím, že poskytují informace, které jej činí nezajímavým. Současné nejmodernější metody jsou založeny na přístupech vyhledávání pasáží nebo zodpovídání otázek a omezují se na generování spoilerů pouze ve formě fráze nebo pasáže. V této práci navrhujeme soubor vyladěných rozsáhlých jazykových modelů pro generování spoilerů typu clickbait. Náš přístup se neomezuje pouze na spoilery typu fráze nebo pasáž, ale je schopen generovat i vícedílné spoilery, které se vztahují k několika nesouvislým částem textu. Experimentální vyhodnocení ukazuje, že navržený model souboru překonává základní modely z hlediska metrik BLEU, METEOR a BERTScore.
Ukrainian parliamentary corpus ParlaMint-UA 4.0.1
Ukrajinský parlamentní korpus ParlaMint-UA 4.0.1
Year: 2023
Authors: Matyáš Kopp, Anna Kryvenko, Andriana Rii

Abstract (English):
The Ukrainian parliamentary corpus ParlaMint-UA 4.0.1 is an extended version of the ParlaMint-UA 4.0 corpus. It contains plenary proceedings for the 4th, 5th, 6th, 7th, 8th and 9th terms of the Rada between 14 May 2002 and 10 November 2023. Tokens in Ukrainian comprise 94% and tokens in Russian comprise 6%.

Abstract (Czech):
Ukrajinský parlamentní korpus ParlaMint-UA 4.0.1 je rozšířenou verzí korpusu ParlaMint-UA 4.0. Obsahuje plenární zasedání pro 4., 5., 6., 7., 8. a 9. funkční období Rady v období od 14. května 2002 do 10. listopadu 2023. Tokeny v ukrajinštině tvoří 94% a tokeny v ruštině 6%.
Language Technology Tools and Services
Nástroje a služby jazykových technologií
Year: 2023
Authors: Ian Roberts, Andres Garcia-Silva, Cristian Berrìo Aroca, José Manuel Gómez-Pérez, Miroslav Jánoší, Dimitris Galanis, Rémi Callizano, Andis Lagzdiņš, Milan Straka, Ulrich Germann

Abstract (English):
At the time of writing, the European Language Grid includes more than 800 LT services of varied types, including machine translation (MT), automatic speech recognition (ASR), text-to-speech synthesis (TTS), and text analysis ranging from simple tokenisers and part-of-speech taggers through to complete named entity recognition and sentiment analysis systems. This chapter gives a high-level summary of the development of the ELG service catalogue over time and digs deeper to discuss the process of service integration by looking at a few example services.

Abstract (Czech):
V době psaní tohoto textu zahrnuje European Language Grid více než 800 jazykových služeb různých typů, včetně strojového překladu (MT), automatického rozpoznávání řeči (ASR), syntézy řeči (TTS) a analýzy textu od jednoduchých tokenizérů a taggerů až po kompletní systémy rozpoznávání pojmenovaných entit a analýzy sentimentu. Tato kapitola podává vysokoúrovňový přehled o vývoji katalogu služeb ELG v průběhu času a hlouběji se zabývá procesem integrace služeb na několika ukázkových příkladech.
VisuaLLM: Easy Web-based Visualization for Neural Language Generation
VisuaLLM: Snadná webová vizualizace pro neuronové generování jazyka
Year: 2023
Authors: František Trebuňa, Ondřej Dušek

Abstract (English):
VisuaLLM is a Python library that enables interactive visualization of common tasks in natural language generation with pretrained language models (using HuggingFace's model API), with tight integration of benchmark datasets and fine-grained generation control. The system runs as a local generation backend server and features a web-based frontend, allowing simple interface configuration by minimal Python code. The currently implemented views include data visualization, next-token prediction with probability distributions, and decoding parameter control, with simple extension to additional tasks.

Abstract (Czech):
VisuaLLM je knihovna pro Python, která umožňuje interaktivní vizualizaci běžných úloh generování přirozeného jazyka s předtrénovanými jazykovými modely (pomocí modelového API HuggingFace), s úzkou integrací referenčních datových sad a jemným řízením generování. Systém běží jako lokální generovací backendový server a je vybaven webovým frontendem, který umožňuje jednoduchou konfiguraci rozhraní pomocí minimálního kódu jazyka Python. Aktuálně implementované pohledy zahrnují vizualizaci dat, predikci dalších tokenů s pravděpodobnostními distribucemi a řízení parametrů dekódování s možností jednoduchého rozšíření o další úlohy.
Searching for Reasons of Transformers’ Success: Memorization vs Generalization
Hledání příčin úspěchu transformerů: Zapamatování vs. zobecnění
Year: 2023
Authors: František Trebuňa, Kristína Szabová, Ondřej Bojar

Abstract (English):
The Transformer architecture has, since its conception, led to numerous breakthrough advancements in natural language processing. We are interested in finding out whether its success is primarily due to its capacity to learn the various generic language rules, or whether the architecture leverages some mem-
orized constructs without understanding their structure. We conduct a series of experiments in which we modify the training dataset to prevent the model from memorizing bigrams of words that are needed by the test data. We find out that while such a model performs worse than its unrestricted counterpart, the findings
do not indicate that the Transformers’ success is solely due to its memorization capacity. In a small qualitative analysis, we demonstrate that a human translator lacking the necessary terminological knowledge would likely struggle in a similar
way.

Abstract (Czech):
Architektura transformeru vedla od svého vzniku k mnoha změnám a dosáhla přelomových pokroků v oblasti zpracování přirozeného jazyka. Chceme zjistit, zda je její úspěch způsoben především schopností učit se různá obecná jazyková pravidla, nebo zda architektura využívá některé zapamatované konstrukce, aniž by rozuměla jejich struktuře. Provádíme řadu experimentů, v nichž modifikujeme trénovací datovou sadu tak, aby si model nemohl
zapamatovat bigramy slov, které jsou potřebné v testovacích datech. Ačkoli takový model dosahuje horších výsledků než jeho neomezený protějšek, zjištění nenaznačují, že by úspěch modelu transformetu byl způsoben pouze jeho schopností pamatovat si. V malé kvalitativní analýze prokazujeme, že lidský překladatel postrádající potřebné terminologické znalosti by měl pravděpodobně velmi podobné potíže.
The State of Universal Dependencies
Stav Universal Dependencies
Year: 2023
Authors: Marie-Catherine de Marneffe, Joakim Nivre, Daniel Zeman

Abstract (English):
We present Universal Dependencies as one of the pillars on which the UniDive COST Action is constructed.

Abstract (Czech):
Představujeme Universal Dependencies jako jeden ze dvou pilířů, na kterých je postavena COST akce UniDive.
Are Large Language Models All You Need for Task-Oriented Dialogue?
Jsou velké jazykové modely vše, co potřebujete pro modelování task-oriented dialogů?
Year: 2023
Authors: Vojtěch Hudeček, Ondřej Dušek

Abstract (English):
Instruction-finetuned large language models (LLMs) gained a huge popularity recently, thanks to their ability to interact with users through conversation. In this work, we aim to evaluate their ability to complete multi-turn tasks and interact with external databases in the context of established task-oriented dialogue benchmarks. We show that in explicit belief state tracking, LLMs underperform compared to specialized task-specific models. Nevertheless, they show some ability to guide the dialogue to a successful ending through their generated responses if they are provided with correct slot values. Furthermore, this ability improves with few-shot in-domain examples.

Abstract (Czech):
Velké jazykové modely (LLM) si v poslední době získaly velkou popularitu díky své schopnosti komunikovat s uživateli prostřednictvím konverzace. V této práci se snažíme vyhodnotit jejich schopnost plnit víceúlohové úlohy a komunikovat s externími databázemi v kontextu zavedených benchmarků pro dialog orientovaný na úlohy. Ukazujeme, že při explicitním sledování dialogového stavu  mají LLM ve srovnání se specializovanými modely zaměřenými na konkrétní úlohy horší výsledky. Nicméně vykazují určitou schopnost vést dialog k úspěšnému konci prostřednictvím svých generovaných odpovědí, pokud jsou jim poskytnuty správné hodnoty slotů. Tato schopnost se navíc zlepšuje při použití několika málo příkladů z dané domény.