TEI and Git in ParlaMint: Collaborative Development of Language Resources
TEI a Git v ParlaMint: Spolupráce při rozvoji jazykových zdrojů
Year: 2023
Authors: Tomaž Erjavec, Matyáš Kopp, Katja Meden

Abstract (English):
This paper discusses the encoding, validation and development of language resources of the completed ParlaMint I and on-going ParlaMint II CLARIN projects, which centre on the collaborative development of a large set of interoperable corpora of parliamentary proceedings. It focuses on the ParlaMint encoding and the GitHub development platform and the evaluation of their use by project partners. We introduce the use of TEI ODD for the encoding guidelines and validation schemas. We motivate and explain using Git to develop and maintain the encoding schemas, validation and conversion scripts and valid samples of the corpora. Apart from revision control, issues, and publishing documentation, the GitHub platform also supports integrating code execution with pull requests, which significantly automates the data submission process. The paper also presents the results of a survey on the use of TEI and Git in the ParlaMint projects among the project participants. Overall, participants were mostly positive about their experience with TEI and Git, although some difficulties were reported. Some partners also expressed doubts about whether the current scheme is flexible enough to support encoding the unique features of sometimes drastically different parliamentary systems. On the other hand, reactions to Git were very positive in terms of information and feedback received via GitHub Issues, effectiveness in the communication process, and plans to use Git in the future. However, there was less agreement on whether the requirements and workflows were adequately explained. The reported difficulties will serve as a basis for further Git workflow optimisation in ParlaMint.

Abstract (Czech):
Tento článek pojednává o kódování, validaci a vývoji jazykových zdrojů dokončeného projektu ParlaMint I a probíhajícího projektu ParlaMint II CLARIN, které se zaměřují na společný vývoj velkého souboru interoperabilních korpusů parlamentních jednání. Zaměřuje se na kódování ParlaMint a vývojovou platformu GitHub a vyhodnocování jejich využití partnery projektu. Zavádíme využití TEI ODD pro pokyny pro kódování a validační schémata. Motivujeme a vysvětlujeme využití Gitu pro vývoj a údržbu kódovacích schémat, validačních a konverzních skriptů a platných vzorků korpusů. Kromě kontroly revizí, problémů a publikační dokumentace podporuje platforma GitHub také integraci provádění kódu s požadavky pull, což významně automatizuje proces odevzdávání dat. Příspěvek také prezentuje výsledky průzkumu o využití TEI a Git v projektech ParlaMint mezi účastníky projektu. Celkově se účastníci ke svým zkušenostem s TEI a Git stavěli většinou pozitivně, i když byly hlášeny určité potíže. Někteří partneři také vyjádřili pochybnosti o tom, zda je stávající systém dostatečně flexibilní na to, aby podporoval kódování jedinečných vlastností někdy drasticky odlišných parlamentních systémů. Na druhou stranu byly reakce na Git velmi pozitivní, pokud jde o informace a zpětnou vazbu získané prostřednictvím GitHub Issues, efektivitu v komunikačním procesu a plány na používání Git v budoucnu. Menší shoda však panovala v tom, zda byly požadavky a pracovní postupy dostatečně vysvětleny. Oznámené potíže poslouží jako základ pro další optimalizaci pracovního postupu Git v ParlaMint.