Parsing des textes journalistiques en serbe à l’aide du logiciel Talismane (Parsing of newspaper texts in S erbian using Talismane) (2019)

Abstract: Cet article présente la création d’un treebank journalistique serbe, ParCoJour. Il est composé de 30K tokens et doté de trois couches d’annotation : étiquetage morphosyntaxique, lemmatisation et annotation syntaxique. Une fois construit, ParCoJour a été utilisé dans trois expériences afin d’évaluer l’impact du domaine textuel sur le parsing du serbe en comparant les performances de Talismane, un système par apprentissage automatique, sur deux types de corpus, journalistique et littéraire : 1) parsing du corpus journalistique avec un modèle entraîné sur le corpus journalistique ; 2) parsing du corpus journalistique avec un modèle entraîné sur le corpus littéraire ; 3) parsing du corpus littéraire avec un modèle entraîné sur le corpus journalistique. Les résultats sont comparés à ceux où les deux corpus relevaient du domaine littéraire. Le changement de domaine textuel dans la deuxième et la troisième expérience entraîne une baisse des performances, mais les résultats de parsing restent satisfaisants.

## introduction le serbe, la langue de notre étude, fait partie des langues slaves du sud. il est parlé en serbie et dans les pays voisines par presque 9 millions de personnes @xcite . c'est une langue à ordre de mots flexible et à morphologie flexionnelle riche. il figure dans le groupe des langues relativement peu dotées en ressources du tal. certaines de ces ressources sont dotées de trois couches d'annotation : l'annotation morphosyntaxique, la lemmatisation, l'annotation syntaxique. néanmoins, les ressources analysées au niveau syntaxique sont les moins nombreuses. pour contribuer au développement des ressources serbes dotées d'annotation syntaxique, nous décidons de mettre accent sur le parsing dans notre recherche. l'état de l'art en parsing du serbe est atteint avec talismane, un logiciel statistique à base de transitions qui traite les arbres en dépendances. pour cette raison, dans cet article, l'accent est mis sur les systèmes par apprentissage automatique bien que d'autres techniques de traitement automatique des langues naturelles existent, et qu'elles donnent parfois de bons résultats en étiquetage morphosyntaxique et en lemmatisation du serbe @xcite . les ressources existantes et librement disponibles relèvent d'un domaine textuel restreint, à savoir littéraire @xcite ; parcotrain-synt @xcite ) et journalistique (setimes.sr @xcite ). ce manque de diversité de corpus disponibles affecte la qualité des résultats obtenus dans le cas d'apprentissage supervisé. afin de contribuer à la diversification des corpus disponibles, nous avons défini notre premier objectif : constituer une nouvelle ressource du tal pour le serbe, enrichie d'annotations linguistiques à plusieurs niveaux et provenant d'un domaine textuel sous-représenté pour le moment, à savoir le domaine journalistique. or, la création des ressources du tal exige des investissements humains et matériels considérables. pour faciliter la création de la nouvelle ressource, nous nous sommes servi des ressources existantes. le point de départ dans la constitution du corpus parcojour est le treebank littéraire parcotrain-synt @xcite . parcotrain-synt est doté de trois couches d'annotation, il est librement disponible et l'état de l'art de parsing du serbe est atteint en l'utilisant en tant que corpus d'entraînement (las 1 =87,48, uas 2 =91,22). nous exploitons donc les modèles de traitement entraînés sur ce corpus pour effectuer un prétraitement de nos données, suivi d'une correction manuelle. notre deuxième objectif est d'effectuer une première évaluation des effets des domaines textuels différents sur les résultats du parsing du serbe. malgré les performances élevées qu'il permet d'atteindre en parsing, parcotrain-synt reste limité à un seul domaine textuella littérature. cela remet en question son utilité lors du traitement de textes provenant d'autres domaines, comme des textes journalistiques ou scientifiques. en effet, des expériences en adaptation de domaine montrent que les modèles de parsing entraînés sur des corpus mono-genre sont particulièrement peu robustes lors du passage à un nouveau type de texte @xcite . les expériences d' @xcite sur l'étiquetage et la lemmatisation du serbe et du croate montrent des pertes plus importantes lors du changement de domaine (journalistique vs encyclopédique) que lors du changement de langue (croate vs serbe). le travail d @xcite sur le parsing de ces deux langues aboutit aux mêmes observations. il faut cependant noter que dans toutes les expériences citées ci-dessus le corpus d'entraînement relevait du domaine journalistique. le choix de ce domaine pour le nouveau corpus du serbe est, entre autres, motivé par le but de mener les expériences dans le sens inverse. dans nos expériences, nous effectuons donc des évaluations dans les deux sens (entraînement sur le littéraire et évaluation sur le journalistique et vice versa). notre intuition linguistique nous mène à considérer les textes littéraires comme syntaxiquement plus complexes que les textes journalistiques. par conséquent, nous nous demandons si la baisse lors de l'adaptation de domaine serait plus importante dans le cas où le corpus d'entraînement serait du domaine littéraire et le corpus d'évaluation du domaine journalistique 3 . autrement dit, l'hypothèse de notre recherche serait la suivante : un système d'apprentissage automatique entraîné sur un corpus littéraire atteint de meilleurs scores dans le parsing des textes journalistiques que l'inverse. dans la suite de l'article, nous présentons l'état de l'art du tal pour le serbe dans la partie 2. la méthodologie de la constitution du nouveau corpus ainsi que le corpus créé dans le cadre de cette recherche sont décrits dans la section 3. les expériences de l'adaptation de domaine que nous avons menées et leurs résultats sont détaillés dans la section 4. ## le serbe en traitement automatique des langues pour justifier notre choix du treebank de départ, nous présentons d'abord les ressources qui existent déjà pour le traitement automatique du serbe. nous nous focalisons sur la disponibilité des ressources. dans un deuxième temps, nous présentons l'état de l'art dans le parsing du serbe pour avoir un point de référence dans l'analyse des résultats de nos expériences. ## adaptation au domaine les corpus à notre disposition (parcojour et parcotrain-synt) relevant des domaines restreints (journalistique et littéraire respectivement), nous pouvons les utiliser dans des expériences dont le but est d'évaluer l'impact des domaines textuels des corpus d'entraînement et d'évaluation sur le parsing. pour ce faire, nous avons mené trois expériences. nous les présentons dans cette section aussi bien que les résultats de ces expériences. ils sont commentés et confrontés aux scores des deux études antérieures du parsing du serbe que nous avons présentées @xcite . ## conclusion et pistes deux grands objectifs de notre travail étaient de créer un treebank journalistique pour le serbe et de faire des expériences en adaptation du domaine sur cette langue. par le premier objectif, nous avons envisagé de contribuer à la diversification de parcotrain-synt @xcite , un treebank littéraire pour le serbe. l'objectif méthodologique était censé contribuer à la compréhension du mécanisme d'adaptation de domaine. le corpus parcojour sera librement disponible sur le site du projet parcolab. lors de la création de notre treebank, nous nous sommes servi de parcotrain-synt, un treebank existant. le corpus parcojour que nous avons créé est composé de 37 articles journalistiques de 30 566 tokens au total. parcojour est doté de l'annotation morphosyntaxique, de la lemmatisation et de l'annotation syntaxique en dépendances suivant les principes et les schémas d'annotation présentés dans @xcite . nous utilisons le corpus parcotrain-synt pour mener des expériences censées donner des résultats qui répondraient à quel point la baisse des performances est due au domain concret des corpus d'entraînement et si la baisse serait importante au cas où le corpus d'entraînement relevait du domaine littéraire. les limites de ce travail ne nous permettant pas d'analyser le traitement à tous les niveaux possibles, nous avons décidé de mener les expériences concernant le parsing. dans le parsing du corpus journalistique, talismane, l'outil que nous avons utilisé, atteint le score de 85,08 en las et de 89,72 en uas si entraîné sur le corpus du même domaine. ces scores sont inférieurs à ceux @xcite , mais dépassent les scores d @xcite . ceci est vrai même pour les scores dans les scénarios avec changement de domaine. même si le schéma d'annotation d @xcite diffère du schéma dans le cadre de notre recherche et même si les résultats ne sont pas directement comparables, les scores atteints dans le cadre de notre étude justifient le parti pris dans notre travail de suivre la méthodologie adoptée par @xcite . ils confirment aussi que l'utilisation d'un corpus littéraire, quoique du domaine restreint, donne des résultats satisfaisants dans le parsing des textes journalistiques. d'autre part, le score de uas est meilleur de 1,4 dans l'expérience où le corpus d'entraînement était le corpus parcotrain-synt et le corpus d'évaluation parcojour. le score de las est, en revanche, meilleur de 0,38 dans l'expérience où le corpus d'entraînement était parcojour et le corpus d'évaluation parcotrain-synt. le fait que les résultats ne sont pas toujours meilleurs avec un corpus littéraire comme corpus d'entraînement confirment l'importance d'avoir des corpus de genres diversifiés et justifie le choix de créer un corpus journalistique pour le serbe. ainsi, nous avons contribué à l'enrichissement des ressources du tal pour la langue serbe. le travail fait dans le cadre de cette recherche peut être poursuivi dans le but d'améliorer les résultats obtenus et d'approfondir l'analyse de l'adaptation de domaine. d'abord, la piste la plus importante serait d'augmenter la taille du corpus parcojour pour rendre les résultats des expériences plus immédiatement comparables à ceux des expériences menées sur parcotrain-synt. l'autre possibilité est d'entraîner l'outils sur seulement une partie du corpus parcotrain-synt dont la taille serait comparable à celle de parcojour. ensuite, il serait bien d'évaluer l'exactitude de la lemmatisation et de l'étiquetage morphosyntaxique lors du changement de domaine. un autre scénario d'évaluation possible comprendrait un entraînement de l'outil effectué dans des conditions définies comme optimales dans le cadre de miletic (2018), à savoir, cutoff de 3, beam width de 5. une autre piste possible serait d'évaluer l'effet de l'étiquetage automatique au lieu de l'étiquetage gold sur le parsing du corpus journalistique. enfin, il serait également utile d'évaluer les performances de l'outil si entraîné sur un corpus mixte où une moitié serait composée des textes d'un genre, et l'autre moitié des textes de l'autre. ceci nous permettrait d'évaluer pleinement l'intérêt de la diversification de treebank et l'apport du contenu journalistique au parsing du serbe.