ymoslem/acl-abstracts huggingface dataset:
\'Evaluer les mod\`eles de langue pr\'e-entra\^in\'es avec des propri\'et\'es de hi\'erarchie (2024)

{\'E}tant donn{\'e} que les mod{\`e}les de langue pr{\'e}-entra{\^i}n{\'e}s (PLM) constituent la pierre angulaire des mod{\`e}les de recherche d`informations les plus r{\'e}cents, la fa{\c{c}}on dont ils encodent la connaissance s{\'e}mantique est particuli{\`e}rement importante.Cependant, on s`est peu int{\'e}ress{\'e} {\`a} la capacit{\'e} des PLM {\`a} capturer la connaissance s{\'e}mantique hi{\'e}rarchique. Traditionnellement, l'{\'e}valuation de ces connaissances cod{\'e}es dans les PLM s`appuie sur leurs performances lors d'{\'e}valuations d{\'e}pendantes de la t{\^a}che, bas{\'e}es sur des t{\^a}ches proxy telles que la d{\'e}tection d`hyperonymes.Malheureusement, cette approche ignore potentiellement d`autres relations taxonomiques implicites et complexes.Dans ce travail, nous proposons une m{\'e}thode d'{\'e}valuation ind{\'e}pendante de la t{\^a}che, capable d'{\'e}valuer dans quelle mesure les PLM peuvent capturer des relations taxonomiques complexes, telles que les anc{\^e}tres et les fr{\`e}res et s{\oe}urs.Cette {\'e}valuation, bas{\'e}e sur des propri{\'e}t{\'e}s intrins{\`e}ques capturant ces relations, montre que les connaissances lexico-s{\'e}mantiques cod{\'e}es implicitement dans les PLM ne capturent pas toujours les relations hi{\'e}rarchiques. Nous d{\'e}montrons en outre que les propri{\'e}t{\'e}s propos{\'e}es peuvent {\^e}tre inject{\'e}es dans les PLM pour am{\'e}liorer leur compr{\'e}hension de la hi{\'e}rarchie. Gr{\^a}ce {\`a} des {\'e}valuations portant sur la reconstruction de taxonomies, la d{\'e}couverte d`hyperonymes et la compr{\'e}hension de lecture, nous montrons que la connaissance de la hi{\'e}rarchie est mod{\'e}r{\'e}ment transf{\'e}rable entre les t{\^a}ches, mais pas de mani{\`e}re syst{\'e}matique.Ceci est le r{\'e}sum{\'e} de l`article {\textquotedblleft}Probing Pretrained Language Models with Hierarchy Properties{\textquotedblright} publi{\'e} {\`a} ECIR 2024.
Exploration d`approches hybrides pour la lisibilit\'e : exp\'eriences sur la compl\'ementarit\'e entre les traits linguistiques et les transformers (2024)

Les architectures d`apprentissage automatique reposant sur la d{\'e}finition de traits linguistiques ont connu un succ{\`e}s important dans le domaine de l'{\'e}valuation automatique de la lisibilit{\'e} des textes (ARA) et ont permis de faire se rencontrer informatique et th{\'e}orie psycholinguistique. Toutefois, les r{\'e}cents d{\'e}veloppements se sont tourn{\'e}s vers l`apprentissage profond et les r{\'e}seaux de neurones. Dans cet article, nous cherchons {\`a} r{\'e}concilier les deux approches. Nous pr{\'e}sentons une comparaison syst{\'e}matique de 6 architectures hybrides (appliqu{\'e}es {\`a} plusieurs langues et publics) que nous comparons {\`a} ces deux approches concurrentes. Les diverses exp{\'e}riences r{\'e}alis{\'e}es ont clairement mis en {\'e}vidence deux m{\'e}thodes d`hybridation : Soft-Labeling et concat{\'e}nation simple. Ces deux architectures sont {\'e}galement plus efficaces lorsque les donn{\'e}es d`entra{\^i}nement sont r{\'e}duites. Cette {\'e}tude est la premi{\`e}re {\`a} comparer syst{\'e}matiquement diff{\'e}rentes architectures hybrides et {\`a} {\'e}tudier leurs performances dans plusieurs t{\^a}ches de lisibilit{\'e}.
Jargon : Une suite de mod\`eles de langues et de r\'ef\'erentiels d'\'evaluation pour les domaines sp\'ecialis\'es du fran\ccais (2024)

Les mod{\`e}les de langue pr{\'e}entra{\^i}n{\'e}s (PLM) constituent aujourd`hui de facto l'{\'e}pine dorsale de la plupart des syst{\`e}mes de traitement automatique des langues. Dans cet article, nous pr{\'e}sentons Jargon, une famille de PLMs pour des domaines sp{\'e}cialis{\'e}s du fran{\c{c}}ais, en nous focalisant sur trois domaines : la parole transcrite, le domaine clinique / biom{\'e}dical, et le domaine juridique. Nous utilisons une architecture de transformeur bas{\'e}e sur des m{\'e}thodes computationnellement efficaces(LinFormer) puisque ces domaines impliquent souvent le traitement de longs documents. Nous {\'e}valuons et comparons nos mod{\`e}les {\`a} des mod{\`e}les de l'{\'e}tat de l`art sur un ensemble vari{\'e} de t{\^a}ches et de corpus d'{\'e}valuation, dont certains sont introduits dans notre article. Nous rassemblons les jeux de donn{\'e}es dans un nouveau r{\'e}f{\'e}rentiel d'{\'e}valuation en langue fran{\c{c}}aise pour ces trois domaines. Nous comparons {\'e}galement diverses configurations d`entra{\^i}nement : pr{\'e}entra{\^i}nement prolong{\'e} en apprentissage autosupervis{\'e} sur les donn{\'e}es sp{\'e}cialis{\'e}es, pr{\'e}entra{\^i}nement {\`a} partir de z{\'e}ro, ainsi que pr{\'e}entra{\^i}nement mono et multi-domaines. Nos exp{\'e}rimentations approfondies dans des domaines sp{\'e}cialis{\'e}s montrent qu`il est possible d`atteindre des performances comp{\'e}titives en aval, m{\^e}me lors d`un pr{\'e}entra{\^i}nement avec le m{\'e}canisme d`attention approximatif de LinFormer. Pour une reproductibilit{\'e} totale, nous publions les mod{\`e}les et les donn{\'e}es de pr{\'e}entra{\^i}nement, ainsi que les corpus utilis{\'e}s.
LOCOST: Mod\`eles Espace-\'Etat pour le R\'esum\'e Abstractif de Documents Longs (2024)

Les mod{\`e}les espace-{\'e}tat constituent une alternative peu co{\^u}teuse en termes de complexit{\'e} de calcul aux transformeurs pour le codage de longues s{\'e}quences et la capture de longues d{\'e}pendances. Nous proposons LOCOST: une architecture encodeur-d{\'e}codeur bas{\'e}e sur des mod{\`e}les espace-{\'e}tat pour la g{\'e}n{\'e}ration de textes conditionnels avec de longues entr{\'e}es contextuelles. Avec une complexit{\'e} de calcul de O(L log L), cette architecture peut traiter des s{\'e}quences beaucoup plus longues que les mod{\`e}les de r{\'e}f{\'e}rence qui sont bas{\'e}s sur des mod{\`e}les d`attention parcimonieux. Nous {\'e}valuons notre mod{\`e}le sur une s{\'e}rie de t{\^a}ches de r{\'e}sum{\'e} abstractif de longs documents. Le mod{\`e}le atteint un niveau de performance qui est 93-96 comparable aux transformeurs parcimonieux les plus performants de la m{\^e}me taille tout en {\'e}conomisant jusqu'{\`a} 50 de m{\'e}moire pendant l`apprentissage et jusqu'{\`a} 87 pendant l`inf{\'e}rence. En outre, LOCOST traite efficacement les entr{\'e}es d{\'e}passant 600K tokens au moment de l`inf{\'e}rence, {\'e}tablissant de nouveaux r{\'e}sultats de r{\'e}f{\'e}rence sur le r{\'e}sum{\'e} de livre complet et ouvrant de nouvelles perspectives pour le traitement des entr{\'e}es longues.
Le corpus BrainKT: Etudier l`instanciation du common ground par l`analyse des indices verbaux, gestuels et neurophysiologiques (2024)

La quantit{\'e} croissante de corpus multimodaux collect{\'e}s permet de d{\'e}velopper de nouvelles m{\'e}thodes d`analyse de la conversation. Dans la tr{\`e}s grande majorit{\'e} des cas, ces corpus ne comprennent cependant que les enregistrements audio et vid{\'e}o, laissant de c{\^o}t{\'e} d`autres modalit{\'e}s plus difficiles {\`a} r{\'e}cup{\'e}rer mais apportant un point de vue compl{\'e}mentaire sur la conversation, telle que l`activit{\'e} c{\'e}r{\'e}brale des locuteurs. Nous pr{\'e}sentons donc BrainKT, un corpus de conversation naturelle en fran{\c{c}}ais, rassemblant les donn{\'e}es audio, vid{\'e}o et signaux neurophysiologiques, collect{\'e} avec l`objectif d'{\'e}tudier en profondeur les transmission d`information et l`instanciation du common ground. Pour chacune des conversations des 28 dyades (56 participants), les locuteurs devaient collaborer sur un jeu conversationnel (15min), et {\'e}taient ensuite libres de discuter du sujet de leur choix (15min). Pour chaque discussion, les donn{\'e}es audio, vid{\'e}o, l`activit{\'e} c{\'e}r{\'e}brale (EEG par Biosemi 64) et physiologique (montre Empatica-E4) sont enregistr{\'e}es. Cet article situe le corpus dans la litt{\'e}rature, pr{\'e}sente le setup exp{\'e}rimental utilis{\'e} ainsi les difficult{\'e}s rencontr{\'e}es, et les diff{\'e}rents niveaux d`annotations propos{\'e}s pour le corpus.
R\'e\'equilibrer la distribution des labels tout en \'eliminant le temps d`attente inh\'erent dans l`apprentissage actif multi-label appliqu\'e aux transformers (2024)

L`annotation des donn{\'e}es est cruciale pour l`apprentissage automatique, notamment dans les domaines techniques, o{\`u} la qualit{\'e} et la quantit{\'e} des donn{\'e}es annot{\'e}es affectent significativement l`efficacit{\'e} des mod{\`e}les entra{\^i}n{\'e}s. L`utilisation de personnel humain est co{\^u}teuse, surtout lors de l`annotation pour la classification multi-label, les instances pouvant {\^e}tre associ{\'e}es {\`a} plusieurs labels.L`apprentissage actif (AA) vise {\`a} r{\'e}duire les co{\^u}ts d`annotation en s{\'e}lectionnant intelligemment des instances pour l`annotation, plut{\^o}t que de les annoter de mani{\`e}re al{\'e}atoire. L`attention r{\'e}cente port{\'e}e aux transformers a mis en lumi{\`e}re le potentiel de l`AA dans ce contexte.Cependant, dans des environnements pratiques, la mise en {\oe}uvre de l`AA rencontre des d{\'e}fis pratiques. Notamment, le temps entre les cycles d`AA n`est pas mis {\`a} contribution par les annotateurs. Pour r{\'e}soudre ce probl{\`e}me, nous examinons des m{\'e}thodes alternatives de s{\'e}lection d`instances, visant {\`a} maximiser l`efficacit{\'e} de l`annotation en s`int{\'e}grant au processus de l`AA. Nous commen{\c{c}}ons par {\'e}valuer deux m{\'e}thodes existantes, en utilisant respectivement un {\'e}chantillonnage al{\'e}atoire et des informations de cycle d`AA p{\'e}rim{\'e}es. Ensuite, nous proposons notre m{\'e}thode novatrice bas{\'e}e sur l`annotation des instances pour r{\'e}{\'e}quilibrer la distribution des labels. Notre approche att{\'e}nue les biais, am{\'e}liore les performances du mod{\`e}le (jusqu'{\`a} une am{\'e}lioration de 23 sur le score F1), r{\'e}duit les disparit{\'e}s d{\'e}pendantes de la strat{\'e}gie (diminution d`environ 50 sur l'{\'e}cart type) et diminue le d{\'e}s{\'e}quilibre des libell{\'e}s (diminution de 30 sur le ratio moyen de d{\'e}s{\'e}quilibre).
Sur les limites de l`identification par l`humain de textes g\'en\'er\'es automatiquement (2024)

La g{\'e}n{\'e}ration de textes neuronaux fait l`objet d`une grande attention avec la publication de nouveaux outils tels que ChatGPT. La principale raison en est que la qualit{\'e} du texte g{\'e}n{\'e}r{\'e} automatiquement peut {\^e}tre attribu{\'e}e {\`a} un{\$}cdot{\$}e r{\'e}dacteurice humain{\$}cdot{\$}e m{\^e}me quand l'{\'e}valuation est faite par un humain. Dans cet article, nous proposons un nouveau corpus en fran{\c{c}}ais et en anglais pour la t{\^a}che d`identification de textes g{\'e}n{\'e}r{\'e}s automatiquement et nous menons une {\'e}tude sur la fa{\c{c}}on dont les humains per{\c{c}}oivent ce texte. Nos r{\'e}sultats montrent, comme les travaux ant{\'e}rieurs {\`a} l'{\`e}re de ChatGPT, que les textes g{\'e}n{\'e}r{\'e}s par des outils tels que ChatGPT partagent certaines caract{\'e}ristiques communes mais qu`ils ne sont pas clairement identifiables, ce qui g{\'e}n{\`e}re des perceptions diff{\'e}rentes de ces textes par l`humain.
Un corpus multimodal alignant parole, transcription et s\'equences de pictogrammes d\'edi\'e \`a la traduction automatique de la parole vers des pictogrammes (2024)

La traduction automatique de la parole vers des pictogrammes peut faciliter la communication entre des soignants et des personnes souffrant de troubles du langage. Cependant, il n`existe pas de formalisme de traduction {\'e}tabli, ni d`ensembles de donn{\'e}es accessibles au public pour l`entra{\^i}nement de syst{\`e}mes de traduction de la parole vers des pictogrammes. Cet article pr{\'e}sente le premier ensemble de donn{\'e}es alignant de la parole, du texte et des pictogrammes. Ce corpus comprend plus de 230 heures de parole. Nous discutons de nos choix pour cr{\'e}er une grammaire adapt{\'e}e {\`a} des s{\'e}quences de pictogrammes. Cette derni{\`e}re s`articule autour de r{\`e}gles et d`un vocabulaire restreint. La grammaire r{\'e}sulte d`une {\'e}tude linguistique approfondie des ressources extraites du site Web d`ARASAAC. Nous avons ensuite valid{\'e} ces r{\`e}gles {\`a} l`issue de multiples phases de post-{\'e}dition par des annotateurs experts. Le corpus propos{\'e} est ensuite utilis{\'e} pour entra{\^i}ner un syst{\`e}me en cascade traduisant la parole vers des pictogrammes. L`ensemble du corpus est disponible gratuitement sur le site web d`Ortolang sous une licence non commerciale. Il s`agit d`un point de d{\'e}part pour la recherche portant sur la traduction automatique de la parole vers des pictogrammes.
Une approche zero-shot pour localiser les transferts d`informations en conversation naturelle (2024)

Les th{\'e}ories de l`interaction sugg{\`e}rent que l'{\'e}mergence d`une compr{\'e}hension mutuelle entre les locuteurs en conversation naturelle d{\'e}pend de la construction d`une base de connaissances partag{\'e}e (common ground), mais n`explicitent ni le choix ni les circonstances de la m{\'e}morisation de ces informations.Des travaux ant{\'e}rieurs utilisant les m{\'e}triques d{\'e}riv{\'e}es de la th{\'e}orie de l`information pour analyser la dynamique d'{\'e}change d`information ne fournissent pas de moyen efficace de localiser les informations qui entreront dans le common ground. Nous proposons une nouvelle m{\'e}thode bas{\'e}e sur la segmentation automatique d`une conversation en th{\`e}mes qui sont ensuite r{\'e}sum{\'e}s. L`emplacement des transferts d`informations est finalement obtenu en calculant la distance entre le r{\'e}sum{\'e} du th{\`e}me et les diff{\'e}rents {\'e}nonc{\'e}s produits par un locuteur. Nous {\'e}valuons deux grands mod{\`e}les de langue (LLMs) sur cette m{\'e}thode, sur le corpus conversationnel fran{\c{c}}ais Paco-Cheese. Plus g{\'e}n{\'e}ralement, nous {\'e}tudions la fa{\c{c}}on dont les derniers d{\'e}veloppement dans le champ des LLMs permettent l'{\'e}tude de questions s`appuyant normalement fortement sur le jugement d`annotateurs humains.
An evaluation of current benchmarking strategies for French biomedical language models (2024)

We describe the current state of benchmarking for French language biomedical natural language processing (NLP). We note two important criteria in biomedical benchmarking: first, that a biomedical benchmark clearly simulate a specific use cases, in order to offer a useful evaluation of a biomedical model`s real life applicability. Second: that a biomedical benchmark be created in collaboration with biomedical professionals. We note that many biomedical benchmarks, particularly in French, do not adhere to these criteria; however, we highlight other biomedical benchmarks which adhere better to those criteria. Furthermore, we evaluate some of the most common French biomedical benchmarks on an array of models and empirically support the necessity of domain-specific and language-specific pre-training for natural language understanding (NLU) tasks. We show that some popular French biomedical language models perform poorly and/or inconsistently on important biomedical tasks. Finally, we advocate for an increase in publicly available, clinically targeted French biomedical NLU benchmarks.
Analyse s\'emantique du corpus des Cahiers citoyens (2024)

Cet article pr{\'e}sente une recherche originale qui se concentre sur une analyse s{\'e}mantique du corpus des Cahiers citoyens, qui regroupe les contributions et les dol{\'e}ances des citoyens fran{\c{c}}ais d{\'e}pos{\'e}es au niveau des mairies dans le cadre du Grand D{\'e}bat National. L`article offre un {\'e}tat de l`art complet sur les divers travaux r{\'e}alis{\'e}s sur ce corpus et vise {\`a} obtenir une compr{\'e}hension approfondie des th{\`e}mes {\'e}mergents et des pr{\'e}occupations citoyennes dans les diff{\'e}rentes r{\'e}gions. Plusieurs hypoth{\`e}ses concernant ces travaux ont {\'e}t{\'e} {\'e}mises, et diff{\'e}rentes m{\'e}thodes ont {\'e}t{\'e} propos{\'e}es pour r{\'e}pondre {\`a} ces hypoth{\`e}ses, de la segmentation et du pr{\'e}-traitement du corpus au calcul des vecteurs de plongement des phrases {\`a} l`aide de mod{\`e}les de langues pr{\'e}-entra{\^i}n{\'e}s, aboutissant au clustering de ces vecteurs pour construire des regroupements en fonction des probl{\'e}matiques abord{\'e}es.
Annotation de la continuit\'e r\'ef\'erentielle dans un corpus scolaire -- premiers r\'esultats (2024)

La recherche Scolinter s`int{\'e}resse {\`a} l'{\'e}tude des comp{\'e}tences en {\'e}criture des {\'e}l{\`e}ves de l'{\'e}cole primaire en France, en Italie et en Espagne. Le corpus {\'e}ponyme se pr{\'e}sente comme un large corpus longitudinal d'{\'e}crits d'{\'e}l{\`e}ves comparables dans les trois langues (Ponton et al., 2021). Il s`agit dans cette recherche de cr{\'e}er un outillage TAL applicable {\`a} ce type de corpus pour assister les chercheurs dans la description linguistique des ph{\'e}nom{\`e}nes qui rel{\`e}vent de la coh{\'e}sion et de la coh{\'e}rence textuelle, en particulier de la continuit{\'e} r{\'e}f{\'e}rentielle. La premi{\`e}re {\'e}tape de cette recherche a consist{\'e} dans la conception d`un mod{\`e}le et dans le choix d`un format d`annotation r{\'e}pondant {\`a} ces objectifs. Cette contribution fera tout d`abord un {\'e}tat des recherches sur l`annotation en anaphore, cor{\'e}f{\'e}rence et continuit{\'e} r{\'e}f{\'e}rentielle avant de pr{\'e}senter les sp{\'e}cificit{\'e}s du corpus Scolinter et de proposer des pistes m{\'e}thodologiques pour la suite du travail.
\'Etat de l`art des m\'ethodes de g\'en\'eration automatique de listes de lectures (2024)

L`augmentation croissante du volume d`articles scientifique rend difficile la mont{\'e}e en comp{\'e}tence des chercheurs sur un domaine de recherche cibl{\'e}. Pour faciliter l`acc{\`e}s {\`a} ces articles, diverses approches et t{\^a}ches en recherche d`information ont {\'e}t{\'e} d{\'e}velopp{\'e}es ces derni{\`e}res ann{\'e}es. Parmi elles, la t{\^a}che de g{\'e}n{\'e}ration automatique de listes de lecture a {\'e}t{\'e} r{\'e}cemment {\'e}tudi{\'e}e dans la litt{\'e}rature.Elle consiste en la g{\'e}n{\'e}ration d`une liste ordonn{\'e}e d`articles scientifiques couvrant un domaine de recherche sp{\'e}cifique. Plusieurs travaux ont explor{\'e} diff{\'e}rents aspects de cette t{\^a}che, proposant des jeux de donn{\'e}es et des m{\'e}thodologies d'{\'e}valuation vari{\'e}es pour apporter des solutions {\`a} ce probl{\`e}me.Dans cet article, nous pr{\'e}sentons un {\'e}tat de l`art des principales approches de g{\'e}n{\'e}ration de listes de lecture, incluant les donn{\'e}es, m{\'e}thodes, et m{\'e}triques d'{\'e}valuation
\'Evaluation de mesures d`accord sur des structures relationnelles par la d\'egradation contr\^ol\'ee d`annotations (2024)

Les mesures d`accord inter-annotateurs sont essentielles pour {\'e}valuer la qualit{\'e} des annotations humaines sur les corpus. Dans le cadre des structures relationnelles, la question de la qualit{\'e} et de l`interpr{\'e}tabilit{\'e} de ces mesures reste cependant ouverte. Cet article pr{\'e}sente l`adaptation d`un outil d{\'e}j{\`a} utilis{\'e} pour d`autres paradigmes d`annotation dont le but est de g{\'e}n{\'e}rer de mani{\`e}re contr{\^o}l{\'e}e des annotations artificielles erron{\'e}es. Les annotations obtenues sont fournies {\`a} des mesures d`accord adapt{\'e}es aux structures relationnelles, permettant l`identification des comportements des mesures ainsi que les diff{\'e}rences entre elles.
G\'eom\'etrie des vecteurs de t\^aches pour l`association et la combinaison de mod\`eles (2024)

Les adaptations de rang faible (LoRa) sont devenues un standard pour adapter des mod{\`e}les {\`a} un faible co{\^u}t. Elles sont de plus en plus utilis{\'e}es que ce soit en traitement du langage ou des images. Plusieurs {\'e}tudes utilisent ces adaptations et cherchent {\`a} les combiner it a posteriori de mani{\`e}re {\`a} enrichir de mani{\`e}re additive les propri{\'e}t{\'e}s d`un mod{\`e}le. Ces combinaisons sugg{\`e}rent alors que nous pouvons associer les mod{\`e}les dans l`espace des param{\`e}tres et que nous pouvons donner un sens {\`a} cela. Cette propri{\'e}t{\'e} n`est que tr{\`e}s peu v{\'e}rifi{\'e}e dans la pratique et nous proposons ici plusieurs m{\'e}triques visant {\`a} caract{\'e}riser l`association entre les mod{\`e}les dans l`espace des param{\`e}tres. Nous montrons finalement que nous pouvons corr{\'e}ler ces m{\'e}triques avec les pertes de performance des mod{\`e}les lorsque nous r{\'e}alisons leurs combinaisons.
TAL et analyse de l`activit\'e en ergonomie : extraction d`informations sp\'ecialis\'ees dans des transcriptions d`entretiens (2024)

L`ergonomie du travail est une discipline qui {\'e}tudie les conditions de travail des individus. Son application se traduit, entre autres, par la r{\'e}alisation d`entretiens d`analyse de l`activit{\'e} qui ont pour objectif de faire {\'e}merger les impacts n{\'e}gatifs de la situation de travail sur la sant{\'e} physique et morale des travailleurs. Notre {\'e}tude consiste en la mise en place d`un syst{\`e}me d`extraction automatique des informations relatives {\`a} ces impacts dans les transcriptions des entretiens r{\'e}alis{\'e}s. Ce syst{\`e}me se fonde sur une approche hybride, associant ressources terminologiques et calcul de similarit{\'e} contextuelle.
T\^aches et syst\`emes de s\'election automatique de r\'eponses \`a des QCM dans le domaine m\'edical : Pr\'esentation de la campagne DEFT 2024 (2024)

L'{\'e}dition 2024 du D{\'E}fi Fouille de Textes (DEFT) met l`accent sur le d{\'e}veloppement de m{\'e}thodes pour la s{\'e}lection automatique de r{\'e}ponses pour des questions {\`a} choix multiples (QCM) en fran{\c{c}}ais. Les m{\'e}thodes sont {\'e}valu{\'e}es sur un nouveau sous-ensemble du corpus FrenchMedMCQA, comprenant 3 105 questions ferm{\'e}es avec cinq options chacune, provenant des archives d`examens de pharmacie. Dans la premi{\`e}re t{\^a}che, les participants doivent se concentrer sur des petits mod{\`e}les de langue (PML) avec moins de 3 milliards de param{\`e}tres et peuvent {\'e}galement utiliser les corpus sp{\'e}cifiques au domaine m{\'e}dical NACHOS et Wikipedia s`ils souhaitent appliquer des approches du type Retrieval-Augmented Generation (RAG). La second t{\^a}che l{\`e}ve la restriction sur la taille des mod{\`e}les de langue. Les r{\'e}sultats, mesur{\'e}s par l`Exact Match Ratio (EMR), varient de 1,68 {\`a} 11,74 tandis que les performances selon le score de Hamming vont de 28,75 {\`a} 49,15 pour la premi{\`e}re t{\^a}che. Parmi les approches propos{\'e}es par les cinq {\'e}quipes participantes, le meilleur syst{\`e}me utilise une cha{\^i}ne combinant un classifieur CamemBERT-bio pour identifier le type de question et un syst{\`e}me RAG fond{\'e} sur Apollo 2B, affin{\'e} avec la m{\'e}thode d`adaptation LoRA sur les donn{\'e}es de l`ann{\'e}e pr{\'e}c{\'e}dente.
Participation du CRIM \`a DEFT 2024 : Utilisation de petits mod\`eles de Langue pour des QCMs dans le domaine m\'edical (2024)

Ce papier d{\'e}crit le travail de l'{\'e}quipe du CRIM (Centre de recherche en Informatique de Montr{\'e}al) dans le cadre du D{\'e}fi Fouille de textes 2024. Nous pr{\'e}sentons les exp{\'e}riences que nous avons men{\'e}es dans le cadre de la t{\^a}che principale consistant {\`a} identifier automatiquement, pour une question donn{\'e}e issue d`annales d`examens de pharmacie, l`ensemble des r{\'e}ponses correctes parmi les cinq propos{\'e}es. La contrainte est d`utiliser un syst{\`e}me de moins de 3 milliards de param{\`e}tres dont les donn{\'e}es d`entra{\^i}nement sont connues. Pour ce faire, nous avons test{\'e} des approches impliquant du few-shot prompting, du RAG, de l`affinage et de la g{\'e}n{\'e}ration contrainte en dernier recours.