[ca] L'objectiu del treball és l'anàlisi i l'avaluació del resultat del procés d'adaptació d'un Gran Model de Llenguatge (LLM). Es vol observar el comportament d'un model de llenguatge entrenat en una sola tasca, sense necessitar coneixement teòric addicional, i per al que no fa falta una capacitat de generalització a altres àmbits. Per això s'ha realitzat un experiment que ha consistit en entrenar un LLM utilitzant exemples de converses mèdiques per tal d'identificar les limitacions i els avantatges del procés, donat els comportaments més complexos presents en aquest tipus de converses. S'ha analitzat la qualitat de la imitació d'aquest tipus de converses després de l'entrenament, incidint no només en la capacitat del model per donar respostes correctes a les preguntes dirigides a problemes o símptomes de salut actuals, sinó també la habilitat de fallar com ho fa un pacient real, aportant informació irrellevant o enganyosa quan les preguntes del metge no s'adrecen correctament. La metodologia ha inclòs l'entrenament d'un LLM mitjançant la tècnica d'adaptació Low Rank Adaptation (LoRA) en converses metge-pacient per avaluar la capacitat del model per aprendre i imitar aquestes interaccions complexes. Aquest enfocament posa de manifest el potencial dels models lingüístics pre-entrenats, combinats amb la tècnica LoRA, per gestionar tasques complexes en àmbits reduïts. En aquest cas, s'ha entrenat primer el model de llenguatge GPT-2 com a prova de concepte i desprès Llama-2 amb dades de entrevistes metge-pacient. En conclusió, encara tenint en compte les limitacions del mètode utilitzat, s'ha avaluat positivament els resultats de l'experiment. Al analitzar el comportament solament en un àmbit limitat del qual es tenen dades d'entrenament de bona qualitat, les al·lucinacions típiques dels models de llenguatge no han estat presents en cap dels resultats, i s'ha comprovat l'aprenentatge de comportaments complexos presents en les dades que no exhibeixen els models no adaptats.

[en] The objective of this work is to analyse and evaluate the result of the adaptation process of a Large Language Model (LLM). Specifically, we aim to observe the behaviour of an LLM trained for a single specialized task without requiring additional theoretical knowledge or generalization capability in other fields. To achieve this, an experiment was conducted that involved training an LLM using examples of medical conversations to identify the advantages and limitations of the process, focusing on more complex behaviours present in such conversations. The quality of imitation of these types of conversations after training will be evaluated, considering not only the model's ability to provide correct answers to questions related to actual problems or symptoms but also its skill in failing like a real patient would, providing irrelevant or misleading information when the doctor's questions are not aimed correctly. The methodology includes training an LLM using the Low Rank Adaptation (LoRA) technique on doctor-patient conversations to evaluate the model's ability to learn and imitate these complex interactions. This approach highlights the potential of pre-trained language models, combined with the LoRA technique, in handling complex tasks within reduced domains and with limited training data. For this experiment, GPT-2 was first trained as a proof of concept, followed by training Llama-2 using medical interview datasets. In conclusion, despite the limitations of the method used, the results of the experiment have been positively evaluated. Upon analysing the behaviour in a limited domain with high-quality training data, typical language model hallucinations were absent from all results, and complex behaviours present in the data that are not exhibited by non-adapted models were observed.