Resource-efficient and Explainable Machine Learning Models for ChatGPT-generated Text Detection
Creators: name: Berchtold, Matthias
Publisher: name: Scuola Universitaria della Svizzera Italiana (SUPSI)
Year: 2023

description: I rapidi progressi nel campo dell'intelligenza artificiale hanno portato allo sviluppo di modelli di linguaggio in grado di generare testi molto simili ai contenuti prodotti dagli esseri umani. Tuttavia, le preoccupazioni riguardo l'uso improprio di questa tecnologia hanno sollevato problemi etici importanti. Per esempio, questi strumenti possono essere utilizzati per la generazione di fake news e la produzione di contenuti a fini educativi, con conseguente propagazione della disinformazione e disonestà accademica. Per questo motivo è essenziale avere a disposizione sistemi in grado di distinguere i testi scritti da esseri umani da quelli generati da intelligenze artificiali. Inoltre, la rapida evoluzione di questi modelli di linguaggio richiede lo sviluppo di sistemi facilmente aggiornabili. In questo progetto, si esplora l'efficacia di algoritmi di machine learning nell'identificare il testo prodotto da ChatGPT. Gli algoritmi presi in considerazione hanno complessità contenuta, in modo da non richiedere notevoli risorse computazionali e permettere un aggiornamento veloce. Inoltre, sono state applicate tecniche di Explainable Artificial Intelligence (XAI) per svelare i processi decisionali di questi algoritmi. I risultati dimostrano che i modelli impiegati raggiungono notevoli prestazioni nel rilevamento di testi generati da ChatGPT. Le prestazioni diminuiscono quando i testi di addestramento sono in quantità limitata, ma soprattutto quando sono particolarmente brevi. Inoltre, le prestazioni di classificazione dei modelli sono penalizzate quando si tratta di classificare un testo il cui contesto non è stato incontrato durante la fase di addestramento. Tuttavia, l'aggiunta di qualche testo contestualmente rilevante durante l'addestramento si è dimostrato efficace nel migliorare le loro prestazioni. Le tecniche di XAI fanno luce sui vantaggi dell'addestramento dei modelli con testi contestualmente rilevanti, rivelando che tale addestramento consente ai modelli di attribuire maggiore importanza alle parole specifiche del contesto, risultando in una minore incertezza durante la classificazione. Inoltre, le tecniche di XAI evidenziano che, anche quando due modelli distinti addestrati sullo stesso dataset mostrano prestazioni simili, le motivazioni alla base delle loro classificazioni non sono necessariamente direttamente comparabili. _____ Rapid advances in the field of artificial intelligence have led to the development of language models capable of generating texts very similar to content produced by humans. However, concerns about the misuse of this technology have raised important ethical issues. For instance, these tools can be used for the generation of fake news and the production of content for educational purposes, resulting in the propagation of misinformation and academic dishonesty. For this reason, it is essential to have systems that can distinguish texts written by human beings from those generated by artificial intelligences. Furthermore, the rapid evolution of these language models requires the development of systems that can be easily updated. In this project, the effectiveness of machine learning algorithms in identifying text produced by ChatGPT is explored. The algorithms considered have low complexity, so that they do not require significant computational resources and allow for fast updating. Furthermore, Explainable Artificial Intelligence (XAI) techniques were applied to unravel the decision-making processes of these algorithms. The results show that the models employed achieve remarkable performance in the detection of ChatGPT-generated texts. Performance decreases when the training texts are limited in quantity, but especially when they are particularly titolo documento 3/3 short. Furthermore, the classification performance of the models suffers when it comes to classifying text whose context was not encountered during the training phase. However, adding some contextually relevant text during training has proven effective in improving their performance. The XAI techniques shed light on the advantages of training the models with contextually relevant text, revealing that such training allows the models to attach more importance to context-specific words, resulting in less uncertainty during classification. Furthermore, XAI techniques highlight that even when two distinct models trained on the same dataset show similar performance, the motivations behind their classifications are not necessarily directly comparable.