Les objectifs du projet

L'objectif du projet est de mettre en place une plateforme de requête d'un modèle de langue permettant la génération de résumé d'article de presse.

Une description du système ou des données auxquelles l’interface permet d’accéder

Les Données 💾

Le projet utilisera pour l'entraînement du modèle de langue le corpus issu de 'Newsroom: A Dataset of 1.3 Million Summaries with Diverse Extractive Strategies' (Grusky et al., NAACL 2018) newsroom assemblé par Max Grusky et ses collègues en 2018. Newsroom est un corpus parallèle rassemblant 1,3 millions articles de presse et leur résumé en anglais. Les résumés sont réalisés en utilisant les méthodes d'extraction comme d'abstraction ainsi que des méthodes mixtes. Ce corpus est disponible sur HuggingFace mais necessite un téléchargement préalable pour des raisons de protection des données.

Le corpus est nettoyé avant d'être utilisé pour l'entraînement du LSTM. Seule les parties 'text' et 'summary' du jsonl sont utilisées.

Le système 🖥️

2 systèmes :

LSTM réalisé à partir du cours et de cet exemple et de beaucoup d'autres référence en ligne.
Fine-tuned transformers

La méthodologie

Répartition du travail 👥

Nous avons travaillé avec le logiciel de gestion de version Github en mettant en place une intégration continue envoyant directement les pull request sur l'espace Huggingface.

Idéalement, les pull request doivent être validées par deux membres du projet avant d'être accéptées afin d'éviter les erreurs en production. Nous n'avons pas mis en place ces restrictions à cause de la difficulté à gérer Docker dans Huggingface qui nous a nécessité beaucoup de modification.

Problèmes rencontrés et résolution

Problème sur le corpus 📚

Problème Mojibake depuis les fichiers jsonl :
- encodage en cp1252 et decodage en utf-8 avec ignore pour éviter les erreurs sur les caractères utf-8 présents dans le fichier à l'encodage
- ❔Le problème ne se présente étrangement pas sur toutes les machines.
Agglomération des pronoms et des verbes
- D'abord remplacement des ' par des espaces avant le split
- Utilisation d'un dictionnaire de correspondance
Split des noms propres composés ('Ivory Coast', 'Inter Milan') :
- pas de résolution à ce jour
Problème des mots non disponibles dans le vocabulaire
- À terme, entraînement sur tout le corpus ?
Problème de la qualité du corpus :
- Résumés tronqués : "Did Tatum O'Neal's latest battle with ex-husband John McEnroe put her back on drugs? The "Paper Moon"star checked herself into L.A.'s Promises rehab facility after a friend caught her smoking crack, according to The National Enquirer. O'Neal emerged clean and sober from Promises' 34-day recovery program in late July, the tab reports. The actress is said to have plunged into her old habits because of" ...
- Résumés plus proche de titres que de résumés : "SAN DIEGO PADRES team notebook"
- pas de résolution à ce jour

Problème sur le Réseau de Neurone 🕸️

Prise en compte du padding dans l'apprentissage :
- utilisation de la fonctionnalité ignore_index de NLLLoss avec un padding d'une valeur à -100
Temps d'apprentissage très long :
- essai de mise en place d'un entraînement par batch
Répetition des déterminants après entraînement du modèle - https://huggingface.co/blog/how-to-generate
- mise en place d'un Beam Search - non fructueux
- Passage vers du Sampling

Problème sur le fine-tuning

Problème sur l'interface

Problème de l'Intégration continue

Pas de lien possible entre Huggingface et un github dont l'history contient des fichier de plus de 10Mo
- 💣 Explosion du github
Docker qui fonctionne en local mais en sur Huggingface
- Problème de path de fichier

Les étapes du projet

Initialisation du Github
Premiers pas dans le réseau de neurone
Réalisation de la plateforme
Intégration à Huggingface
Fine-tuning de modèle
Finalisation

Implémentation

modélisation

Nous avons décidé dans un premier temps de modéliser une LSTM pour le résumé automatique sur la base du réseau de neurone réalisé en cours. Pour ce faire nous nous sommes beaucoup inspirée du kaggle https://www.kaggle.com/code/columbine/seq2seq-pytorch ainsi que de la documentation de PyTorch https://pytorch.org/tutorials/beginner/nlp/sequence_models_tutorial.html#example-an-lstm-for-part-of-speech-tagging

modules et API utilisés

Dataloader :

Data

    A class used to get data from file
    ...

    Attributes
    ----------
    path : str
        the path to the file containing the data

    Methods
    -------
    open()
        open the jsonl file with pandas
    clean_data(text_type)
        clean the data got by opening the file and adds <start> and
        <end> tokens depending on the text_type
    get_words()
        get the dataset vocabulary

Vectoriser

Model :

train :

inference :

api :

templates :

Langages de programmation

🐳 Docker
yaml
🐍 et python evidemment

Les résultats (fichiers output, visualisations…)

Les metriques d'évaluation

ROUGE
BLEU

Discussion des résultats

Résultats du LSTM

Les résultats du LSTM sont inutilisables mais ont permis au moins de se confronter à la difficulté de mettre en place des réseaux de neurones depuis pas grand chose. On aurait aimé avoir plus detemps pour aller plus loin et comprendre mieux encore : l'entraîement par batch, pourquoi les résultats sont si mauvais, mettre d'autres stratégies de génération en place, ...

Spaces:

EveSa
/

SummaryProject

Runtime error