README.md

metadata

language: fr
tags:
  - pytorch
  - t5
  - seq2seq
  - summarization
datasets: cnn_dailymail
widget:
  - text: >-
      Durant les années 1950, la guerre froide bat son plein entre les
      États-Unis et l'Union soviétique, les deux superpuissances de l'époque.
      Celle-ci se traduit par des affrontements militaires indirects (guerre de
      Corée) mais également par une course aux armements. L'Union soviétique
      prend de l'avance en mettant au point un missile balistique
      intercontinental, la R-7 Semiorka, ancêtre direct de la fusée Soyouz. La
      R-7 est une fusée particulièrement puissante, car les ingénieurs
      soviétiques ne sont pas parvenus à miniaturiser la bombe nucléaire qu'elle
      emporte. Le responsable du programme, Sergueï Korolev, parvient à
      convaincre les dirigeants soviétiques de l'utiliser pour lancer le premier
      satellite artificiel. La mise en orbite de Spoutnik 1 le 4 octobre 1957,
      qui a un retentissement mondial, est une énorme surprise pour le public
      américain et est vécue comme une atteinte symbolique à la supériorité
      américaine par les responsables politiques de ce pays.  À cette époque le
      programme spatial américain souffre d'une dispersion des efforts bien que
      plusieurs programmes ambitieux de missiles balistiques soient bien
      avancés. Réagissant au défi soviétique, le président américain Dwight D.
      Eisenhower décide, le 29 juillet 1958, de créer une agence spatiale
      civile, la NASA, qui doit permettre de fédérer les efforts américains : la
      course à l'espace est lancée. Mais les Soviétiques, qui disposent d'une
      avance importante et d'un lanceur beaucoup plus puissant que les fusées
      américaines, continuent au cours des années suivantes de multiplier les
      premières.
    example_title: Course à l'espace

French T5 Abstractive Text Summarization

Version 1.0 (I will keep improving the model's performances.)

Version 2.0 is here! (with improved performances of course)

I trained the model on 13x more data than v1.

ROUGE-1: 44.5252

ROUGE-2: 22.652

ROUGE-L: 29.8866

Model description

This model is a T5 Transformers model (JDBN/t5-base-fr-qg-fquad) that was fine-tuned in french for abstractive text summarization.

How to use

from transformers import T5Tokenizer, T5ForConditionalGeneration
tokenizer = T5Tokenizer.from_pretrained("plguillou/t5-base-fr-sum-cnndm")
model = T5ForConditionalGeneration.from_pretrained("plguillou/t5-base-fr-sum-cnndm")

To summarize an ARTICLE, just modify the string like this : "summarize: ARTICLE".

Training data

The base model I used is JDBN/t5-base-fr-qg-fquad (it can perform question generation, question answering and answer extraction).

I used the "t5-base" model from the transformers library to translate in french the CNN / Daily Mail summarization dataset.