gsarti's picture
Update README.md
c8c5d09
metadata
language:
  - it
license: apache-2.0
datasets:
  - gsarti/change_it
tags:
  - italian
  - sequence-to-sequence
  - newspaper
  - efficient
  - ilgiornale
  - repubblica
  - style-transfer
widget:
  - text: >-
      WASHINGTON - La Corea del Nord torna dopo nove anni nella blacklist Usa
      degli Stati considerati sponsor del terrorismo. Come Iran, Siria e Sudan.
      Lo ha deciso Donald Trump , che ha preferito dare l'annuncio non durante
      il suo recente viaggio in Asia ma ieri, in una riunione del governo alla
      Casa Bianca. 'Oggi gli Stati Uniti designeranno la Corea del nord come uno
      stato sponsor del terrorismo', ha tuonato il tycoon, anticipando che sarà
      formalizzata oggi dal dipartimento di stato e sarà accompagnata da nuove e
      più severe sanzioni. 'Il livello più alto' mai imposto a Pyongyang, ha
      promesso. 'Avrebbe dovuto succedere molto tempo fa', ha aggiunto,
      scaricando per l'ennesima volta la responsabilità dell'attuale crisi
      sull'amministrazione Obama. Poi si è scagliato contro un 'regime
      assassino' che 'deve mettere fine allo sviluppo del suo programma illegale
      nucleare e balistico'. Per giustificare la svolta, Trump ha accusato
      Pyongyang non solo di 'minacciare il mondo con una devastazione nucleare'
      ma anche di aver 'ripetutamente sostenuto atti di terrorismo
      internazionale', compreso omicidi in suolo straniero. Il riferimento è
      all' uccisione all'aeroporto della capitale malese di Kim Jong Nam , il
      fratellastro del leader nordcoreano Kim Jong Un , ma non ci sono altri
      episodi noti. Tanto che alcuni esperti, come pure dirigenti Usa coperti
      dall'anonimato, dubitano che Pyongyang risponda ai criteri per una tale
      designazione. La mossa appare altamente simbolica, dato che la Corea del
      Nord è già pesantemente sanzionata a livello internazionale. Per il
      segretario di stato Rex Tillerson è solo l'ultima di una serie di passi
      per rafforzare la pressione su Pyongyang e costringerla a sedersi ad un
      tavolo perché gli Usa hanno sempre 'speranza nella diplomazia'. Ma nello
      stesso tempo è un monito per 'fermare e dissuadere' altri Paesi dal
      sostenere la Corea del Nord, finita nella blacklist 'anche per l'uso di
      armi chimiche'. Ma la mossa potrebbe anche essere controproducente,
      provocando una risposta di Kim o minando gli sforzi per sollecitare
      Pechino ad una maggiore pressione su Pyongyang. In ogni caso non aiuta il
      dialogo diretto tra Usa e Corea del Nord, che sembrava essere stato
      avviato in modo riservato. Come non aiutano gli scambi di insulti fra
      Trump e Kim. Nord Corea, Trump: 'Cerco di essere amico di Kim, sarebbe una
      bella cosa per il mondo'. Pyongyang era stata messa nella lista Usa degli
      Stati sponsor del terrorismo per aver fatto esplodere nel 1987 un volo
      della Korean Air uccidendo tutti i 115 passeggeri a bordo. Ma
      l'amministrazione di George W. Bush l'aveva rimossa sperando di far
      avanzare i negoziati sulla denuclearizzazione della penisola coreana. Il
      governo giapponese sostiene la decisione degli Stati Uniti di inserire la
      Corea del Nord nella lista degli stati che sponsorizzano il terrorismo,
      pur riconoscendo che l'annuncio potrebbe provocare una reazione immediata
      del regime di Pyongyang. Il premier Shinzo Abe ha accolto con consenso il
      comunicato Usa e ha detto alla stampa che servirà a incrementare la
      pressione sulla Corea del Nord. Il ministro della Difesa Itsunori Onodera
      , pur valutando positivamente la notifica, ha spiegato che si attendono
      azioni provocatorie dallo stato eremita, ribadendo che è vitale rimanere
      vigili. Secondo la stampa nipponica Abe aveva richiesto al dipartimento di
      Stato Usa di mettere la Corea del Nord sulla lista durante l'incontro col
      presidente Usa Donald Trump a Tokyo a inizio mese. L'ultimo lancio di
      missile balistico condotto da Pyongyang nell'oceano Pacifico, sorvolando
      il mare del Giappone, risale allo scorso settembre.
  - text: >-
      ROMA - Una nuova droga killer è stata sequestrata per la prima volta in
      Europa dagli investigatori del Nas. Si tratta di una nuova "miscela
      psicoattiva altamente tossica" per la prima volta individuata da forze di
      polizia, simile all'eroina sintetica, ma molto più economica e letale.
      Tanto che i 20 grammi scoperti sarebbero stati sufficienti per fabbricare
      ben 20.000 dosi e lo stesso contatto attraverso la pelle può provocare
      intossicazione. Individuata per la prima volta, la nuova droga presenta
      una struttura simile al farmaco sedativo Fentanyl ma con effetti molto più
      devastanti per l'organismo. Proveniva dell'estero ed era contenuta in un
      plico postale indirizzato in una città del centro Italia: è stata
      intercettata tramite accertamenti sul web grazie a un'operazione di
      intelligence che ha visto come protagonisti i militari della Sezione
      operativa centrale del Comando carabinieri per la Tutela della salute
      (Nas). Economica e letale, secondo gli investigatori "in confronto
      l'eroina è quasi 'acqua fresca', anzi, proprio per la sua economicità, in
      alcuni casi viene venduta dai pusher a giovani conviti di comprare
      eroina". La diffusione di nuove droghe sintetiche che continuamente
      appaiono sui mercati necessita di un'attività investigativa costante e
      complessa. Si tratta infatti di sostanze dalla struttura molecolare molto
      simile a quella del Fentanyl ma ogni volta leggermente diversa. Di qui la
      difficoltà di individuarle e l'importanza del nuovo sequestro. "La
      chiamano impropriamente 'eroina sintetica' - spiega il comandante dei Nas,
      generale Adelmo Lusi - per il tipo di effetto psicotropo simile, ma dal
      punto di vista della tossicità è molto peggio: con 25 milligrammi di
      eroina ci si sballa, con 25mg di simil-fentanyl, come quello appena
      sequestrato, si muore". Le indagini sono partite da ricoveri per overdose
      in ospedale, in cui arrivavano ragazzi che non rispondevano al trattamento
      disintossicante per l'eroina. La nuova sostanza verrà ora segnalata per
      l'inserimento tra le tabelle ministeriali degli stupefacenti prevista dal
      Dpr 309/1990.
  - text: >-
      Fragile come il burro. Il nostro territorio è precario. Ne sanno qualcosa
      i comuni che sono stati investititi dal maltempo . Il dissesto
      idrogeologico imperversa su tutto il territorio. Infatti, oltre 6.600
      comuni , pari all’82% del totale, sono in aree ad elevato rischio
      idrogeologico, pari al 10% della sua superficie. La popolazione
      potenzialmente esposta è stimata in 5,8 milioni di persone. I dati
      emergono dalle recenti analisi fatte da Legambiente e Protezione civile,
      che mettono in evidenza come in 10 anni in Italia sia raddoppiata l’area
      dei territori colpiti da alluvioni e frane , passando da una media di
      quattro regioni all’anno a otto regioni. Nella classifica delle regioni a
      maggior rischio idrogeologico prima è la Calabria con il 100% dei comuni
      esposti; al 100% ci sono anche la provincia di Trento, il Molise, la
      Basilicata, l’Umbria, la Valle d’Aosta. Poi Marche, Liguria al 99%; Lazio,
      Toscana al 98%; Abruzzo (96%), Emilia-Romagna (95%), Campania e Friuli
      Venezia Giulia al 92%, Piemonte (87%), Sardegna (81%), Puglia (78%),
      Sicilia (71%), Lombardia (60%), provincia di Bolzano (59%), Veneto (56%).
      Tra le cause che condizionano ed amplificano il rischio idrogeologico c’è
      l’azione dell’uomo (abbandono e degrado, cementificazione, consumo di
      suolo, abusivismo, disboscamento e incendi). Ma anche e soprattutto la
      mancanza di una seria manutenzione ordinaria e non ad una organica
      politica di prevenzione.
  - text: >-
      Arriva dal Partito nazionalista basco (Pnv) la conferma che i cinque
      deputati che siedono in parlamento voteranno la sfiducia al governo
      guidato da Mariano Rajoy. Pochi voti, ma significativi quelli della
      formazione politica di Aitor Esteban, che interverrà nel pomeriggio. Pur
      con dimensioni molto ridotte, il partito basco si è trovato a fare da ago
      della bilancia in aula. E il sostegno alla mozione presentata dai
      Socialisti potrebbe significare per il primo ministro non trovare quei 176
      voti che gli servono per continuare a governare. " Perché dovrei
      dimettermi io che per il momento ho la fiducia della Camera e quella che
      mi è stato data alle urne ", ha detto oggi Rajoy nel suo intervento in
      aula, mentre procedeva la discussione sulla mozione di sfiducia. Il voto
      dei baschi ora cambia le carte in tavola e fa crescere ulteriormente la
      pressione sul premier perché rassegni le sue dimissioni. La sfiducia al
      premier, o un'eventuale scelta di dimettersi, porterebbe alle estreme
      conseguenze lo scandalo per corruzione che ha investito il Partito
      popolare. Ma per ora sembra pensare a tutt'altro. "Non ha intenzione di
      dimettersi - ha detto il segretario generale del Partito popolare , María
      Dolores de Cospedal - Non gioverebbe all'interesse generale o agli
      interessi del Pp".
metrics:
  - rouge
  - bertscore
  - headline-headline-consistency-classifier
  - headline-article-consistency-classifier
model-index:
  - name: it5-efficient-small-el32-ilgiornale-to-repubblica
    results:
      - task:
          type: headline-style-transfer-ilgiornale-to-repubblica
          name: Headline style transfer (Il Giornale to Repubblica)
        dataset:
          type: gsarti/change_it
          name: CHANGE-IT
        metrics:
          - type: rouge1
            value: 0.286
            name: Test Rouge1
          - type: rouge2
            value: 0.099
            name: Test Rouge2
          - type: rougeL
            value: 0.253
            name: Test RougeL
          - type: bertscore
            value: 0.422
            name: Test BERTScore
          - type: headline-headline-consistency-classifier
            value: 0.836
            name: Test Headline-Headline Consistency Accuracy
          - type: headline-article-consistency-classifier
            value: 0.763
            name: Test Headline-Article Consistency Accuracy
thumbnail: https://gsarti.com/publication/it5/featured.png

IT5 Cased Small Efficient EL32 for News Headline Style Transfer (Il Giornale to Repubblica) 🗞️➡️🗞️ 🇮🇹

Shout-out to Stefan Schweter for contributing the pre-trained efficient model!

This repository contains the checkpoint for the IT5 Cased Small Efficient EL32 model fine-tuned on news headline style transfer in the Il Giornale to Repubblica direction on the Italian CHANGE-IT dataset as part of the experiments of the paper IT5: Large-scale Text-to-text Pretraining for Italian Language Understanding and Generation by Gabriele Sarti and Malvina Nissim.

Efficient IT5 models differ from the standard ones by adopting a different vocabulary that enables cased text generation and an optimized model architecture to improve performances while reducing parameter count. The Small-EL32 replaces the original encoder from the T5 Small architecture with a 32-layer deep encoder, showing improved performances over the base model.

A comprehensive overview of other released materials is provided in the gsarti/it5 repository. Refer to the paper for additional details concerning the reported scores and the evaluation approach.

Using the model

The model is trained to generate a headline in the style of Repubblica from the full body of an article written in the style of Il Giornale. Model checkpoints are available for usage in Tensorflow, Pytorch and JAX. They can be used directly with pipelines as:

from transformers import pipelines

g2r = pipeline("text2text-generation", model='it5/it5-efficient-small-el32-ilgiornale-to-repubblica')
g2r("Arriva dal Partito nazionalista basco (Pnv) la conferma che i cinque deputati che siedono in parlamento voteranno la sfiducia al governo guidato da Mariano Rajoy. Pochi voti, ma significativi quelli della formazione politica di Aitor Esteban, che interverrà nel pomeriggio. Pur con dimensioni molto ridotte, il partito basco si è trovato a fare da ago della bilancia in aula. E il sostegno alla mozione presentata dai Socialisti potrebbe significare per il primo ministro non trovare quei 176 voti che gli servono per continuare a governare. \" Perché dovrei dimettermi io che per il momento ho la fiducia della Camera e quella che mi è stato data alle urne \", ha detto oggi Rajoy nel suo intervento in aula, mentre procedeva la discussione sulla mozione di sfiducia. Il voto dei baschi ora cambia le carte in tavola e fa crescere ulteriormente la pressione sul premier perché rassegni le sue dimissioni. La sfiducia al premier, o un'eventuale scelta di dimettersi, porterebbe alle estreme conseguenze lo scandalo per corruzione che ha investito il Partito popolare. Ma per ora sembra pensare a tutt'altro. \"Non ha intenzione di dimettersi - ha detto il segretario generale del Partito popolare , María Dolores de Cospedal - Non gioverebbe all'interesse generale o agli interessi del Pp\".")
>>> [{"generated_text": "il nazionalista rajoy: 'voteremo la sfiducia'"}]

or loaded using autoclasses:

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("it5/it5-efficient-small-el32-ilgiornale-to-repubblica")
model = AutoModelForSeq2SeqLM.from_pretrained("it5/it5-efficient-small-el32-ilgiornale-to-repubblica")

If you use this model in your research, please cite our work as:

@article{sarti-nissim-2022-it5,
    title={{IT5}: Large-scale Text-to-text Pretraining for Italian Language Understanding and Generation},
    author={Sarti, Gabriele and Nissim, Malvina},
    journal={ArXiv preprint 2203.03759},
    url={https://arxiv.org/abs/2203.03759},
    year={2022},
    month={mar}
}

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0003
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 10.0

Framework versions

  • Transformers 4.15.0
  • Pytorch 1.10.0+cu102
  • Datasets 1.17.0
  • Tokenizers 0.10.3