metadata
language:
- it
license: apache-2.0
datasets:
- gsarti/change_it
tags:
- italian
- sequence-to-sequence
- newspaper
- efficient
- ilgiornale
- repubblica
- style-transfer
widget:
- text: >-
WASHINGTON - La Corea del Nord torna dopo nove anni nella blacklist Usa
degli Stati considerati sponsor del terrorismo. Come Iran, Siria e Sudan.
Lo ha deciso Donald Trump , che ha preferito dare l'annuncio non durante
il suo recente viaggio in Asia ma ieri, in una riunione del governo alla
Casa Bianca. 'Oggi gli Stati Uniti designeranno la Corea del nord come uno
stato sponsor del terrorismo', ha tuonato il tycoon, anticipando che sarà
formalizzata oggi dal dipartimento di stato e sarà accompagnata da nuove e
più severe sanzioni. 'Il livello più alto' mai imposto a Pyongyang, ha
promesso. 'Avrebbe dovuto succedere molto tempo fa', ha aggiunto,
scaricando per l'ennesima volta la responsabilità dell'attuale crisi
sull'amministrazione Obama. Poi si è scagliato contro un 'regime
assassino' che 'deve mettere fine allo sviluppo del suo programma illegale
nucleare e balistico'. Per giustificare la svolta, Trump ha accusato
Pyongyang non solo di 'minacciare il mondo con una devastazione nucleare'
ma anche di aver 'ripetutamente sostenuto atti di terrorismo
internazionale', compreso omicidi in suolo straniero. Il riferimento è
all' uccisione all'aeroporto della capitale malese di Kim Jong Nam , il
fratellastro del leader nordcoreano Kim Jong Un , ma non ci sono altri
episodi noti. Tanto che alcuni esperti, come pure dirigenti Usa coperti
dall'anonimato, dubitano che Pyongyang risponda ai criteri per una tale
designazione. La mossa appare altamente simbolica, dato che la Corea del
Nord è già pesantemente sanzionata a livello internazionale. Per il
segretario di stato Rex Tillerson è solo l'ultima di una serie di passi
per rafforzare la pressione su Pyongyang e costringerla a sedersi ad un
tavolo perché gli Usa hanno sempre 'speranza nella diplomazia'. Ma nello
stesso tempo è un monito per 'fermare e dissuadere' altri Paesi dal
sostenere la Corea del Nord, finita nella blacklist 'anche per l'uso di
armi chimiche'. Ma la mossa potrebbe anche essere controproducente,
provocando una risposta di Kim o minando gli sforzi per sollecitare
Pechino ad una maggiore pressione su Pyongyang. In ogni caso non aiuta il
dialogo diretto tra Usa e Corea del Nord, che sembrava essere stato
avviato in modo riservato. Come non aiutano gli scambi di insulti fra
Trump e Kim. Nord Corea, Trump: 'Cerco di essere amico di Kim, sarebbe una
bella cosa per il mondo'. Pyongyang era stata messa nella lista Usa degli
Stati sponsor del terrorismo per aver fatto esplodere nel 1987 un volo
della Korean Air uccidendo tutti i 115 passeggeri a bordo. Ma
l'amministrazione di George W. Bush l'aveva rimossa sperando di far
avanzare i negoziati sulla denuclearizzazione della penisola coreana. Il
governo giapponese sostiene la decisione degli Stati Uniti di inserire la
Corea del Nord nella lista degli stati che sponsorizzano il terrorismo,
pur riconoscendo che l'annuncio potrebbe provocare una reazione immediata
del regime di Pyongyang. Il premier Shinzo Abe ha accolto con consenso il
comunicato Usa e ha detto alla stampa che servirà a incrementare la
pressione sulla Corea del Nord. Il ministro della Difesa Itsunori Onodera
, pur valutando positivamente la notifica, ha spiegato che si attendono
azioni provocatorie dallo stato eremita, ribadendo che è vitale rimanere
vigili. Secondo la stampa nipponica Abe aveva richiesto al dipartimento di
Stato Usa di mettere la Corea del Nord sulla lista durante l'incontro col
presidente Usa Donald Trump a Tokyo a inizio mese. L'ultimo lancio di
missile balistico condotto da Pyongyang nell'oceano Pacifico, sorvolando
il mare del Giappone, risale allo scorso settembre.
- text: >-
ROMA - Una nuova droga killer è stata sequestrata per la prima volta in
Europa dagli investigatori del Nas. Si tratta di una nuova "miscela
psicoattiva altamente tossica" per la prima volta individuata da forze di
polizia, simile all'eroina sintetica, ma molto più economica e letale.
Tanto che i 20 grammi scoperti sarebbero stati sufficienti per fabbricare
ben 20.000 dosi e lo stesso contatto attraverso la pelle può provocare
intossicazione. Individuata per la prima volta, la nuova droga presenta
una struttura simile al farmaco sedativo Fentanyl ma con effetti molto più
devastanti per l'organismo. Proveniva dell'estero ed era contenuta in un
plico postale indirizzato in una città del centro Italia: è stata
intercettata tramite accertamenti sul web grazie a un'operazione di
intelligence che ha visto come protagonisti i militari della Sezione
operativa centrale del Comando carabinieri per la Tutela della salute
(Nas). Economica e letale, secondo gli investigatori "in confronto
l'eroina è quasi 'acqua fresca', anzi, proprio per la sua economicità, in
alcuni casi viene venduta dai pusher a giovani conviti di comprare
eroina". La diffusione di nuove droghe sintetiche che continuamente
appaiono sui mercati necessita di un'attività investigativa costante e
complessa. Si tratta infatti di sostanze dalla struttura molecolare molto
simile a quella del Fentanyl ma ogni volta leggermente diversa. Di qui la
difficoltà di individuarle e l'importanza del nuovo sequestro. "La
chiamano impropriamente 'eroina sintetica' - spiega il comandante dei Nas,
generale Adelmo Lusi - per il tipo di effetto psicotropo simile, ma dal
punto di vista della tossicità è molto peggio: con 25 milligrammi di
eroina ci si sballa, con 25mg di simil-fentanyl, come quello appena
sequestrato, si muore". Le indagini sono partite da ricoveri per overdose
in ospedale, in cui arrivavano ragazzi che non rispondevano al trattamento
disintossicante per l'eroina. La nuova sostanza verrà ora segnalata per
l'inserimento tra le tabelle ministeriali degli stupefacenti prevista dal
Dpr 309/1990.
- text: >-
Fragile come il burro. Il nostro territorio è precario. Ne sanno qualcosa
i comuni che sono stati investititi dal maltempo . Il dissesto
idrogeologico imperversa su tutto il territorio. Infatti, oltre 6.600
comuni , pari all’82% del totale, sono in aree ad elevato rischio
idrogeologico, pari al 10% della sua superficie. La popolazione
potenzialmente esposta è stimata in 5,8 milioni di persone. I dati
emergono dalle recenti analisi fatte da Legambiente e Protezione civile,
che mettono in evidenza come in 10 anni in Italia sia raddoppiata l’area
dei territori colpiti da alluvioni e frane , passando da una media di
quattro regioni all’anno a otto regioni. Nella classifica delle regioni a
maggior rischio idrogeologico prima è la Calabria con il 100% dei comuni
esposti; al 100% ci sono anche la provincia di Trento, il Molise, la
Basilicata, l’Umbria, la Valle d’Aosta. Poi Marche, Liguria al 99%; Lazio,
Toscana al 98%; Abruzzo (96%), Emilia-Romagna (95%), Campania e Friuli
Venezia Giulia al 92%, Piemonte (87%), Sardegna (81%), Puglia (78%),
Sicilia (71%), Lombardia (60%), provincia di Bolzano (59%), Veneto (56%).
Tra le cause che condizionano ed amplificano il rischio idrogeologico c’è
l’azione dell’uomo (abbandono e degrado, cementificazione, consumo di
suolo, abusivismo, disboscamento e incendi). Ma anche e soprattutto la
mancanza di una seria manutenzione ordinaria e non ad una organica
politica di prevenzione.
- text: >-
Arriva dal Partito nazionalista basco (Pnv) la conferma che i cinque
deputati che siedono in parlamento voteranno la sfiducia al governo
guidato da Mariano Rajoy. Pochi voti, ma significativi quelli della
formazione politica di Aitor Esteban, che interverrà nel pomeriggio. Pur
con dimensioni molto ridotte, il partito basco si è trovato a fare da ago
della bilancia in aula. E il sostegno alla mozione presentata dai
Socialisti potrebbe significare per il primo ministro non trovare quei 176
voti che gli servono per continuare a governare. " Perché dovrei
dimettermi io che per il momento ho la fiducia della Camera e quella che
mi è stato data alle urne ", ha detto oggi Rajoy nel suo intervento in
aula, mentre procedeva la discussione sulla mozione di sfiducia. Il voto
dei baschi ora cambia le carte in tavola e fa crescere ulteriormente la
pressione sul premier perché rassegni le sue dimissioni. La sfiducia al
premier, o un'eventuale scelta di dimettersi, porterebbe alle estreme
conseguenze lo scandalo per corruzione che ha investito il Partito
popolare. Ma per ora sembra pensare a tutt'altro. "Non ha intenzione di
dimettersi - ha detto il segretario generale del Partito popolare , María
Dolores de Cospedal - Non gioverebbe all'interesse generale o agli
interessi del Pp".
metrics:
- rouge
- bertscore
- headline-headline-consistency-classifier
- headline-article-consistency-classifier
model-index:
- name: it5-efficient-small-el32-ilgiornale-to-repubblica
results:
- task:
type: headline-style-transfer-ilgiornale-to-repubblica
name: Headline style transfer (Il Giornale to Repubblica)
dataset:
type: gsarti/change_it
name: CHANGE-IT
metrics:
- type: rouge1
value: 0.286
name: Test Rouge1
- type: rouge2
value: 0.099
name: Test Rouge2
- type: rougeL
value: 0.253
name: Test RougeL
- type: bertscore
value: 0.422
name: Test BERTScore
- type: headline-headline-consistency-classifier
value: 0.836
name: Test Headline-Headline Consistency Accuracy
- type: headline-article-consistency-classifier
value: 0.763
name: Test Headline-Article Consistency Accuracy
thumbnail: https://gsarti.com/publication/it5/featured.png
IT5 Cased Small Efficient EL32 for News Headline Style Transfer (Il Giornale to Repubblica) 🗞️➡️🗞️ 🇮🇹
Shout-out to Stefan Schweter for contributing the pre-trained efficient model!
This repository contains the checkpoint for the IT5 Cased Small Efficient EL32 model fine-tuned on news headline style transfer in the Il Giornale to Repubblica direction on the Italian CHANGE-IT dataset as part of the experiments of the paper IT5: Large-scale Text-to-text Pretraining for Italian Language Understanding and Generation by Gabriele Sarti and Malvina Nissim.
Efficient IT5 models differ from the standard ones by adopting a different vocabulary that enables cased text generation and an optimized model architecture to improve performances while reducing parameter count. The Small-EL32 replaces the original encoder from the T5 Small architecture with a 32-layer deep encoder, showing improved performances over the base model.
A comprehensive overview of other released materials is provided in the gsarti/it5 repository. Refer to the paper for additional details concerning the reported scores and the evaluation approach.
Using the model
The model is trained to generate a headline in the style of Repubblica from the full body of an article written in the style of Il Giornale. Model checkpoints are available for usage in Tensorflow, Pytorch and JAX. They can be used directly with pipelines as:
from transformers import pipelines
g2r = pipeline("text2text-generation", model='it5/it5-efficient-small-el32-ilgiornale-to-repubblica')
g2r("Arriva dal Partito nazionalista basco (Pnv) la conferma che i cinque deputati che siedono in parlamento voteranno la sfiducia al governo guidato da Mariano Rajoy. Pochi voti, ma significativi quelli della formazione politica di Aitor Esteban, che interverrà nel pomeriggio. Pur con dimensioni molto ridotte, il partito basco si è trovato a fare da ago della bilancia in aula. E il sostegno alla mozione presentata dai Socialisti potrebbe significare per il primo ministro non trovare quei 176 voti che gli servono per continuare a governare. \" Perché dovrei dimettermi io che per il momento ho la fiducia della Camera e quella che mi è stato data alle urne \", ha detto oggi Rajoy nel suo intervento in aula, mentre procedeva la discussione sulla mozione di sfiducia. Il voto dei baschi ora cambia le carte in tavola e fa crescere ulteriormente la pressione sul premier perché rassegni le sue dimissioni. La sfiducia al premier, o un'eventuale scelta di dimettersi, porterebbe alle estreme conseguenze lo scandalo per corruzione che ha investito il Partito popolare. Ma per ora sembra pensare a tutt'altro. \"Non ha intenzione di dimettersi - ha detto il segretario generale del Partito popolare , María Dolores de Cospedal - Non gioverebbe all'interesse generale o agli interessi del Pp\".")
>>> [{"generated_text": "il nazionalista rajoy: 'voteremo la sfiducia'"}]
or loaded using autoclasses:
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("it5/it5-efficient-small-el32-ilgiornale-to-repubblica")
model = AutoModelForSeq2SeqLM.from_pretrained("it5/it5-efficient-small-el32-ilgiornale-to-repubblica")
If you use this model in your research, please cite our work as:
@article{sarti-nissim-2022-it5,
title={{IT5}: Large-scale Text-to-text Pretraining for Italian Language Understanding and Generation},
author={Sarti, Gabriele and Nissim, Malvina},
journal={ArXiv preprint 2203.03759},
url={https://arxiv.org/abs/2203.03759},
year={2022},
month={mar}
}
Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 0.0003
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 10.0
Framework versions
- Transformers 4.15.0
- Pytorch 1.10.0+cu102
- Datasets 1.17.0
- Tokenizers 0.10.3