gsarti commited on
Commit
841fe7c
1 Parent(s): bef67b5

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +94 -0
README.md ADDED
@@ -0,0 +1,94 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ language:
3
+ - it
4
+ license: apache-2.0
5
+ datasets:
6
+ - squad_it
7
+ tags:
8
+ - italian
9
+ - sequence-to-sequence
10
+ - question-generation
11
+ - squad_it
12
+ - text2text-generation
13
+ widget:
14
+ - text: "Le conoscenze mediche erano stagnanti durante il Medioevo. Il resoconto più autorevole di allora è venuto dalla facoltà di medicina di Parigi in un rapporto al re di Francia che ha incolpato i cieli, sotto forma di una congiunzione di tre pianeti nel 1345 che causò una \"grande pestilenza nell' aria\". Questa relazione è diventata la prima e più diffusa di una serie di casi di peste che cercava di dare consigli ai malati. Che la peste fosse causata dalla cattiva aria divenne la teoria più accettata. Oggi, questo è conosciuto come la teoria di Miasma. La parola \"peste\" non aveva un significato particolare in questo momento, e solo la ricorrenza dei focolai durante il Medioevo gli diede il nome che è diventato il termine medico. Risposta: re di Francia"
15
+ - text: "Il 14 aprile 2011, ABC ha annullato le lunghe opere di sapone All My Children e One Life to Live dopo 41 e 43 anni in onda, rispettivamente (in seguito al contraccolpo dei tifosi, ABC ha venduto i diritti ad entrambi gli spettacoli a Prospect Park, che alla fine ha rilanciato i saponi su Hulu per un' ulteriore stagione nel 2013 e con entrambe le società che si citano in giudizio per accuse di interferenza con il processo di rilancio degli spettacoli, mancato pagamento delle tasse di licenza. Il talk/lifestyle show che ha sostituito One Life to Live, The Revolution, non è riuscito a generare giudizi soddisfacenti ed è stato a sua volta annullato dopo soli sette mesi. La stagione 2011-12 ha visto l' ABC cadere al quarto posto nel 18-49 demografico nonostante rinnovando una manciata di nuovi spettacoli (compresi i drammi matricole Scandal, Revenge e Once Upon a Time) per la seconda stagione. Risposta: Hulu"
16
+ - text: "L' American Broadcasting Company (ABC) (stlized nel suo logo come abc dal 1957) è una rete televisiva commerciale americana trasmissione televisiva che è di proprietà del Disney-ABC Television Group, una controllata della divisione Disney Media Networks di The Walt Disney Company. La rete fa parte delle grandi reti televisive Big Three. La rete ha sede a Columbus Avenue e West 66th Street a Manhattan, con ulteriori uffici e stabilimenti di produzione a New York City, Los Angeles e Burbank, California. Risposta: Manhattan"
17
+ - text: "La disobbedienza civile non rivoluzionaria è una semplice disobbedienza delle leggi sulla base del fatto che sono giudicate \"sbagliate\" da una coscienza individuale, o come parte di uno sforzo per rendere alcune leggi inefficaci, per causarne l' abrogazione, o per esercitare pressioni per ottenere i propri desideri politici su qualche altra questione. La disobbedienza civile rivoluzionaria è più che altro un tentativo attivo di rovesciare un governo (o di cambiare le tradizioni culturali, i costumi sociali, le credenze religiose, ecc. La rivoluzione non deve necessariamente essere politica, cioè \"rivoluzione culturale\", implica semplicemente un cambiamento radicale e diffuso in una sezione del tessuto sociale). Gli atti di Gandhi sono stati descritti come disobbedienza civile rivoluzionaria. È stato affermato che gli ungheresi sotto Ferenc Deák hanno diretto una disobbedienza civile rivoluzionaria contro il governo austriaco. Thoreau ha anche scritto di disobbedienza civile realizzando \"rivoluzione pacifica\". Howard Zinn, Harvey Wheeler e altri hanno identificato il diritto sposato nella Dichiarazione d' Indipendenza di \"alterare o abolire\" un governo ingiusto come principio di disobbedienza civile. Risposta: Ferenc Deák"
18
+ metrics:
19
+ - rouge
20
+ - bertscore
21
+ model-index:
22
+ - name: mt5-base-question-generation
23
+ results:
24
+ - task:
25
+ type: question-generation
26
+ name: "Question generation"
27
+ dataset:
28
+ type: squad_it
29
+ name: "SQuAD-IT"
30
+ metrics:
31
+ - type: rouge1
32
+ value: 0.346
33
+ name: "Test Rouge1"
34
+ - type: rouge2
35
+ value: 0.174
36
+ name: "Test Rouge2"
37
+ - type: rougeL
38
+ value: 0.324
39
+ name: "Test RougeL"
40
+ - type: bertscore
41
+ value: 0.495
42
+ name: "Test BERTScore"
43
+ args:
44
+ - model_type: "dbmdz/bert-base-italian-xxl-uncased"
45
+ - lang: "it"
46
+ - num_layers: 10
47
+ - rescale_with_baseline: True
48
+ - baseline_path: "bertscore_baseline_ita.tsv"
49
+ co2_eq_emissions:
50
+ emissions: "40g"
51
+ source: "Google Cloud Platform Carbon Footprint"
52
+ training_type: "fine-tuning"
53
+ geographical_location: "Eemshaven, Netherlands, Europe"
54
+ hardware_used: "1 TPU v3-8 VM"
55
+ thumbnail: https://gsarti.com/publication/it5/featured.png
56
+ ---
57
+ # mT5 Base for Question Generation 💭 🇮🇹
58
+
59
+ This repository contains the checkpoint for the [mT5 Base](https://huggingface.co/google/mt5-base) model fine-tuned on question generation on the [SQuAD-IT corpus](https://huggingface.co/datasets/squad_it) as part of the experiments of the paper [IT5: Large-scale Text-to-text Pretraining for Italian Language Understanding and Generation](https://arxiv.org) by [Gabriele Sarti](https://gsarti.com) and [Malvina Nissim](https://malvinanissim.github.io).
60
+
61
+ A comprehensive overview of other released materials is provided in the [gsarti/it5](https://github.com/gsarti/it5) repository. Refer to the paper for additional details concerning the reported scores and the evaluation approach.
62
+
63
+ ## Using the model
64
+
65
+ Model checkpoints are available for usage in Tensorflow, Pytorch and JAX. They can be used directly with pipelines as:
66
+
67
+ ```python
68
+ from transformers import pipelines
69
+
70
+ qg = pipeline("text2text-generation", model='it5/mt5-base-question-generation')
71
+ qg("Le conoscenze mediche erano stagnanti durante il Medioevo. Il resoconto più autorevole di allora è venuto dalla facoltà di medicina di Parigi in un rapporto al re di Francia che ha incolpato i cieli, sotto forma di una congiunzione di tre pianeti nel 1345 che causò una "grande pestilenza nell\' aria". Questa relazione è diventata la prima e più diffusa di una serie di casi di peste che cercava di dare consigli ai malati. Che la peste fosse causata dalla cattiva aria divenne la teoria più accettata. Oggi, questo è conosciuto come la teoria di Miasma. La parola "peste" non aveva un significato particolare in questo momento, e solo la ricorrenza dei focolai durante il Medioevo gli diede il nome che è diventato il termine medico. Risposta: re di Francia")
72
+ >>> [{"generated_text": "Per chi è stato redatto il referto medico?"}]
73
+ ```
74
+
75
+ or loaded using autoclasses:
76
+
77
+ ```python
78
+ from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
79
+
80
+ tokenizer = AutoTokenizer.from_pretrained("it5/mt5-base-question-generation")
81
+ model = AutoModelForSeq2SeqLM.from_pretrained("it5/mt5-base-question-generation")
82
+ ```
83
+
84
+ If you use this model in your research, please cite our work as:
85
+
86
+ ```bibtex
87
+ @article{sarti-nissim-2022-it5,
88
+ title={IT5: Large-scale Text-to-text Pretraining for Italian Language Understanding and Generation},
89
+ author={Sarti, Gabriele and Nissim, Malvina},
90
+ journal={ArXiv preprint TBD},
91
+ url={TBD},
92
+ year={2022}
93
+ }
94
+ ```