Hugging Face's logo

lmqg
/
mt5-small-frquad-qg-ae

Text2Text Generation
Transformers
PyTorch
French
mt5
question generation
answer extraction
Eval Results
Inference Endpoints
text-generation-inference
Model card Files Community
1
asahi417 commited on
Commit
560c042
•
1 Parent(s): cf6d921

model update

Browse files
Files changed (1) hide show
  1. README.md +70 -77
README.md CHANGED
@@ -21,12 +21,12 @@ widget:
21
  example_title: "Question Generation Example 2"
22
  - text: "generate question: contre <hl> Normie Smith <hl> et 15 000 dollars le 28 novembre 1938."
23
  example_title: "Question Generation Example 3"
24
- - text: "Pourtant, la strophe spensérienne, utilisée cinq fois avant que ne commence le chœur, constitue en soi un vecteur dont les répétitions structurelles, selon Ricks, relèvent du pur lyrisme tout en constituant une menace potentielle. Après les huit sages pentamètres iambiques, l'alexandrin final <hl> permet une pause <hl>, « véritable illusion d'optique » qu'accentuent les nombreuses expressions archaïsantes telles que did swoon, did seem, did go, did receive, did make, qui doublent le prétérit en un temps composé et paraissent à la fois « très précautionneuses et très peu pressées »."
25
  example_title: "Answer Extraction Example 1"
26
- - text: "Néanmoins, une fois encore, l'arithmétique modulaire est insuffisante pour venir à bout du théorème. Dirichlet utilise de nombreuses techniques analytiques, comme les séries entières et l'analyse complexe. Le fruit de ces travaux donne naissance à une nouvelle branche des mathématiques : la théorie analytique des nombres. L'un des points cruciaux de cette théorie provient de l'unique article de <hl> Bernhard Riemann <hl> en théorie des nombres : Sur le nombre de nombres premiers inférieurs à une taille donnée. Il conjecture une localisation des racines de sa fonction ζ. La recherche de la position des racines, initiée par Dirichlet, devient une préoccupation centrale et reste l'une des conjectures pressenties comme les plus difficiles des mathématiques de notre époque."
27
  example_title: "Answer Extraction Example 2"
28
  model-index:
29
- - name: lmqg/mt5-small-frquad-multitask
30
  results:
31
  - task:
32
  name: Text2text Generation
@@ -36,63 +36,44 @@ model-index:
36
  type: default
37
  args: default
38
  metrics:
39
- - name: BLEU4
40
- type: bleu4
41
- value: 0.0774587808669847
42
- - name: ROUGE-L
43
- type: rouge-l
44
- value: 0.28060033794696104
45
- - name: METEOR
46
- type: meteor
47
- value: 0.17623658069800158
48
- - name: BERTScore
49
- type: bertscore
50
- value: 0.7990349418715752
51
- - name: MoverScore
52
- type: moverscore
53
- value: 0.5644356433018314
54
- - name: QAAlignedF1Score (BERTScore)
55
- type: qa_aligned_f1_score_bertscore
56
- value: 0.797046374645957
57
- - name: QAAlignedRecall (BERTScore)
58
- type: qa_aligned_recall_bertscore
59
- value: 0.8235616448256677
60
- - name: QAAlignedPrecision (BERTScore)
61
- type: qa_aligned_precision_bertscore
62
- value: 0.7728531776309603
63
- - name: QAAlignedF1Score (MoverScore)
64
- type: qa_aligned_f1_score_moverscore
65
- value: 0.5422173690774619
66
- - name: QAAlignedRecall (MoverScore)
67
- type: qa_aligned_recall_moverscore
68
- value: 0.5576322412130328
69
- - name: QAAlignedPrecision (MoverScore)
70
- type: qa_aligned_precision_moverscore
71
- value: 0.5283924137636015
72
  ---
73
 
74
- # Model Card of `lmqg/mt5-small-frquad-multitask`
75
- This model is fine-tuned version of [google/mt5-small](https://huggingface.co/google/mt5-small) for question generation task on the
76
- [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) (dataset_name: default) via [`lmqg`](https://github.com/asahi417/lm-question-generation).
77
- This model is fine-tuned on the answer extraction task as well as the question generation.
78
 
79
- Please cite our paper if you use the model ([https://arxiv.org/abs/2210.03992](https://arxiv.org/abs/2210.03992)).
80
-
81
- ```
82
-
83
- @inproceedings{ushio-etal-2022-generative,
84
- title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
85
- author = "Ushio, Asahi and
86
- Alva-Manchego, Fernando and
87
- Camacho-Collados, Jose",
88
- booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing",
89
- month = dec,
90
- year = "2022",
91
- address = "Abu Dhabi, U.A.E.",
92
- publisher = "Association for Computational Linguistics",
93
- }
94
-
95
- ```
96
 
97
  ### Overview
98
  - **Language model:** [google/mt5-small](https://huggingface.co/google/mt5-small)
@@ -105,44 +86,57 @@ Please cite our paper if you use the model ([https://arxiv.org/abs/2210.03992](h
105
  ### Usage
106
  - With [`lmqg`](https://github.com/asahi417/lm-question-generation#lmqg-language-model-for-question-generation-)
107
  ```python
108
-
109
  from lmqg import TransformersQG
 
110
  # initialize model
111
- model = TransformersQG(language='fr', model='lmqg/mt5-small-frquad-multitask')
 
112
  # model prediction
113
- question_answer = model.generate_qa("Créateur » (Maker), lui aussi au singulier, « le Suprême Berger » (The Great Shepherd) ; de l'autre, des réminiscences de la théologie de l'Antiquité : le tonnerre, voix de Jupiter, « Et souvent ta voix gronde en un tonnerre terrifiant », etc.")
114
 
115
  ```
116
 
117
  - With `transformers`
118
  ```python
119
-
120
  from transformers import pipeline
121
- # initialize model
122
- pipe = pipeline("text2text-generation", 'lmqg/mt5-small-frquad-multitask')
 
123
  # answer extraction
124
- answer = pipe('extract answers: Pourtant, la strophe spensérienne, utilisée cinq fois avant que ne commence le chœur, constitue en soi un vecteur dont les répétitions structurelles, selon Ricks, relèvent du pur lyrisme tout en constituant une menace potentielle. Après les huit sages pentamètres iambiques, l'alexandrin final <hl> permet une pause <hl>, « véritable illusion d'optique » qu'accentuent les nombreuses expressions archaïsantes telles que did swoon, did seem, did go, did receive, did make, qui doublent le prétérit en un temps composé et paraissent à la fois « très précautionneuses et très peu pressées ».')
 
125
  # question generation
126
- question = pipe('generate question: Créateur » (Maker), lui aussi au singulier, « <hl> le Suprême Berger <hl> » (The Great Shepherd) ; de l'autre, des réminiscences de la théologie de l'Antiquité : le tonnerre, voix de Jupiter, « Et souvent ta voix gronde en un tonnerre terrifiant », etc.')
127
 
128
  ```
129
 
130
- ## Evaluation Metrics
131
 
132
 
133
- ### Metrics
134
 
135
- | Dataset | Type | BLEU4 | ROUGE-L | METEOR | BERTScore | MoverScore | Link |
136
- |:--------|:-----|------:|--------:|-------:|----------:|-----------:|-----:|
137
- | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) | default | 0.077 | 0.281 | 0.176 | 0.799 | 0.564 | [link](https://huggingface.co/lmqg/mt5-small-frquad-multitask/raw/main/eval/metric.first.sentence.paragraph_answer.question.lmqg_qg_frquad.default.json) |
 
 
 
 
 
 
 
138
 
139
 
140
- ### Metrics (QAG)
141
 
142
- | Dataset | Type | QA Aligned F1 Score (BERTScore) | QA Aligned F1 Score (MoverScore) | Link |
143
- |:--------|:-----|--------------------------------:|---------------------------------:|-----:|
144
- | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) | default | 0.797 | 0.542 | [link](https://huggingface.co/lmqg/mt5-small-frquad-multitask/raw/main/eval/metric.first.answer.paragraph.questions_answers.lmqg_qg_frquad.default.json) |
145
-
 
 
 
 
146
 
147
 
148
 
@@ -165,11 +159,10 @@ The following hyperparameters were used during fine-tuning:
165
  - gradient_accumulation_steps: 1
166
  - label_smoothing: 0.15
167
 
168
- The full configuration can be found at [fine-tuning config file](https://huggingface.co/lmqg/mt5-small-frquad-multitask/raw/main/trainer_config.json).
169
 
170
  ## Citation
171
  ```
172
-
173
  @inproceedings{ushio-etal-2022-generative,
174
  title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
175
  author = "Ushio, Asahi and
 
21
  example_title: "Question Generation Example 2"
22
  - text: "generate question: contre <hl> Normie Smith <hl> et 15 000 dollars le 28 novembre 1938."
23
  example_title: "Question Generation Example 3"
24
+ - text: "extract answers: Pourtant, la strophe spensérienne, utilisée cinq fois avant que ne commence le chœur, constitue en soi un vecteur dont les répétitions structurelles, selon Ricks, relèvent du pur lyrisme tout en constituant une menace potentielle. Après les huit sages pentamètres iambiques, l'alexandrin final <hl> permet une pause <hl>, « véritable illusion d'optique » qu'accentuent les nombreuses expressions archaïsantes telles que did swoon, did seem, did go, did receive, did make, qui doublent le prétérit en un temps composé et paraissent à la fois « très précautionneuses et très peu pressées »."
25
  example_title: "Answer Extraction Example 1"
26
+ - text: "extract answers: Néanmoins, une fois encore, l'arithmétique modulaire est insuffisante pour venir à bout du théorème. Dirichlet utilise de nombreuses techniques analytiques, comme les séries entières et l'analyse complexe. Le fruit de ces travaux donne naissance à une nouvelle branche des mathématiques : la théorie analytique des nombres. L'un des points cruciaux de cette théorie provient de l'unique article de <hl> Bernhard Riemann <hl> en théorie des nombres : Sur le nombre de nombres premiers inférieurs à une taille donnée. Il conjecture une localisation des racines de sa fonction ζ. La recherche de la position des racines, initiée par Dirichlet, devient une préoccupation centrale et reste l'une des conjectures pressenties comme les plus difficiles des mathématiques de notre époque."
27
  example_title: "Answer Extraction Example 2"
28
  model-index:
29
+ - name: lmqg/mt5-small-frquad-qg-ae
30
  results:
31
  - task:
32
  name: Text2text Generation
 
36
  type: default
37
  args: default
38
  metrics:
39
+ - name: BLEU4 (Question Generation)
40
+ type: bleu4_question_generation
41
+ value: 7.75
42
+ - name: ROUGE-L (Question Generation)
43
+ type: rouge_l_question_generation
44
+ value: 28.06
45
+ - name: METEOR (Question Generation)
46
+ type: meteor_question_generation
47
+ value: 17.62
48
+ - name: BERTScore (Question Generation)
49
+ type: bertscore_question_generation
50
+ value: 79.9
51
+ - name: MoverScore (Question Generation)
52
+ type: moverscore_question_generation
53
+ value: 56.44
54
+ - name: QAAlignedF1Score-BERTScore (Question & Answer Generation)
55
+ type: qa_aligned_f1_score_bertscore_question_answer_generation
56
+ value: 79.7
57
+ - name: QAAlignedRecall-BERTScore (Question & Answer Generation)
58
+ type: qa_aligned_recall_bertscore_question_answer_generation
59
+ value: 82.36
60
+ - name: QAAlignedPrecision-BERTScore (Question & Answer Generation)
61
+ type: qa_aligned_precision_bertscore_question_answer_generation
62
+ value: 77.29
63
+ - name: QAAlignedF1Score-MoverScore (Question & Answer Generation)
64
+ type: qa_aligned_f1_score_moverscore_question_answer_generation
65
+ value: 54.22
66
+ - name: QAAlignedRecall-MoverScore (Question & Answer Generation)
67
+ type: qa_aligned_recall_moverscore_question_answer_generation
68
+ value: 55.76
69
+ - name: QAAlignedPrecision-MoverScore (Question & Answer Generation)
70
+ type: qa_aligned_precision_moverscore_question_answer_generation
71
+ value: 52.84
72
  ---
73
 
74
+ # Model Card of `lmqg/mt5-small-frquad-qg-ae`
75
+ This model is fine-tuned version of [google/mt5-small](https://huggingface.co/google/mt5-small) for question generation and answer extraction jointly on the [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) (dataset_name: default) via [`lmqg`](https://github.com/asahi417/lm-question-generation).
 
 
76
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
77
 
78
  ### Overview
79
  - **Language model:** [google/mt5-small](https://huggingface.co/google/mt5-small)
 
86
  ### Usage
87
  - With [`lmqg`](https://github.com/asahi417/lm-question-generation#lmqg-language-model-for-question-generation-)
88
  ```python
 
89
  from lmqg import TransformersQG
90
+
91
  # initialize model
92
+ model = TransformersQG(language="fr", model="lmqg/mt5-small-frquad-qg-ae")
93
+
94
  # model prediction
95
+ question_answer_pairs = model.generate_qa("Créateur » (Maker), lui aussi au singulier, « le Suprême Berger » (The Great Shepherd) ; de l'autre, des réminiscences de la théologie de l'Antiquité : le tonnerre, voix de Jupiter, « Et souvent ta voix gronde en un tonnerre terrifiant », etc.")
96
 
97
  ```
98
 
99
  - With `transformers`
100
  ```python
 
101
  from transformers import pipeline
102
+
103
+ pipe = pipeline("text2text-generation", "lmqg/mt5-small-frquad-qg-ae")
104
+
105
  # answer extraction
106
+ answer = pipe("generate question: Créateur » (Maker), lui aussi au singulier, « <hl> le Suprême Berger <hl> » (The Great Shepherd) ; de l'autre, des réminiscences de la théologie de l'Antiquité : le tonnerre, voix de Jupiter, « Et souvent ta voix gronde en un tonnerre terrifiant », etc.")
107
+
108
  # question generation
109
+ question = pipe("extract answers: Pourtant, la strophe spensérienne, utilisée cinq fois avant que ne commence le chœur, constitue en soi un vecteur dont les répétitions structurelles, selon Ricks, relèvent du pur lyrisme tout en constituant une menace potentielle. Après les huit sages pentamètres iambiques, l'alexandrin final <hl> permet une pause <hl>, « véritable illusion d'optique » qu'accentuent les nombreuses expressions archaïsantes telles que did swoon, did seem, did go, did receive, did make, qui doublent le prétérit en un temps composé et paraissent à la fois « très précautionneuses et très peu pressées ».")
110
 
111
  ```
112
 
113
+ ## Evaluation
114
 
115
 
116
+ - ***Metric (Question Generation)***: [raw metric file](https://huggingface.co/lmqg/mt5-small-frquad-qg-ae/raw/main/eval/metric.first.sentence.paragraph_answer.question.lmqg_qg_frquad.default.json)
117
 
118
+ | | Score | Type | Dataset |
119
+ |:-----------|--------:|:--------|:-----------------------------------------------------------------|
120
+ | BERTScore | 79.9 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
121
+ | Bleu_1 | 27.6 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
122
+ | Bleu_2 | 16.31 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
123
+ | Bleu_3 | 11 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
124
+ | Bleu_4 | 7.75 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
125
+ | METEOR | 17.62 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
126
+ | MoverScore | 56.44 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
127
+ | ROUGE_L | 28.06 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
128
 
129
 
130
+ - ***Metric (Question & Answer Generation)***: [raw metric file](https://huggingface.co/lmqg/mt5-small-frquad-qg-ae/raw/main/eval/metric.first.answer.paragraph.questions_answers.lmqg_qg_frquad.default.json)
131
 
132
+ | | Score | Type | Dataset |
133
+ |:--------------------------------|--------:|:--------|:-----------------------------------------------------------------|
134
+ | QAAlignedF1Score (BERTScore) | 79.7 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
135
+ | QAAlignedF1Score (MoverScore) | 54.22 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
136
+ | QAAlignedPrecision (BERTScore) | 77.29 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
137
+ | QAAlignedPrecision (MoverScore) | 52.84 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
138
+ | QAAlignedRecall (BERTScore) | 82.36 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
139
+ | QAAlignedRecall (MoverScore) | 55.76 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
140
 
141
 
142
 
 
159
  - gradient_accumulation_steps: 1
160
  - label_smoothing: 0.15
161
 
162
+ The full configuration can be found at [fine-tuning config file](https://huggingface.co/lmqg/mt5-small-frquad-qg-ae/raw/main/trainer_config.json).
163
 
164
  ## Citation
165
  ```
 
166
  @inproceedings{ushio-etal-2022-generative,
167
  title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
168
  author = "Ushio, Asahi and