Hugging Face's logo

lmqg
/
mt5-base-esquad-qg-ae

Text2Text Generation
Transformers
PyTorch
Spanish
mt5
question generation
answer extraction
Eval Results
Inference Endpoints
Model card Files Community
1
asahi417 commited on
Commit
8bcb135
•
1 Parent(s): d98dcfe

model update

Browse files
Files changed (7) hide show
  1. README.md +91 -51
  2. eval/metric.first.answer.paragraph.questions_answers.lmqg_qg_esquad.default.json +1 -0
  3. eval/metric.first.answer.paragraph_sentence.answer.lmqg_qg_esquad.default.json +1 -0
  4. eval/samples.test.hyp.paragraph.questions_answers.lmqg_qg_esquad.default.txt +0 -0
  5. eval/samples.test.hyp.paragraph_sentence.answer.lmqg_qg_esquad.default.txt +0 -0
  6. eval/samples.validation.hyp.paragraph.questions_answers.lmqg_qg_esquad.default.txt +0 -0
  7. eval/samples.validation.hyp.paragraph_sentence.answer.lmqg_qg_esquad.default.txt +0 -0
README.md CHANGED
@@ -21,9 +21,9 @@ widget:
21
  example_title: "Question Generation Example 2"
22
  - text: "generate question: como <hl> el gobierno de Abbott <hl> que asumió el cargo el 18 de septiembre de 2013."
23
  example_title: "Question Generation Example 3"
24
- - text: "<hl> En la diáspora somalí, múltiples eventos islámicos de recaudación de fondos se llevan a cabo cada año en ciudades como Birmingham, Londres, Toronto y Minneapolis, donde los académicos y profesionales somalíes dan conferencias y responden preguntas de la audiencia. <hl> El propósito de estos eventos es recaudar dinero para nuevas escuelas o universidades en Somalia, para ayudar a los somalíes que han sufrido como consecuencia de inundaciones y / o sequías, o para reunir fondos para la creación de nuevas mezquitas como."
25
  example_title: "Answer Extraction Example 1"
26
- - text: "<hl> Los estudiosos y los histori a dores están divididos en cuanto a qué evento señala el final de la era helenística. <hl> El período helenístico se puede ver que termina con la conquista final del corazón griego por Roma en 146 a. C. tras la guerra aquea, con la derrota final del reino ptolemaico en la batalla de Actium en 31 a. Helenístico se distingue de helénico en que el primero abarca toda la esfera de influencia griega antigua directa, mientras que el segundo se refiere a la propia Grecia."
27
  example_title: "Answer Extraction Example 2"
28
  model-index:
29
  - name: lmqg/mt5-base-esquad-multitask
@@ -36,45 +36,50 @@ model-index:
36
  type: default
37
  args: default
38
  metrics:
39
- - name: BLEU4
40
- type: bleu4
41
- value: 0.09615312353679026
42
- - name: ROUGE-L
43
- type: rouge-l
44
- value: 0.248238665706148
45
- - name: METEOR
46
- type: meteor
47
- value: 0.23110894133264304
48
- - name: BERTScore
49
- type: bertscore
50
- value: 0.8396973498888792
51
- - name: MoverScore
52
- type: moverscore
53
- value: 0.5915394898094151
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
54
  ---
55
 
56
  # Model Card of `lmqg/mt5-base-esquad-multitask`
57
- This model is fine-tuned version of [google/mt5-base](https://huggingface.co/google/mt5-base) for question generation task on the
58
- [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) (dataset_name: default) via [`lmqg`](https://github.com/asahi417/lm-question-generation).
59
- This model is fine-tuned on the answer extraction task as well as the question generation.
60
 
61
- Please cite our paper if you use the model ([https://arxiv.org/abs/2210.03992](https://arxiv.org/abs/2210.03992)).
62
-
63
- ```
64
-
65
- @inproceedings{ushio-etal-2022-generative,
66
- title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
67
- author = "Ushio, Asahi and
68
- Alva-Manchego, Fernando and
69
- Camacho-Collados, Jose",
70
- booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing",
71
- month = dec,
72
- year = "2022",
73
- address = "Abu Dhabi, U.A.E.",
74
- publisher = "Association for Computational Linguistics",
75
- }
76
-
77
- ```
78
 
79
  ### Overview
80
  - **Language model:** [google/mt5-base](https://huggingface.co/google/mt5-base)
@@ -87,38 +92,74 @@ Please cite our paper if you use the model ([https://arxiv.org/abs/2210.03992](h
87
  ### Usage
88
  - With [`lmqg`](https://github.com/asahi417/lm-question-generation#lmqg-language-model-for-question-generation-)
89
  ```python
90
-
91
  from lmqg import TransformersQG
 
92
  # initialize model
93
- model = TransformersQG(language='es', model='lmqg/mt5-base-esquad-multitask')
 
94
  # model prediction
95
- question_answer = model.generate_qa("a noviembre , que es también la estación lluviosa.")
96
 
97
  ```
98
 
99
  - With `transformers`
100
  ```python
101
-
102
  from transformers import pipeline
103
- # initialize model
104
- pipe = pipeline("text2text-generation", 'lmqg/mt5-base-esquad-multitask')
 
105
  # answer extraction
106
- answer = pipe('extract answers: <hl> En la diáspora somalí, múltiples eventos islámicos de recaudación de fondos se llevan a cabo cada año en ciudades como Birmingham, Londres, Toronto y Minneapolis, donde los académicos y profesionales somalíes dan conferencias y responden preguntas de la audiencia. <hl> El propósito de estos eventos es recaudar dinero para nuevas escuelas o universidades en Somalia, para ayudar a los somalíes que han sufrido como consecuencia de inundaciones y / o sequías, o para reunir fondos para la creación de nuevas mezquitas como.')
 
107
  # question generation
108
- question = pipe('generate question: del <hl> Ministerio de Desarrollo Urbano <hl> , Gobierno de la India.')
109
 
110
  ```
111
 
112
- ## Evaluation Metrics
 
 
 
 
 
 
 
 
 
 
 
 
 
 
113
 
114
 
115
- ### Metrics
116
 
117
- | Dataset | Type | BLEU4 | ROUGE-L | METEOR | BERTScore | MoverScore | Link |
118
- |:--------|:-----|------:|--------:|-------:|----------:|-----------:|-----:|
119
- | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) | default | 0.096 | 0.248 | 0.231 | 0.84 | 0.592 | [link](https://huggingface.co/lmqg/mt5-base-esquad-multitask/raw/main/eval/metric.first.sentence.paragraph_answer.question.lmqg_qg_esquad.default.json) |
 
 
 
 
 
120
 
121
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
122
 
123
 
124
  ## Training hyperparameters
@@ -144,7 +185,6 @@ The full configuration can be found at [fine-tuning config file](https://hugging
144
 
145
  ## Citation
146
  ```
147
-
148
  @inproceedings{ushio-etal-2022-generative,
149
  title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
150
  author = "Ushio, Asahi and
 
21
  example_title: "Question Generation Example 2"
22
  - text: "generate question: como <hl> el gobierno de Abbott <hl> que asumió el cargo el 18 de septiembre de 2013."
23
  example_title: "Question Generation Example 3"
24
+ - text: "extract answers: <hl> En la diáspora somalí, múltiples eventos islámicos de recaudación de fondos se llevan a cabo cada año en ciudades como Birmingham, Londres, Toronto y Minneapolis, donde los académicos y profesionales somalíes dan conferencias y responden preguntas de la audiencia. <hl> El propósito de estos eventos es recaudar dinero para nuevas escuelas o universidades en Somalia, para ayudar a los somalíes que han sufrido como consecuencia de inundaciones y / o sequías, o para reunir fondos para la creación de nuevas mezquitas como."
25
  example_title: "Answer Extraction Example 1"
26
+ - text: "extract answers: <hl> Los estudiosos y los histori a dores están divididos en cuanto a qué evento señala el final de la era helenística. <hl> El período helenístico se puede ver que termina con la conquista final del corazón griego por Roma en 146 a. C. tras la guerra aquea, con la derrota final del reino ptolemaico en la batalla de Actium en 31 a. Helenístico se distingue de helénico en que el primero abarca toda la esfera de influencia griega antigua directa, mientras que el segundo se refiere a la propia Grecia."
27
  example_title: "Answer Extraction Example 2"
28
  model-index:
29
  - name: lmqg/mt5-base-esquad-multitask
 
36
  type: default
37
  args: default
38
  metrics:
39
+ - name: BLEU4 (Question Generation)
40
+ type: bleu4_question_generation
41
+ value: 9.62
42
+ - name: ROUGE-L (Question Generation)
43
+ type: rouge_l_question_generation
44
+ value: 24.82
45
+ - name: METEOR (Question Generation)
46
+ type: meteor_question_generation
47
+ value: 23.11
48
+ - name: BERTScore (Question Generation)
49
+ type: bertscore_question_generation
50
+ value: 83.97
51
+ - name: MoverScore (Question Generation)
52
+ type: moverscore_question_generation
53
+ value: 59.15
54
+ - name: QAAlignedF1Score-BERTScore
55
+ type: qa_aligned_f1_score_bertscore
56
+ value: 79.67
57
+ - name: QAAlignedRecall-BERTScore
58
+ type: qa_aligned_recall_bertscore
59
+ value: 82.44
60
+ - name: QAAlignedPrecision-BERTScore
61
+ type: qa_aligned_precision_bertscore
62
+ value: 77.14
63
+ - name: QAAlignedF1Score-MoverScore
64
+ type: qa_aligned_f1_score_moverscore
65
+ value: 54.82
66
+ - name: QAAlignedRecall-MoverScore
67
+ type: qa_aligned_recall_moverscore
68
+ value: 56.56
69
+ - name: QAAlignedPrecision-MoverScore
70
+ type: qa_aligned_precision_moverscore
71
+ value: 53.27
72
+ - name: AnswerF1Score (Answer Extraction)
73
+ type: answer_f1_score_answer_extraction
74
+ value: 75.33
75
+ - name: AnswerExactMatch (Answer Extraction)
76
+ type: answer_exact_match_answer_extraction
77
+ value: 57.98
78
  ---
79
 
80
  # Model Card of `lmqg/mt5-base-esquad-multitask`
81
+ This model is fine-tuned version of [google/mt5-base](https://huggingface.co/google/mt5-base) for question generation task and answer extraction jointly on the [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) (dataset_name: default) via [`lmqg`](https://github.com/asahi417/lm-question-generation).
 
 
82
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
83
 
84
  ### Overview
85
  - **Language model:** [google/mt5-base](https://huggingface.co/google/mt5-base)
 
92
  ### Usage
93
  - With [`lmqg`](https://github.com/asahi417/lm-question-generation#lmqg-language-model-for-question-generation-)
94
  ```python
 
95
  from lmqg import TransformersQG
96
+
97
  # initialize model
98
+ model = TransformersQG(language="es", model="lmqg/mt5-base-esquad-multitask")
99
+
100
  # model prediction
101
+ question_answer_pairs = model.generate_qa("a noviembre , que es también la estación lluviosa.")
102
 
103
  ```
104
 
105
  - With `transformers`
106
  ```python
 
107
  from transformers import pipeline
108
+
109
+ pipe = pipeline("text2text-generation", "lmqg/mt5-base-esquad-multitask")
110
+
111
  # answer extraction
112
+ answer = pipe("generate question: del <hl> Ministerio de Desarrollo Urbano <hl> , Gobierno de la India.")
113
+
114
  # question generation
115
+ question = pipe("extract answers: <hl> En la diáspora somalí, múltiples eventos islámicos de recaudación de fondos se llevan a cabo cada año en ciudades como Birmingham, Londres, Toronto y Minneapolis, donde los académicos y profesionales somalíes dan conferencias y responden preguntas de la audiencia. <hl> El propósito de estos eventos es recaudar dinero para nuevas escuelas o universidades en Somalia, para ayudar a los somalíes que han sufrido como consecuencia de inundaciones y / o sequías, o para reunir fondos para la creación de nuevas mezquitas como.")
116
 
117
  ```
118
 
119
+ ## Evaluation
120
+
121
+
122
+ - ***Metric (Question Generation)***: [raw metric file](https://huggingface.co/lmqg/mt5-base-esquad-multitask/raw/main/eval/metric.first.sentence.paragraph_answer.question.lmqg_qg_esquad.default.json)
123
+
124
+ | | Score | Type | Dataset |
125
+ |:-----------|--------:|:--------|:-----------------------------------------------------------------|
126
+ | BERTScore | 83.97 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
127
+ | Bleu_1 | 25.88 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
128
+ | Bleu_2 | 17.67 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
129
+ | Bleu_3 | 12.84 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
130
+ | Bleu_4 | 9.62 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
131
+ | METEOR | 23.11 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
132
+ | MoverScore | 59.15 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
133
+ | ROUGE_L | 24.82 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
134
 
135
 
136
+ - ***Metric (Question & Answer Generation)***: [raw metric file](https://huggingface.co/lmqg/mt5-base-esquad-multitask/raw/main/eval/metric.first.answer.paragraph.questions_answers.lmqg_qg_esquad.default.json)
137
 
138
+ | | Score | Type | Dataset |
139
+ |:--------------------------------|--------:|:--------|:-----------------------------------------------------------------|
140
+ | QAAlignedF1Score (BERTScore) | 79.67 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
141
+ | QAAlignedF1Score (MoverScore) | 54.82 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
142
+ | QAAlignedPrecision (BERTScore) | 77.14 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
143
+ | QAAlignedPrecision (MoverScore) | 53.27 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
144
+ | QAAlignedRecall (BERTScore) | 82.44 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
145
+ | QAAlignedRecall (MoverScore) | 56.56 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
146
 
147
 
148
+ - ***Metric (Answer Generation)***: [raw metric file](https://huggingface.co/lmqg/mt5-base-esquad-multitask/raw/main/eval/metric.first.answer.paragraph_sentence.answer.lmqg_qg_esquad.default.json)
149
+
150
+ | | Score | Type | Dataset |
151
+ |:-----------------|--------:|:--------|:-----------------------------------------------------------------|
152
+ | AnswerExactMatch | 57.98 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
153
+ | AnswerF1Score | 75.33 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
154
+ | BERTScore | 90.04 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
155
+ | Bleu_1 | 37.35 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
156
+ | Bleu_2 | 32.53 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
157
+ | Bleu_3 | 28.86 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
158
+ | Bleu_4 | 25.75 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
159
+ | METEOR | 43.74 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
160
+ | MoverScore | 80.94 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
161
+ | ROUGE_L | 49.61 | default | [lmqg/qg_esquad](https://huggingface.co/datasets/lmqg/qg_esquad) |
162
+
163
 
164
 
165
  ## Training hyperparameters
 
185
 
186
  ## Citation
187
  ```
 
188
  @inproceedings{ushio-etal-2022-generative,
189
  title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
190
  author = "Ushio, Asahi and
eval/metric.first.answer.paragraph.questions_answers.lmqg_qg_esquad.default.json ADDED
@@ -0,0 +1 @@
 
 
1
+ {"test": {"QAAlignedF1Score (BERTScore)": 0.7966511029602821, "QAAlignedRecall (BERTScore)": 0.8244469611755837, "QAAlignedPrecision (BERTScore)": 0.7714073058576305, "QAAlignedF1Score (MoverScore)": 0.5481575475168007, "QAAlignedRecall (MoverScore)": 0.5655787935763091, "QAAlignedPrecision (MoverScore)": 0.5326511380091268}, "validation": {"QAAlignedF1Score (BERTScore)": 0.8137118567453397, "QAAlignedRecall (BERTScore)": 0.817487895545154, "QAAlignedPrecision (BERTScore)": 0.8104675047028904, "QAAlignedF1Score (MoverScore)": 0.5616385298222174, "QAAlignedRecall (MoverScore)": 0.560912574257766, "QAAlignedPrecision (MoverScore)": 0.5627805920916654}}
eval/metric.first.answer.paragraph_sentence.answer.lmqg_qg_esquad.default.json ADDED
@@ -0,0 +1 @@
 
 
1
+ {"validation": {"Bleu_1": 0.34882982810750635, "Bleu_2": 0.3004259119241128, "Bleu_3": 0.26342863300489694, "Bleu_4": 0.23208011552240537, "METEOR": 0.4163090642801472, "ROUGE_L": 0.4828376958316476, "BERTScore": 0.8867992976276854, "MoverScore": 0.7867577700747874, "AnswerF1Score": 71.55125749213069, "AnswerExactMatch": 52.92336802270577}, "test": {"Bleu_1": 0.373476813235843, "Bleu_2": 0.32525090780479887, "Bleu_3": 0.2885596031381267, "Bleu_4": 0.2574504368306409, "METEOR": 0.43735145893955446, "ROUGE_L": 0.49608170389807765, "BERTScore": 0.9004215900330692, "MoverScore": 0.8093583431162198, "AnswerF1Score": 75.33493581072264, "AnswerExactMatch": 57.97540208136235}}
eval/samples.test.hyp.paragraph.questions_answers.lmqg_qg_esquad.default.txt ADDED
The diff for this file is too large to render. See raw diff
 
eval/samples.test.hyp.paragraph_sentence.answer.lmqg_qg_esquad.default.txt ADDED
The diff for this file is too large to render. See raw diff
 
eval/samples.validation.hyp.paragraph.questions_answers.lmqg_qg_esquad.default.txt ADDED
The diff for this file is too large to render. See raw diff
 
eval/samples.validation.hyp.paragraph_sentence.answer.lmqg_qg_esquad.default.txt ADDED
The diff for this file is too large to render. See raw diff