asahi417 commited on
Commit
81e163c
1 Parent(s): 0512352

model update

Browse files
Files changed (1) hide show
  1. README.md +37 -22
README.md CHANGED
@@ -26,7 +26,7 @@ widget:
26
  - text: "extract answers: Néanmoins, une fois encore, l'arithmétique modulaire est insuffisante pour venir à bout du théorème. Dirichlet utilise de nombreuses techniques analytiques, comme les séries entières et l'analyse complexe. Le fruit de ces travaux donne naissance à une nouvelle branche des mathématiques : la théorie analytique des nombres. L'un des points cruciaux de cette théorie provient de l'unique article de <hl> Bernhard Riemann <hl> en théorie des nombres : Sur le nombre de nombres premiers inférieurs à une taille donnée. Il conjecture une localisation des racines de sa fonction ζ. La recherche de la position des racines, initiée par Dirichlet, devient une préoccupation centrale et reste l'une des conjectures pressenties comme les plus difficiles des mathématiques de notre époque."
27
  example_title: "Answer Extraction Example 2"
28
  model-index:
29
- - name: lmqg/mt5-base-frquad-multitask
30
  results:
31
  - task:
32
  name: Text2text Generation
@@ -51,34 +51,49 @@ model-index:
51
  - name: MoverScore (Question Generation)
52
  type: moverscore_question_generation
53
  value: 55.91
54
- - name: QAAlignedF1Score-BERTScore
55
- type: qa_aligned_f1_score_bertscore
56
  value: 79.16
57
- - name: QAAlignedRecall-BERTScore
58
- type: qa_aligned_recall_bertscore
59
  value: 81.87
60
- - name: QAAlignedPrecision-BERTScore
61
- type: qa_aligned_precision_bertscore
62
  value: 76.69
63
- - name: QAAlignedF1Score-MoverScore
64
- type: qa_aligned_f1_score_moverscore
65
  value: 53.9
66
- - name: QAAlignedRecall-MoverScore
67
- type: qa_aligned_recall_moverscore
68
  value: 55.36
69
- - name: QAAlignedPrecision-MoverScore
70
- type: qa_aligned_precision_moverscore
71
  value: 52.57
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
72
  - name: AnswerF1Score (Answer Extraction)
73
- type: answer_f1_score_answer_extraction
74
  value: 63.54
75
  - name: AnswerExactMatch (Answer Extraction)
76
  type: answer_exact_match_answer_extraction
77
  value: 43.01
78
  ---
79
 
80
- # Model Card of `lmqg/mt5-base-frquad-multitask`
81
- This model is fine-tuned version of [google/mt5-base](https://huggingface.co/google/mt5-base) for question generation task and answer extraction jointly on the [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) (dataset_name: default) via [`lmqg`](https://github.com/asahi417/lm-question-generation).
82
 
83
 
84
  ### Overview
@@ -95,7 +110,7 @@ This model is fine-tuned version of [google/mt5-base](https://huggingface.co/goo
95
  from lmqg import TransformersQG
96
 
97
  # initialize model
98
- model = TransformersQG(language="fr", model="lmqg/mt5-base-frquad-multitask")
99
 
100
  # model prediction
101
  question_answer_pairs = model.generate_qa("Créateur » (Maker), lui aussi au singulier, « le Suprême Berger » (The Great Shepherd) ; de l'autre, des réminiscences de la théologie de l'Antiquité : le tonnerre, voix de Jupiter, « Et souvent ta voix gronde en un tonnerre terrifiant », etc.")
@@ -106,7 +121,7 @@ question_answer_pairs = model.generate_qa("Créateur » (Maker), lui aussi au si
106
  ```python
107
  from transformers import pipeline
108
 
109
- pipe = pipeline("text2text-generation", "lmqg/mt5-base-frquad-multitask")
110
 
111
  # answer extraction
112
  answer = pipe("generate question: Créateur » (Maker), lui aussi au singulier, « <hl> le Suprême Berger <hl> » (The Great Shepherd) ; de l'autre, des réminiscences de la théologie de l'Antiquité : le tonnerre, voix de Jupiter, « Et souvent ta voix gronde en un tonnerre terrifiant », etc.")
@@ -119,7 +134,7 @@ question = pipe("extract answers: Pourtant, la strophe spensérienne, utilisée
119
  ## Evaluation
120
 
121
 
122
- - ***Metric (Question Generation)***: [raw metric file](https://huggingface.co/lmqg/mt5-base-frquad-multitask/raw/main/eval/metric.first.sentence.paragraph_answer.question.lmqg_qg_frquad.default.json)
123
 
124
  | | Score | Type | Dataset |
125
  |:-----------|--------:|:--------|:-----------------------------------------------------------------|
@@ -133,7 +148,7 @@ question = pipe("extract answers: Pourtant, la strophe spensérienne, utilisée
133
  | ROUGE_L | 27.05 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
134
 
135
 
136
- - ***Metric (Question & Answer Generation)***: [raw metric file](https://huggingface.co/lmqg/mt5-base-frquad-multitask/raw/main/eval/metric.first.answer.paragraph.questions_answers.lmqg_qg_frquad.default.json)
137
 
138
  | | Score | Type | Dataset |
139
  |:--------------------------------|--------:|:--------|:-----------------------------------------------------------------|
@@ -145,7 +160,7 @@ question = pipe("extract answers: Pourtant, la strophe spensérienne, utilisée
145
  | QAAlignedRecall (MoverScore) | 55.36 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
146
 
147
 
148
- - ***Metric (Answer Generation)***: [raw metric file](https://huggingface.co/lmqg/mt5-base-frquad-multitask/raw/main/eval/metric.first.answer.paragraph_sentence.answer.lmqg_qg_frquad.default.json)
149
 
150
  | | Score | Type | Dataset |
151
  |:-----------------|--------:|:--------|:-----------------------------------------------------------------|
@@ -181,7 +196,7 @@ The following hyperparameters were used during fine-tuning:
181
  - gradient_accumulation_steps: 2
182
  - label_smoothing: 0.15
183
 
184
- The full configuration can be found at [fine-tuning config file](https://huggingface.co/lmqg/mt5-base-frquad-multitask/raw/main/trainer_config.json).
185
 
186
  ## Citation
187
  ```
 
26
  - text: "extract answers: Néanmoins, une fois encore, l'arithmétique modulaire est insuffisante pour venir à bout du théorème. Dirichlet utilise de nombreuses techniques analytiques, comme les séries entières et l'analyse complexe. Le fruit de ces travaux donne naissance à une nouvelle branche des mathématiques : la théorie analytique des nombres. L'un des points cruciaux de cette théorie provient de l'unique article de <hl> Bernhard Riemann <hl> en théorie des nombres : Sur le nombre de nombres premiers inférieurs à une taille donnée. Il conjecture une localisation des racines de sa fonction ζ. La recherche de la position des racines, initiée par Dirichlet, devient une préoccupation centrale et reste l'une des conjectures pressenties comme les plus difficiles des mathématiques de notre époque."
27
  example_title: "Answer Extraction Example 2"
28
  model-index:
29
+ - name: lmqg/mt5-base-frquad-qg-ae
30
  results:
31
  - task:
32
  name: Text2text Generation
 
51
  - name: MoverScore (Question Generation)
52
  type: moverscore_question_generation
53
  value: 55.91
54
+ - name: QAAlignedF1Score-BERTScore (Question & Answer Generation)
55
+ type: qa_aligned_f1_score_bertscore_question_answer_generation
56
  value: 79.16
57
+ - name: QAAlignedRecall-BERTScore (Question & Answer Generation)
58
+ type: qa_aligned_recall_bertscore_question_answer_generation
59
  value: 81.87
60
+ - name: QAAlignedPrecision-BERTScore (Question & Answer Generation)
61
+ type: qa_aligned_precision_bertscore_question_answer_generation
62
  value: 76.69
63
+ - name: QAAlignedF1Score-MoverScore (Question & Answer Generation)
64
+ type: qa_aligned_f1_score_moverscore_question_answer_generation
65
  value: 53.9
66
+ - name: QAAlignedRecall-MoverScore (Question & Answer Generation)
67
+ type: qa_aligned_recall_moverscore_question_answer_generation
68
  value: 55.36
69
+ - name: QAAlignedPrecision-MoverScore (Question & Answer Generation)
70
+ type: qa_aligned_precision_moverscore_question_answer_generation
71
  value: 52.57
72
+ - name: BLEU4 (Answer Extraction)
73
+ type: bleu4_answer_extraction
74
+ value: 23.84
75
+ - name: ROUGE-L (Answer Extraction)
76
+ type: rouge_l_answer_extraction
77
+ value: 40.94
78
+ - name: METEOR (Answer Extraction)
79
+ type: meteor_answer_extraction
80
+ value: 35.22
81
+ - name: BERTScore (Answer Extraction)
82
+ type: bertscore_answer_extraction
83
+ value: 86.03
84
+ - name: MoverScore (Answer Extraction)
85
+ type: moverscore_answer_extraction
86
+ value: 73.94
87
  - name: AnswerF1Score (Answer Extraction)
88
+ type: answer_f1_score__answer_extraction
89
  value: 63.54
90
  - name: AnswerExactMatch (Answer Extraction)
91
  type: answer_exact_match_answer_extraction
92
  value: 43.01
93
  ---
94
 
95
+ # Model Card of `lmqg/mt5-base-frquad-qg-ae`
96
+ This model is fine-tuned version of [google/mt5-base](https://huggingface.co/google/mt5-base) for question generation and answer extraction jointly on the [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) (dataset_name: default) via [`lmqg`](https://github.com/asahi417/lm-question-generation).
97
 
98
 
99
  ### Overview
 
110
  from lmqg import TransformersQG
111
 
112
  # initialize model
113
+ model = TransformersQG(language="fr", model="lmqg/mt5-base-frquad-qg-ae")
114
 
115
  # model prediction
116
  question_answer_pairs = model.generate_qa("Créateur » (Maker), lui aussi au singulier, « le Suprême Berger » (The Great Shepherd) ; de l'autre, des réminiscences de la théologie de l'Antiquité : le tonnerre, voix de Jupiter, « Et souvent ta voix gronde en un tonnerre terrifiant », etc.")
 
121
  ```python
122
  from transformers import pipeline
123
 
124
+ pipe = pipeline("text2text-generation", "lmqg/mt5-base-frquad-qg-ae")
125
 
126
  # answer extraction
127
  answer = pipe("generate question: Créateur » (Maker), lui aussi au singulier, « <hl> le Suprême Berger <hl> » (The Great Shepherd) ; de l'autre, des réminiscences de la théologie de l'Antiquité : le tonnerre, voix de Jupiter, « Et souvent ta voix gronde en un tonnerre terrifiant », etc.")
 
134
  ## Evaluation
135
 
136
 
137
+ - ***Metric (Question Generation)***: [raw metric file](https://huggingface.co/lmqg/mt5-base-frquad-qg-ae/raw/main/eval/metric.first.sentence.paragraph_answer.question.lmqg_qg_frquad.default.json)
138
 
139
  | | Score | Type | Dataset |
140
  |:-----------|--------:|:--------|:-----------------------------------------------------------------|
 
148
  | ROUGE_L | 27.05 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
149
 
150
 
151
+ - ***Metric (Question & Answer Generation)***: [raw metric file](https://huggingface.co/lmqg/mt5-base-frquad-qg-ae/raw/main/eval/metric.first.answer.paragraph.questions_answers.lmqg_qg_frquad.default.json)
152
 
153
  | | Score | Type | Dataset |
154
  |:--------------------------------|--------:|:--------|:-----------------------------------------------------------------|
 
160
  | QAAlignedRecall (MoverScore) | 55.36 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
161
 
162
 
163
+ - ***Metric (Answer Extraction)***: [raw metric file](https://huggingface.co/lmqg/mt5-base-frquad-qg-ae/raw/main/eval/metric.first.answer.paragraph_sentence.answer.lmqg_qg_frquad.default.json)
164
 
165
  | | Score | Type | Dataset |
166
  |:-----------------|--------:|:--------|:-----------------------------------------------------------------|
 
196
  - gradient_accumulation_steps: 2
197
  - label_smoothing: 0.15
198
 
199
+ The full configuration can be found at [fine-tuning config file](https://huggingface.co/lmqg/mt5-base-frquad-qg-ae/raw/main/trainer_config.json).
200
 
201
  ## Citation
202
  ```