asahi417 commited on
Commit
9787d2a
1 Parent(s): 8a23891

model update

Browse files
README.md ADDED
@@ -0,0 +1,144 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+
2
+ ---
3
+ license: cc-by-4.0
4
+ metrics:
5
+ - bleu4
6
+ - meteor
7
+ - rouge-l
8
+ - bertscore
9
+ - moverscore
10
+ language: de
11
+ datasets:
12
+ - lmqg/qg_dequad
13
+ pipeline_tag: text2text-generation
14
+ tags:
15
+ - answer extraction
16
+ widget:
17
+ - text: "Sommerzeit <hl> Frühling <hl>: Umstellung von Normalzeit auf Sommerzeit – die Uhr wird um eine Stunde ''vor''gestellt. Herbst: Umstellung von Sommerzeit auf Normalzeit – die Uhr wird um eine Stunde ''zurück''gestellt. Als Sommerzeit wird die gegenüber der Zonenzeit meist um eine Stunde vorgestellte Uhrzeit bezeichnet, die während eines bestimmten Zeitraums im Sommerhalbjahr (und oft auch etwas darüber hinaus) als gesetzliche Zeit dient. Eine solche Regelung wird fast nur in Ländern der gemäßigten Zonen angewandt. Die mitteleuropäische Sommerzeit beginnt am letzten Sonntag im März um 2:00 Uhr MEZ, indem die Stundenzählung um eine Stunde von 2:00 Uhr auf 3:00 Uhr vorgestellt wird. Sie endet jeweils am letzten Sonntag im Oktober um 3:00 Uhr MESZ, indem die Stundenzählung um eine Stunde von 3:00 Uhr auf 2:00 Uhr zurückgestellt wird."
18
+ example_title: "Answering Extraction Example 1"
19
+ - text: "Iran === Landwirtschaft === Die landwirtschaftliche Nutzfläche beträgt trotz zahlreicher Gebirge und Wüsten 10 % der Landesfläche, wobei ein Drittel künstlich bewässert wird. Die Landwirtschaft ist einer der größten Arbeitgeber des Landes. Wichtige Produkte sind Pistazien, Weizen, Reis, Zucker, Baumwolle, Früchte, Nüsse, Datteln, Wolle und Kaviar. Seit der Revolution von 1979 wurde der Anbau von Weintrauben wegen des islamischen Alkoholverbots auf den 200.000 Hektar Rebfläche fast vollständig auf Tafeltrauben und Rosinen umgestellt. Bei Rosinen ist <hl> der Iran <hl> inzwischen nach der Türkei der zweitgrößte Exporteur der Welt, bei Safran mit ungefähr 90 % Marktanteil des globalen Bedarfs mit Abstand der größte."
20
+ example_title: "Answering Extraction Example 2"
21
+ model-index:
22
+ - name: lmqg/mt5-small-dequad-ae
23
+ results:
24
+ - task:
25
+ name: Text2text Generation
26
+ type: text2text-generation
27
+ dataset:
28
+ name: lmqg/qg_dequad
29
+ type: default
30
+ args: default
31
+ metrics:
32
+ - name: BLEU4 (Answer Extraction)
33
+ type: bleu4_answer_extraction
34
+ value: 5.11
35
+ - name: ROUGE-L (Answer Extraction)
36
+ type: rouge_l_answer_extraction
37
+ value: 17.54
38
+ - name: METEOR (Answer Extraction)
39
+ type: meteor_answer_extraction
40
+ value: 21.09
41
+ - name: BERTScore (Answer Extraction)
42
+ type: bertscore_answer_extraction
43
+ value: 74.03
44
+ - name: MoverScore (Answer Extraction)
45
+ type: moverscore_answer_extraction
46
+ value: 56.82
47
+ - name: AnswerF1Score (Answer Extraction)
48
+ type: answer_f1_score__answer_extraction
49
+ value: 36.07
50
+ - name: AnswerExactMatch (Answer Extraction)
51
+ type: answer_exact_match_answer_extraction
52
+ value: 8.8
53
+ ---
54
+
55
+ # Model Card of `lmqg/mt5-small-dequad-ae`
56
+ This model is fine-tuned version of [google/mt5-small](https://huggingface.co/google/mt5-small) for answer extraction on the [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) (dataset_name: default) via [`lmqg`](https://github.com/asahi417/lm-question-generation).
57
+
58
+
59
+ ### Overview
60
+ - **Language model:** [google/mt5-small](https://huggingface.co/google/mt5-small)
61
+ - **Language:** de
62
+ - **Training data:** [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) (default)
63
+ - **Online Demo:** [https://autoqg.net/](https://autoqg.net/)
64
+ - **Repository:** [https://github.com/asahi417/lm-question-generation](https://github.com/asahi417/lm-question-generation)
65
+ - **Paper:** [https://arxiv.org/abs/2210.03992](https://arxiv.org/abs/2210.03992)
66
+
67
+ ### Usage
68
+ - With [`lmqg`](https://github.com/asahi417/lm-question-generation#lmqg-language-model-for-question-generation-)
69
+ ```python
70
+ from lmqg import TransformersQG
71
+
72
+ # initialize model
73
+ model = TransformersQG(language="de", model="lmqg/mt5-small-dequad-ae")
74
+
75
+ # model prediction
76
+ answers = model.generate_a("das erste weltweit errichtete Hermann Brehmer 1855 im niederschlesischen ''Görbersdorf'' (heute Sokołowsko, Polen).")
77
+
78
+ ```
79
+
80
+ - With `transformers`
81
+ ```python
82
+ from transformers import pipeline
83
+
84
+ pipe = pipeline("text2text-generation", "lmqg/mt5-small-dequad-ae")
85
+ output = pipe("Sommerzeit <hl> Frühling <hl>: Umstellung von Normalzeit auf Sommerzeit – die Uhr wird um eine Stunde ''vor''gestellt. Herbst: Umstellung von Sommerzeit auf Normalzeit – die Uhr wird um eine Stunde ''zurück''gestellt. Als Sommerzeit wird die gegenüber der Zonenzeit meist um eine Stunde vorgestellte Uhrzeit bezeichnet, die während eines bestimmten Zeitraums im Sommerhalbjahr (und oft auch etwas darüber hinaus) als gesetzliche Zeit dient. Eine solche Regelung wird fast nur in Ländern der gemäßigten Zonen angewandt. Die mitteleuropäische Sommerzeit beginnt am letzten Sonntag im März um 2:00 Uhr MEZ, indem die Stundenzählung um eine Stunde von 2:00 Uhr auf 3:00 Uhr vorgestellt wird. Sie endet jeweils am letzten Sonntag im Oktober um 3:00 Uhr MESZ, indem die Stundenzählung um eine Stunde von 3:00 Uhr auf 2:00 Uhr zurückgestellt wird.")
86
+
87
+ ```
88
+
89
+ ## Evaluation
90
+
91
+
92
+ - ***Metric (Answer Extraction)***: [raw metric file](https://huggingface.co/lmqg/mt5-small-dequad-ae/raw/main/eval/metric.first.answer.paragraph_sentence.answer.lmqg_qg_dequad.default.json)
93
+
94
+ | | Score | Type | Dataset |
95
+ |:-----------------|--------:|:--------|:-----------------------------------------------------------------|
96
+ | AnswerExactMatch | 8.8 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
97
+ | AnswerF1Score | 36.07 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
98
+ | BERTScore | 74.03 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
99
+ | Bleu_1 | 17.77 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
100
+ | Bleu_2 | 11.73 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
101
+ | Bleu_3 | 7.74 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
102
+ | Bleu_4 | 5.11 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
103
+ | METEOR | 21.09 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
104
+ | MoverScore | 56.82 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
105
+ | ROUGE_L | 17.54 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
106
+
107
+
108
+
109
+ ## Training hyperparameters
110
+
111
+ The following hyperparameters were used during fine-tuning:
112
+ - dataset_path: lmqg/qg_dequad
113
+ - dataset_name: default
114
+ - input_types: ['paragraph_sentence']
115
+ - output_types: ['answer']
116
+ - prefix_types: None
117
+ - model: google/mt5-small
118
+ - max_length: 512
119
+ - max_length_output: 32
120
+ - epoch: 22
121
+ - batch: 32
122
+ - lr: 0.001
123
+ - fp16: False
124
+ - random_seed: 1
125
+ - gradient_accumulation_steps: 2
126
+ - label_smoothing: 0.15
127
+
128
+ The full configuration can be found at [fine-tuning config file](https://huggingface.co/lmqg/mt5-small-dequad-ae/raw/main/trainer_config.json).
129
+
130
+ ## Citation
131
+ ```
132
+ @inproceedings{ushio-etal-2022-generative,
133
+ title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
134
+ author = "Ushio, Asahi and
135
+ Alva-Manchego, Fernando and
136
+ Camacho-Collados, Jose",
137
+ booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing",
138
+ month = dec,
139
+ year = "2022",
140
+ address = "Abu Dhabi, U.A.E.",
141
+ publisher = "Association for Computational Linguistics",
142
+ }
143
+
144
+ ```
config.json CHANGED
@@ -1,5 +1,5 @@
1
  {
2
- "_name_or_path": "lmqg_output/mt5-small-dequad-ae/best_model",
3
  "add_prefix": false,
4
  "architectures": [
5
  "MT5ForConditionalGeneration"
 
1
  {
2
+ "_name_or_path": "lmqg_output/mt5-small-dequad-ae/model_gnktxm/epoch_21",
3
  "add_prefix": false,
4
  "architectures": [
5
  "MT5ForConditionalGeneration"
eval/metric.first.answer.paragraph_sentence.answer.lmqg_qg_dequad.default.json ADDED
@@ -0,0 +1 @@
 
 
1
+ {"validation": {"Bleu_1": 0.24304991686964997, "Bleu_2": 0.16743695376367998, "Bleu_3": 0.11338395369130196, "Bleu_4": 0.07649351478718919, "METEOR": 0.26688192488935053, "ROUGE_L": 0.23337152266287337, "BERTScore": 0.7811309026584651, "MoverScore": 0.6005610418847153, "AnswerF1Score": 45.73879822286475, "AnswerExactMatch": 11.88747731397459}, "test": {"Bleu_1": 0.17773225186051603, "Bleu_2": 0.11729974329463738, "Bleu_3": 0.07735644104838064, "Bleu_4": 0.05113872186645225, "METEOR": 0.21088348840079052, "ROUGE_L": 0.17542653733220975, "BERTScore": 0.74031749895069, "MoverScore": 0.5682240358751466, "AnswerF1Score": 36.06844480141066, "AnswerExactMatch": 8.802177858439201}}
eval/samples.test.hyp.paragraph_sentence.answer.lmqg_qg_dequad.default.txt ADDED
The diff for this file is too large to render. See raw diff
 
eval/samples.validation.hyp.paragraph_sentence.answer.lmqg_qg_dequad.default.txt ADDED
The diff for this file is too large to render. See raw diff
 
pytorch_model.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:ceb7f33f12f2e788e680dced2f6fb2cf97401b34407877029d4aa957352996d7
3
- size 1200724741
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:7c0d280019668ba7d2e2f07f3f76a0198c2770db2999dd64f1f5edaf1ecfb393
3
+ size 1200727429
tokenizer_config.json CHANGED
@@ -2,7 +2,7 @@
2
  "additional_special_tokens": null,
3
  "eos_token": "</s>",
4
  "extra_ids": 0,
5
- "name_or_path": "lmqg_output/mt5-small-dequad-ae/best_model",
6
  "pad_token": "<pad>",
7
  "sp_model_kwargs": {},
8
  "special_tokens_map_file": "/home/asahiushio/.cache/huggingface/transformers/685ac0ca8568ec593a48b61b0a3c272beee9bc194a3c7241d15dcadb5f875e53.f76030f3ec1b96a8199b2593390c610e76ca8028ef3d24680000619ffb646276",
 
2
  "additional_special_tokens": null,
3
  "eos_token": "</s>",
4
  "extra_ids": 0,
5
+ "name_or_path": "lmqg_output/mt5-small-dequad-ae/model_gnktxm/epoch_21",
6
  "pad_token": "<pad>",
7
  "sp_model_kwargs": {},
8
  "special_tokens_map_file": "/home/asahiushio/.cache/huggingface/transformers/685ac0ca8568ec593a48b61b0a3c272beee9bc194a3c7241d15dcadb5f875e53.f76030f3ec1b96a8199b2593390c610e76ca8028ef3d24680000619ffb646276",
trainer_config.json ADDED
@@ -0,0 +1 @@
 
 
1
+ {"dataset_path": "lmqg/qg_dequad", "dataset_name": "default", "input_types": ["paragraph_sentence"], "output_types": ["answer"], "prefix_types": null, "model": "google/mt5-small", "max_length": 512, "max_length_output": 32, "epoch": 22, "batch": 32, "lr": 0.001, "fp16": false, "random_seed": 1, "gradient_accumulation_steps": 2, "label_smoothing": 0.15}