model update

.gitattributes

@@ -32,3 +32,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,144 @@
+
+---
+license: cc-by-4.0
+metrics:
+- bleu4
+- meteor
+- rouge-l
+- bertscore
+- moverscore
+language: de
+datasets:
+- lmqg/qg_dequad
+pipeline_tag: text2text-generation
+tags:
+- question answering
+widget:
+- text: "question: Welche Auszeichnung hat die Wartburg 1999 erhalten?, context: Thüringen == Kultur == Die Kulturlandschaft Thüringens ist bedingt durch die lange politische Zersplitterung (bis 1920) recht vielfältig. Diese Vielfalt hat sich bis heute erhalten und findet in den verschiedenen ehemaligen Residenzen im Land mit ihren historisch gewachsenen Museen und Theatern Ausdruck. Parallel zur Vielfalt der Landesteile verbinden aber vor allem die ähnliche Küche sowie ähnlichen Feste und Bräuche. Prägend für die Kultur sind nach wie vor die zahlreichen Stätten der klassischen Hochkultur von der Reformation bis zum Bauhaus hinter denen die Orte der Gegenwartskultur ein Stück weit zurückfallen. Zum UNESCO-Welterbe in Thüringen gehören seit 1996 die Bauhaus-Stätten in Weimar mit dem zwischen 1904 und 1911 nach Plänen von Henry van de Velde errichteten Hauptgebäude der Bauhaus-Universität, der Kunstgewerbeschule Weimar und dem Musterhaus Am Horn, seit 1998 die elf Stätten des Klassischen Weimars (Goethes Wohnhaus, Schillers Wohnhaus, Herderkirche und Herder-Stätten, Weimarer Stadtschloss, Wittumspalais, Herzogin Anna Amalia Bibliothek, Park an der Ilm mit Goethes Gartenhaus und Römischem Haus, Schloss Belvedere, Schloss Ettersburg, Schloss Tiefurt, Historischer Friedhof Weimar), seit 1999 die Wartburg bei Eisenach und seit 2011 der Nationalpark Hainich als Teil der Europäischen Buchenurwälder."
+  example_title: "Question Answering Example 1" 
+- text: "question: Wann endete die Aberdeen Regierung? , context: Krimkrieg === Großbritannien === Der Krimkrieg zeigte, dass es erhebliche Missstände im britischen Militär gab. Dadurch verlor die Regierung Aberdeen erheblich an Ansehen. Im Februar 1855 wurde sie zum Rücktritt gezwungen, und Palmerston übernahm die Bildung eines neuen Kabinetts. Der spätere britische Premierminister Disraeli erklärte den Krieg aus einer von Südasien eingenommenen Perspektive zu einem „indischen Krieg“, da es zuvor (irreale) Befürchtungen gegeben hatte, dass Russland durch eine Expansion nach Süden das britische Indien in Gefahr bringen könnte. Das Verhältnis zwischen Großbritannien und Russland blieb bis ins 20. Jahrhundert aus ideologischen und weltmachtpolitischen Gründen angespannt. Der Krieg führte in Großbritannien zur Bildung eines modernen Nationalmythos des die Ehre der Nation verteidigenden „gemeinen“ Soldaten, anstelle des Aristokraten früherer Kriege. In der Mittelklasse kam es zu einem neuen Gefühl des Selbstbewusstseins im Zusammenhang von Ideen wie professioneller Fähigkeit und dem Leistungsprinzip. Die Mittelklasse erkannte sich in einer Florence Nightingale wieder, die zur Nationalheldin aufstieg. Die Königin stiftete 1857 das Victoria-Kreuz, mit dem erstmals Nichtoffiziere ausgezeichnet werden konnten."
+  example_title: "Question Answering Example 2" 
+model-index:
+- name: lmqg/mt5-small-dequad-qa
+  results:
+  - task:
+      name: Text2text Generation
+      type: text2text-generation
+    dataset:
+      name: lmqg/qg_dequad
+      type: default
+      args: default
+    metrics:
+    - name: BLEU4 (Question Answering)
+      type: bleu4_question_answering
+      value: 1.1
+    - name: ROUGE-L (Question Answering)
+      type: rouge_l_question_answering
+      value: 5.42
+    - name: METEOR (Question Answering)
+      type: meteor_question_answering
+      value: 7.61
+    - name: BERTScore (Question Answering)
+      type: bertscore_question_answering
+      value: 76.67
+    - name: MoverScore (Question Answering)
+      type: moverscore_question_answering
+      value: 52.97
+    - name: AnswerF1Score (Question Answering)
+      type: answer_f1_score__question_answering
+      value: 9.15
+    - name: AnswerExactMatch (Question Answering)
+      type: answer_exact_match_question_answering
+      value: 0.45
+---
+
+# Model Card of `lmqg/mt5-small-dequad-qa`
+This model is fine-tuned version of [google/mt5-small](https://huggingface.co/google/mt5-small) for question answering task on the [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) (dataset_name: default) via [`lmqg`](https://github.com/asahi417/lm-question-generation).
+
+
+### Overview
+- **Language model:** [google/mt5-small](https://huggingface.co/google/mt5-small)   
+- **Language:** de  
+- **Training data:** [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) (default)
+- **Online Demo:** [https://autoqg.net/](https://autoqg.net/)
+- **Repository:** [https://github.com/asahi417/lm-question-generation](https://github.com/asahi417/lm-question-generation)
+- **Paper:** [https://arxiv.org/abs/2210.03992](https://arxiv.org/abs/2210.03992)
+
+### Usage
+- With [`lmqg`](https://github.com/asahi417/lm-question-generation#lmqg-language-model-for-question-generation-)
+```python
+from lmqg import TransformersQG
+
+# initialize model
+model = TransformersQG(language="de", model="lmqg/mt5-small-dequad-qa")
+
+# model prediction
+answers = model.answer_q(list_question="Welche Auszeichnung hat die Wartburg 1999 erhalten?", list_context=" Thüringen == Kultur == Die Kulturlandschaft Thüringens ist bedingt durch die lange politische Zersplitterung (bis 1920) recht vielfältig. Diese Vielfalt hat sich bis heute erhalten und findet in den verschiedenen ehemaligen Residenzen im Land mit ihren historisch gewachsenen Museen und Theatern Ausdruck. Parallel zur Vielfalt der Landesteile verbinden aber vor allem die ähnliche Küche sowie ähnlichen Feste und Bräuche. Prägend für die Kultur sind nach wie vor die zahlreichen Stätten der klassischen Hochkultur von der Reformation bis zum Bauhaus hinter denen die Orte der Gegenwartskultur ein Stück weit zurückfallen. Zum UNESCO-Welterbe in Thüringen gehören seit 1996 die Bauhaus-Stätten in Weimar mit dem zwischen 1904 und 1911 nach Plänen von Henry van de Velde errichteten Hauptgebäude der Bauhaus-Universität, der Kunstgewerbeschule Weimar und dem Musterhaus Am Horn, seit 1998 die elf Stätten des Klassischen Weimars (Goethes Wohnhaus, Schillers Wohnhaus, Herderkirche und Herder-Stätten, Weimarer Stadtschloss, Wittumspalais, Herzogin Anna Amalia Bibliothek, Park an der Ilm mit Goethes Gartenhaus und Römischem Haus, Schloss Belvedere, Schloss Ettersburg, Schloss Tiefurt, Historischer Friedhof Weimar), seit 1999 die Wartburg bei Eisenach und seit 2011 der Nationalpark Hainich als Teil der Europäischen Buchenurwälder.")
+
+```
+
+- With `transformers`
+```python
+from transformers import pipeline
+
+pipe = pipeline("text2text-generation", "lmqg/mt5-small-dequad-qa")
+output = pipe("question: Welche Auszeichnung hat die Wartburg 1999 erhalten?, context: Thüringen == Kultur == Die Kulturlandschaft Thüringens ist bedingt durch die lange politische Zersplitterung (bis 1920) recht vielfältig. Diese Vielfalt hat sich bis heute erhalten und findet in den verschiedenen ehemaligen Residenzen im Land mit ihren historisch gewachsenen Museen und Theatern Ausdruck. Parallel zur Vielfalt der Landesteile verbinden aber vor allem die ähnliche Küche sowie ähnlichen Feste und Bräuche. Prägend für die Kultur sind nach wie vor die zahlreichen Stätten der klassischen Hochkultur von der Reformation bis zum Bauhaus hinter denen die Orte der Gegenwartskultur ein Stück weit zurückfallen. Zum UNESCO-Welterbe in Thüringen gehören seit 1996 die Bauhaus-Stätten in Weimar mit dem zwischen 1904 und 1911 nach Plänen von Henry van de Velde errichteten Hauptgebäude der Bauhaus-Universität, der Kunstgewerbeschule Weimar und dem Musterhaus Am Horn, seit 1998 die elf Stätten des Klassischen Weimars (Goethes Wohnhaus, Schillers Wohnhaus, Herderkirche und Herder-Stätten, Weimarer Stadtschloss, Wittumspalais, Herzogin Anna Amalia Bibliothek, Park an der Ilm mit Goethes Gartenhaus und Römischem Haus, Schloss Belvedere, Schloss Ettersburg, Schloss Tiefurt, Historischer Friedhof Weimar), seit 1999 die Wartburg bei Eisenach und seit 2011 der Nationalpark Hainich als Teil der Europäischen Buchenurwälder.")
+
+```
+
+## Evaluation
+
+
+- ***Metric (Question Answering)***: [raw metric file](https://huggingface.co/lmqg/mt5-small-dequad-qa/raw/main/eval/metric.first.answer.paragraph_question.answer.lmqg_qg_dequad.default.json) 
+
+|                  |   Score | Type    | Dataset                                                          |
+|:-----------------|--------:|:--------|:-----------------------------------------------------------------|
+| AnswerExactMatch |    0.45 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
+| AnswerF1Score    |    9.15 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
+| BERTScore        |   76.67 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
+| Bleu_1           |    5.35 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
+| Bleu_2           |    2.79 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
+| Bleu_3           |    1.7  | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
+| Bleu_4           |    1.1  | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
+| METEOR           |    7.61 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
+| MoverScore       |   52.97 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
+| ROUGE_L          |    5.42 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
+
+
+
+## Training hyperparameters
+
+The following hyperparameters were used during fine-tuning:
+ - dataset_path: lmqg/qg_dequad
+ - dataset_name: default
+ - input_types: ['paragraph_question']
+ - output_types: ['answer']
+ - prefix_types: None
+ - model: google/mt5-small
+ - max_length: 512
+ - max_length_output: 32
+ - epoch: 17
+ - batch: 16
+ - lr: 0.0005
+ - fp16: False
+ - random_seed: 1
+ - gradient_accumulation_steps: 4
+ - label_smoothing: 0.15
+
+The full configuration can be found at [fine-tuning config file](https://huggingface.co/lmqg/mt5-small-dequad-qa/raw/main/trainer_config.json).
+
+## Citation
+```
+@inproceedings{ushio-etal-2022-generative,
+    title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
+    author = "Ushio, Asahi  and
+        Alva-Manchego, Fernando  and
+        Camacho-Collados, Jose",
+    booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing",
+    month = dec,
+    year = "2022",
+    address = "Abu Dhabi, U.A.E.",
+    publisher = "Association for Computational Linguistics",
+}
+
+```

added_tokens.json

@@ -0,0 +1,3 @@
+{
+  "<hl>": 250100
+}

config.json

@@ -0,0 +1,32 @@
+{
+  "_name_or_path": "lmqg_output/mt5-small-dequad-qa/model_woixzh/epoch_16",
+  "add_prefix": false,
+  "architectures": [
+    "MT5ForConditionalGeneration"
+  ],
+  "d_ff": 1024,
+  "d_kv": 64,
+  "d_model": 512,
+  "decoder_start_token_id": 0,
+  "dense_act_fn": "gelu_new",
+  "dropout_rate": 0.1,
+  "eos_token_id": 1,
+  "feed_forward_proj": "gated-gelu",
+  "initializer_factor": 1.0,
+  "is_encoder_decoder": true,
+  "is_gated_act": true,
+  "layer_norm_epsilon": 1e-06,
+  "model_type": "mt5",
+  "num_decoder_layers": 8,
+  "num_heads": 6,
+  "num_layers": 8,
+  "pad_token_id": 0,
+  "relative_attention_max_distance": 128,
+  "relative_attention_num_buckets": 32,
+  "tie_word_embeddings": false,
+  "tokenizer_class": "T5Tokenizer",
+  "torch_dtype": "float32",
+  "transformers_version": "4.26.1",
+  "use_cache": true,
+  "vocab_size": 250101
+}

eval/metric.first.answer.paragraph_question.answer.lmqg_qg_dequad.default.json

@@ -0,0 +1 @@
+{"validation": {"Bleu_1": 0.07512872709854927, "Bleu_2": 0.043255605555828774, "Bleu_3": 0.02716183737121781, "Bleu_4": 0.01774764706420649, "METEOR": 0.0996831245474814, "ROUGE_L": 0.07806377170411248, "BERTScore": 0.7802075362897828, "MoverScore": 0.5461554810597851, "AnswerF1Score": 13.114102788056485, "AnswerExactMatch": 0.8166969147005445}, "test": {"Bleu_1": 0.05346918971372991, "Bleu_2": 0.027924574434878457, "Bleu_3": 0.01704941950667792, "Bleu_4": 0.010964925591407815, "METEOR": 0.0761231505981623, "ROUGE_L": 0.05422856375529352, "BERTScore": 0.7667216142054695, "MoverScore": 0.5297000371946722, "AnswerF1Score": 9.145844100529114, "AnswerExactMatch": 0.4537205081669691}}

generation_config.json

@@ -0,0 +1,7 @@
+{
+  "_from_model_config": true,
+  "decoder_start_token_id": 0,
+  "eos_token_id": 1,
+  "pad_token_id": 0,
+  "transformers_version": "4.26.1"
+}

pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4f58b96531b25136be9b33127d1af811b2afaa068e8bf350eb9b9bc85bcff3df
+size 1200727429

special_tokens_map.json

@@ -0,0 +1,8 @@
+{
+  "additional_special_tokens": [
+    "<hl>"
+  ],
+  "eos_token": "</s>",
+  "pad_token": "<pad>",
+  "unk_token": "<unk>"
+}

spiece.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ef78f86560d809067d12bac6c09f19a462cb3af3f54d2b8acbba26e1433125d6
+size 4309802

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ff0d2a9b1e74c78117caaf355264121c1391aef3c28f883e132e87710411e3cf
+size 16315302

tokenizer_config.json

@@ -0,0 +1,12 @@
+{
+  "additional_special_tokens": null,
+  "eos_token": "</s>",
+  "extra_ids": 0,
+  "model_max_length": 1000000000000000019884624838656,
+  "name_or_path": "lmqg_output/mt5-small-dequad-qa/model_woixzh/epoch_16",
+  "pad_token": "<pad>",
+  "sp_model_kwargs": {},
+  "special_tokens_map_file": "/home/c.c2042013/.cache/huggingface/hub/models--google--mt5-small/snapshots/38f23af8ec210eb6c376d40e9c56bd25a80f195d/special_tokens_map.json",
+  "tokenizer_class": "T5Tokenizer",
+  "unk_token": "<unk>"
+}

trainer_config.json

@@ -0,0 +1 @@
+{"dataset_path": "lmqg/qg_dequad", "dataset_name": "default", "input_types": ["paragraph_question"], "output_types": ["answer"], "prefix_types": null, "model": "google/mt5-small", "max_length": 512, "max_length_output": 32, "epoch": 17, "batch": 16, "lr": 0.0005, "fp16": false, "random_seed": 1, "gradient_accumulation_steps": 4, "label_smoothing": 0.15}