Tilo Michel

examples with prefix + eos

61f6573 almost 2 years ago

No virus

6.29 kB

	---
	license: mit
	widget:
	- text: "generate question: KMI ist eine Variante des allgemeinen Bachelors Informatik und damit zu ca. 80% identisch mit dem allgemeinen Bachelor Informatik, d.h. auch diese Variante ist ein Informatikstudium mit einem hohen Programmieranteil. Der Studienschwerpunkt adressiert insbesondere die heute geforderten Soft-Skills, die für ein Arbeiten im Team unerlässlich sind. Des Weiteren lernen Sie das Interaktionsdesign Ihrer Anwendungen kreativ zu optimieren und ihr Auge für eine gelungene Gestaltung zu schulen. In jedem Semester werden Akzente gesetzt: Im ersten und dritten Semester haben Sie beispielsweise ein Projekt anstelle eher technisch ausgerichteter Module. Die Hälfte Ihrer Wahlpflichtmodule absolvieren Sie am Fachbereich Media. </s>"
	example_title: "Question generation 1"
	- text: "generate question: SARS-CoV-2 zirkuliert weiterhin in der Bevölkerung und kann sich überall dort verbreiten, wo Menschen zusammenkommen. Auch wenn in den Sommermonaten die Fallzahlen saisonbedingt niedriger sind als in der kalten Jahreszeit, empfiehlt das RKI nach wie vor, die AHA+A+L-Regeln einzuhalten (Abstand halten, Hygieneregeln beachten, Alltag mit Maske, Coronawarnapp nutzen, Lüften), bei Atemwegssymptomen zu Hause zu bleiben und sich testen zu lassen, und auf einen vollständigen Impfschutz gegen COVID-19 zu achten. </s>"
	example_title: "Question generation 2"
	- text: "generate question: Ballaststoffe haben eine Reihe von Wirkungen auf den Körper, vor allem auf die Verdauung, z. B. Einfluss auf die Transitzeit der Nahrung in Magen und Darm, Masse und Konsistenz des Stuhls sowie Häufigkeit der Darmentleerung, Sättigungswirkung, veränderte Nährstoffabsorption und präbiotische Wirkung. Je nach Art der Ballaststoffe und nach Abschnitt im Verdauungstrakt kann es zu unterschiedlichen Effekten kommen. Bei der Fermentation von Ballaststoffen entstehen zudem verschiedene kurzkettige Fettsäuren, die dem Körper teilweise als Energiequelle zur Verfügung stehen. Schätzungsweise liefern die kurzkettigen Fettsäuren 8,4 kJ (2,0 kcal) pro g Ballaststoff. </s>"
	example_title: "Question generation 3"
	inference:
	parameters:
	max_length: 128
	num_beams: 4
	length_penalty: 1.5
	no_repeat_ngram_size: 3
	early_stopping: True
	language:
	- de
	tags:
	- question generation
	datasets:
	- deepset/germanquad
	metrics:
	- sacrebleu
	- bleu
	- rouge-l
	- meteor
	- bertscore
	model-index:
	- name: tilomichel/mT5-base-GermanQuAD-e2e-qg
	results:
	- task:
	type: question-generation
	name: Question generation
	dataset:
	type: xquad
	name: XQuAD (de)
	split: de
	metrics:
	- type: sacrebleu
	value: 1.72837804716791
	name: BLEU Score
	args:
	lowercase: true
	verified: false
	- type: sacrebleu
	value: 49.210584834334
	name: BLEU-1
	args:
	lowercase: true
	verified: false
	- type: sacrebleu
	value: 16.960300681230915
	name: BLEU-2
	args:
	lowercase: true
	verified: false
	- type: sacrebleu
	value: 7.144635299975106
	name: BLEU-3
	args:
	lowercase: true
	verified: false
	- type: sacrebleu
	value: 3.230076780513635
	name: BLEU-4
	args:
	lowercase: true
	verified: false
	- type: rouge
	name: ROUGE-L (f-measure)
	value: 0.171130005590873
	args:
	use_aggregator: true
	use_stemmer: false
	verified: false
	- type: meteor
	value: 0.0835049103331918
	name: METEOR
	args:
	language: de
	verified: false
	- type: bertscore
	value: 0.331940584507538
	name: BERTScore (F1)
	args:
	rescale_with_baseline: true
	verified: false
	---

	# mT5-base finetuned on the GermanQuAD dataset for answer-agnostic question generation

	This model is a finetuned [mT5-base](https://arxiv.org/abs/2010.11934) model for the task of answer-agnostic (or end-to-end) question generation. The approach from [Lopez et al.](https://arxiv.org/abs/2005.01107) was used called All questions per line (AQPL). This means a paragraph is provided as input and multiple questions are generated from it. Other models already tested this approach with the T5 model for [English](https://huggingface.co/valhalla/t5-base-e2e-qg) and [German](https://huggingface.co/dehio/german-qg-t5-e2e-quad).

	For finetuning this model only used the [GermanQuAD dataset from deepset](https://www.deepset.ai/germanquad) was used. The dataset was modified and filtered with scripts that can be found in [another repository](https://github.com/TiloMichel/textgen-for-chatbot-training-german/tree/main/1_data_preparation_and_exploration).

	## Training, test and evaluation data
	For training and test the original split from GermanQuAD was used. As evaluation dataset the German split of the [XQuAD](https://github.com/deepmind/xquad) dataset was used.

	## Training hyperparameters
	The training parameters are provided in JSON and can be used with a training script provided in a [repository](https://github.com/TiloMichel/textgen-for-chatbot-training-german/tree/main/2_training)

	```JS
	{
	"model_name_or_path": "google/mt5-base",
	"output_dir": "mt5-base-germanquad-e2e-qg",
	"overwrite_output_dir": true,
	"cache_dir": "model-cache",
	"dataset_dir": "e2e-qg-germanquad",
	"preprocessing_num_workers": 20,
	"max_source_length": 1024,
	"max_target_length": 128,
	"val_max_target_length": 128,
	"pad_to_max_length": true,
	"seed": 42,
	"do_train": true,
	"gradient_accumulation_steps": 64,
	"per_device_train_batch_size": 1,
	"per_device_eval_batch_size": 1,
	"learning_rate": 1e-4,
	"num_train_epochs": 10,
	"evaluation_strategy": "epoch",
	"logging_strategy": "epoch",
	"save_strategy": "epoch",
	"save_total_limit": 3,
	"dataloader_num_workers": 8,
	"ddp_find_unused_parameters": false
	}
	```

	## Training results
	The evaluation is reported on XQuAD. The implementations and configurations can be found in [another repository](https://github.com/TiloMichel/textgen-for-chatbot-training-german/tree/main/3_evaluation).