asahi417 commited on
Commit
c28762a
1 Parent(s): 87b276c

commit files to HF hub

Browse files
README.md ADDED
@@ -0,0 +1,138 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+
2
+ ---
3
+ license: cc-by-4.0
4
+ metrics:
5
+ - bleu4
6
+ - meteor
7
+ - rouge-l
8
+ - bertscore
9
+ - moverscore
10
+ language: ja
11
+ datasets:
12
+ - lmqg/qg_jaquad
13
+ pipeline_tag: text2text-generation
14
+ tags:
15
+ - question generation
16
+ widget:
17
+ - text: "ゾフィーは貴族出身ではあったが王族出身ではなく、ハプスブルク家の皇位継承者であるフランツ・フェルディナントとの結婚は貴賤結婚となった。皇帝フランツ・ヨーゼフは、2人の間に生まれた子孫が皇位を継がないことを条件として結婚を承認していた。視察が予定されている<hl>6月28日<hl>は2人の14回目の結婚記念日であった。"
18
+ example_title: "Question Generation Example 1"
19
+ - text: "『クマのプーさん』の物語はまず1925年12月24日、『イヴニング・ニュース』紙のクリスマス特集号に短編作品として掲載された。これは『クマのプーさん』の第一章にあたる作品で、このときだけは挿絵をJ.H.ダウドがつけている。その後作品10話と挿絵が整い、刊行に先駆けて「イーヨーの誕生日」のエピソードが1926年8月に『ロイヤルマガジン』に、同年10月9日に『ニューヨーク・イヴニング・ポスト』紙に掲載されたあと、同年10月14日にロンドンで(メシュエン社)、21日にニューヨークで(ダットン社)『クマのプーさん』が刊行された。前著『ぼくたちがとてもちいさかったころ』がすでに大きな成功を収めていたこともあり、イギリスでは初版は前著の7倍に当たる<hl>3万5000部<hl>が刷られた。他方のアメリカでもその年の終わりまでに15万部を売り上げている。ただし依然として人気のあった前著を売り上げで追い越すには数年の時間を要した。"
20
+ example_title: "Question Generation Example 2"
21
+ - text: "フェルメールの作品では、17世紀のオランダの画家、ヨハネス・フェルメールの作品について記述する。フェルメールの作品は、疑問作も含め<hl>30数点<hl>しか現存しない。現存作品はすべて油彩画で、版画、下絵、素描などは残っていない。以下には若干の疑問作も含め、37点の基本情報を記載し、各作品について略説する。収録順序、推定制作年代は『「フェルメールとその時代展」図録』による。日本語の作品タイトルについては、上掲図録のほか、『「フェルメール展」図録』、『フェルメール生涯と作品』による。便宜上「1650年代の作品」「1660年代の作品」「1670年代の作品」の3つの節を設けたが、フェルメールの作品には制作年代不明のものが多く、推定制作年代については研究者や文献によって若干の差がある。"
22
+ example_title: "Question Generation Example 3"
23
+ model-index:
24
+ - name: vocabtrimmer/mt5-small-trimmed-ja-5000-jaquad-qg
25
+ results:
26
+ - task:
27
+ name: Text2text Generation
28
+ type: text2text-generation
29
+ dataset:
30
+ name: lmqg/qg_jaquad
31
+ type: default
32
+ args: default
33
+ metrics:
34
+ - name: BLEU4 (Question Generation)
35
+ type: bleu4_question_generation
36
+ value: 25.03
37
+ - name: ROUGE-L (Question Generation)
38
+ type: rouge_l_question_generation
39
+ value: 47.09
40
+ - name: METEOR (Question Generation)
41
+ type: meteor_question_generation
42
+ value: 26.62
43
+ - name: BERTScore (Question Generation)
44
+ type: bertscore_question_generation
45
+ value: 79.76
46
+ - name: MoverScore (Question Generation)
47
+ type: moverscore_question_generation
48
+ value: 57.12
49
+ ---
50
+
51
+ # Model Card of `vocabtrimmer/mt5-small-trimmed-ja-5000-jaquad-qg`
52
+ This model is fine-tuned version of [vocabtrimmer/mt5-small-trimmed-ja-5000](https://huggingface.co/vocabtrimmer/mt5-small-trimmed-ja-5000) for question generation task on the [lmqg/qg_jaquad](https://huggingface.co/datasets/lmqg/qg_jaquad) (dataset_name: default) via [`lmqg`](https://github.com/asahi417/lm-question-generation).
53
+
54
+
55
+ ### Overview
56
+ - **Language model:** [vocabtrimmer/mt5-small-trimmed-ja-5000](https://huggingface.co/vocabtrimmer/mt5-small-trimmed-ja-5000)
57
+ - **Language:** ja
58
+ - **Training data:** [lmqg/qg_jaquad](https://huggingface.co/datasets/lmqg/qg_jaquad) (default)
59
+ - **Online Demo:** [https://autoqg.net/](https://autoqg.net/)
60
+ - **Repository:** [https://github.com/asahi417/lm-question-generation](https://github.com/asahi417/lm-question-generation)
61
+ - **Paper:** [https://arxiv.org/abs/2210.03992](https://arxiv.org/abs/2210.03992)
62
+
63
+ ### Usage
64
+ - With [`lmqg`](https://github.com/asahi417/lm-question-generation#lmqg-language-model-for-question-generation-)
65
+ ```python
66
+ from lmqg import TransformersQG
67
+
68
+ # initialize model
69
+ model = TransformersQG(language="ja", model="vocabtrimmer/mt5-small-trimmed-ja-5000-jaquad-qg")
70
+
71
+ # model prediction
72
+ questions = model.generate_q(list_context="フェルメールの作品では、17世紀の���ランダの画家、ヨハネス・フェルメールの作品について記述する。フェルメールの作品は、疑問作も含め30数点しか現存しない。現存作品はすべて油彩画で、版画、下絵、素描などは残っていない。", list_answer="30数点")
73
+
74
+ ```
75
+
76
+ - With `transformers`
77
+ ```python
78
+ from transformers import pipeline
79
+
80
+ pipe = pipeline("text2text-generation", "vocabtrimmer/mt5-small-trimmed-ja-5000-jaquad-qg")
81
+ output = pipe("ゾフィーは貴族出身ではあったが王族出身ではなく、ハプスブルク家の皇位継承者であるフランツ・フェルディナントとの結婚は貴賤結婚となった。皇帝フランツ・ヨーゼフは、2人の間に生まれた子孫が皇位を継がないことを条件として結婚を承認していた。視察が予定されている<hl>6月28日<hl>は2人の14回目の結婚記念日であった。")
82
+
83
+ ```
84
+
85
+ ## Evaluation
86
+
87
+
88
+ - ***Metric (Question Generation)***: [raw metric file](https://huggingface.co/vocabtrimmer/mt5-small-trimmed-ja-5000-jaquad-qg/raw/main/eval/metric.first.sentence.paragraph_answer.question.lmqg_qg_jaquad.default.json)
89
+
90
+ | | Score | Type | Dataset |
91
+ |:-----------|--------:|:--------|:-----------------------------------------------------------------|
92
+ | BERTScore | 79.76 | default | [lmqg/qg_jaquad](https://huggingface.co/datasets/lmqg/qg_jaquad) |
93
+ | Bleu_1 | 51.21 | default | [lmqg/qg_jaquad](https://huggingface.co/datasets/lmqg/qg_jaquad) |
94
+ | Bleu_2 | 38.74 | default | [lmqg/qg_jaquad](https://huggingface.co/datasets/lmqg/qg_jaquad) |
95
+ | Bleu_3 | 30.76 | default | [lmqg/qg_jaquad](https://huggingface.co/datasets/lmqg/qg_jaquad) |
96
+ | Bleu_4 | 25.03 | default | [lmqg/qg_jaquad](https://huggingface.co/datasets/lmqg/qg_jaquad) |
97
+ | METEOR | 26.62 | default | [lmqg/qg_jaquad](https://huggingface.co/datasets/lmqg/qg_jaquad) |
98
+ | MoverScore | 57.12 | default | [lmqg/qg_jaquad](https://huggingface.co/datasets/lmqg/qg_jaquad) |
99
+ | ROUGE_L | 47.09 | default | [lmqg/qg_jaquad](https://huggingface.co/datasets/lmqg/qg_jaquad) |
100
+
101
+
102
+
103
+ ## Training hyperparameters
104
+
105
+ The following hyperparameters were used during fine-tuning:
106
+ - dataset_path: lmqg/qg_jaquad
107
+ - dataset_name: default
108
+ - input_types: paragraph_answer
109
+ - output_types: question
110
+ - prefix_types: None
111
+ - model: vocabtrimmer/mt5-small-trimmed-ja-5000
112
+ - max_length: 512
113
+ - max_length_output: 32
114
+ - epoch: 16
115
+ - batch: 16
116
+ - lr: 0.001
117
+ - fp16: False
118
+ - random_seed: 1
119
+ - gradient_accumulation_steps: 4
120
+ - label_smoothing: 0.15
121
+
122
+ The full configuration can be found at [fine-tuning config file](https://huggingface.co/vocabtrimmer/mt5-small-trimmed-ja-5000-jaquad-qg/raw/main/trainer_config.json).
123
+
124
+ ## Citation
125
+ ```
126
+ @inproceedings{ushio-etal-2022-generative,
127
+ title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
128
+ author = "Ushio, Asahi and
129
+ Alva-Manchego, Fernando and
130
+ Camacho-Collados, Jose",
131
+ booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing",
132
+ month = dec,
133
+ year = "2022",
134
+ address = "Abu Dhabi, U.A.E.",
135
+ publisher = "Association for Computational Linguistics",
136
+ }
137
+
138
+ ```
eval/metric.first.answer.paragraph_answer.question.lmqg_qg_jaquad.default.json ADDED
@@ -0,0 +1 @@
 
 
1
+ {"validation": {"Bleu_1": 0.48566049523812826, "Bleu_2": 0.3581332164830579, "Bleu_3": 0.2783446943023455, "Bleu_4": 0.22242543492677277}, "test": {"Bleu_1": 0.5022563614112533, "Bleu_2": 0.3792337570159225, "Bleu_3": 0.3002817315632063, "Bleu_4": 0.24415034275988984}}
eval/metric.first.sentence.paragraph_answer.question.lmqg_qg_jaquad.default.json ADDED
@@ -0,0 +1 @@
 
 
1
+ {"validation": {"Bleu_1": 0.5195141924988176, "Bleu_2": 0.38895274040708794, "Bleu_3": 0.3053114568186856, "Bleu_4": 0.24578783296290682, "METEOR": 0.26304930472688987, "ROUGE_L": 0.46903510557030687, "BERTScore": 0.7951569766817295, "MoverScore": 0.5704806820621883}, "test": {"Bleu_1": 0.512085858138982, "Bleu_2": 0.3874353639911285, "Bleu_3": 0.30755190542549293, "Bleu_4": 0.25031353805255235, "METEOR": 0.2662494221790476, "ROUGE_L": 0.470897511423746, "BERTScore": 0.7975981438097148, "MoverScore": 0.5711589192777745}}
eval/samples.test.hyp.paragraph_answer.question.lmqg_qg_jaquad.default.txt ADDED
The diff for this file is too large to render. See raw diff
 
eval/samples.validation.hyp.paragraph_answer.question.lmqg_qg_jaquad.default.txt ADDED
The diff for this file is too large to render. See raw diff