Hugging Face's logo

Holmeister
/
TURNA_TSATweets_cond_gen_no_instruction

Text2Text Generation
Transformers
Safetensors
mt5
Generated from Trainer
Inference Endpoints
Model card Files Community
Holmeister commited on
Commit
49fa9cf
•
1 Parent(s): 47ae4c8

End of training

Browse files
Files changed (7) hide show
  1. README.md +78 -0
  2. config.json +32 -0
  3. generation_config.json +8 -0
  4. model.safetensors +3 -0
  5. predictions.csv +201 -0
  6. results.json +1 -0
  7. training_args.bin +3 -0
README.md ADDED
@@ -0,0 +1,78 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: other
3
+ base_model: boun-tabi-LMG/TURNA
4
+ tags:
5
+ - generated_from_trainer
6
+ metrics:
7
+ - rouge
8
+ - bleu
9
+ model-index:
10
+ - name: TURNA_TSATweets_cond_gen_no_instruction
11
+ results: []
12
+ ---
13
+
14
+ <!-- This model card has been generated automatically according to the information the Trainer had access to. You
15
+ should probably proofread and complete it, then remove this comment. -->
16
+
17
+ # TURNA_TSATweets_cond_gen_no_instruction
18
+
19
+ This model is a fine-tuned version of [boun-tabi-LMG/TURNA](https://huggingface.co/boun-tabi-LMG/TURNA) on an unknown dataset.
20
+ It achieves the following results on the evaluation set:
21
+ - Loss: 0.0704
22
+ - Rouge1: 0.705
23
+ - Rouge2: 0.095
24
+ - Rougel: 0.705
25
+ - Rougelsum: 0.705
26
+ - Bleu: 0.0
27
+ - Precisions: [0.705, 0.0, 0.0, 0.0]
28
+ - Brevity Penalty: 1.0
29
+ - Length Ratio: 1.0
30
+ - Translation Length: 200
31
+ - Reference Length: 200
32
+ - Meteor: 0.3525
33
+ - Score: 29.5
34
+ - Num Edits: 59
35
+ - Ref Length: 200.0
36
+
37
+ ## Model description
38
+
39
+ More information needed
40
+
41
+ ## Intended uses & limitations
42
+
43
+ More information needed
44
+
45
+ ## Training and evaluation data
46
+
47
+ More information needed
48
+
49
+ ## Training procedure
50
+
51
+ ### Training hyperparameters
52
+
53
+ The following hyperparameters were used during training:
54
+ - learning_rate: 5e-05
55
+ - train_batch_size: 32
56
+ - eval_batch_size: 32
57
+ - seed: 42
58
+ - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
59
+ - lr_scheduler_type: linear
60
+ - num_epochs: 10
61
+
62
+ ### Training results
63
+
64
+ | Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | Bleu | Precisions | Brevity Penalty | Length Ratio | Translation Length | Reference Length | Meteor | Score | Num Edits | Ref Length |
65
+ |:-------------:|:-----:|:----:|:---------------:|:------:|:------:|:------:|:---------:|:----:|:-----------------------------------:|:---------------:|:------------:|:------------------:|:----------------:|:------:|:-------:|:---------:|:----------:|
66
+ | No log | 0.5 | 82 | 0.0794 | 0.6569 | 0.0586 | 0.6552 | 0.6569 | 0.0 | [0.656896551724138, 0.0, 0.0, 0.0] | 1.0 | 1.0 | 580 | 580 | 0.3284 | 34.3103 | 199 | 580.0 |
67
+ | 1.7625 | 1.0 | 164 | 0.0707 | 0.6897 | 0.0638 | 0.6897 | 0.6879 | 0.0 | [0.6896551724137931, 0.0, 0.0, 0.0] | 1.0 | 1.0 | 580 | 580 | 0.3448 | 31.0345 | 180 | 580.0 |
68
+ | 1.7625 | 1.5 | 246 | 0.0778 | 0.7017 | 0.0284 | 0.7017 | 0.7 | 0.0 | [0.7017241379310345, 0.0, 0.0, 0.0] | 1.0 | 1.0 | 580 | 580 | 0.3509 | 29.8276 | 173 | 580.0 |
69
+ | 0.0921 | 2.0 | 328 | 0.0724 | 0.7259 | 0.0362 | 0.7241 | 0.7224 | 0.0 | [0.7241379310344828, 0.0, 0.0, 0.0] | 1.0 | 1.0 | 580 | 580 | 0.3621 | 27.5862 | 160 | 580.0 |
70
+ | 0.0921 | 2.5 | 410 | 0.0948 | 0.6845 | 0.1224 | 0.6828 | 0.6828 | 0.0 | [0.6827586206896552, 0.0, 0.0, 0.0] | 1.0 | 1.0 | 580 | 580 | 0.3414 | 31.7241 | 184 | 580.0 |
71
+
72
+
73
+ ### Framework versions
74
+
75
+ - Transformers 4.40.2
76
+ - Pytorch 2.2.1+cu121
77
+ - Datasets 2.19.1
78
+ - Tokenizers 0.19.1
config.json ADDED
@@ -0,0 +1,32 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "boun-tabi-LMG/TURNA",
3
+ "architectures": [
4
+ "T5ForConditionalGeneration"
5
+ ],
6
+ "classifier_dropout": 0.0,
7
+ "d_ff": 2816,
8
+ "d_kv": 64,
9
+ "d_model": 1024,
10
+ "decoder_start_token_id": 0,
11
+ "dense_act_fn": "gelu_new",
12
+ "dropout_rate": 0.1,
13
+ "eos_token_id": 1,
14
+ "feed_forward_proj": "gated-gelu",
15
+ "initializer_factor": 1.0,
16
+ "is_encoder_decoder": true,
17
+ "is_gated_act": true,
18
+ "layer_norm_epsilon": 1e-06,
19
+ "model_type": "t5",
20
+ "num_decoder_layers": 36,
21
+ "num_heads": 16,
22
+ "num_layers": 36,
23
+ "output_past": true,
24
+ "pad_token_id": 0,
25
+ "relative_attention_max_distance": 128,
26
+ "relative_attention_num_buckets": 32,
27
+ "tie_word_embeddings": false,
28
+ "torch_dtype": "float32",
29
+ "transformers_version": "4.40.2",
30
+ "use_cache": true,
31
+ "vocab_size": 32128
32
+ }
generation_config.json ADDED
@@ -0,0 +1,8 @@
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "decoder_start_token_id": 0,
3
+ "eos_token_id": 1,
4
+ "max_length": 80,
5
+ "max_new_tokens": 10,
6
+ "pad_token_id": 0,
7
+ "transformers_version": "4.40.2"
8
+ }
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:a0bf4ff4b2d3be81ef91495c45067b6b8f7467c99269d11019950aac6ecf105b
3
+ size 4567400768
predictions.csv ADDED
@@ -0,0 +1,201 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ DecodedPrediction,DecodedLabel,Prediction,Label
2
+ negatif,negatif,negatif,negatif
3
+ negatif,nötr,negatif,nötr
4
+ negatif,negatif,negatif,negatif
5
+ negatif,negatif,negatif,negatif
6
+ pozitif,pozitif,pozitif,pozitif
7
+ negatif,negatif,negatif,negatif
8
+ negatif,negatif,negatif,negatif
9
+ negatif,negatif,negatif,negatif
10
+ negatif,negatif,negatif,negatif
11
+ pozitif,negatif,pozitif,negatif
12
+ nötr,pozitif,nötr,pozitif
13
+ negatif,negatif,negatif,negatif
14
+ negatif,negatif,negatif,negatif
15
+ negatif,negatif,negatif,negatif
16
+ negatif,nötr,negatif,nötr
17
+ pozitif,negatif,pozitif,negatif
18
+ negatif,negatif,negatif,negatif
19
+ pozitif,pozitif,pozitif,pozitif
20
+ negatif,negatif,negatif,negatif
21
+ negatif,negatif,negatif,negatif
22
+ negatif,negatif,negatif,negatif
23
+ negatif,pozitif,negatif,pozitif
24
+ nötr,nötr,nötr,nötr
25
+ negatif,negatif,negatif,negatif
26
+ nötr,pozitif,nötr,pozitif
27
+ negatif,nötr,negatif,nötr
28
+ negatif,negatif,negatif,negatif
29
+ pozitif,pozitif,pozitif,pozitif
30
+ negatif,nötr,negatif,nötr
31
+ negatif,nötr,negatif,nötr
32
+ pozitif,pozitif,pozitif,pozitif
33
+ nötr,pozitif,nötr,pozitif
34
+ pozitif,nötr,pozitif,nötr
35
+ nötr,negatif,nötr,negatif
36
+ negatif,negatif,negatif,negatif
37
+ negatif,negatif,negatif,negatif
38
+ negatif,nötr,negatif,nötr
39
+ negatif,negatif,negatif,negatif
40
+ negatif,pozitif,negatif,pozitif
41
+ negatif,negatif,negatif,negatif
42
+ negatif,negatif,negatif,negatif
43
+ negatif,negatif,negatif,negatif
44
+ pozitif,negatif,pozitif,negatif
45
+ negatif,nötr,negatif,nötr
46
+ pozitif,pozitif,pozitif,pozitif
47
+ nötr,nötr,nötr,nötr
48
+ pozitif,pozitif,pozitif,pozitif
49
+ negatif,nötr,negatif,nötr
50
+ negatif,negatif,negatif,negatif
51
+ negatif,negatif,negatif,negatif
52
+ negatif,negatif,negatif,negatif
53
+ pozitif,negatif,pozitif,negatif
54
+ negatif,negatif,negatif,negatif
55
+ nötr,nötr,nötr,nötr
56
+ nötr,nötr,nötr,nötr
57
+ pozitif,pozitif,pozitif,pozitif
58
+ negatif,nötr,negatif,nötr
59
+ nötr,nötr,nötr,nötr
60
+ negatif,negatif,negatif,negatif
61
+ negatif,pozitif,negatif,pozitif
62
+ pozitif,nötr,pozitif,nötr
63
+ negatif,negatif,negatif,negatif
64
+ nötr,pozitif,nötr,pozitif
65
+ pozitif,pozitif,pozitif,pozitif
66
+ negatif,negatif,negatif,negatif
67
+ nötr,nötr,nötr,nötr
68
+ negatif,nötr,negatif,nötr
69
+ negatif,nötr,negatif,nötr
70
+ negatif,negatif,negatif,negatif
71
+ negatif,negatif,negatif,negatif
72
+ negatif,nötr,negatif,nötr
73
+ negatif,pozitif,negatif,pozitif
74
+ negatif,negatif,negatif,negatif
75
+ negatif,negatif,negatif,negatif
76
+ negatif,nötr,negatif,nötr
77
+ negatif,negatif,negatif,negatif
78
+ nötr,negatif,nötr,negatif
79
+ negatif,negatif,negatif,negatif
80
+ negatif,negatif,negatif,negatif
81
+ negatif,negatif,negatif,negatif
82
+ negatif,nötr,negatif,nötr
83
+ nötr,nötr,nötr,nötr
84
+ negatif,nötr,negatif,nötr
85
+ negatif,negatif,negatif,negatif
86
+ negatif,negatif,negatif,negatif
87
+ pozitif,pozitif,pozitif,pozitif
88
+ negatif,negatif,negatif,negatif
89
+ negatif,nötr,negatif,nötr
90
+ negatif,nötr,negatif,nötr
91
+ negatif,negatif,negatif,negatif
92
+ negatif,negatif,negatif,negatif
93
+ negatif,negatif,negatif,negatif
94
+ pozitif,pozitif,pozitif,pozitif
95
+ negatif,negatif,negatif,negatif
96
+ negatif,negatif,negatif,negatif
97
+ nötr,nötr,nötr,nötr
98
+ negatif,negatif,negatif,negatif
99
+ nötr,negatif,nötr,negatif
100
+ negatif,negatif,negatif,negatif
101
+ negatif,negatif,negatif,negatif
102
+ negatif,negatif,negatif,negatif
103
+ negatif,negatif,negatif,negatif
104
+ pozitif,pozitif,pozitif,pozitif
105
+ pozitif,nötr,pozitif,nötr
106
+ negatif,negatif,negatif,negatif
107
+ negatif,pozitif,negatif,pozitif
108
+ negatif,negatif,negatif,negatif
109
+ negatif,nötr,negatif,nötr
110
+ negatif,negatif,negatif,negatif
111
+ negatif,negatif,negatif,negatif
112
+ negatif,negatif,negatif,negatif
113
+ negatif,pozitif,negatif,pozitif
114
+ negatif,negatif,negatif,negatif
115
+ negatif,nötr,negatif,nötr
116
+ negatif,negatif,negatif,negatif
117
+ negatif,negatif,negatif,negatif
118
+ negatif,negatif,negatif,negatif
119
+ nötr,negatif,nötr,negatif
120
+ pozitif,negatif,pozitif,negatif
121
+ negatif,negatif,negatif,negatif
122
+ nötr,nötr,nötr,nötr
123
+ negatif,negatif,negatif,negatif
124
+ negatif,nötr,negatif,nötr
125
+ nötr,nötr,nötr,nötr
126
+ nötr,nötr,nötr,nötr
127
+ pozitif,pozitif,pozitif,pozitif
128
+ nötr,nötr,nötr,nötr
129
+ negatif,negatif,negatif,negatif
130
+ nötr,pozitif,nötr,pozitif
131
+ negatif,negatif,negatif,negatif
132
+ pozitif,pozitif,pozitif,pozitif
133
+ negatif,pozitif,negatif,pozitif
134
+ negatif,nötr,negatif,nötr
135
+ negatif,nötr,negatif,nötr
136
+ negatif,negatif,negatif,negatif
137
+ negatif,nötr,negatif,nötr
138
+ nötr,nötr,nötr,nötr
139
+ negatif,negatif,negatif,negatif
140
+ negatif,negatif,negatif,negatif
141
+ negatif,negatif,negatif,negatif
142
+ negatif,negatif,negatif,negatif
143
+ negatif,negatif,negatif,negatif
144
+ negatif,nötr,negatif,nötr
145
+ pozitif,pozitif,pozitif,pozitif
146
+ negatif,negatif,negatif,negatif
147
+ negatif,negatif,negatif,negatif
148
+ negatif,negatif,negatif,negatif
149
+ negatif,negatif,negatif,negatif
150
+ negatif,negatif,negatif,negatif
151
+ pozitif,pozitif,pozitif,pozitif
152
+ negatif,negatif,negatif,negatif
153
+ pozitif,pozitif,pozitif,pozitif
154
+ negatif,negatif,negatif,negatif
155
+ negatif,negatif,negatif,negatif
156
+ pozitif,pozitif,pozitif,pozitif
157
+ negatif,negatif,negatif,negatif
158
+ negatif,negatif,negatif,negatif
159
+ pozitif,pozitif,pozitif,pozitif
160
+ negatif,negatif,negatif,negatif
161
+ negatif,negatif,negatif,negatif
162
+ nötr,nötr,nötr,n��tr
163
+ negatif,negatif,negatif,negatif
164
+ negatif,negatif,negatif,negatif
165
+ negatif,negatif,negatif,negatif
166
+ pozitif,pozitif,pozitif,pozitif
167
+ pozitif,pozitif,pozitif,pozitif
168
+ negatif,negatif,negatif,negatif
169
+ negatif,negatif,negatif,negatif
170
+ nötr,nötr,nötr,nötr
171
+ nötr,nötr,nötr,nötr
172
+ negatif,negatif,negatif,negatif
173
+ negatif,negatif,negatif,negatif
174
+ nötr,negatif,nötr,negatif
175
+ nötr,nötr,nötr,nötr
176
+ pozitif,pozitif,pozitif,pozitif
177
+ negatif,pozitif,negatif,pozitif
178
+ negatif,pozitif,negatif,pozitif
179
+ nötr,pozitif,nötr,pozitif
180
+ negatif,negatif,negatif,negatif
181
+ pozitif,pozitif,pozitif,pozitif
182
+ negatif,negatif,negatif,negatif
183
+ nötr,pozitif,nötr,pozitif
184
+ pozitif,pozitif,pozitif,pozitif
185
+ nötr,nötr,nötr,nötr
186
+ negatif,pozitif,negatif,pozitif
187
+ negatif,negatif,negatif,negatif
188
+ negatif,nötr,negatif,nötr
189
+ negatif,negatif,negatif,negatif
190
+ nötr,nötr,nötr,nötr
191
+ negatif,negatif,negatif,negatif
192
+ negatif,negatif,negatif,negatif
193
+ negatif,nötr,negatif,nötr
194
+ negatif,negatif,negatif,negatif
195
+ negatif,pozitif,negatif,pozitif
196
+ negatif,negatif,negatif,negatif
197
+ negatif,negatif,negatif,negatif
198
+ pozitif,pozitif,pozitif,pozitif
199
+ nötr,pozitif,nötr,pozitif
200
+ negatif,nötr,negatif,nötr
201
+ negatif,negatif,negatif,negatif
results.json ADDED
@@ -0,0 +1 @@
 
 
1
+ {"eval_loss": 0.07044728845357895, "eval_rouge1": 0.705, "eval_rouge2": 0.095, "eval_rougeL": 0.705, "eval_rougeLsum": 0.705, "eval_bleu": 0.0, "eval_precisions": [0.705, 0.0, 0.0, 0.0], "eval_brevity_penalty": 1.0, "eval_length_ratio": 1.0, "eval_translation_length": 200, "eval_reference_length": 200, "eval_meteor": 0.3525, "eval_score": 29.5, "eval_num_edits": 59, "eval_ref_length": 200.0, "eval_runtime": 3.551, "eval_samples_per_second": 56.322, "eval_steps_per_second": 1.971, "epoch": 2.5}
training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:3757ff76238b542272d6955b3b2b689a3ebf2c94e354fc0c06b18d6835385665
3
+ size 6904