elgeish commited on
Commit
11720b3
1 Parent(s): 5dbd6ee

upload files

Browse files
config.json ADDED
@@ -0,0 +1,69 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "elgeish/wav2vec2-large-lv60-timit-asr",
3
+ "activation_dropout": 0.1,
4
+ "apply_spec_augment": true,
5
+ "architectures": [
6
+ "Wav2Vec2ForCTC"
7
+ ],
8
+ "attention_dropout": 0.1,
9
+ "bos_token_id": 1,
10
+ "conv_bias": true,
11
+ "conv_dim": [
12
+ 512,
13
+ 512,
14
+ 512,
15
+ 512,
16
+ 512,
17
+ 512,
18
+ 512
19
+ ],
20
+ "conv_kernel": [
21
+ 10,
22
+ 3,
23
+ 3,
24
+ 3,
25
+ 3,
26
+ 2,
27
+ 2
28
+ ],
29
+ "conv_stride": [
30
+ 5,
31
+ 2,
32
+ 2,
33
+ 2,
34
+ 2,
35
+ 2,
36
+ 2
37
+ ],
38
+ "ctc_loss_reduction": "sum",
39
+ "ctc_zero_infinity": false,
40
+ "do_stable_layer_norm": true,
41
+ "eos_token_id": 2,
42
+ "feat_extract_activation": "gelu",
43
+ "feat_extract_dropout": 0.0,
44
+ "feat_extract_norm": "layer",
45
+ "feat_proj_dropout": 0.1,
46
+ "final_dropout": 0.1,
47
+ "gradient_checkpointing": false,
48
+ "hidden_act": "gelu",
49
+ "hidden_dropout": 0.1,
50
+ "hidden_dropout_prob": 0.1,
51
+ "hidden_size": 1024,
52
+ "initializer_range": 0.02,
53
+ "intermediate_size": 4096,
54
+ "layer_norm_eps": 1e-05,
55
+ "layerdrop": 0.1,
56
+ "mask_feature_length": 10,
57
+ "mask_feature_prob": 0.0,
58
+ "mask_time_length": 10,
59
+ "mask_time_prob": 0.05,
60
+ "model_type": "wav2vec2",
61
+ "num_attention_heads": 16,
62
+ "num_conv_pos_embedding_groups": 16,
63
+ "num_conv_pos_embeddings": 128,
64
+ "num_feat_extract_layers": 7,
65
+ "num_hidden_layers": 24,
66
+ "pad_token_id": 0,
67
+ "transformers_version": "4.4.0.dev0",
68
+ "vocab_size": 32
69
+ }
preprocessor_config.json ADDED
@@ -0,0 +1,8 @@
 
 
 
 
 
 
 
 
1
+ {
2
+ "do_normalize": true,
3
+ "feature_size": 1,
4
+ "padding_side": "right",
5
+ "padding_value": 0.0,
6
+ "return_attention_mask": true,
7
+ "sampling_rate": 16000
8
+ }
pytorch_model.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:24d33462a32e457df0bc7dbafddeec392f21c0c15eb61181f7fb38c7360ea1dc
3
+ size 1262059159
special_tokens_map.json ADDED
@@ -0,0 +1 @@
 
1
+ {"bos_token": "<s>", "eos_token": "</s>", "unk_token": "<unk>", "pad_token": "<pad>"}
tokenizer_config.json ADDED
@@ -0,0 +1 @@
 
1
+ {"unk_token": "<unk>", "bos_token": "<s>", "eos_token": "</s>", "pad_token": "<pad>", "do_lower_case": true, "word_delimiter_token": "|", "return_attention_mask": false, "do_normalize": true, "special_tokens_map_file": "special_tokens_map.json", "tokenizer_file": null, "name_or_path": "facebook/wav2vec2-large-lv60"}
trainer_state.json ADDED
@@ -0,0 +1,1716 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": null,
3
+ "best_model_checkpoint": null,
4
+ "epoch": 29.512554112554113,
5
+ "global_step": 8500,
6
+ "is_hyper_param_search": false,
7
+ "is_local_process_zero": true,
8
+ "is_world_process_zero": true,
9
+ "log_history": [
10
+ {
11
+ "epoch": 0.17,
12
+ "learning_rate": 8.333333333333334e-06,
13
+ "loss": 8.4908,
14
+ "step": 50
15
+ },
16
+ {
17
+ "epoch": 0.35,
18
+ "learning_rate": 1.6666666666666667e-05,
19
+ "loss": 8.1905,
20
+ "step": 100
21
+ },
22
+ {
23
+ "epoch": 0.35,
24
+ "eval_loss": 771.380126953125,
25
+ "eval_runtime": 237.9275,
26
+ "eval_samples_per_second": 7.061,
27
+ "eval_wer": 1.0,
28
+ "step": 100
29
+ },
30
+ {
31
+ "epoch": 0.52,
32
+ "learning_rate": 2.5e-05,
33
+ "loss": 6.0833,
34
+ "step": 150
35
+ },
36
+ {
37
+ "epoch": 0.69,
38
+ "learning_rate": 3.3333333333333335e-05,
39
+ "loss": 4.2899,
40
+ "step": 200
41
+ },
42
+ {
43
+ "epoch": 0.69,
44
+ "eval_loss": 315.0731506347656,
45
+ "eval_runtime": 181.0423,
46
+ "eval_samples_per_second": 9.28,
47
+ "eval_wer": 1.0,
48
+ "step": 200
49
+ },
50
+ {
51
+ "epoch": 0.87,
52
+ "learning_rate": 4.1666666666666665e-05,
53
+ "loss": 3.5966,
54
+ "step": 250
55
+ },
56
+ {
57
+ "epoch": 1.04,
58
+ "learning_rate": 5e-05,
59
+ "loss": 3.2533,
60
+ "step": 300
61
+ },
62
+ {
63
+ "epoch": 1.04,
64
+ "eval_loss": 284.96343994140625,
65
+ "eval_runtime": 179.8422,
66
+ "eval_samples_per_second": 9.342,
67
+ "eval_wer": 0.9928532160527762,
68
+ "step": 300
69
+ },
70
+ {
71
+ "epoch": 1.21,
72
+ "learning_rate": 5.833333333333333e-05,
73
+ "loss": 3.0363,
74
+ "step": 350
75
+ },
76
+ {
77
+ "epoch": 1.39,
78
+ "learning_rate": 6.666666666666667e-05,
79
+ "loss": 3.0043,
80
+ "step": 400
81
+ },
82
+ {
83
+ "epoch": 1.39,
84
+ "eval_loss": 280.4071044921875,
85
+ "eval_runtime": 180.8047,
86
+ "eval_samples_per_second": 9.292,
87
+ "eval_wer": 1.0,
88
+ "step": 400
89
+ },
90
+ {
91
+ "epoch": 1.56,
92
+ "learning_rate": 7.5e-05,
93
+ "loss": 2.9767,
94
+ "step": 450
95
+ },
96
+ {
97
+ "epoch": 1.73,
98
+ "learning_rate": 8.333333333333333e-05,
99
+ "loss": 2.9848,
100
+ "step": 500
101
+ },
102
+ {
103
+ "epoch": 1.73,
104
+ "eval_loss": 279.59625244140625,
105
+ "eval_runtime": 179.9553,
106
+ "eval_samples_per_second": 9.336,
107
+ "eval_wer": 1.0,
108
+ "step": 500
109
+ },
110
+ {
111
+ "epoch": 1.91,
112
+ "learning_rate": 9.166666666666667e-05,
113
+ "loss": 2.967,
114
+ "step": 550
115
+ },
116
+ {
117
+ "epoch": 2.08,
118
+ "learning_rate": 0.0001,
119
+ "loss": 3.0088,
120
+ "step": 600
121
+ },
122
+ {
123
+ "epoch": 2.08,
124
+ "eval_loss": 276.5469665527344,
125
+ "eval_runtime": 181.9549,
126
+ "eval_samples_per_second": 9.233,
127
+ "eval_wer": 1.0,
128
+ "step": 600
129
+ },
130
+ {
131
+ "epoch": 2.26,
132
+ "learning_rate": 0.00010833333333333334,
133
+ "loss": 2.945,
134
+ "step": 650
135
+ },
136
+ {
137
+ "epoch": 2.43,
138
+ "learning_rate": 0.00011666666666666667,
139
+ "loss": 2.9085,
140
+ "step": 700
141
+ },
142
+ {
143
+ "epoch": 2.43,
144
+ "eval_loss": 261.8099365234375,
145
+ "eval_runtime": 182.2193,
146
+ "eval_samples_per_second": 9.22,
147
+ "eval_wer": 1.0,
148
+ "step": 700
149
+ },
150
+ {
151
+ "epoch": 2.6,
152
+ "learning_rate": 0.000125,
153
+ "loss": 2.6998,
154
+ "step": 750
155
+ },
156
+ {
157
+ "epoch": 2.78,
158
+ "learning_rate": 0.00013333333333333334,
159
+ "loss": 2.0025,
160
+ "step": 800
161
+ },
162
+ {
163
+ "epoch": 2.78,
164
+ "eval_loss": 113.09307098388672,
165
+ "eval_runtime": 182.7306,
166
+ "eval_samples_per_second": 9.194,
167
+ "eval_wer": 0.919392523364486,
168
+ "step": 800
169
+ },
170
+ {
171
+ "epoch": 2.95,
172
+ "learning_rate": 0.00014166666666666668,
173
+ "loss": 1.3056,
174
+ "step": 850
175
+ },
176
+ {
177
+ "epoch": 3.12,
178
+ "learning_rate": 0.00015,
179
+ "loss": 0.9594,
180
+ "step": 900
181
+ },
182
+ {
183
+ "epoch": 3.12,
184
+ "eval_loss": 48.241703033447266,
185
+ "eval_runtime": 182.3931,
186
+ "eval_samples_per_second": 9.211,
187
+ "eval_wer": 0.44193238042880706,
188
+ "step": 900
189
+ },
190
+ {
191
+ "epoch": 3.3,
192
+ "learning_rate": 0.00015833333333333332,
193
+ "loss": 0.7557,
194
+ "step": 950
195
+ },
196
+ {
197
+ "epoch": 3.47,
198
+ "learning_rate": 0.00016666666666666666,
199
+ "loss": 0.6721,
200
+ "step": 1000
201
+ },
202
+ {
203
+ "epoch": 3.47,
204
+ "eval_loss": 36.373294830322266,
205
+ "eval_runtime": 182.5274,
206
+ "eval_samples_per_second": 9.204,
207
+ "eval_wer": 0.3460005497526113,
208
+ "step": 1000
209
+ },
210
+ {
211
+ "epoch": 3.64,
212
+ "learning_rate": 0.000175,
213
+ "loss": 0.5788,
214
+ "step": 1050
215
+ },
216
+ {
217
+ "epoch": 3.82,
218
+ "learning_rate": 0.00018333333333333334,
219
+ "loss": 0.5235,
220
+ "step": 1100
221
+ },
222
+ {
223
+ "epoch": 3.82,
224
+ "eval_loss": 29.015974044799805,
225
+ "eval_runtime": 182.315,
226
+ "eval_samples_per_second": 9.215,
227
+ "eval_wer": 0.2875893347993403,
228
+ "step": 1100
229
+ },
230
+ {
231
+ "epoch": 3.99,
232
+ "learning_rate": 0.00019166666666666667,
233
+ "loss": 0.5232,
234
+ "step": 1150
235
+ },
236
+ {
237
+ "epoch": 4.17,
238
+ "learning_rate": 0.0002,
239
+ "loss": 0.4547,
240
+ "step": 1200
241
+ },
242
+ {
243
+ "epoch": 4.17,
244
+ "eval_loss": 26.849903106689453,
245
+ "eval_runtime": 181.8627,
246
+ "eval_samples_per_second": 9.238,
247
+ "eval_wer": 0.26580538757559097,
248
+ "step": 1200
249
+ },
250
+ {
251
+ "epoch": 4.34,
252
+ "learning_rate": 0.00020833333333333335,
253
+ "loss": 0.4091,
254
+ "step": 1250
255
+ },
256
+ {
257
+ "epoch": 4.51,
258
+ "learning_rate": 0.00021666666666666668,
259
+ "loss": 0.4003,
260
+ "step": 1300
261
+ },
262
+ {
263
+ "epoch": 4.51,
264
+ "eval_loss": 24.326810836791992,
265
+ "eval_runtime": 180.904,
266
+ "eval_samples_per_second": 9.287,
267
+ "eval_wer": 0.23735568993952721,
268
+ "step": 1300
269
+ },
270
+ {
271
+ "epoch": 4.69,
272
+ "learning_rate": 0.00022500000000000002,
273
+ "loss": 0.3822,
274
+ "step": 1350
275
+ },
276
+ {
277
+ "epoch": 4.86,
278
+ "learning_rate": 0.00023333333333333333,
279
+ "loss": 0.3476,
280
+ "step": 1400
281
+ },
282
+ {
283
+ "epoch": 4.86,
284
+ "eval_loss": 22.954877853393555,
285
+ "eval_runtime": 182.9264,
286
+ "eval_samples_per_second": 9.184,
287
+ "eval_wer": 0.22161902144035184,
288
+ "step": 1400
289
+ },
290
+ {
291
+ "epoch": 5.03,
292
+ "learning_rate": 0.00024166666666666667,
293
+ "loss": 0.3594,
294
+ "step": 1450
295
+ },
296
+ {
297
+ "epoch": 5.21,
298
+ "learning_rate": 0.00025,
299
+ "loss": 0.3125,
300
+ "step": 1500
301
+ },
302
+ {
303
+ "epoch": 5.21,
304
+ "eval_loss": 22.298479080200195,
305
+ "eval_runtime": 181.7168,
306
+ "eval_samples_per_second": 9.245,
307
+ "eval_wer": 0.20794392523364486,
308
+ "step": 1500
309
+ },
310
+ {
311
+ "epoch": 5.38,
312
+ "learning_rate": 0.00025833333333333334,
313
+ "loss": 0.2878,
314
+ "step": 1550
315
+ },
316
+ {
317
+ "epoch": 5.55,
318
+ "learning_rate": 0.0002666666666666667,
319
+ "loss": 0.2762,
320
+ "step": 1600
321
+ },
322
+ {
323
+ "epoch": 5.55,
324
+ "eval_loss": 23.098875045776367,
325
+ "eval_runtime": 183.2329,
326
+ "eval_samples_per_second": 9.169,
327
+ "eval_wer": 0.21247938427707533,
328
+ "step": 1600
329
+ },
330
+ {
331
+ "epoch": 5.73,
332
+ "learning_rate": 0.000275,
333
+ "loss": 0.2703,
334
+ "step": 1650
335
+ },
336
+ {
337
+ "epoch": 5.9,
338
+ "learning_rate": 0.00028333333333333335,
339
+ "loss": 0.2827,
340
+ "step": 1700
341
+ },
342
+ {
343
+ "epoch": 5.9,
344
+ "eval_loss": 21.197721481323242,
345
+ "eval_runtime": 182.7196,
346
+ "eval_samples_per_second": 9.194,
347
+ "eval_wer": 0.19529961517317207,
348
+ "step": 1700
349
+ },
350
+ {
351
+ "epoch": 6.08,
352
+ "learning_rate": 0.0002916666666666667,
353
+ "loss": 0.2624,
354
+ "step": 1750
355
+ },
356
+ {
357
+ "epoch": 6.25,
358
+ "learning_rate": 0.0003,
359
+ "loss": 0.2306,
360
+ "step": 1800
361
+ },
362
+ {
363
+ "epoch": 6.25,
364
+ "eval_loss": 22.732194900512695,
365
+ "eval_runtime": 181.3273,
366
+ "eval_samples_per_second": 9.265,
367
+ "eval_wer": 0.18973336998350743,
368
+ "step": 1800
369
+ },
370
+ {
371
+ "epoch": 6.42,
372
+ "learning_rate": 0.00030833333333333337,
373
+ "loss": 0.2384,
374
+ "step": 1850
375
+ },
376
+ {
377
+ "epoch": 6.6,
378
+ "learning_rate": 0.00031666666666666665,
379
+ "loss": 0.2362,
380
+ "step": 1900
381
+ },
382
+ {
383
+ "epoch": 6.6,
384
+ "eval_loss": 22.076433181762695,
385
+ "eval_runtime": 181.988,
386
+ "eval_samples_per_second": 9.231,
387
+ "eval_wer": 0.18629741616272677,
388
+ "step": 1900
389
+ },
390
+ {
391
+ "epoch": 6.77,
392
+ "learning_rate": 0.00032500000000000004,
393
+ "loss": 0.2269,
394
+ "step": 1950
395
+ },
396
+ {
397
+ "epoch": 6.94,
398
+ "learning_rate": 0.0003333333333333333,
399
+ "loss": 0.2342,
400
+ "step": 2000
401
+ },
402
+ {
403
+ "epoch": 6.94,
404
+ "eval_loss": 22.727157592773438,
405
+ "eval_runtime": 182.2314,
406
+ "eval_samples_per_second": 9.219,
407
+ "eval_wer": 0.17983782297965914,
408
+ "step": 2000
409
+ },
410
+ {
411
+ "epoch": 7.12,
412
+ "learning_rate": 0.00034166666666666666,
413
+ "loss": 0.2271,
414
+ "step": 2050
415
+ },
416
+ {
417
+ "epoch": 7.29,
418
+ "learning_rate": 0.00035,
419
+ "loss": 0.2165,
420
+ "step": 2100
421
+ },
422
+ {
423
+ "epoch": 7.29,
424
+ "eval_loss": 21.797693252563477,
425
+ "eval_runtime": 182.6296,
426
+ "eval_samples_per_second": 9.199,
427
+ "eval_wer": 0.17468389224848818,
428
+ "step": 2100
429
+ },
430
+ {
431
+ "epoch": 7.46,
432
+ "learning_rate": 0.00035833333333333333,
433
+ "loss": 0.2037,
434
+ "step": 2150
435
+ },
436
+ {
437
+ "epoch": 7.64,
438
+ "learning_rate": 0.00036666666666666667,
439
+ "loss": 0.2134,
440
+ "step": 2200
441
+ },
442
+ {
443
+ "epoch": 7.64,
444
+ "eval_loss": 22.025192260742188,
445
+ "eval_runtime": 182.2586,
446
+ "eval_samples_per_second": 9.218,
447
+ "eval_wer": 0.18148708081363388,
448
+ "step": 2200
449
+ },
450
+ {
451
+ "epoch": 7.81,
452
+ "learning_rate": 0.000375,
453
+ "loss": 0.2096,
454
+ "step": 2250
455
+ },
456
+ {
457
+ "epoch": 7.98,
458
+ "learning_rate": 0.00038333333333333334,
459
+ "loss": 0.2033,
460
+ "step": 2300
461
+ },
462
+ {
463
+ "epoch": 7.98,
464
+ "eval_loss": 21.954696655273438,
465
+ "eval_runtime": 182.9541,
466
+ "eval_samples_per_second": 9.183,
467
+ "eval_wer": 0.17990654205607476,
468
+ "step": 2300
469
+ },
470
+ {
471
+ "epoch": 8.16,
472
+ "learning_rate": 0.0003916666666666667,
473
+ "loss": 0.2029,
474
+ "step": 2350
475
+ },
476
+ {
477
+ "epoch": 8.33,
478
+ "learning_rate": 0.0004,
479
+ "loss": 0.1948,
480
+ "step": 2400
481
+ },
482
+ {
483
+ "epoch": 8.33,
484
+ "eval_loss": 20.202104568481445,
485
+ "eval_runtime": 181.6845,
486
+ "eval_samples_per_second": 9.247,
487
+ "eval_wer": 0.17303463441451347,
488
+ "step": 2400
489
+ },
490
+ {
491
+ "epoch": 8.51,
492
+ "learning_rate": 0.00040833333333333336,
493
+ "loss": 0.1828,
494
+ "step": 2450
495
+ },
496
+ {
497
+ "epoch": 8.68,
498
+ "learning_rate": 0.0004166666666666667,
499
+ "loss": 0.1876,
500
+ "step": 2500
501
+ },
502
+ {
503
+ "epoch": 8.68,
504
+ "eval_loss": 23.213821411132812,
505
+ "eval_runtime": 182.8529,
506
+ "eval_samples_per_second": 9.188,
507
+ "eval_wer": 0.1705607476635514,
508
+ "step": 2500
509
+ },
510
+ {
511
+ "epoch": 8.85,
512
+ "learning_rate": 0.000425,
513
+ "loss": 0.1721,
514
+ "step": 2550
515
+ },
516
+ {
517
+ "epoch": 9.03,
518
+ "learning_rate": 0.00043333333333333337,
519
+ "loss": 0.1774,
520
+ "step": 2600
521
+ },
522
+ {
523
+ "epoch": 9.03,
524
+ "eval_loss": 24.49812126159668,
525
+ "eval_runtime": 181.9478,
526
+ "eval_samples_per_second": 9.233,
527
+ "eval_wer": 0.174890049477735,
528
+ "step": 2600
529
+ },
530
+ {
531
+ "epoch": 9.2,
532
+ "learning_rate": 0.00044166666666666665,
533
+ "loss": 0.1613,
534
+ "step": 2650
535
+ },
536
+ {
537
+ "epoch": 9.37,
538
+ "learning_rate": 0.00045000000000000004,
539
+ "loss": 0.183,
540
+ "step": 2700
541
+ },
542
+ {
543
+ "epoch": 9.37,
544
+ "eval_loss": 25.343666076660156,
545
+ "eval_runtime": 181.6008,
546
+ "eval_samples_per_second": 9.251,
547
+ "eval_wer": 0.1805937328202309,
548
+ "step": 2700
549
+ },
550
+ {
551
+ "epoch": 9.55,
552
+ "learning_rate": 0.0004583333333333333,
553
+ "loss": 0.1738,
554
+ "step": 2750
555
+ },
556
+ {
557
+ "epoch": 9.72,
558
+ "learning_rate": 0.00046666666666666666,
559
+ "loss": 0.1886,
560
+ "step": 2800
561
+ },
562
+ {
563
+ "epoch": 9.72,
564
+ "eval_loss": 24.328418731689453,
565
+ "eval_runtime": 182.0168,
566
+ "eval_samples_per_second": 9.23,
567
+ "eval_wer": 0.18519791094007695,
568
+ "step": 2800
569
+ },
570
+ {
571
+ "epoch": 9.89,
572
+ "learning_rate": 0.000475,
573
+ "loss": 0.1855,
574
+ "step": 2850
575
+ },
576
+ {
577
+ "epoch": 10.07,
578
+ "learning_rate": 0.00048333333333333334,
579
+ "loss": 0.1784,
580
+ "step": 2900
581
+ },
582
+ {
583
+ "epoch": 10.07,
584
+ "eval_loss": 24.794740676879883,
585
+ "eval_runtime": 182.2346,
586
+ "eval_samples_per_second": 9.219,
587
+ "eval_wer": 0.1759208356239692,
588
+ "step": 2900
589
+ },
590
+ {
591
+ "epoch": 10.24,
592
+ "learning_rate": 0.0004916666666666666,
593
+ "loss": 0.1639,
594
+ "step": 2950
595
+ },
596
+ {
597
+ "epoch": 10.42,
598
+ "learning_rate": 0.0005,
599
+ "loss": 0.1951,
600
+ "step": 3000
601
+ },
602
+ {
603
+ "epoch": 10.42,
604
+ "eval_loss": 23.346879959106445,
605
+ "eval_runtime": 183.0341,
606
+ "eval_samples_per_second": 9.179,
607
+ "eval_wer": 0.1854040681693238,
608
+ "step": 3000
609
+ },
610
+ {
611
+ "epoch": 10.59,
612
+ "learning_rate": 0.0004955673758865248,
613
+ "loss": 0.1841,
614
+ "step": 3050
615
+ },
616
+ {
617
+ "epoch": 10.76,
618
+ "learning_rate": 0.0004911347517730497,
619
+ "loss": 0.1638,
620
+ "step": 3100
621
+ },
622
+ {
623
+ "epoch": 10.76,
624
+ "eval_loss": 26.021047592163086,
625
+ "eval_runtime": 182.7843,
626
+ "eval_samples_per_second": 9.191,
627
+ "eval_wer": 0.18945849367784498,
628
+ "step": 3100
629
+ },
630
+ {
631
+ "epoch": 10.94,
632
+ "learning_rate": 0.0004867021276595745,
633
+ "loss": 0.1699,
634
+ "step": 3150
635
+ },
636
+ {
637
+ "epoch": 11.11,
638
+ "learning_rate": 0.00048226950354609925,
639
+ "loss": 0.178,
640
+ "step": 3200
641
+ },
642
+ {
643
+ "epoch": 11.11,
644
+ "eval_loss": 25.51027488708496,
645
+ "eval_runtime": 182.9857,
646
+ "eval_samples_per_second": 9.181,
647
+ "eval_wer": 0.18499175371083013,
648
+ "step": 3200
649
+ },
650
+ {
651
+ "epoch": 11.28,
652
+ "learning_rate": 0.0004778368794326241,
653
+ "loss": 0.1443,
654
+ "step": 3250
655
+ },
656
+ {
657
+ "epoch": 11.46,
658
+ "learning_rate": 0.00047340425531914893,
659
+ "loss": 0.1448,
660
+ "step": 3300
661
+ },
662
+ {
663
+ "epoch": 11.46,
664
+ "eval_loss": 23.841064453125,
665
+ "eval_runtime": 182.7518,
666
+ "eval_samples_per_second": 9.193,
667
+ "eval_wer": 0.17702034084661902,
668
+ "step": 3300
669
+ },
670
+ {
671
+ "epoch": 11.63,
672
+ "learning_rate": 0.00046897163120567377,
673
+ "loss": 0.1415,
674
+ "step": 3350
675
+ },
676
+ {
677
+ "epoch": 11.8,
678
+ "learning_rate": 0.0004645390070921986,
679
+ "loss": 0.1451,
680
+ "step": 3400
681
+ },
682
+ {
683
+ "epoch": 11.8,
684
+ "eval_loss": 24.386722564697266,
685
+ "eval_runtime": 182.0009,
686
+ "eval_samples_per_second": 9.231,
687
+ "eval_wer": 0.17440901594282573,
688
+ "step": 3400
689
+ },
690
+ {
691
+ "epoch": 11.98,
692
+ "learning_rate": 0.00046010638297872344,
693
+ "loss": 0.1613,
694
+ "step": 3450
695
+ },
696
+ {
697
+ "epoch": 12.15,
698
+ "learning_rate": 0.0004556737588652483,
699
+ "loss": 0.1479,
700
+ "step": 3500
701
+ },
702
+ {
703
+ "epoch": 12.15,
704
+ "eval_loss": 25.48659324645996,
705
+ "eval_runtime": 183.184,
706
+ "eval_samples_per_second": 9.171,
707
+ "eval_wer": 0.18196811434854315,
708
+ "step": 3500
709
+ },
710
+ {
711
+ "epoch": 12.33,
712
+ "learning_rate": 0.00045124113475177307,
713
+ "loss": 0.1249,
714
+ "step": 3550
715
+ },
716
+ {
717
+ "epoch": 12.5,
718
+ "learning_rate": 0.00044680851063829785,
719
+ "loss": 0.1255,
720
+ "step": 3600
721
+ },
722
+ {
723
+ "epoch": 12.5,
724
+ "eval_loss": 26.741592407226562,
725
+ "eval_runtime": 182.0975,
726
+ "eval_samples_per_second": 9.226,
727
+ "eval_wer": 0.17447773501924135,
728
+ "step": 3600
729
+ },
730
+ {
731
+ "epoch": 12.67,
732
+ "learning_rate": 0.0004423758865248227,
733
+ "loss": 0.1236,
734
+ "step": 3650
735
+ },
736
+ {
737
+ "epoch": 12.85,
738
+ "learning_rate": 0.0004379432624113475,
739
+ "loss": 0.1307,
740
+ "step": 3700
741
+ },
742
+ {
743
+ "epoch": 12.85,
744
+ "eval_loss": 25.000507354736328,
745
+ "eval_runtime": 182.3463,
746
+ "eval_samples_per_second": 9.213,
747
+ "eval_wer": 0.1726910390324354,
748
+ "step": 3700
749
+ },
750
+ {
751
+ "epoch": 13.02,
752
+ "learning_rate": 0.00043351063829787236,
753
+ "loss": 0.1504,
754
+ "step": 3750
755
+ },
756
+ {
757
+ "epoch": 13.19,
758
+ "learning_rate": 0.0004290780141843972,
759
+ "loss": 0.1185,
760
+ "step": 3800
761
+ },
762
+ {
763
+ "epoch": 13.19,
764
+ "eval_loss": 24.76068115234375,
765
+ "eval_runtime": 182.3064,
766
+ "eval_samples_per_second": 9.215,
767
+ "eval_wer": 0.1630703683342496,
768
+ "step": 3800
769
+ },
770
+ {
771
+ "epoch": 13.37,
772
+ "learning_rate": 0.000424645390070922,
773
+ "loss": 0.1151,
774
+ "step": 3850
775
+ },
776
+ {
777
+ "epoch": 13.54,
778
+ "learning_rate": 0.0004202127659574468,
779
+ "loss": 0.1296,
780
+ "step": 3900
781
+ },
782
+ {
783
+ "epoch": 13.54,
784
+ "eval_loss": 24.10735511779785,
785
+ "eval_runtime": 183.409,
786
+ "eval_samples_per_second": 9.16,
787
+ "eval_wer": 0.16197086311159978,
788
+ "step": 3900
789
+ },
790
+ {
791
+ "epoch": 13.71,
792
+ "learning_rate": 0.0004157801418439716,
793
+ "loss": 0.1099,
794
+ "step": 3950
795
+ },
796
+ {
797
+ "epoch": 13.89,
798
+ "learning_rate": 0.00041134751773049644,
799
+ "loss": 0.1141,
800
+ "step": 4000
801
+ },
802
+ {
803
+ "epoch": 13.89,
804
+ "eval_loss": 27.41958236694336,
805
+ "eval_runtime": 182.5069,
806
+ "eval_samples_per_second": 9.205,
807
+ "eval_wer": 0.17647058823529413,
808
+ "step": 4000
809
+ },
810
+ {
811
+ "epoch": 14.06,
812
+ "learning_rate": 0.0004069148936170213,
813
+ "loss": 0.1016,
814
+ "step": 4050
815
+ },
816
+ {
817
+ "epoch": 14.24,
818
+ "learning_rate": 0.0004024822695035461,
819
+ "loss": 0.1112,
820
+ "step": 4100
821
+ },
822
+ {
823
+ "epoch": 14.24,
824
+ "eval_loss": 26.094676971435547,
825
+ "eval_runtime": 182.6788,
826
+ "eval_samples_per_second": 9.196,
827
+ "eval_wer": 0.16760582737768004,
828
+ "step": 4100
829
+ },
830
+ {
831
+ "epoch": 14.41,
832
+ "learning_rate": 0.00039804964539007096,
833
+ "loss": 0.0982,
834
+ "step": 4150
835
+ },
836
+ {
837
+ "epoch": 14.58,
838
+ "learning_rate": 0.00039361702127659574,
839
+ "loss": 0.1021,
840
+ "step": 4200
841
+ },
842
+ {
843
+ "epoch": 14.58,
844
+ "eval_loss": 27.608373641967773,
845
+ "eval_runtime": 182.4822,
846
+ "eval_samples_per_second": 9.206,
847
+ "eval_wer": 0.1689802089059923,
848
+ "step": 4200
849
+ },
850
+ {
851
+ "epoch": 14.75,
852
+ "learning_rate": 0.0003891843971631206,
853
+ "loss": 0.1064,
854
+ "step": 4250
855
+ },
856
+ {
857
+ "epoch": 14.93,
858
+ "learning_rate": 0.00038475177304964536,
859
+ "loss": 0.112,
860
+ "step": 4300
861
+ },
862
+ {
863
+ "epoch": 14.93,
864
+ "eval_loss": 27.2677059173584,
865
+ "eval_runtime": 182.8419,
866
+ "eval_samples_per_second": 9.188,
867
+ "eval_wer": 0.17550852116547552,
868
+ "step": 4300
869
+ },
870
+ {
871
+ "epoch": 15.1,
872
+ "learning_rate": 0.0003803191489361702,
873
+ "loss": 0.1037,
874
+ "step": 4350
875
+ },
876
+ {
877
+ "epoch": 15.28,
878
+ "learning_rate": 0.00037588652482269504,
879
+ "loss": 0.1002,
880
+ "step": 4400
881
+ },
882
+ {
883
+ "epoch": 15.28,
884
+ "eval_loss": 25.244844436645508,
885
+ "eval_runtime": 182.1487,
886
+ "eval_samples_per_second": 9.223,
887
+ "eval_wer": 0.17021715228147333,
888
+ "step": 4400
889
+ },
890
+ {
891
+ "epoch": 15.45,
892
+ "learning_rate": 0.0003714539007092199,
893
+ "loss": 0.0889,
894
+ "step": 4450
895
+ },
896
+ {
897
+ "epoch": 15.62,
898
+ "learning_rate": 0.0003670212765957447,
899
+ "loss": 0.0893,
900
+ "step": 4500
901
+ },
902
+ {
903
+ "epoch": 15.62,
904
+ "eval_loss": 31.379478454589844,
905
+ "eval_runtime": 181.9808,
906
+ "eval_samples_per_second": 9.232,
907
+ "eval_wer": 0.17145409565695438,
908
+ "step": 4500
909
+ },
910
+ {
911
+ "epoch": 15.8,
912
+ "learning_rate": 0.0003625886524822695,
913
+ "loss": 0.0925,
914
+ "step": 4550
915
+ },
916
+ {
917
+ "epoch": 15.97,
918
+ "learning_rate": 0.00035815602836879434,
919
+ "loss": 0.0911,
920
+ "step": 4600
921
+ },
922
+ {
923
+ "epoch": 15.97,
924
+ "eval_loss": 29.340713500976562,
925
+ "eval_runtime": 182.5822,
926
+ "eval_samples_per_second": 9.201,
927
+ "eval_wer": 0.1657504123144585,
928
+ "step": 4600
929
+ },
930
+ {
931
+ "epoch": 16.15,
932
+ "learning_rate": 0.0003537234042553192,
933
+ "loss": 0.0945,
934
+ "step": 4650
935
+ },
936
+ {
937
+ "epoch": 16.32,
938
+ "learning_rate": 0.00034929078014184396,
939
+ "loss": 0.0798,
940
+ "step": 4700
941
+ },
942
+ {
943
+ "epoch": 16.32,
944
+ "eval_loss": 27.59283447265625,
945
+ "eval_runtime": 183.4998,
946
+ "eval_samples_per_second": 9.155,
947
+ "eval_wer": 0.16877405167674547,
948
+ "step": 4700
949
+ },
950
+ {
951
+ "epoch": 16.49,
952
+ "learning_rate": 0.0003448581560283688,
953
+ "loss": 0.0868,
954
+ "step": 4750
955
+ },
956
+ {
957
+ "epoch": 16.66,
958
+ "learning_rate": 0.00034042553191489364,
959
+ "loss": 0.0893,
960
+ "step": 4800
961
+ },
962
+ {
963
+ "epoch": 16.66,
964
+ "eval_loss": 26.155086517333984,
965
+ "eval_runtime": 183.3578,
966
+ "eval_samples_per_second": 9.162,
967
+ "eval_wer": 0.16877405167674547,
968
+ "step": 4800
969
+ },
970
+ {
971
+ "epoch": 16.84,
972
+ "learning_rate": 0.0003359929078014184,
973
+ "loss": 0.0844,
974
+ "step": 4850
975
+ },
976
+ {
977
+ "epoch": 17.01,
978
+ "learning_rate": 0.00033156028368794326,
979
+ "loss": 0.088,
980
+ "step": 4900
981
+ },
982
+ {
983
+ "epoch": 17.01,
984
+ "eval_loss": 27.282428741455078,
985
+ "eval_runtime": 183.8154,
986
+ "eval_samples_per_second": 9.14,
987
+ "eval_wer": 0.16870533260032985,
988
+ "step": 4900
989
+ },
990
+ {
991
+ "epoch": 17.19,
992
+ "learning_rate": 0.0003271276595744681,
993
+ "loss": 0.0844,
994
+ "step": 4950
995
+ },
996
+ {
997
+ "epoch": 17.36,
998
+ "learning_rate": 0.00032269503546099293,
999
+ "loss": 0.0647,
1000
+ "step": 5000
1001
+ },
1002
+ {
1003
+ "epoch": 17.36,
1004
+ "eval_loss": 27.251529693603516,
1005
+ "eval_runtime": 183.0422,
1006
+ "eval_samples_per_second": 9.178,
1007
+ "eval_wer": 0.1663001649257834,
1008
+ "step": 5000
1009
+ },
1010
+ {
1011
+ "epoch": 17.53,
1012
+ "learning_rate": 0.0003182624113475177,
1013
+ "loss": 0.0811,
1014
+ "step": 5050
1015
+ },
1016
+ {
1017
+ "epoch": 17.71,
1018
+ "learning_rate": 0.00031382978723404256,
1019
+ "loss": 0.0727,
1020
+ "step": 5100
1021
+ },
1022
+ {
1023
+ "epoch": 17.71,
1024
+ "eval_loss": 24.84876823425293,
1025
+ "eval_runtime": 182.8979,
1026
+ "eval_samples_per_second": 9.185,
1027
+ "eval_wer": 0.165131940626718,
1028
+ "step": 5100
1029
+ },
1030
+ {
1031
+ "epoch": 17.88,
1032
+ "learning_rate": 0.0003093971631205674,
1033
+ "loss": 0.0744,
1034
+ "step": 5150
1035
+ },
1036
+ {
1037
+ "epoch": 18.06,
1038
+ "learning_rate": 0.0003049645390070922,
1039
+ "loss": 0.0801,
1040
+ "step": 5200
1041
+ },
1042
+ {
1043
+ "epoch": 18.06,
1044
+ "eval_loss": 26.26492691040039,
1045
+ "eval_runtime": 182.8513,
1046
+ "eval_samples_per_second": 9.188,
1047
+ "eval_wer": 0.1648570643210555,
1048
+ "step": 5200
1049
+ },
1050
+ {
1051
+ "epoch": 18.23,
1052
+ "learning_rate": 0.000300531914893617,
1053
+ "loss": 0.0669,
1054
+ "step": 5250
1055
+ },
1056
+ {
1057
+ "epoch": 18.4,
1058
+ "learning_rate": 0.00029609929078014185,
1059
+ "loss": 0.0613,
1060
+ "step": 5300
1061
+ },
1062
+ {
1063
+ "epoch": 18.4,
1064
+ "eval_loss": 25.977203369140625,
1065
+ "eval_runtime": 182.5431,
1066
+ "eval_samples_per_second": 9.203,
1067
+ "eval_wer": 0.16114623419461244,
1068
+ "step": 5300
1069
+ },
1070
+ {
1071
+ "epoch": 18.57,
1072
+ "learning_rate": 0.0002916666666666667,
1073
+ "loss": 0.0641,
1074
+ "step": 5350
1075
+ },
1076
+ {
1077
+ "epoch": 18.75,
1078
+ "learning_rate": 0.00028723404255319153,
1079
+ "loss": 0.0588,
1080
+ "step": 5400
1081
+ },
1082
+ {
1083
+ "epoch": 18.75,
1084
+ "eval_loss": 26.410762786865234,
1085
+ "eval_runtime": 182.6733,
1086
+ "eval_samples_per_second": 9.197,
1087
+ "eval_wer": 0.1667811984606927,
1088
+ "step": 5400
1089
+ },
1090
+ {
1091
+ "epoch": 18.92,
1092
+ "learning_rate": 0.0002828014184397163,
1093
+ "loss": 0.0667,
1094
+ "step": 5450
1095
+ },
1096
+ {
1097
+ "epoch": 19.1,
1098
+ "learning_rate": 0.00027836879432624115,
1099
+ "loss": 0.0768,
1100
+ "step": 5500
1101
+ },
1102
+ {
1103
+ "epoch": 19.1,
1104
+ "eval_loss": 26.26220703125,
1105
+ "eval_runtime": 182.9701,
1106
+ "eval_samples_per_second": 9.182,
1107
+ "eval_wer": 0.15874106652006598,
1108
+ "step": 5500
1109
+ },
1110
+ {
1111
+ "epoch": 19.27,
1112
+ "learning_rate": 0.00027393617021276593,
1113
+ "loss": 0.0746,
1114
+ "step": 5550
1115
+ },
1116
+ {
1117
+ "epoch": 19.44,
1118
+ "learning_rate": 0.00026950354609929077,
1119
+ "loss": 0.0616,
1120
+ "step": 5600
1121
+ },
1122
+ {
1123
+ "epoch": 19.44,
1124
+ "eval_loss": 23.946300506591797,
1125
+ "eval_runtime": 183.2503,
1126
+ "eval_samples_per_second": 9.168,
1127
+ "eval_wer": 0.15681693238042882,
1128
+ "step": 5600
1129
+ },
1130
+ {
1131
+ "epoch": 19.62,
1132
+ "learning_rate": 0.0002650709219858156,
1133
+ "loss": 0.061,
1134
+ "step": 5650
1135
+ },
1136
+ {
1137
+ "epoch": 19.79,
1138
+ "learning_rate": 0.00026063829787234045,
1139
+ "loss": 0.066,
1140
+ "step": 5700
1141
+ },
1142
+ {
1143
+ "epoch": 19.79,
1144
+ "eval_loss": 27.404529571533203,
1145
+ "eval_runtime": 183.1378,
1146
+ "eval_samples_per_second": 9.173,
1147
+ "eval_wer": 0.16004672897196262,
1148
+ "step": 5700
1149
+ },
1150
+ {
1151
+ "epoch": 19.96,
1152
+ "learning_rate": 0.0002562056737588653,
1153
+ "loss": 0.0606,
1154
+ "step": 5750
1155
+ },
1156
+ {
1157
+ "epoch": 20.14,
1158
+ "learning_rate": 0.00025177304964539007,
1159
+ "loss": 0.0499,
1160
+ "step": 5800
1161
+ },
1162
+ {
1163
+ "epoch": 20.14,
1164
+ "eval_loss": 26.04939079284668,
1165
+ "eval_runtime": 182.3343,
1166
+ "eval_samples_per_second": 9.214,
1167
+ "eval_wer": 0.15805387575590985,
1168
+ "step": 5800
1169
+ },
1170
+ {
1171
+ "epoch": 20.31,
1172
+ "learning_rate": 0.0002473404255319149,
1173
+ "loss": 0.0635,
1174
+ "step": 5850
1175
+ },
1176
+ {
1177
+ "epoch": 20.48,
1178
+ "learning_rate": 0.00024290780141843972,
1179
+ "loss": 0.0576,
1180
+ "step": 5900
1181
+ },
1182
+ {
1183
+ "epoch": 20.48,
1184
+ "eval_loss": 25.570714950561523,
1185
+ "eval_runtime": 182.4858,
1186
+ "eval_samples_per_second": 9.206,
1187
+ "eval_wer": 0.1499450247388675,
1188
+ "step": 5900
1189
+ },
1190
+ {
1191
+ "epoch": 20.66,
1192
+ "learning_rate": 0.00023847517730496453,
1193
+ "loss": 0.0535,
1194
+ "step": 5950
1195
+ },
1196
+ {
1197
+ "epoch": 20.83,
1198
+ "learning_rate": 0.00023404255319148937,
1199
+ "loss": 0.0538,
1200
+ "step": 6000
1201
+ },
1202
+ {
1203
+ "epoch": 20.83,
1204
+ "eval_loss": 26.44669532775879,
1205
+ "eval_runtime": 182.7081,
1206
+ "eval_samples_per_second": 9.195,
1207
+ "eval_wer": 0.15276250687190765,
1208
+ "step": 6000
1209
+ },
1210
+ {
1211
+ "epoch": 21.01,
1212
+ "learning_rate": 0.0002296099290780142,
1213
+ "loss": 0.06,
1214
+ "step": 6050
1215
+ },
1216
+ {
1217
+ "epoch": 21.18,
1218
+ "learning_rate": 0.00022517730496453902,
1219
+ "loss": 0.0547,
1220
+ "step": 6100
1221
+ },
1222
+ {
1223
+ "epoch": 21.18,
1224
+ "eval_loss": 26.02959442138672,
1225
+ "eval_runtime": 183.3837,
1226
+ "eval_samples_per_second": 9.161,
1227
+ "eval_wer": 0.15083837273227046,
1228
+ "step": 6100
1229
+ },
1230
+ {
1231
+ "epoch": 21.35,
1232
+ "learning_rate": 0.00022074468085106383,
1233
+ "loss": 0.0506,
1234
+ "step": 6150
1235
+ },
1236
+ {
1237
+ "epoch": 21.53,
1238
+ "learning_rate": 0.00021631205673758867,
1239
+ "loss": 0.0578,
1240
+ "step": 6200
1241
+ },
1242
+ {
1243
+ "epoch": 21.53,
1244
+ "eval_loss": 25.79215431213379,
1245
+ "eval_runtime": 182.8615,
1246
+ "eval_samples_per_second": 9.187,
1247
+ "eval_wer": 0.1515255634964266,
1248
+ "step": 6200
1249
+ },
1250
+ {
1251
+ "epoch": 21.7,
1252
+ "learning_rate": 0.00021187943262411348,
1253
+ "loss": 0.0504,
1254
+ "step": 6250
1255
+ },
1256
+ {
1257
+ "epoch": 21.87,
1258
+ "learning_rate": 0.0002074468085106383,
1259
+ "loss": 0.0425,
1260
+ "step": 6300
1261
+ },
1262
+ {
1263
+ "epoch": 21.87,
1264
+ "eval_loss": 26.764015197753906,
1265
+ "eval_runtime": 182.7224,
1266
+ "eval_samples_per_second": 9.194,
1267
+ "eval_wer": 0.15592358438702583,
1268
+ "step": 6300
1269
+ },
1270
+ {
1271
+ "epoch": 22.05,
1272
+ "learning_rate": 0.00020301418439716313,
1273
+ "loss": 0.0509,
1274
+ "step": 6350
1275
+ },
1276
+ {
1277
+ "epoch": 22.22,
1278
+ "learning_rate": 0.00019858156028368796,
1279
+ "loss": 0.0473,
1280
+ "step": 6400
1281
+ },
1282
+ {
1283
+ "epoch": 22.22,
1284
+ "eval_loss": 26.02473258972168,
1285
+ "eval_runtime": 183.8649,
1286
+ "eval_samples_per_second": 9.137,
1287
+ "eval_wer": 0.15028862012094557,
1288
+ "step": 6400
1289
+ },
1290
+ {
1291
+ "epoch": 22.39,
1292
+ "learning_rate": 0.00019414893617021275,
1293
+ "loss": 0.039,
1294
+ "step": 6450
1295
+ },
1296
+ {
1297
+ "epoch": 22.57,
1298
+ "learning_rate": 0.00018971631205673758,
1299
+ "loss": 0.0519,
1300
+ "step": 6500
1301
+ },
1302
+ {
1303
+ "epoch": 22.57,
1304
+ "eval_loss": 26.268949508666992,
1305
+ "eval_runtime": 183.1205,
1306
+ "eval_samples_per_second": 9.174,
1307
+ "eval_wer": 0.15166300164925783,
1308
+ "step": 6500
1309
+ },
1310
+ {
1311
+ "epoch": 22.74,
1312
+ "learning_rate": 0.00018528368794326242,
1313
+ "loss": 0.0533,
1314
+ "step": 6550
1315
+ },
1316
+ {
1317
+ "epoch": 22.91,
1318
+ "learning_rate": 0.00018085106382978726,
1319
+ "loss": 0.0412,
1320
+ "step": 6600
1321
+ },
1322
+ {
1323
+ "epoch": 22.91,
1324
+ "eval_loss": 26.845340728759766,
1325
+ "eval_runtime": 183.0902,
1326
+ "eval_samples_per_second": 9.176,
1327
+ "eval_wer": 0.15063221550302364,
1328
+ "step": 6600
1329
+ },
1330
+ {
1331
+ "epoch": 23.09,
1332
+ "learning_rate": 0.00017641843971631204,
1333
+ "loss": 0.0535,
1334
+ "step": 6650
1335
+ },
1336
+ {
1337
+ "epoch": 23.26,
1338
+ "learning_rate": 0.00017198581560283688,
1339
+ "loss": 0.0449,
1340
+ "step": 6700
1341
+ },
1342
+ {
1343
+ "epoch": 23.26,
1344
+ "eval_loss": 24.5848445892334,
1345
+ "eval_runtime": 183.5855,
1346
+ "eval_samples_per_second": 9.151,
1347
+ "eval_wer": 0.14898295766904893,
1348
+ "step": 6700
1349
+ },
1350
+ {
1351
+ "epoch": 23.44,
1352
+ "learning_rate": 0.00016755319148936172,
1353
+ "loss": 0.0366,
1354
+ "step": 6750
1355
+ },
1356
+ {
1357
+ "epoch": 23.61,
1358
+ "learning_rate": 0.00016312056737588653,
1359
+ "loss": 0.0419,
1360
+ "step": 6800
1361
+ },
1362
+ {
1363
+ "epoch": 23.61,
1364
+ "eval_loss": 26.725446701049805,
1365
+ "eval_runtime": 182.6943,
1366
+ "eval_samples_per_second": 9.196,
1367
+ "eval_wer": 0.15063221550302364,
1368
+ "step": 6800
1369
+ },
1370
+ {
1371
+ "epoch": 23.78,
1372
+ "learning_rate": 0.00015868794326241134,
1373
+ "loss": 0.0404,
1374
+ "step": 6850
1375
+ },
1376
+ {
1377
+ "epoch": 23.96,
1378
+ "learning_rate": 0.00015425531914893618,
1379
+ "loss": 0.0417,
1380
+ "step": 6900
1381
+ },
1382
+ {
1383
+ "epoch": 23.96,
1384
+ "eval_loss": 26.662160873413086,
1385
+ "eval_runtime": 182.9944,
1386
+ "eval_samples_per_second": 9.181,
1387
+ "eval_wer": 0.14444749862561848,
1388
+ "step": 6900
1389
+ },
1390
+ {
1391
+ "epoch": 24.13,
1392
+ "learning_rate": 0.000149822695035461,
1393
+ "loss": 0.0341,
1394
+ "step": 6950
1395
+ },
1396
+ {
1397
+ "epoch": 24.3,
1398
+ "learning_rate": 0.0001453900709219858,
1399
+ "loss": 0.0383,
1400
+ "step": 7000
1401
+ },
1402
+ {
1403
+ "epoch": 24.3,
1404
+ "eval_loss": 25.917531967163086,
1405
+ "eval_runtime": 182.9271,
1406
+ "eval_samples_per_second": 9.184,
1407
+ "eval_wer": 0.14699010445299615,
1408
+ "step": 7000
1409
+ },
1410
+ {
1411
+ "epoch": 24.48,
1412
+ "learning_rate": 0.00014095744680851064,
1413
+ "loss": 0.0361,
1414
+ "step": 7050
1415
+ },
1416
+ {
1417
+ "epoch": 24.65,
1418
+ "learning_rate": 0.00013652482269503548,
1419
+ "loss": 0.037,
1420
+ "step": 7100
1421
+ },
1422
+ {
1423
+ "epoch": 24.65,
1424
+ "eval_loss": 26.451175689697266,
1425
+ "eval_runtime": 182.8419,
1426
+ "eval_samples_per_second": 9.188,
1427
+ "eval_wer": 0.14314183617372184,
1428
+ "step": 7100
1429
+ },
1430
+ {
1431
+ "epoch": 24.82,
1432
+ "learning_rate": 0.0001320921985815603,
1433
+ "loss": 0.0358,
1434
+ "step": 7150
1435
+ },
1436
+ {
1437
+ "epoch": 25.0,
1438
+ "learning_rate": 0.0001276595744680851,
1439
+ "loss": 0.0421,
1440
+ "step": 7200
1441
+ },
1442
+ {
1443
+ "epoch": 25.0,
1444
+ "eval_loss": 24.637380599975586,
1445
+ "eval_runtime": 182.468,
1446
+ "eval_samples_per_second": 9.207,
1447
+ "eval_wer": 0.14307311709730622,
1448
+ "step": 7200
1449
+ },
1450
+ {
1451
+ "epoch": 25.17,
1452
+ "learning_rate": 0.00012322695035460994,
1453
+ "loss": 0.034,
1454
+ "step": 7250
1455
+ },
1456
+ {
1457
+ "epoch": 25.35,
1458
+ "learning_rate": 0.00011879432624113476,
1459
+ "loss": 0.0366,
1460
+ "step": 7300
1461
+ },
1462
+ {
1463
+ "epoch": 25.35,
1464
+ "eval_loss": 25.25677490234375,
1465
+ "eval_runtime": 183.0484,
1466
+ "eval_samples_per_second": 9.178,
1467
+ "eval_wer": 0.14369158878504673,
1468
+ "step": 7300
1469
+ },
1470
+ {
1471
+ "epoch": 25.52,
1472
+ "learning_rate": 0.00011436170212765957,
1473
+ "loss": 0.0358,
1474
+ "step": 7350
1475
+ },
1476
+ {
1477
+ "epoch": 25.69,
1478
+ "learning_rate": 0.00010992907801418441,
1479
+ "loss": 0.0411,
1480
+ "step": 7400
1481
+ },
1482
+ {
1483
+ "epoch": 25.69,
1484
+ "eval_loss": 23.710235595703125,
1485
+ "eval_runtime": 183.8494,
1486
+ "eval_samples_per_second": 9.138,
1487
+ "eval_wer": 0.1435541506322155,
1488
+ "step": 7400
1489
+ },
1490
+ {
1491
+ "epoch": 25.87,
1492
+ "learning_rate": 0.00010549645390070922,
1493
+ "loss": 0.0324,
1494
+ "step": 7450
1495
+ },
1496
+ {
1497
+ "epoch": 26.04,
1498
+ "learning_rate": 0.00010106382978723403,
1499
+ "loss": 0.0395,
1500
+ "step": 7500
1501
+ },
1502
+ {
1503
+ "epoch": 26.04,
1504
+ "eval_loss": 25.433012008666992,
1505
+ "eval_runtime": 183.0989,
1506
+ "eval_samples_per_second": 9.175,
1507
+ "eval_wer": 0.14108026388125344,
1508
+ "step": 7500
1509
+ },
1510
+ {
1511
+ "epoch": 26.21,
1512
+ "learning_rate": 9.663120567375887e-05,
1513
+ "loss": 0.0373,
1514
+ "step": 7550
1515
+ },
1516
+ {
1517
+ "epoch": 26.39,
1518
+ "learning_rate": 9.219858156028368e-05,
1519
+ "loss": 0.0378,
1520
+ "step": 7600
1521
+ },
1522
+ {
1523
+ "epoch": 26.39,
1524
+ "eval_loss": 24.688125610351562,
1525
+ "eval_runtime": 187.9819,
1526
+ "eval_samples_per_second": 8.937,
1527
+ "eval_wer": 0.13963716327652556,
1528
+ "step": 7600
1529
+ },
1530
+ {
1531
+ "epoch": 26.56,
1532
+ "learning_rate": 8.776595744680852e-05,
1533
+ "loss": 0.0305,
1534
+ "step": 7650
1535
+ },
1536
+ {
1537
+ "epoch": 26.73,
1538
+ "learning_rate": 8.333333333333333e-05,
1539
+ "loss": 0.0295,
1540
+ "step": 7700
1541
+ },
1542
+ {
1543
+ "epoch": 26.73,
1544
+ "eval_loss": 24.53731918334961,
1545
+ "eval_runtime": 184.8939,
1546
+ "eval_samples_per_second": 9.086,
1547
+ "eval_wer": 0.14114898295766906,
1548
+ "step": 7700
1549
+ },
1550
+ {
1551
+ "epoch": 26.91,
1552
+ "learning_rate": 7.890070921985815e-05,
1553
+ "loss": 0.0391,
1554
+ "step": 7750
1555
+ },
1556
+ {
1557
+ "epoch": 27.08,
1558
+ "learning_rate": 7.446808510638298e-05,
1559
+ "loss": 0.0295,
1560
+ "step": 7800
1561
+ },
1562
+ {
1563
+ "epoch": 27.08,
1564
+ "eval_loss": 24.03723907470703,
1565
+ "eval_runtime": 183.5479,
1566
+ "eval_samples_per_second": 9.153,
1567
+ "eval_wer": 0.14183617372182517,
1568
+ "step": 7800
1569
+ },
1570
+ {
1571
+ "epoch": 27.26,
1572
+ "learning_rate": 7.00354609929078e-05,
1573
+ "loss": 0.0367,
1574
+ "step": 7850
1575
+ },
1576
+ {
1577
+ "epoch": 27.43,
1578
+ "learning_rate": 6.560283687943263e-05,
1579
+ "loss": 0.0357,
1580
+ "step": 7900
1581
+ },
1582
+ {
1583
+ "epoch": 27.43,
1584
+ "eval_loss": 23.551311492919922,
1585
+ "eval_runtime": 186.1508,
1586
+ "eval_samples_per_second": 9.025,
1587
+ "eval_wer": 0.1392935678944475,
1588
+ "step": 7900
1589
+ },
1590
+ {
1591
+ "epoch": 27.6,
1592
+ "learning_rate": 6.117021276595745e-05,
1593
+ "loss": 0.0278,
1594
+ "step": 7950
1595
+ },
1596
+ {
1597
+ "epoch": 27.78,
1598
+ "learning_rate": 5.673758865248227e-05,
1599
+ "loss": 0.0292,
1600
+ "step": 8000
1601
+ },
1602
+ {
1603
+ "epoch": 27.78,
1604
+ "eval_loss": 26.10912322998047,
1605
+ "eval_runtime": 183.6318,
1606
+ "eval_samples_per_second": 9.149,
1607
+ "eval_wer": 0.1403243540406817,
1608
+ "step": 8000
1609
+ },
1610
+ {
1611
+ "epoch": 27.95,
1612
+ "learning_rate": 5.2304964539007095e-05,
1613
+ "loss": 0.0293,
1614
+ "step": 8050
1615
+ },
1616
+ {
1617
+ "epoch": 28.12,
1618
+ "learning_rate": 4.787234042553191e-05,
1619
+ "loss": 0.0247,
1620
+ "step": 8100
1621
+ },
1622
+ {
1623
+ "epoch": 28.12,
1624
+ "eval_loss": 25.034645080566406,
1625
+ "eval_runtime": 183.9776,
1626
+ "eval_samples_per_second": 9.132,
1627
+ "eval_wer": 0.13688840021990104,
1628
+ "step": 8100
1629
+ },
1630
+ {
1631
+ "epoch": 28.3,
1632
+ "learning_rate": 4.343971631205674e-05,
1633
+ "loss": 0.0334,
1634
+ "step": 8150
1635
+ },
1636
+ {
1637
+ "epoch": 28.47,
1638
+ "learning_rate": 3.900709219858156e-05,
1639
+ "loss": 0.0238,
1640
+ "step": 8200
1641
+ },
1642
+ {
1643
+ "epoch": 28.47,
1644
+ "eval_loss": 24.014360427856445,
1645
+ "eval_runtime": 183.9625,
1646
+ "eval_samples_per_second": 9.132,
1647
+ "eval_wer": 0.1355827377680044,
1648
+ "step": 8200
1649
+ },
1650
+ {
1651
+ "epoch": 28.64,
1652
+ "learning_rate": 3.4574468085106386e-05,
1653
+ "loss": 0.0342,
1654
+ "step": 8250
1655
+ },
1656
+ {
1657
+ "epoch": 28.82,
1658
+ "learning_rate": 3.0141843971631203e-05,
1659
+ "loss": 0.0278,
1660
+ "step": 8300
1661
+ },
1662
+ {
1663
+ "epoch": 28.82,
1664
+ "eval_loss": 24.382017135620117,
1665
+ "eval_runtime": 183.4893,
1666
+ "eval_samples_per_second": 9.156,
1667
+ "eval_wer": 0.13585761407366684,
1668
+ "step": 8300
1669
+ },
1670
+ {
1671
+ "epoch": 28.99,
1672
+ "learning_rate": 2.5709219858156028e-05,
1673
+ "loss": 0.0209,
1674
+ "step": 8350
1675
+ },
1676
+ {
1677
+ "epoch": 29.17,
1678
+ "learning_rate": 2.1276595744680852e-05,
1679
+ "loss": 0.0289,
1680
+ "step": 8400
1681
+ },
1682
+ {
1683
+ "epoch": 29.17,
1684
+ "eval_loss": 25.17869758605957,
1685
+ "eval_runtime": 184.0892,
1686
+ "eval_samples_per_second": 9.126,
1687
+ "eval_wer": 0.13551401869158877,
1688
+ "step": 8400
1689
+ },
1690
+ {
1691
+ "epoch": 29.34,
1692
+ "learning_rate": 1.6843971631205673e-05,
1693
+ "loss": 0.0306,
1694
+ "step": 8450
1695
+ },
1696
+ {
1697
+ "epoch": 29.51,
1698
+ "learning_rate": 1.2411347517730498e-05,
1699
+ "loss": 0.0238,
1700
+ "step": 8500
1701
+ },
1702
+ {
1703
+ "epoch": 29.51,
1704
+ "eval_loss": 25.424150466918945,
1705
+ "eval_runtime": 182.9499,
1706
+ "eval_samples_per_second": 9.183,
1707
+ "eval_wer": 0.1351704233095107,
1708
+ "step": 8500
1709
+ }
1710
+ ],
1711
+ "max_steps": 8640,
1712
+ "num_train_epochs": 30,
1713
+ "total_flos": 1.2862009633623437e+19,
1714
+ "trial_name": null,
1715
+ "trial_params": null
1716
+ }
vocab.json ADDED
@@ -0,0 +1 @@
 
1
+ {"<pad>": 0, "<s>": 1, "</s>": 2, "<unk>": 3, "|": 4, "E": 5, "T": 6, "A": 7, "O": 8, "N": 9, "I": 10, "H": 11, "S": 12, "R": 13, "D": 14, "L": 15, "U": 16, "M": 17, "W": 18, "C": 19, "F": 20, "G": 21, "Y": 22, "P": 23, "B": 24, "V": 25, "K": 26, "'": 27, "X": 28, "J": 29, "Q": 30, "Z": 31}