QuentinKemperino commited on
Commit
5fc3a21
1 Parent(s): 427cd48

Training complete

Browse files
Files changed (3) hide show
  1. all_results.json +8 -0
  2. train_results.json +8 -0
  3. trainer_state.json +917 -0
all_results.json ADDED
@@ -0,0 +1,8 @@
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 10.0,
3
+ "total_flos": 4.4162288418816e+17,
4
+ "train_loss": 0.14765226224263509,
5
+ "train_runtime": 28756.843,
6
+ "train_samples_per_second": 3.13,
7
+ "train_steps_per_second": 0.391
8
+ }
train_results.json ADDED
@@ -0,0 +1,8 @@
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 10.0,
3
+ "total_flos": 4.4162288418816e+17,
4
+ "train_loss": 0.14765226224263509,
5
+ "train_runtime": 28756.843,
6
+ "train_samples_per_second": 3.13,
7
+ "train_steps_per_second": 0.391
8
+ }
trainer_state.json ADDED
@@ -0,0 +1,917 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": null,
3
+ "best_model_checkpoint": null,
4
+ "epoch": 10.0,
5
+ "global_step": 11250,
6
+ "is_hyper_param_search": false,
7
+ "is_local_process_zero": true,
8
+ "is_world_process_zero": true,
9
+ "log_history": [
10
+ {
11
+ "epoch": 0.09,
12
+ "learning_rate": 2.9733333333333336e-05,
13
+ "loss": 0.277,
14
+ "step": 100
15
+ },
16
+ {
17
+ "epoch": 0.18,
18
+ "learning_rate": 2.9466666666666667e-05,
19
+ "loss": 0.266,
20
+ "step": 200
21
+ },
22
+ {
23
+ "epoch": 0.27,
24
+ "learning_rate": 2.92e-05,
25
+ "loss": 0.2463,
26
+ "step": 300
27
+ },
28
+ {
29
+ "epoch": 0.36,
30
+ "learning_rate": 2.8933333333333333e-05,
31
+ "loss": 0.2247,
32
+ "step": 400
33
+ },
34
+ {
35
+ "epoch": 0.44,
36
+ "learning_rate": 2.8666666666666668e-05,
37
+ "loss": 0.2119,
38
+ "step": 500
39
+ },
40
+ {
41
+ "epoch": 0.44,
42
+ "eval_loss": 0.29452410340309143,
43
+ "eval_macro-f1": 0.26366464399598083,
44
+ "eval_micro-f1": 0.44528018051899215,
45
+ "eval_runtime": 250.6426,
46
+ "eval_samples_per_second": 3.99,
47
+ "eval_steps_per_second": 0.499,
48
+ "step": 500
49
+ },
50
+ {
51
+ "epoch": 0.53,
52
+ "learning_rate": 2.84e-05,
53
+ "loss": 0.1997,
54
+ "step": 600
55
+ },
56
+ {
57
+ "epoch": 0.62,
58
+ "learning_rate": 2.8133333333333334e-05,
59
+ "loss": 0.1945,
60
+ "step": 700
61
+ },
62
+ {
63
+ "epoch": 0.71,
64
+ "learning_rate": 2.7866666666666665e-05,
65
+ "loss": 0.1949,
66
+ "step": 800
67
+ },
68
+ {
69
+ "epoch": 0.8,
70
+ "learning_rate": 2.7600000000000003e-05,
71
+ "loss": 0.1871,
72
+ "step": 900
73
+ },
74
+ {
75
+ "epoch": 0.89,
76
+ "learning_rate": 2.7333333333333335e-05,
77
+ "loss": 0.1702,
78
+ "step": 1000
79
+ },
80
+ {
81
+ "epoch": 0.89,
82
+ "eval_loss": 0.273383229970932,
83
+ "eval_macro-f1": 0.3246138178474857,
84
+ "eval_micro-f1": 0.48433268858800776,
85
+ "eval_runtime": 250.7662,
86
+ "eval_samples_per_second": 3.988,
87
+ "eval_steps_per_second": 0.498,
88
+ "step": 1000
89
+ },
90
+ {
91
+ "epoch": 0.98,
92
+ "learning_rate": 2.706666666666667e-05,
93
+ "loss": 0.1883,
94
+ "step": 1100
95
+ },
96
+ {
97
+ "epoch": 1.07,
98
+ "learning_rate": 2.68e-05,
99
+ "loss": 0.1651,
100
+ "step": 1200
101
+ },
102
+ {
103
+ "epoch": 1.16,
104
+ "learning_rate": 2.6533333333333336e-05,
105
+ "loss": 0.1768,
106
+ "step": 1300
107
+ },
108
+ {
109
+ "epoch": 1.24,
110
+ "learning_rate": 2.6266666666666667e-05,
111
+ "loss": 0.1625,
112
+ "step": 1400
113
+ },
114
+ {
115
+ "epoch": 1.33,
116
+ "learning_rate": 2.6000000000000002e-05,
117
+ "loss": 0.1736,
118
+ "step": 1500
119
+ },
120
+ {
121
+ "epoch": 1.33,
122
+ "eval_loss": 0.2633000612258911,
123
+ "eval_macro-f1": 0.37253226371065895,
124
+ "eval_micro-f1": 0.5133408493047726,
125
+ "eval_runtime": 250.7914,
126
+ "eval_samples_per_second": 3.987,
127
+ "eval_steps_per_second": 0.498,
128
+ "step": 1500
129
+ },
130
+ {
131
+ "epoch": 1.42,
132
+ "learning_rate": 2.5733333333333333e-05,
133
+ "loss": 0.1737,
134
+ "step": 1600
135
+ },
136
+ {
137
+ "epoch": 1.51,
138
+ "learning_rate": 2.5466666666666668e-05,
139
+ "loss": 0.1647,
140
+ "step": 1700
141
+ },
142
+ {
143
+ "epoch": 1.6,
144
+ "learning_rate": 2.52e-05,
145
+ "loss": 0.163,
146
+ "step": 1800
147
+ },
148
+ {
149
+ "epoch": 1.69,
150
+ "learning_rate": 2.4933333333333334e-05,
151
+ "loss": 0.1627,
152
+ "step": 1900
153
+ },
154
+ {
155
+ "epoch": 1.78,
156
+ "learning_rate": 2.4666666666666665e-05,
157
+ "loss": 0.1571,
158
+ "step": 2000
159
+ },
160
+ {
161
+ "epoch": 1.78,
162
+ "eval_loss": 0.2548530697822571,
163
+ "eval_macro-f1": 0.3942383469130867,
164
+ "eval_micro-f1": 0.5417134306023195,
165
+ "eval_runtime": 250.9116,
166
+ "eval_samples_per_second": 3.985,
167
+ "eval_steps_per_second": 0.498,
168
+ "step": 2000
169
+ },
170
+ {
171
+ "epoch": 1.87,
172
+ "learning_rate": 2.44e-05,
173
+ "loss": 0.1687,
174
+ "step": 2100
175
+ },
176
+ {
177
+ "epoch": 1.96,
178
+ "learning_rate": 2.413333333333333e-05,
179
+ "loss": 0.165,
180
+ "step": 2200
181
+ },
182
+ {
183
+ "epoch": 2.04,
184
+ "learning_rate": 2.3866666666666666e-05,
185
+ "loss": 0.1679,
186
+ "step": 2300
187
+ },
188
+ {
189
+ "epoch": 2.13,
190
+ "learning_rate": 2.3599999999999998e-05,
191
+ "loss": 0.1567,
192
+ "step": 2400
193
+ },
194
+ {
195
+ "epoch": 2.22,
196
+ "learning_rate": 2.3333333333333336e-05,
197
+ "loss": 0.1476,
198
+ "step": 2500
199
+ },
200
+ {
201
+ "epoch": 2.22,
202
+ "eval_loss": 0.23479677736759186,
203
+ "eval_macro-f1": 0.4186626091796164,
204
+ "eval_micro-f1": 0.5649375236652783,
205
+ "eval_runtime": 250.7383,
206
+ "eval_samples_per_second": 3.988,
207
+ "eval_steps_per_second": 0.499,
208
+ "step": 2500
209
+ },
210
+ {
211
+ "epoch": 2.31,
212
+ "learning_rate": 2.3066666666666667e-05,
213
+ "loss": 0.1497,
214
+ "step": 2600
215
+ },
216
+ {
217
+ "epoch": 2.4,
218
+ "learning_rate": 2.2800000000000002e-05,
219
+ "loss": 0.1568,
220
+ "step": 2700
221
+ },
222
+ {
223
+ "epoch": 2.49,
224
+ "learning_rate": 2.2533333333333333e-05,
225
+ "loss": 0.1544,
226
+ "step": 2800
227
+ },
228
+ {
229
+ "epoch": 2.58,
230
+ "learning_rate": 2.2266666666666668e-05,
231
+ "loss": 0.1511,
232
+ "step": 2900
233
+ },
234
+ {
235
+ "epoch": 2.67,
236
+ "learning_rate": 2.2e-05,
237
+ "loss": 0.1599,
238
+ "step": 3000
239
+ },
240
+ {
241
+ "epoch": 2.67,
242
+ "eval_loss": 0.2426605522632599,
243
+ "eval_macro-f1": 0.4286399332829603,
244
+ "eval_micro-f1": 0.5606287425149701,
245
+ "eval_runtime": 250.7077,
246
+ "eval_samples_per_second": 3.989,
247
+ "eval_steps_per_second": 0.499,
248
+ "step": 3000
249
+ },
250
+ {
251
+ "epoch": 2.76,
252
+ "learning_rate": 2.1733333333333334e-05,
253
+ "loss": 0.1588,
254
+ "step": 3100
255
+ },
256
+ {
257
+ "epoch": 2.84,
258
+ "learning_rate": 2.1466666666666666e-05,
259
+ "loss": 0.1494,
260
+ "step": 3200
261
+ },
262
+ {
263
+ "epoch": 2.93,
264
+ "learning_rate": 2.12e-05,
265
+ "loss": 0.1451,
266
+ "step": 3300
267
+ },
268
+ {
269
+ "epoch": 3.02,
270
+ "learning_rate": 2.0933333333333335e-05,
271
+ "loss": 0.1511,
272
+ "step": 3400
273
+ },
274
+ {
275
+ "epoch": 3.11,
276
+ "learning_rate": 2.0666666666666666e-05,
277
+ "loss": 0.1481,
278
+ "step": 3500
279
+ },
280
+ {
281
+ "epoch": 3.11,
282
+ "eval_loss": 0.22102022171020508,
283
+ "eval_macro-f1": 0.4664222522152986,
284
+ "eval_micro-f1": 0.5780392156862745,
285
+ "eval_runtime": 250.7508,
286
+ "eval_samples_per_second": 3.988,
287
+ "eval_steps_per_second": 0.499,
288
+ "step": 3500
289
+ },
290
+ {
291
+ "epoch": 3.2,
292
+ "learning_rate": 2.04e-05,
293
+ "loss": 0.141,
294
+ "step": 3600
295
+ },
296
+ {
297
+ "epoch": 3.29,
298
+ "learning_rate": 2.0133333333333333e-05,
299
+ "loss": 0.15,
300
+ "step": 3700
301
+ },
302
+ {
303
+ "epoch": 3.38,
304
+ "learning_rate": 1.9866666666666667e-05,
305
+ "loss": 0.1447,
306
+ "step": 3800
307
+ },
308
+ {
309
+ "epoch": 3.47,
310
+ "learning_rate": 1.96e-05,
311
+ "loss": 0.1526,
312
+ "step": 3900
313
+ },
314
+ {
315
+ "epoch": 3.56,
316
+ "learning_rate": 1.9333333333333333e-05,
317
+ "loss": 0.1412,
318
+ "step": 4000
319
+ },
320
+ {
321
+ "epoch": 3.56,
322
+ "eval_loss": 0.2542124390602112,
323
+ "eval_macro-f1": 0.43618801692291176,
324
+ "eval_micro-f1": 0.5617082880926529,
325
+ "eval_runtime": 251.1467,
326
+ "eval_samples_per_second": 3.982,
327
+ "eval_steps_per_second": 0.498,
328
+ "step": 4000
329
+ },
330
+ {
331
+ "epoch": 3.64,
332
+ "learning_rate": 1.9066666666666668e-05,
333
+ "loss": 0.1437,
334
+ "step": 4100
335
+ },
336
+ {
337
+ "epoch": 3.73,
338
+ "learning_rate": 1.8800000000000003e-05,
339
+ "loss": 0.1537,
340
+ "step": 4200
341
+ },
342
+ {
343
+ "epoch": 3.82,
344
+ "learning_rate": 1.8533333333333334e-05,
345
+ "loss": 0.1419,
346
+ "step": 4300
347
+ },
348
+ {
349
+ "epoch": 3.91,
350
+ "learning_rate": 1.826666666666667e-05,
351
+ "loss": 0.146,
352
+ "step": 4400
353
+ },
354
+ {
355
+ "epoch": 4.0,
356
+ "learning_rate": 1.8e-05,
357
+ "loss": 0.1505,
358
+ "step": 4500
359
+ },
360
+ {
361
+ "epoch": 4.0,
362
+ "eval_loss": 0.22492457926273346,
363
+ "eval_macro-f1": 0.47284726582229103,
364
+ "eval_micro-f1": 0.5862584017923824,
365
+ "eval_runtime": 250.7861,
366
+ "eval_samples_per_second": 3.987,
367
+ "eval_steps_per_second": 0.498,
368
+ "step": 4500
369
+ },
370
+ {
371
+ "epoch": 4.09,
372
+ "learning_rate": 1.7733333333333335e-05,
373
+ "loss": 0.1376,
374
+ "step": 4600
375
+ },
376
+ {
377
+ "epoch": 4.18,
378
+ "learning_rate": 1.7466666666666667e-05,
379
+ "loss": 0.1349,
380
+ "step": 4700
381
+ },
382
+ {
383
+ "epoch": 4.27,
384
+ "learning_rate": 1.7202666666666667e-05,
385
+ "loss": 0.1377,
386
+ "step": 4800
387
+ },
388
+ {
389
+ "epoch": 4.36,
390
+ "learning_rate": 1.6936000000000002e-05,
391
+ "loss": 0.1476,
392
+ "step": 4900
393
+ },
394
+ {
395
+ "epoch": 4.44,
396
+ "learning_rate": 1.6669333333333337e-05,
397
+ "loss": 0.1425,
398
+ "step": 5000
399
+ },
400
+ {
401
+ "epoch": 4.44,
402
+ "eval_loss": 0.23111233115196228,
403
+ "eval_macro-f1": 0.4576083528112134,
404
+ "eval_micro-f1": 0.5845251191785845,
405
+ "eval_runtime": 250.9374,
406
+ "eval_samples_per_second": 3.985,
407
+ "eval_steps_per_second": 0.498,
408
+ "step": 5000
409
+ },
410
+ {
411
+ "epoch": 4.53,
412
+ "learning_rate": 1.6402666666666668e-05,
413
+ "loss": 0.1407,
414
+ "step": 5100
415
+ },
416
+ {
417
+ "epoch": 4.62,
418
+ "learning_rate": 1.6136000000000003e-05,
419
+ "loss": 0.1379,
420
+ "step": 5200
421
+ },
422
+ {
423
+ "epoch": 4.71,
424
+ "learning_rate": 1.5869333333333334e-05,
425
+ "loss": 0.1372,
426
+ "step": 5300
427
+ },
428
+ {
429
+ "epoch": 4.8,
430
+ "learning_rate": 1.560266666666667e-05,
431
+ "loss": 0.1383,
432
+ "step": 5400
433
+ },
434
+ {
435
+ "epoch": 4.89,
436
+ "learning_rate": 1.5336e-05,
437
+ "loss": 0.1461,
438
+ "step": 5500
439
+ },
440
+ {
441
+ "epoch": 4.89,
442
+ "eval_loss": 0.2261454164981842,
443
+ "eval_macro-f1": 0.45899951293068036,
444
+ "eval_micro-f1": 0.5832072617246595,
445
+ "eval_runtime": 250.9993,
446
+ "eval_samples_per_second": 3.984,
447
+ "eval_steps_per_second": 0.498,
448
+ "step": 5500
449
+ },
450
+ {
451
+ "epoch": 4.98,
452
+ "learning_rate": 1.5069333333333335e-05,
453
+ "loss": 0.149,
454
+ "step": 5600
455
+ },
456
+ {
457
+ "epoch": 5.07,
458
+ "learning_rate": 1.4802666666666666e-05,
459
+ "loss": 0.1462,
460
+ "step": 5700
461
+ },
462
+ {
463
+ "epoch": 5.16,
464
+ "learning_rate": 1.4536e-05,
465
+ "loss": 0.1368,
466
+ "step": 5800
467
+ },
468
+ {
469
+ "epoch": 5.24,
470
+ "learning_rate": 1.4269333333333332e-05,
471
+ "loss": 0.136,
472
+ "step": 5900
473
+ },
474
+ {
475
+ "epoch": 5.33,
476
+ "learning_rate": 1.4002666666666667e-05,
477
+ "loss": 0.1451,
478
+ "step": 6000
479
+ },
480
+ {
481
+ "epoch": 5.33,
482
+ "eval_loss": 0.2247992604970932,
483
+ "eval_macro-f1": 0.47382748403425246,
484
+ "eval_micro-f1": 0.590139808682855,
485
+ "eval_runtime": 250.7218,
486
+ "eval_samples_per_second": 3.988,
487
+ "eval_steps_per_second": 0.499,
488
+ "step": 6000
489
+ },
490
+ {
491
+ "epoch": 5.42,
492
+ "learning_rate": 1.3736e-05,
493
+ "loss": 0.1385,
494
+ "step": 6100
495
+ },
496
+ {
497
+ "epoch": 5.51,
498
+ "learning_rate": 1.3469333333333333e-05,
499
+ "loss": 0.1435,
500
+ "step": 6200
501
+ },
502
+ {
503
+ "epoch": 5.6,
504
+ "learning_rate": 1.3202666666666666e-05,
505
+ "loss": 0.1289,
506
+ "step": 6300
507
+ },
508
+ {
509
+ "epoch": 5.69,
510
+ "learning_rate": 1.2936000000000001e-05,
511
+ "loss": 0.1376,
512
+ "step": 6400
513
+ },
514
+ {
515
+ "epoch": 5.78,
516
+ "learning_rate": 1.2669333333333334e-05,
517
+ "loss": 0.1281,
518
+ "step": 6500
519
+ },
520
+ {
521
+ "epoch": 5.78,
522
+ "eval_loss": 0.23171132802963257,
523
+ "eval_macro-f1": 0.4640593541438955,
524
+ "eval_micro-f1": 0.5896037804434751,
525
+ "eval_runtime": 250.818,
526
+ "eval_samples_per_second": 3.987,
527
+ "eval_steps_per_second": 0.498,
528
+ "step": 6500
529
+ },
530
+ {
531
+ "epoch": 5.87,
532
+ "learning_rate": 1.2402666666666667e-05,
533
+ "loss": 0.1297,
534
+ "step": 6600
535
+ },
536
+ {
537
+ "epoch": 5.96,
538
+ "learning_rate": 1.2136e-05,
539
+ "loss": 0.1475,
540
+ "step": 6700
541
+ },
542
+ {
543
+ "epoch": 6.04,
544
+ "learning_rate": 1.1869333333333333e-05,
545
+ "loss": 0.1446,
546
+ "step": 6800
547
+ },
548
+ {
549
+ "epoch": 6.13,
550
+ "learning_rate": 1.1602666666666668e-05,
551
+ "loss": 0.1316,
552
+ "step": 6900
553
+ },
554
+ {
555
+ "epoch": 6.22,
556
+ "learning_rate": 1.1336000000000001e-05,
557
+ "loss": 0.1354,
558
+ "step": 7000
559
+ },
560
+ {
561
+ "epoch": 6.22,
562
+ "eval_loss": 0.236615851521492,
563
+ "eval_macro-f1": 0.46391783502581774,
564
+ "eval_micro-f1": 0.5945558739255014,
565
+ "eval_runtime": 250.8543,
566
+ "eval_samples_per_second": 3.986,
567
+ "eval_steps_per_second": 0.498,
568
+ "step": 7000
569
+ },
570
+ {
571
+ "epoch": 6.31,
572
+ "learning_rate": 1.1069333333333334e-05,
573
+ "loss": 0.1371,
574
+ "step": 7100
575
+ },
576
+ {
577
+ "epoch": 6.4,
578
+ "learning_rate": 1.0802666666666667e-05,
579
+ "loss": 0.1336,
580
+ "step": 7200
581
+ },
582
+ {
583
+ "epoch": 6.49,
584
+ "learning_rate": 1.0536e-05,
585
+ "loss": 0.1377,
586
+ "step": 7300
587
+ },
588
+ {
589
+ "epoch": 6.58,
590
+ "learning_rate": 1.0269333333333333e-05,
591
+ "loss": 0.1214,
592
+ "step": 7400
593
+ },
594
+ {
595
+ "epoch": 6.67,
596
+ "learning_rate": 1.0002666666666667e-05,
597
+ "loss": 0.1204,
598
+ "step": 7500
599
+ },
600
+ {
601
+ "epoch": 6.67,
602
+ "eval_loss": 0.23111066222190857,
603
+ "eval_macro-f1": 0.4874939295642857,
604
+ "eval_micro-f1": 0.5876635514018691,
605
+ "eval_runtime": 251.0341,
606
+ "eval_samples_per_second": 3.984,
607
+ "eval_steps_per_second": 0.498,
608
+ "step": 7500
609
+ },
610
+ {
611
+ "epoch": 6.76,
612
+ "learning_rate": 9.736e-06,
613
+ "loss": 0.1447,
614
+ "step": 7600
615
+ },
616
+ {
617
+ "epoch": 6.84,
618
+ "learning_rate": 9.469333333333334e-06,
619
+ "loss": 0.1378,
620
+ "step": 7700
621
+ },
622
+ {
623
+ "epoch": 6.93,
624
+ "learning_rate": 9.202666666666667e-06,
625
+ "loss": 0.1284,
626
+ "step": 7800
627
+ },
628
+ {
629
+ "epoch": 7.02,
630
+ "learning_rate": 8.936e-06,
631
+ "loss": 0.1348,
632
+ "step": 7900
633
+ },
634
+ {
635
+ "epoch": 7.11,
636
+ "learning_rate": 8.669333333333334e-06,
637
+ "loss": 0.1229,
638
+ "step": 8000
639
+ },
640
+ {
641
+ "epoch": 7.11,
642
+ "eval_loss": 0.2082732766866684,
643
+ "eval_macro-f1": 0.48152917771348014,
644
+ "eval_micro-f1": 0.6019637462235651,
645
+ "eval_runtime": 250.7762,
646
+ "eval_samples_per_second": 3.988,
647
+ "eval_steps_per_second": 0.498,
648
+ "step": 8000
649
+ },
650
+ {
651
+ "epoch": 7.2,
652
+ "learning_rate": 8.402666666666667e-06,
653
+ "loss": 0.1278,
654
+ "step": 8100
655
+ },
656
+ {
657
+ "epoch": 7.29,
658
+ "learning_rate": 8.136e-06,
659
+ "loss": 0.1296,
660
+ "step": 8200
661
+ },
662
+ {
663
+ "epoch": 7.38,
664
+ "learning_rate": 7.869333333333333e-06,
665
+ "loss": 0.1414,
666
+ "step": 8300
667
+ },
668
+ {
669
+ "epoch": 7.47,
670
+ "learning_rate": 7.602666666666667e-06,
671
+ "loss": 0.1345,
672
+ "step": 8400
673
+ },
674
+ {
675
+ "epoch": 7.56,
676
+ "learning_rate": 7.336e-06,
677
+ "loss": 0.1368,
678
+ "step": 8500
679
+ },
680
+ {
681
+ "epoch": 7.56,
682
+ "eval_loss": 0.21700948476791382,
683
+ "eval_macro-f1": 0.5212896599306505,
684
+ "eval_micro-f1": 0.6020710059171598,
685
+ "eval_runtime": 250.9977,
686
+ "eval_samples_per_second": 3.984,
687
+ "eval_steps_per_second": 0.498,
688
+ "step": 8500
689
+ },
690
+ {
691
+ "epoch": 7.64,
692
+ "learning_rate": 7.069333333333333e-06,
693
+ "loss": 0.1252,
694
+ "step": 8600
695
+ },
696
+ {
697
+ "epoch": 7.73,
698
+ "learning_rate": 6.802666666666667e-06,
699
+ "loss": 0.1281,
700
+ "step": 8700
701
+ },
702
+ {
703
+ "epoch": 7.82,
704
+ "learning_rate": 6.538666666666667e-06,
705
+ "loss": 0.1248,
706
+ "step": 8800
707
+ },
708
+ {
709
+ "epoch": 7.91,
710
+ "learning_rate": 6.272e-06,
711
+ "loss": 0.1345,
712
+ "step": 8900
713
+ },
714
+ {
715
+ "epoch": 8.0,
716
+ "learning_rate": 6.005333333333334e-06,
717
+ "loss": 0.1288,
718
+ "step": 9000
719
+ },
720
+ {
721
+ "epoch": 8.0,
722
+ "eval_loss": 0.2136116474866867,
723
+ "eval_macro-f1": 0.5335725321845664,
724
+ "eval_micro-f1": 0.6175595238095237,
725
+ "eval_runtime": 250.9763,
726
+ "eval_samples_per_second": 3.984,
727
+ "eval_steps_per_second": 0.498,
728
+ "step": 9000
729
+ },
730
+ {
731
+ "epoch": 8.09,
732
+ "learning_rate": 5.738666666666667e-06,
733
+ "loss": 0.1424,
734
+ "step": 9100
735
+ },
736
+ {
737
+ "epoch": 8.18,
738
+ "learning_rate": 5.472e-06,
739
+ "loss": 0.1317,
740
+ "step": 9200
741
+ },
742
+ {
743
+ "epoch": 8.27,
744
+ "learning_rate": 5.205333333333333e-06,
745
+ "loss": 0.1276,
746
+ "step": 9300
747
+ },
748
+ {
749
+ "epoch": 8.36,
750
+ "learning_rate": 4.938666666666667e-06,
751
+ "loss": 0.1309,
752
+ "step": 9400
753
+ },
754
+ {
755
+ "epoch": 8.44,
756
+ "learning_rate": 4.672e-06,
757
+ "loss": 0.1275,
758
+ "step": 9500
759
+ },
760
+ {
761
+ "epoch": 8.44,
762
+ "eval_loss": 0.21796877682209015,
763
+ "eval_macro-f1": 0.5203516217663584,
764
+ "eval_micro-f1": 0.6081784386617101,
765
+ "eval_runtime": 251.0313,
766
+ "eval_samples_per_second": 3.984,
767
+ "eval_steps_per_second": 0.498,
768
+ "step": 9500
769
+ },
770
+ {
771
+ "epoch": 8.53,
772
+ "learning_rate": 4.405333333333333e-06,
773
+ "loss": 0.1258,
774
+ "step": 9600
775
+ },
776
+ {
777
+ "epoch": 8.62,
778
+ "learning_rate": 4.1386666666666665e-06,
779
+ "loss": 0.1338,
780
+ "step": 9700
781
+ },
782
+ {
783
+ "epoch": 8.71,
784
+ "learning_rate": 3.872e-06,
785
+ "loss": 0.1254,
786
+ "step": 9800
787
+ },
788
+ {
789
+ "epoch": 8.8,
790
+ "learning_rate": 3.6053333333333334e-06,
791
+ "loss": 0.1206,
792
+ "step": 9900
793
+ },
794
+ {
795
+ "epoch": 8.89,
796
+ "learning_rate": 3.338666666666667e-06,
797
+ "loss": 0.1232,
798
+ "step": 10000
799
+ },
800
+ {
801
+ "epoch": 8.89,
802
+ "eval_loss": 0.2147359549999237,
803
+ "eval_macro-f1": 0.5334115012856294,
804
+ "eval_micro-f1": 0.6083052749719416,
805
+ "eval_runtime": 251.0602,
806
+ "eval_samples_per_second": 3.983,
807
+ "eval_steps_per_second": 0.498,
808
+ "step": 10000
809
+ },
810
+ {
811
+ "epoch": 8.98,
812
+ "learning_rate": 3.0720000000000004e-06,
813
+ "loss": 0.1167,
814
+ "step": 10100
815
+ },
816
+ {
817
+ "epoch": 9.07,
818
+ "learning_rate": 2.8053333333333335e-06,
819
+ "loss": 0.133,
820
+ "step": 10200
821
+ },
822
+ {
823
+ "epoch": 9.16,
824
+ "learning_rate": 2.538666666666667e-06,
825
+ "loss": 0.1239,
826
+ "step": 10300
827
+ },
828
+ {
829
+ "epoch": 9.24,
830
+ "learning_rate": 2.272e-06,
831
+ "loss": 0.1208,
832
+ "step": 10400
833
+ },
834
+ {
835
+ "epoch": 9.33,
836
+ "learning_rate": 2.0053333333333335e-06,
837
+ "loss": 0.1319,
838
+ "step": 10500
839
+ },
840
+ {
841
+ "epoch": 9.33,
842
+ "eval_loss": 0.21207687258720398,
843
+ "eval_macro-f1": 0.5311776120067299,
844
+ "eval_micro-f1": 0.6186029137093761,
845
+ "eval_runtime": 250.7675,
846
+ "eval_samples_per_second": 3.988,
847
+ "eval_steps_per_second": 0.498,
848
+ "step": 10500
849
+ },
850
+ {
851
+ "epoch": 9.42,
852
+ "learning_rate": 1.7386666666666668e-06,
853
+ "loss": 0.1136,
854
+ "step": 10600
855
+ },
856
+ {
857
+ "epoch": 9.51,
858
+ "learning_rate": 1.472e-06,
859
+ "loss": 0.131,
860
+ "step": 10700
861
+ },
862
+ {
863
+ "epoch": 9.6,
864
+ "learning_rate": 1.208e-06,
865
+ "loss": 0.1302,
866
+ "step": 10800
867
+ },
868
+ {
869
+ "epoch": 9.69,
870
+ "learning_rate": 9.413333333333333e-07,
871
+ "loss": 0.1204,
872
+ "step": 10900
873
+ },
874
+ {
875
+ "epoch": 9.78,
876
+ "learning_rate": 6.746666666666667e-07,
877
+ "loss": 0.1267,
878
+ "step": 11000
879
+ },
880
+ {
881
+ "epoch": 9.78,
882
+ "eval_loss": 0.20918133854866028,
883
+ "eval_macro-f1": 0.5250058915528198,
884
+ "eval_micro-f1": 0.6189584113900337,
885
+ "eval_runtime": 251.2843,
886
+ "eval_samples_per_second": 3.98,
887
+ "eval_steps_per_second": 0.497,
888
+ "step": 11000
889
+ },
890
+ {
891
+ "epoch": 9.87,
892
+ "learning_rate": 4.08e-07,
893
+ "loss": 0.1225,
894
+ "step": 11100
895
+ },
896
+ {
897
+ "epoch": 9.96,
898
+ "learning_rate": 1.4133333333333333e-07,
899
+ "loss": 0.1188,
900
+ "step": 11200
901
+ },
902
+ {
903
+ "epoch": 10.0,
904
+ "step": 11250,
905
+ "total_flos": 4.4162288418816e+17,
906
+ "train_loss": 0.14765226224263509,
907
+ "train_runtime": 28756.843,
908
+ "train_samples_per_second": 3.13,
909
+ "train_steps_per_second": 0.391
910
+ }
911
+ ],
912
+ "max_steps": 11250,
913
+ "num_train_epochs": 10,
914
+ "total_flos": 4.4162288418816e+17,
915
+ "trial_name": null,
916
+ "trial_params": null
917
+ }