Joemgu commited on
Commit
08dd2cd
1 Parent(s): 79753e6

Training in progress, step 600

Browse files
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:f8c1215989d3c7f6317e0f6c05b46382b6e29fbdc1f07b62a204c7a5a8fc3559
3
  size 4736616809
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d8bf6a587c3b2deea0af6f6e8e715536124131fa447be3ad8aff9285a40a6527
3
  size 4736616809
last-checkpoint/pytorch_model.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:6691fb6f696ed838034568580bf11105cd7d247925aaa8c39f26ca3e936ca47e
3
  size 2368281769
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:bca52973073c7ff1e3e1b1320c55cfdba551b1acc405e671c24804149380d1fc
3
  size 2368281769
last-checkpoint/rng_state.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:b1d5d151daf5d9763ae4661efceb395b789558b09ffc0615ad5aff28047b622d
3
  size 14575
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:a8071c5414e6d9bf6dffe71da15c03f40d1fde4fd0df3c2ea5cfb6a1e40ea2f2
3
  size 14575
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:3aa34fdf0557bf6f0ec97e73a9c403afbf62a6c74c782a9a21d2fd1b26413d2f
3
  size 627
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:87e43857a30059e053cce9bf13199ec7a68763b87b43c2900091d96422b0bdbd
3
  size 627
last-checkpoint/trainer_state.json CHANGED
@@ -1,8 +1,8 @@
1
  {
2
- "best_metric": 2.1868629455566406,
3
- "best_model_checkpoint": "output/checkpoint-200",
4
- "epoch": 0.2,
5
- "global_step": 400,
6
  "is_hyper_param_search": false,
7
  "is_local_process_zero": true,
8
  "is_world_process_zero": true,
@@ -2432,11 +2432,1224 @@
2432
  "eval_samples_per_second": 0.055,
2433
  "eval_steps_per_second": 0.055,
2434
  "step": 400
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
2435
  }
2436
  ],
2437
  "max_steps": 2000,
2438
  "num_train_epochs": 9223372036854775807,
2439
- "total_flos": 3.2061729480431616e+17,
2440
  "trial_name": null,
2441
  "trial_params": null
2442
  }
 
1
  {
2
+ "best_metric": 2.1741747856140137,
3
+ "best_model_checkpoint": "output/checkpoint-600",
4
+ "epoch": 0.3,
5
+ "global_step": 600,
6
  "is_hyper_param_search": false,
7
  "is_local_process_zero": true,
8
  "is_world_process_zero": true,
 
2432
  "eval_samples_per_second": 0.055,
2433
  "eval_steps_per_second": 0.055,
2434
  "step": 400
2435
+ },
2436
+ {
2437
+ "epoch": 0.2,
2438
+ "learning_rate": 0.0007106666666666666,
2439
+ "loss": 2.2846,
2440
+ "step": 401
2441
+ },
2442
+ {
2443
+ "epoch": 0.2,
2444
+ "learning_rate": 0.0007102222222222222,
2445
+ "loss": 2.2636,
2446
+ "step": 402
2447
+ },
2448
+ {
2449
+ "epoch": 0.2,
2450
+ "learning_rate": 0.0007097777777777778,
2451
+ "loss": 2.3398,
2452
+ "step": 403
2453
+ },
2454
+ {
2455
+ "epoch": 0.2,
2456
+ "learning_rate": 0.0007093333333333334,
2457
+ "loss": 2.265,
2458
+ "step": 404
2459
+ },
2460
+ {
2461
+ "epoch": 0.2,
2462
+ "learning_rate": 0.0007088888888888889,
2463
+ "loss": 2.2955,
2464
+ "step": 405
2465
+ },
2466
+ {
2467
+ "epoch": 0.2,
2468
+ "learning_rate": 0.0007084444444444445,
2469
+ "loss": 2.3476,
2470
+ "step": 406
2471
+ },
2472
+ {
2473
+ "epoch": 0.2,
2474
+ "learning_rate": 0.0007080000000000001,
2475
+ "loss": 2.3451,
2476
+ "step": 407
2477
+ },
2478
+ {
2479
+ "epoch": 0.2,
2480
+ "learning_rate": 0.0007075555555555556,
2481
+ "loss": 2.308,
2482
+ "step": 408
2483
+ },
2484
+ {
2485
+ "epoch": 0.2,
2486
+ "learning_rate": 0.000707111111111111,
2487
+ "loss": 2.2872,
2488
+ "step": 409
2489
+ },
2490
+ {
2491
+ "epoch": 0.2,
2492
+ "learning_rate": 0.0007066666666666666,
2493
+ "loss": 2.2483,
2494
+ "step": 410
2495
+ },
2496
+ {
2497
+ "epoch": 0.21,
2498
+ "learning_rate": 0.0007062222222222222,
2499
+ "loss": 2.2962,
2500
+ "step": 411
2501
+ },
2502
+ {
2503
+ "epoch": 0.21,
2504
+ "learning_rate": 0.0007057777777777778,
2505
+ "loss": 2.3136,
2506
+ "step": 412
2507
+ },
2508
+ {
2509
+ "epoch": 0.21,
2510
+ "learning_rate": 0.0007053333333333334,
2511
+ "loss": 2.2673,
2512
+ "step": 413
2513
+ },
2514
+ {
2515
+ "epoch": 0.21,
2516
+ "learning_rate": 0.0007048888888888889,
2517
+ "loss": 2.2162,
2518
+ "step": 414
2519
+ },
2520
+ {
2521
+ "epoch": 0.21,
2522
+ "learning_rate": 0.0007044444444444445,
2523
+ "loss": 2.2537,
2524
+ "step": 415
2525
+ },
2526
+ {
2527
+ "epoch": 0.21,
2528
+ "learning_rate": 0.0007040000000000001,
2529
+ "loss": 2.2983,
2530
+ "step": 416
2531
+ },
2532
+ {
2533
+ "epoch": 0.21,
2534
+ "learning_rate": 0.0007035555555555556,
2535
+ "loss": 2.2838,
2536
+ "step": 417
2537
+ },
2538
+ {
2539
+ "epoch": 0.21,
2540
+ "learning_rate": 0.0007031111111111112,
2541
+ "loss": 2.2714,
2542
+ "step": 418
2543
+ },
2544
+ {
2545
+ "epoch": 0.21,
2546
+ "learning_rate": 0.0007026666666666667,
2547
+ "loss": 2.2799,
2548
+ "step": 419
2549
+ },
2550
+ {
2551
+ "epoch": 0.21,
2552
+ "learning_rate": 0.0007022222222222222,
2553
+ "loss": 2.3028,
2554
+ "step": 420
2555
+ },
2556
+ {
2557
+ "epoch": 0.21,
2558
+ "learning_rate": 0.0007017777777777778,
2559
+ "loss": 2.2599,
2560
+ "step": 421
2561
+ },
2562
+ {
2563
+ "epoch": 0.21,
2564
+ "learning_rate": 0.0007013333333333334,
2565
+ "loss": 2.318,
2566
+ "step": 422
2567
+ },
2568
+ {
2569
+ "epoch": 0.21,
2570
+ "learning_rate": 0.0007008888888888889,
2571
+ "loss": 2.2827,
2572
+ "step": 423
2573
+ },
2574
+ {
2575
+ "epoch": 0.21,
2576
+ "learning_rate": 0.0007004444444444445,
2577
+ "loss": 2.3303,
2578
+ "step": 424
2579
+ },
2580
+ {
2581
+ "epoch": 0.21,
2582
+ "learning_rate": 0.0007,
2583
+ "loss": 2.3569,
2584
+ "step": 425
2585
+ },
2586
+ {
2587
+ "epoch": 0.21,
2588
+ "learning_rate": 0.0006995555555555556,
2589
+ "loss": 2.2757,
2590
+ "step": 426
2591
+ },
2592
+ {
2593
+ "epoch": 0.21,
2594
+ "learning_rate": 0.0006991111111111112,
2595
+ "loss": 2.3166,
2596
+ "step": 427
2597
+ },
2598
+ {
2599
+ "epoch": 0.21,
2600
+ "learning_rate": 0.0006986666666666667,
2601
+ "loss": 2.2164,
2602
+ "step": 428
2603
+ },
2604
+ {
2605
+ "epoch": 0.21,
2606
+ "learning_rate": 0.0006982222222222223,
2607
+ "loss": 2.259,
2608
+ "step": 429
2609
+ },
2610
+ {
2611
+ "epoch": 0.21,
2612
+ "learning_rate": 0.0006977777777777778,
2613
+ "loss": 2.3298,
2614
+ "step": 430
2615
+ },
2616
+ {
2617
+ "epoch": 0.22,
2618
+ "learning_rate": 0.0006973333333333334,
2619
+ "loss": 2.2499,
2620
+ "step": 431
2621
+ },
2622
+ {
2623
+ "epoch": 0.22,
2624
+ "learning_rate": 0.0006968888888888889,
2625
+ "loss": 2.3553,
2626
+ "step": 432
2627
+ },
2628
+ {
2629
+ "epoch": 0.22,
2630
+ "learning_rate": 0.0006964444444444444,
2631
+ "loss": 2.2167,
2632
+ "step": 433
2633
+ },
2634
+ {
2635
+ "epoch": 0.22,
2636
+ "learning_rate": 0.000696,
2637
+ "loss": 2.303,
2638
+ "step": 434
2639
+ },
2640
+ {
2641
+ "epoch": 0.22,
2642
+ "learning_rate": 0.0006955555555555556,
2643
+ "loss": 2.3341,
2644
+ "step": 435
2645
+ },
2646
+ {
2647
+ "epoch": 0.22,
2648
+ "learning_rate": 0.0006951111111111112,
2649
+ "loss": 2.3226,
2650
+ "step": 436
2651
+ },
2652
+ {
2653
+ "epoch": 0.22,
2654
+ "learning_rate": 0.0006946666666666667,
2655
+ "loss": 2.3525,
2656
+ "step": 437
2657
+ },
2658
+ {
2659
+ "epoch": 0.22,
2660
+ "learning_rate": 0.0006942222222222223,
2661
+ "loss": 2.3144,
2662
+ "step": 438
2663
+ },
2664
+ {
2665
+ "epoch": 0.22,
2666
+ "learning_rate": 0.0006937777777777779,
2667
+ "loss": 2.3401,
2668
+ "step": 439
2669
+ },
2670
+ {
2671
+ "epoch": 0.22,
2672
+ "learning_rate": 0.0006933333333333333,
2673
+ "loss": 2.2758,
2674
+ "step": 440
2675
+ },
2676
+ {
2677
+ "epoch": 0.22,
2678
+ "learning_rate": 0.0006928888888888889,
2679
+ "loss": 2.2498,
2680
+ "step": 441
2681
+ },
2682
+ {
2683
+ "epoch": 0.22,
2684
+ "learning_rate": 0.0006924444444444444,
2685
+ "loss": 2.2928,
2686
+ "step": 442
2687
+ },
2688
+ {
2689
+ "epoch": 0.22,
2690
+ "learning_rate": 0.000692,
2691
+ "loss": 2.2825,
2692
+ "step": 443
2693
+ },
2694
+ {
2695
+ "epoch": 0.22,
2696
+ "learning_rate": 0.0006915555555555556,
2697
+ "loss": 2.2283,
2698
+ "step": 444
2699
+ },
2700
+ {
2701
+ "epoch": 0.22,
2702
+ "learning_rate": 0.0006911111111111112,
2703
+ "loss": 2.3107,
2704
+ "step": 445
2705
+ },
2706
+ {
2707
+ "epoch": 0.22,
2708
+ "learning_rate": 0.0006906666666666667,
2709
+ "loss": 2.3323,
2710
+ "step": 446
2711
+ },
2712
+ {
2713
+ "epoch": 0.22,
2714
+ "learning_rate": 0.0006902222222222223,
2715
+ "loss": 2.3402,
2716
+ "step": 447
2717
+ },
2718
+ {
2719
+ "epoch": 0.22,
2720
+ "learning_rate": 0.0006897777777777778,
2721
+ "loss": 2.3507,
2722
+ "step": 448
2723
+ },
2724
+ {
2725
+ "epoch": 0.22,
2726
+ "learning_rate": 0.0006893333333333334,
2727
+ "loss": 2.3219,
2728
+ "step": 449
2729
+ },
2730
+ {
2731
+ "epoch": 0.23,
2732
+ "learning_rate": 0.000688888888888889,
2733
+ "loss": 2.3656,
2734
+ "step": 450
2735
+ },
2736
+ {
2737
+ "epoch": 0.23,
2738
+ "learning_rate": 0.0006884444444444444,
2739
+ "loss": 2.2787,
2740
+ "step": 451
2741
+ },
2742
+ {
2743
+ "epoch": 0.23,
2744
+ "learning_rate": 0.000688,
2745
+ "loss": 2.3104,
2746
+ "step": 452
2747
+ },
2748
+ {
2749
+ "epoch": 0.23,
2750
+ "learning_rate": 0.0006875555555555556,
2751
+ "loss": 2.2685,
2752
+ "step": 453
2753
+ },
2754
+ {
2755
+ "epoch": 0.23,
2756
+ "learning_rate": 0.0006871111111111112,
2757
+ "loss": 2.293,
2758
+ "step": 454
2759
+ },
2760
+ {
2761
+ "epoch": 0.23,
2762
+ "learning_rate": 0.0006866666666666667,
2763
+ "loss": 2.2669,
2764
+ "step": 455
2765
+ },
2766
+ {
2767
+ "epoch": 0.23,
2768
+ "learning_rate": 0.0006862222222222222,
2769
+ "loss": 2.2529,
2770
+ "step": 456
2771
+ },
2772
+ {
2773
+ "epoch": 0.23,
2774
+ "learning_rate": 0.0006857777777777778,
2775
+ "loss": 2.3113,
2776
+ "step": 457
2777
+ },
2778
+ {
2779
+ "epoch": 0.23,
2780
+ "learning_rate": 0.0006853333333333334,
2781
+ "loss": 2.3299,
2782
+ "step": 458
2783
+ },
2784
+ {
2785
+ "epoch": 0.23,
2786
+ "learning_rate": 0.000684888888888889,
2787
+ "loss": 2.3506,
2788
+ "step": 459
2789
+ },
2790
+ {
2791
+ "epoch": 0.23,
2792
+ "learning_rate": 0.0006844444444444444,
2793
+ "loss": 2.2797,
2794
+ "step": 460
2795
+ },
2796
+ {
2797
+ "epoch": 0.23,
2798
+ "learning_rate": 0.000684,
2799
+ "loss": 2.3021,
2800
+ "step": 461
2801
+ },
2802
+ {
2803
+ "epoch": 0.23,
2804
+ "learning_rate": 0.0006835555555555556,
2805
+ "loss": 2.2821,
2806
+ "step": 462
2807
+ },
2808
+ {
2809
+ "epoch": 0.23,
2810
+ "learning_rate": 0.0006831111111111111,
2811
+ "loss": 2.3057,
2812
+ "step": 463
2813
+ },
2814
+ {
2815
+ "epoch": 0.23,
2816
+ "learning_rate": 0.0006826666666666667,
2817
+ "loss": 2.2947,
2818
+ "step": 464
2819
+ },
2820
+ {
2821
+ "epoch": 0.23,
2822
+ "learning_rate": 0.0006822222222222222,
2823
+ "loss": 2.2819,
2824
+ "step": 465
2825
+ },
2826
+ {
2827
+ "epoch": 0.23,
2828
+ "learning_rate": 0.0006817777777777778,
2829
+ "loss": 2.2521,
2830
+ "step": 466
2831
+ },
2832
+ {
2833
+ "epoch": 0.23,
2834
+ "learning_rate": 0.0006813333333333334,
2835
+ "loss": 2.2611,
2836
+ "step": 467
2837
+ },
2838
+ {
2839
+ "epoch": 0.23,
2840
+ "learning_rate": 0.000680888888888889,
2841
+ "loss": 2.2953,
2842
+ "step": 468
2843
+ },
2844
+ {
2845
+ "epoch": 0.23,
2846
+ "learning_rate": 0.0006804444444444445,
2847
+ "loss": 2.2593,
2848
+ "step": 469
2849
+ },
2850
+ {
2851
+ "epoch": 0.23,
2852
+ "learning_rate": 0.00068,
2853
+ "loss": 2.311,
2854
+ "step": 470
2855
+ },
2856
+ {
2857
+ "epoch": 0.24,
2858
+ "learning_rate": 0.0006795555555555556,
2859
+ "loss": 2.3297,
2860
+ "step": 471
2861
+ },
2862
+ {
2863
+ "epoch": 0.24,
2864
+ "learning_rate": 0.0006791111111111111,
2865
+ "loss": 2.3235,
2866
+ "step": 472
2867
+ },
2868
+ {
2869
+ "epoch": 0.24,
2870
+ "learning_rate": 0.0006786666666666667,
2871
+ "loss": 2.2148,
2872
+ "step": 473
2873
+ },
2874
+ {
2875
+ "epoch": 0.24,
2876
+ "learning_rate": 0.0006782222222222222,
2877
+ "loss": 2.2254,
2878
+ "step": 474
2879
+ },
2880
+ {
2881
+ "epoch": 0.24,
2882
+ "learning_rate": 0.0006777777777777778,
2883
+ "loss": 2.2851,
2884
+ "step": 475
2885
+ },
2886
+ {
2887
+ "epoch": 0.24,
2888
+ "learning_rate": 0.0006773333333333334,
2889
+ "loss": 2.3619,
2890
+ "step": 476
2891
+ },
2892
+ {
2893
+ "epoch": 0.24,
2894
+ "learning_rate": 0.000676888888888889,
2895
+ "loss": 2.2525,
2896
+ "step": 477
2897
+ },
2898
+ {
2899
+ "epoch": 0.24,
2900
+ "learning_rate": 0.0006764444444444445,
2901
+ "loss": 2.2553,
2902
+ "step": 478
2903
+ },
2904
+ {
2905
+ "epoch": 0.24,
2906
+ "learning_rate": 0.0006760000000000001,
2907
+ "loss": 2.3169,
2908
+ "step": 479
2909
+ },
2910
+ {
2911
+ "epoch": 0.24,
2912
+ "learning_rate": 0.0006755555555555555,
2913
+ "loss": 2.3435,
2914
+ "step": 480
2915
+ },
2916
+ {
2917
+ "epoch": 0.24,
2918
+ "learning_rate": 0.0006751111111111111,
2919
+ "loss": 2.2737,
2920
+ "step": 481
2921
+ },
2922
+ {
2923
+ "epoch": 0.24,
2924
+ "learning_rate": 0.0006746666666666667,
2925
+ "loss": 2.2905,
2926
+ "step": 482
2927
+ },
2928
+ {
2929
+ "epoch": 0.24,
2930
+ "learning_rate": 0.0006742222222222222,
2931
+ "loss": 2.242,
2932
+ "step": 483
2933
+ },
2934
+ {
2935
+ "epoch": 0.24,
2936
+ "learning_rate": 0.0006737777777777778,
2937
+ "loss": 2.2425,
2938
+ "step": 484
2939
+ },
2940
+ {
2941
+ "epoch": 0.24,
2942
+ "learning_rate": 0.0006733333333333334,
2943
+ "loss": 2.3406,
2944
+ "step": 485
2945
+ },
2946
+ {
2947
+ "epoch": 0.24,
2948
+ "learning_rate": 0.000672888888888889,
2949
+ "loss": 2.3018,
2950
+ "step": 486
2951
+ },
2952
+ {
2953
+ "epoch": 0.24,
2954
+ "learning_rate": 0.0006724444444444445,
2955
+ "loss": 2.3139,
2956
+ "step": 487
2957
+ },
2958
+ {
2959
+ "epoch": 0.24,
2960
+ "learning_rate": 0.000672,
2961
+ "loss": 2.3142,
2962
+ "step": 488
2963
+ },
2964
+ {
2965
+ "epoch": 0.24,
2966
+ "learning_rate": 0.0006715555555555556,
2967
+ "loss": 2.3257,
2968
+ "step": 489
2969
+ },
2970
+ {
2971
+ "epoch": 0.24,
2972
+ "learning_rate": 0.0006711111111111111,
2973
+ "loss": 2.3662,
2974
+ "step": 490
2975
+ },
2976
+ {
2977
+ "epoch": 0.25,
2978
+ "learning_rate": 0.0006706666666666667,
2979
+ "loss": 2.3062,
2980
+ "step": 491
2981
+ },
2982
+ {
2983
+ "epoch": 0.25,
2984
+ "learning_rate": 0.0006702222222222222,
2985
+ "loss": 2.321,
2986
+ "step": 492
2987
+ },
2988
+ {
2989
+ "epoch": 0.25,
2990
+ "learning_rate": 0.0006697777777777778,
2991
+ "loss": 2.3185,
2992
+ "step": 493
2993
+ },
2994
+ {
2995
+ "epoch": 0.25,
2996
+ "learning_rate": 0.0006693333333333334,
2997
+ "loss": 2.3271,
2998
+ "step": 494
2999
+ },
3000
+ {
3001
+ "epoch": 0.25,
3002
+ "learning_rate": 0.0006688888888888889,
3003
+ "loss": 2.3214,
3004
+ "step": 495
3005
+ },
3006
+ {
3007
+ "epoch": 0.25,
3008
+ "learning_rate": 0.0006684444444444445,
3009
+ "loss": 2.2758,
3010
+ "step": 496
3011
+ },
3012
+ {
3013
+ "epoch": 0.25,
3014
+ "learning_rate": 0.000668,
3015
+ "loss": 2.2785,
3016
+ "step": 497
3017
+ },
3018
+ {
3019
+ "epoch": 0.25,
3020
+ "learning_rate": 0.0006675555555555556,
3021
+ "loss": 2.3329,
3022
+ "step": 498
3023
+ },
3024
+ {
3025
+ "epoch": 0.25,
3026
+ "learning_rate": 0.0006671111111111112,
3027
+ "loss": 2.2952,
3028
+ "step": 499
3029
+ },
3030
+ {
3031
+ "epoch": 0.25,
3032
+ "learning_rate": 0.0006666666666666668,
3033
+ "loss": 2.3203,
3034
+ "step": 500
3035
+ },
3036
+ {
3037
+ "epoch": 0.25,
3038
+ "learning_rate": 0.0006662222222222222,
3039
+ "loss": 2.3027,
3040
+ "step": 501
3041
+ },
3042
+ {
3043
+ "epoch": 0.25,
3044
+ "learning_rate": 0.0006657777777777778,
3045
+ "loss": 2.2896,
3046
+ "step": 502
3047
+ },
3048
+ {
3049
+ "epoch": 0.25,
3050
+ "learning_rate": 0.0006653333333333333,
3051
+ "loss": 2.2812,
3052
+ "step": 503
3053
+ },
3054
+ {
3055
+ "epoch": 0.25,
3056
+ "learning_rate": 0.0006648888888888889,
3057
+ "loss": 2.2475,
3058
+ "step": 504
3059
+ },
3060
+ {
3061
+ "epoch": 0.25,
3062
+ "learning_rate": 0.0006644444444444445,
3063
+ "loss": 2.2417,
3064
+ "step": 505
3065
+ },
3066
+ {
3067
+ "epoch": 0.25,
3068
+ "learning_rate": 0.000664,
3069
+ "loss": 2.3216,
3070
+ "step": 506
3071
+ },
3072
+ {
3073
+ "epoch": 0.25,
3074
+ "learning_rate": 0.0006635555555555556,
3075
+ "loss": 2.2549,
3076
+ "step": 507
3077
+ },
3078
+ {
3079
+ "epoch": 0.25,
3080
+ "learning_rate": 0.0006631111111111112,
3081
+ "loss": 2.2115,
3082
+ "step": 508
3083
+ },
3084
+ {
3085
+ "epoch": 0.25,
3086
+ "learning_rate": 0.0006626666666666668,
3087
+ "loss": 2.268,
3088
+ "step": 509
3089
+ },
3090
+ {
3091
+ "epoch": 0.26,
3092
+ "learning_rate": 0.0006622222222222222,
3093
+ "loss": 2.2714,
3094
+ "step": 510
3095
+ },
3096
+ {
3097
+ "epoch": 0.26,
3098
+ "learning_rate": 0.0006617777777777777,
3099
+ "loss": 2.3372,
3100
+ "step": 511
3101
+ },
3102
+ {
3103
+ "epoch": 0.26,
3104
+ "learning_rate": 0.0006613333333333333,
3105
+ "loss": 2.2497,
3106
+ "step": 512
3107
+ },
3108
+ {
3109
+ "epoch": 0.26,
3110
+ "learning_rate": 0.0006608888888888889,
3111
+ "loss": 2.2294,
3112
+ "step": 513
3113
+ },
3114
+ {
3115
+ "epoch": 0.26,
3116
+ "learning_rate": 0.0006604444444444445,
3117
+ "loss": 2.3672,
3118
+ "step": 514
3119
+ },
3120
+ {
3121
+ "epoch": 0.26,
3122
+ "learning_rate": 0.00066,
3123
+ "loss": 2.2738,
3124
+ "step": 515
3125
+ },
3126
+ {
3127
+ "epoch": 0.26,
3128
+ "learning_rate": 0.0006595555555555556,
3129
+ "loss": 2.2095,
3130
+ "step": 516
3131
+ },
3132
+ {
3133
+ "epoch": 0.26,
3134
+ "learning_rate": 0.0006591111111111112,
3135
+ "loss": 2.2842,
3136
+ "step": 517
3137
+ },
3138
+ {
3139
+ "epoch": 0.26,
3140
+ "learning_rate": 0.0006586666666666667,
3141
+ "loss": 2.2827,
3142
+ "step": 518
3143
+ },
3144
+ {
3145
+ "epoch": 0.26,
3146
+ "learning_rate": 0.0006582222222222223,
3147
+ "loss": 2.2626,
3148
+ "step": 519
3149
+ },
3150
+ {
3151
+ "epoch": 0.26,
3152
+ "learning_rate": 0.0006577777777777777,
3153
+ "loss": 2.2834,
3154
+ "step": 520
3155
+ },
3156
+ {
3157
+ "epoch": 0.26,
3158
+ "learning_rate": 0.0006573333333333333,
3159
+ "loss": 2.2697,
3160
+ "step": 521
3161
+ },
3162
+ {
3163
+ "epoch": 0.26,
3164
+ "learning_rate": 0.0006568888888888889,
3165
+ "loss": 2.2912,
3166
+ "step": 522
3167
+ },
3168
+ {
3169
+ "epoch": 0.26,
3170
+ "learning_rate": 0.0006564444444444445,
3171
+ "loss": 2.1689,
3172
+ "step": 523
3173
+ },
3174
+ {
3175
+ "epoch": 0.26,
3176
+ "learning_rate": 0.000656,
3177
+ "loss": 2.1933,
3178
+ "step": 524
3179
+ },
3180
+ {
3181
+ "epoch": 0.26,
3182
+ "learning_rate": 0.0006555555555555556,
3183
+ "loss": 2.2468,
3184
+ "step": 525
3185
+ },
3186
+ {
3187
+ "epoch": 0.26,
3188
+ "learning_rate": 0.0006551111111111112,
3189
+ "loss": 2.2942,
3190
+ "step": 526
3191
+ },
3192
+ {
3193
+ "epoch": 0.26,
3194
+ "learning_rate": 0.0006546666666666667,
3195
+ "loss": 2.3006,
3196
+ "step": 527
3197
+ },
3198
+ {
3199
+ "epoch": 0.26,
3200
+ "learning_rate": 0.0006542222222222223,
3201
+ "loss": 2.3068,
3202
+ "step": 528
3203
+ },
3204
+ {
3205
+ "epoch": 0.26,
3206
+ "learning_rate": 0.0006537777777777778,
3207
+ "loss": 2.2492,
3208
+ "step": 529
3209
+ },
3210
+ {
3211
+ "epoch": 0.27,
3212
+ "learning_rate": 0.0006533333333333333,
3213
+ "loss": 2.2692,
3214
+ "step": 530
3215
+ },
3216
+ {
3217
+ "epoch": 0.27,
3218
+ "learning_rate": 0.0006528888888888889,
3219
+ "loss": 2.3024,
3220
+ "step": 531
3221
+ },
3222
+ {
3223
+ "epoch": 0.27,
3224
+ "learning_rate": 0.0006524444444444445,
3225
+ "loss": 2.2746,
3226
+ "step": 532
3227
+ },
3228
+ {
3229
+ "epoch": 0.27,
3230
+ "learning_rate": 0.000652,
3231
+ "loss": 2.3316,
3232
+ "step": 533
3233
+ },
3234
+ {
3235
+ "epoch": 0.27,
3236
+ "learning_rate": 0.0006515555555555556,
3237
+ "loss": 2.2942,
3238
+ "step": 534
3239
+ },
3240
+ {
3241
+ "epoch": 0.27,
3242
+ "learning_rate": 0.0006511111111111111,
3243
+ "loss": 2.3328,
3244
+ "step": 535
3245
+ },
3246
+ {
3247
+ "epoch": 0.27,
3248
+ "learning_rate": 0.0006506666666666667,
3249
+ "loss": 2.2542,
3250
+ "step": 536
3251
+ },
3252
+ {
3253
+ "epoch": 0.27,
3254
+ "learning_rate": 0.0006502222222222223,
3255
+ "loss": 2.2412,
3256
+ "step": 537
3257
+ },
3258
+ {
3259
+ "epoch": 0.27,
3260
+ "learning_rate": 0.0006497777777777778,
3261
+ "loss": 2.3459,
3262
+ "step": 538
3263
+ },
3264
+ {
3265
+ "epoch": 0.27,
3266
+ "learning_rate": 0.0006493333333333334,
3267
+ "loss": 2.3569,
3268
+ "step": 539
3269
+ },
3270
+ {
3271
+ "epoch": 0.27,
3272
+ "learning_rate": 0.000648888888888889,
3273
+ "loss": 2.3715,
3274
+ "step": 540
3275
+ },
3276
+ {
3277
+ "epoch": 0.27,
3278
+ "learning_rate": 0.0006484444444444445,
3279
+ "loss": 2.2707,
3280
+ "step": 541
3281
+ },
3282
+ {
3283
+ "epoch": 0.27,
3284
+ "learning_rate": 0.000648,
3285
+ "loss": 2.306,
3286
+ "step": 542
3287
+ },
3288
+ {
3289
+ "epoch": 0.27,
3290
+ "learning_rate": 0.0006475555555555555,
3291
+ "loss": 2.3753,
3292
+ "step": 543
3293
+ },
3294
+ {
3295
+ "epoch": 0.27,
3296
+ "learning_rate": 0.0006471111111111111,
3297
+ "loss": 2.2649,
3298
+ "step": 544
3299
+ },
3300
+ {
3301
+ "epoch": 0.27,
3302
+ "learning_rate": 0.0006466666666666667,
3303
+ "loss": 2.3003,
3304
+ "step": 545
3305
+ },
3306
+ {
3307
+ "epoch": 0.27,
3308
+ "learning_rate": 0.0006462222222222223,
3309
+ "loss": 2.3531,
3310
+ "step": 546
3311
+ },
3312
+ {
3313
+ "epoch": 0.27,
3314
+ "learning_rate": 0.0006457777777777778,
3315
+ "loss": 2.3344,
3316
+ "step": 547
3317
+ },
3318
+ {
3319
+ "epoch": 0.27,
3320
+ "learning_rate": 0.0006453333333333334,
3321
+ "loss": 2.3191,
3322
+ "step": 548
3323
+ },
3324
+ {
3325
+ "epoch": 0.27,
3326
+ "learning_rate": 0.000644888888888889,
3327
+ "loss": 2.2959,
3328
+ "step": 549
3329
+ },
3330
+ {
3331
+ "epoch": 0.28,
3332
+ "learning_rate": 0.0006444444444444444,
3333
+ "loss": 2.27,
3334
+ "step": 550
3335
+ },
3336
+ {
3337
+ "epoch": 0.28,
3338
+ "learning_rate": 0.000644,
3339
+ "loss": 2.2969,
3340
+ "step": 551
3341
+ },
3342
+ {
3343
+ "epoch": 0.28,
3344
+ "learning_rate": 0.0006435555555555555,
3345
+ "loss": 2.289,
3346
+ "step": 552
3347
+ },
3348
+ {
3349
+ "epoch": 0.28,
3350
+ "learning_rate": 0.0006431111111111111,
3351
+ "loss": 2.3174,
3352
+ "step": 553
3353
+ },
3354
+ {
3355
+ "epoch": 0.28,
3356
+ "learning_rate": 0.0006426666666666667,
3357
+ "loss": 2.2707,
3358
+ "step": 554
3359
+ },
3360
+ {
3361
+ "epoch": 0.28,
3362
+ "learning_rate": 0.0006422222222222223,
3363
+ "loss": 2.3502,
3364
+ "step": 555
3365
+ },
3366
+ {
3367
+ "epoch": 0.28,
3368
+ "learning_rate": 0.0006417777777777778,
3369
+ "loss": 2.3211,
3370
+ "step": 556
3371
+ },
3372
+ {
3373
+ "epoch": 0.28,
3374
+ "learning_rate": 0.0006413333333333334,
3375
+ "loss": 2.3761,
3376
+ "step": 557
3377
+ },
3378
+ {
3379
+ "epoch": 0.28,
3380
+ "learning_rate": 0.0006408888888888889,
3381
+ "loss": 2.3187,
3382
+ "step": 558
3383
+ },
3384
+ {
3385
+ "epoch": 0.28,
3386
+ "learning_rate": 0.0006404444444444445,
3387
+ "loss": 2.261,
3388
+ "step": 559
3389
+ },
3390
+ {
3391
+ "epoch": 0.28,
3392
+ "learning_rate": 0.00064,
3393
+ "loss": 2.3179,
3394
+ "step": 560
3395
+ },
3396
+ {
3397
+ "epoch": 0.28,
3398
+ "learning_rate": 0.0006395555555555555,
3399
+ "loss": 2.2901,
3400
+ "step": 561
3401
+ },
3402
+ {
3403
+ "epoch": 0.28,
3404
+ "learning_rate": 0.0006391111111111111,
3405
+ "loss": 2.3096,
3406
+ "step": 562
3407
+ },
3408
+ {
3409
+ "epoch": 0.28,
3410
+ "learning_rate": 0.0006386666666666667,
3411
+ "loss": 2.2477,
3412
+ "step": 563
3413
+ },
3414
+ {
3415
+ "epoch": 0.28,
3416
+ "learning_rate": 0.0006382222222222223,
3417
+ "loss": 2.3581,
3418
+ "step": 564
3419
+ },
3420
+ {
3421
+ "epoch": 0.28,
3422
+ "learning_rate": 0.0006377777777777778,
3423
+ "loss": 2.3848,
3424
+ "step": 565
3425
+ },
3426
+ {
3427
+ "epoch": 0.28,
3428
+ "learning_rate": 0.0006373333333333333,
3429
+ "loss": 2.2378,
3430
+ "step": 566
3431
+ },
3432
+ {
3433
+ "epoch": 0.28,
3434
+ "learning_rate": 0.0006368888888888889,
3435
+ "loss": 2.2877,
3436
+ "step": 567
3437
+ },
3438
+ {
3439
+ "epoch": 0.28,
3440
+ "learning_rate": 0.0006364444444444445,
3441
+ "loss": 2.2103,
3442
+ "step": 568
3443
+ },
3444
+ {
3445
+ "epoch": 0.28,
3446
+ "learning_rate": 0.0006360000000000001,
3447
+ "loss": 2.2478,
3448
+ "step": 569
3449
+ },
3450
+ {
3451
+ "epoch": 0.28,
3452
+ "learning_rate": 0.0006355555555555555,
3453
+ "loss": 2.3312,
3454
+ "step": 570
3455
+ },
3456
+ {
3457
+ "epoch": 0.29,
3458
+ "learning_rate": 0.0006351111111111111,
3459
+ "loss": 2.2237,
3460
+ "step": 571
3461
+ },
3462
+ {
3463
+ "epoch": 0.29,
3464
+ "learning_rate": 0.0006346666666666667,
3465
+ "loss": 2.2685,
3466
+ "step": 572
3467
+ },
3468
+ {
3469
+ "epoch": 0.29,
3470
+ "learning_rate": 0.0006342222222222223,
3471
+ "loss": 2.2737,
3472
+ "step": 573
3473
+ },
3474
+ {
3475
+ "epoch": 0.29,
3476
+ "learning_rate": 0.0006337777777777778,
3477
+ "loss": 2.256,
3478
+ "step": 574
3479
+ },
3480
+ {
3481
+ "epoch": 0.29,
3482
+ "learning_rate": 0.0006333333333333333,
3483
+ "loss": 2.2408,
3484
+ "step": 575
3485
+ },
3486
+ {
3487
+ "epoch": 0.29,
3488
+ "learning_rate": 0.0006328888888888889,
3489
+ "loss": 2.2518,
3490
+ "step": 576
3491
+ },
3492
+ {
3493
+ "epoch": 0.29,
3494
+ "learning_rate": 0.0006324444444444445,
3495
+ "loss": 2.3739,
3496
+ "step": 577
3497
+ },
3498
+ {
3499
+ "epoch": 0.29,
3500
+ "learning_rate": 0.0006320000000000001,
3501
+ "loss": 2.2377,
3502
+ "step": 578
3503
+ },
3504
+ {
3505
+ "epoch": 0.29,
3506
+ "learning_rate": 0.0006315555555555556,
3507
+ "loss": 2.3264,
3508
+ "step": 579
3509
+ },
3510
+ {
3511
+ "epoch": 0.29,
3512
+ "learning_rate": 0.0006311111111111112,
3513
+ "loss": 2.2435,
3514
+ "step": 580
3515
+ },
3516
+ {
3517
+ "epoch": 0.29,
3518
+ "learning_rate": 0.0006306666666666667,
3519
+ "loss": 2.3089,
3520
+ "step": 581
3521
+ },
3522
+ {
3523
+ "epoch": 0.29,
3524
+ "learning_rate": 0.0006302222222222222,
3525
+ "loss": 2.3225,
3526
+ "step": 582
3527
+ },
3528
+ {
3529
+ "epoch": 0.29,
3530
+ "learning_rate": 0.0006297777777777778,
3531
+ "loss": 2.3002,
3532
+ "step": 583
3533
+ },
3534
+ {
3535
+ "epoch": 0.29,
3536
+ "learning_rate": 0.0006293333333333333,
3537
+ "loss": 2.3349,
3538
+ "step": 584
3539
+ },
3540
+ {
3541
+ "epoch": 0.29,
3542
+ "learning_rate": 0.0006288888888888889,
3543
+ "loss": 2.3076,
3544
+ "step": 585
3545
+ },
3546
+ {
3547
+ "epoch": 0.29,
3548
+ "learning_rate": 0.0006284444444444445,
3549
+ "loss": 2.2994,
3550
+ "step": 586
3551
+ },
3552
+ {
3553
+ "epoch": 0.29,
3554
+ "learning_rate": 0.0006280000000000001,
3555
+ "loss": 2.2747,
3556
+ "step": 587
3557
+ },
3558
+ {
3559
+ "epoch": 0.29,
3560
+ "learning_rate": 0.0006275555555555557,
3561
+ "loss": 2.3033,
3562
+ "step": 588
3563
+ },
3564
+ {
3565
+ "epoch": 0.29,
3566
+ "learning_rate": 0.0006271111111111112,
3567
+ "loss": 2.2344,
3568
+ "step": 589
3569
+ },
3570
+ {
3571
+ "epoch": 0.29,
3572
+ "learning_rate": 0.0006266666666666666,
3573
+ "loss": 2.2424,
3574
+ "step": 590
3575
+ },
3576
+ {
3577
+ "epoch": 0.3,
3578
+ "learning_rate": 0.0006262222222222222,
3579
+ "loss": 2.26,
3580
+ "step": 591
3581
+ },
3582
+ {
3583
+ "epoch": 0.3,
3584
+ "learning_rate": 0.0006257777777777778,
3585
+ "loss": 2.2474,
3586
+ "step": 592
3587
+ },
3588
+ {
3589
+ "epoch": 0.3,
3590
+ "learning_rate": 0.0006253333333333333,
3591
+ "loss": 2.2715,
3592
+ "step": 593
3593
+ },
3594
+ {
3595
+ "epoch": 0.3,
3596
+ "learning_rate": 0.0006248888888888889,
3597
+ "loss": 2.2424,
3598
+ "step": 594
3599
+ },
3600
+ {
3601
+ "epoch": 0.3,
3602
+ "learning_rate": 0.0006244444444444445,
3603
+ "loss": 2.2571,
3604
+ "step": 595
3605
+ },
3606
+ {
3607
+ "epoch": 0.3,
3608
+ "learning_rate": 0.0006240000000000001,
3609
+ "loss": 2.284,
3610
+ "step": 596
3611
+ },
3612
+ {
3613
+ "epoch": 0.3,
3614
+ "learning_rate": 0.0006235555555555556,
3615
+ "loss": 2.3298,
3616
+ "step": 597
3617
+ },
3618
+ {
3619
+ "epoch": 0.3,
3620
+ "learning_rate": 0.0006231111111111111,
3621
+ "loss": 2.2766,
3622
+ "step": 598
3623
+ },
3624
+ {
3625
+ "epoch": 0.3,
3626
+ "learning_rate": 0.0006226666666666667,
3627
+ "loss": 2.368,
3628
+ "step": 599
3629
+ },
3630
+ {
3631
+ "epoch": 0.3,
3632
+ "learning_rate": 0.0006222222222222223,
3633
+ "loss": 2.3322,
3634
+ "step": 600
3635
+ },
3636
+ {
3637
+ "epoch": 0.3,
3638
+ "eval_gen_len": 1023.0,
3639
+ "eval_loss": 2.1741747856140137,
3640
+ "eval_rouge1": 12.0956,
3641
+ "eval_rouge2": 3.9621,
3642
+ "eval_rougeL": 7.843,
3643
+ "eval_rougeLsum": 7.8272,
3644
+ "eval_runtime": 9059.7927,
3645
+ "eval_samples_per_second": 0.055,
3646
+ "eval_steps_per_second": 0.055,
3647
+ "step": 600
3648
  }
3649
  ],
3650
  "max_steps": 2000,
3651
  "num_train_epochs": 9223372036854775807,
3652
+ "total_flos": 4.8214702151894016e+17,
3653
  "trial_name": null,
3654
  "trial_params": null
3655
  }
pytorch_model.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:6691fb6f696ed838034568580bf11105cd7d247925aaa8c39f26ca3e936ca47e
3
  size 2368281769
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:bca52973073c7ff1e3e1b1320c55cfdba551b1acc405e671c24804149380d1fc
3
  size 2368281769