Edit model card

amazonPolarity_XLNET_5E

This model is a fine-tuned version of xlnet-base-cased on the amazon_polarity dataset. It achieves the following results on the evaluation set:

  • Loss: 0.4490
  • Accuracy: 0.9267

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 3e-05
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 5

Training results

Training Loss Epoch Step Validation Loss Accuracy
0.6238 0.01 50 0.3703 0.86
0.3149 0.03 100 0.3715 0.9
0.3849 0.04 150 0.4125 0.8867
0.4051 0.05 200 0.4958 0.8933
0.3345 0.07 250 0.4258 0.9067
0.439 0.08 300 0.2650 0.9067
0.2248 0.09 350 0.3314 0.9267
0.2849 0.11 400 0.3097 0.8933
0.3468 0.12 450 0.3060 0.9067
0.3216 0.13 500 0.3826 0.9067
0.3462 0.15 550 0.2207 0.94
0.3632 0.16 600 0.1864 0.94
0.2483 0.17 650 0.3069 0.9267
0.3709 0.19 700 0.2859 0.9333
0.2953 0.2 750 0.3010 0.9333
0.3222 0.21 800 0.2668 0.9133
0.3142 0.23 850 0.3545 0.8667
0.2637 0.24 900 0.1922 0.9467
0.3929 0.25 950 0.2712 0.92
0.2918 0.27 1000 0.2516 0.9333
0.2269 0.28 1050 0.4227 0.8933
0.239 0.29 1100 0.3639 0.9133
0.2439 0.31 1150 0.3430 0.9133
0.2417 0.32 1200 0.2920 0.94
0.3223 0.33 1250 0.3426 0.9067
0.2775 0.35 1300 0.3752 0.8867
0.2733 0.36 1350 0.3015 0.9333
0.3737 0.37 1400 0.2875 0.9267
0.2907 0.39 1450 0.4926 0.8933
0.316 0.4 1500 0.2948 0.9333
0.2472 0.41 1550 0.4003 0.8933
0.2607 0.43 1600 0.3608 0.92
0.2848 0.44 1650 0.3332 0.9133
0.2708 0.45 1700 0.3424 0.92
0.3721 0.47 1750 0.2384 0.9267
0.2925 0.48 1800 0.4472 0.88
0.3619 0.49 1850 0.3824 0.9
0.1994 0.51 1900 0.4160 0.9133
0.3586 0.52 1950 0.3198 0.8867
0.2455 0.53 2000 0.3119 0.92
0.2683 0.55 2050 0.4262 0.8867
0.2983 0.56 2100 0.3552 0.9067
0.2973 0.57 2150 0.2966 0.8933
0.2299 0.59 2200 0.2972 0.92
0.295 0.6 2250 0.3122 0.9067
0.2716 0.61 2300 0.2556 0.9267
0.2842 0.63 2350 0.3317 0.92
0.2723 0.64 2400 0.4409 0.8933
0.2492 0.65 2450 0.3871 0.88
0.2297 0.67 2500 0.3526 0.9133
0.2125 0.68 2550 0.4597 0.9067
0.3003 0.69 2600 0.3374 0.8933
0.2622 0.71 2650 0.3492 0.9267
0.2436 0.72 2700 0.3438 0.9267
0.2599 0.73 2750 0.3725 0.9133
0.2759 0.75 2800 0.3260 0.9333
0.1841 0.76 2850 0.4218 0.9067
0.252 0.77 2900 0.2730 0.92
0.248 0.79 2950 0.3628 0.92
0.2356 0.8 3000 0.4012 0.9067
0.191 0.81 3050 0.3500 0.9267
0.2351 0.83 3100 0.4038 0.9133
0.2758 0.84 3150 0.3361 0.9067
0.2952 0.85 3200 0.2301 0.9267
0.2137 0.87 3250 0.3837 0.9133
0.2386 0.88 3300 0.2739 0.94
0.2786 0.89 3350 0.2820 0.9333
0.2284 0.91 3400 0.2557 0.9333
0.2546 0.92 3450 0.2744 0.9267
0.2514 0.93 3500 0.2908 0.94
0.3052 0.95 3550 0.2362 0.9333
0.2366 0.96 3600 0.3047 0.9333
0.2147 0.97 3650 0.3375 0.9333
0.3347 0.99 3700 0.2669 0.9267
0.3076 1.0 3750 0.2453 0.94
0.1685 1.01 3800 0.4117 0.9133
0.1954 1.03 3850 0.3074 0.9333
0.2512 1.04 3900 0.3942 0.9133
0.1365 1.05 3950 0.3211 0.92
0.1985 1.07 4000 0.4188 0.9133
0.1585 1.08 4050 0.4177 0.9133
0.1798 1.09 4100 0.3298 0.9333
0.1458 1.11 4150 0.5283 0.9
0.1831 1.12 4200 0.3884 0.92
0.1452 1.13 4250 0.4130 0.9133
0.1679 1.15 4300 0.3678 0.9267
0.1688 1.16 4350 0.3268 0.9333
0.1175 1.17 4400 0.4722 0.92
0.1661 1.19 4450 0.3899 0.9133
0.1688 1.2 4500 0.4050 0.9133
0.228 1.21 4550 0.4608 0.9
0.1946 1.23 4600 0.5080 0.9
0.1849 1.24 4650 0.4340 0.9067
0.1365 1.25 4700 0.4592 0.9133
0.2432 1.27 4750 0.3683 0.92
0.1679 1.28 4800 0.4604 0.9
0.2107 1.29 4850 0.3952 0.9
0.1499 1.31 4900 0.4275 0.92
0.1504 1.32 4950 0.3370 0.9333
0.1013 1.33 5000 0.3723 0.92
0.1303 1.35 5050 0.2925 0.9333
0.1205 1.36 5100 0.3452 0.9267
0.1427 1.37 5150 0.3080 0.94
0.1518 1.39 5200 0.3190 0.94
0.1885 1.4 5250 0.2726 0.9467
0.1264 1.41 5300 0.3466 0.9333
0.1939 1.43 5350 0.3957 0.9133
0.1939 1.44 5400 0.4007 0.9
0.1239 1.45 5450 0.2924 0.9333
0.1588 1.47 5500 0.2687 0.9333
0.1516 1.48 5550 0.3668 0.92
0.1623 1.49 5600 0.3141 0.94
0.2632 1.51 5650 0.2714 0.9333
0.1674 1.52 5700 0.3188 0.94
0.1854 1.53 5750 0.2818 0.9267
0.1282 1.55 5800 0.2918 0.9333
0.228 1.56 5850 0.2802 0.9133
0.2349 1.57 5900 0.1803 0.9467
0.1608 1.59 5950 0.3112 0.92
0.1493 1.6 6000 0.3018 0.9267
0.2182 1.61 6050 0.3419 0.9333
0.2408 1.63 6100 0.2887 0.9267
0.1872 1.64 6150 0.2408 0.9267
0.1246 1.65 6200 0.3752 0.9
0.2098 1.67 6250 0.2622 0.9333
0.1916 1.68 6300 0.2245 0.9467
0.2069 1.69 6350 0.2151 0.9467
0.1446 1.71 6400 0.2186 0.9533
0.1528 1.72 6450 0.1863 0.9533
0.1352 1.73 6500 0.2660 0.9467
0.2398 1.75 6550 0.1912 0.9533
0.1485 1.76 6600 0.2492 0.9467
0.2006 1.77 6650 0.2495 0.9267
0.2036 1.79 6700 0.3885 0.9067
0.1725 1.8 6750 0.2359 0.9533
0.1864 1.81 6800 0.2271 0.9533
0.1465 1.83 6850 0.2669 0.9333
0.197 1.84 6900 0.2290 0.96
0.1382 1.85 6950 0.2322 0.9467
0.1206 1.87 7000 0.3117 0.9333
0.157 1.88 7050 0.2163 0.9533
0.1686 1.89 7100 0.2239 0.9533
0.1953 1.91 7150 0.3064 0.9333
0.1638 1.92 7200 0.2821 0.9533
0.1605 1.93 7250 0.2413 0.9467
0.1736 1.95 7300 0.2430 0.94
0.2372 1.96 7350 0.2306 0.94
0.1549 1.97 7400 0.2730 0.94
0.1824 1.99 7450 0.3443 0.94
0.2263 2.0 7500 0.2695 0.9267
0.088 2.01 7550 0.2305 0.96
0.0376 2.03 7600 0.3380 0.94
0.072 2.04 7650 0.3349 0.9467
0.0491 2.05 7700 0.3397 0.94
0.0509 2.07 7750 0.3496 0.9467
0.1033 2.08 7800 0.3364 0.94
0.0549 2.09 7850 0.3520 0.94
0.0627 2.11 7900 0.4510 0.9267
0.0283 2.12 7950 0.3733 0.94
0.1215 2.13 8000 0.3892 0.9267
0.0856 2.15 8050 0.3114 0.9533
0.0945 2.16 8100 0.3626 0.9333
0.0901 2.17 8150 0.3116 0.94
0.0688 2.19 8200 0.3515 0.9267
0.1286 2.2 8250 0.3255 0.9333
0.1043 2.21 8300 0.4395 0.9133
0.1199 2.23 8350 0.3307 0.94
0.0608 2.24 8400 0.2992 0.9533
0.0827 2.25 8450 0.3500 0.94
0.047 2.27 8500 0.3982 0.94
0.1154 2.28 8550 0.3851 0.94
0.1158 2.29 8600 0.3820 0.9133
0.1053 2.31 8650 0.4414 0.92
0.1336 2.32 8700 0.3680 0.92
0.0853 2.33 8750 0.3732 0.9333
0.0496 2.35 8800 0.3450 0.94
0.0552 2.36 8850 0.4310 0.9267
0.1054 2.37 8900 0.4174 0.92
0.0951 2.39 8950 0.3815 0.9333
0.1235 2.4 9000 0.4119 0.9267
0.1094 2.41 9050 0.4282 0.9133
0.0897 2.43 9100 0.4766 0.9133
0.0925 2.44 9150 0.3303 0.94
0.1487 2.45 9200 0.2948 0.94
0.0963 2.47 9250 0.2911 0.94
0.0836 2.48 9300 0.3379 0.94
0.1594 2.49 9350 0.3841 0.9267
0.0846 2.51 9400 0.4128 0.9267
0.0984 2.52 9450 0.4131 0.9333
0.1042 2.53 9500 0.4048 0.9267
0.0633 2.55 9550 0.3776 0.94
0.1266 2.56 9600 0.3247 0.9333
0.1084 2.57 9650 0.3174 0.9467
0.0714 2.59 9700 0.3597 0.94
0.0826 2.6 9750 0.3261 0.9467
0.1527 2.61 9800 0.2531 0.9533
0.0506 2.63 9850 0.2994 0.9533
0.1043 2.64 9900 0.3345 0.9467
0.0229 2.65 9950 0.4318 0.9333
0.1247 2.67 10000 0.2951 0.9533
0.1285 2.68 10050 0.3036 0.9533
0.081 2.69 10100 0.3541 0.94
0.0829 2.71 10150 0.3757 0.9467
0.0702 2.72 10200 0.3307 0.9533
0.07 2.73 10250 0.3638 0.94
0.1563 2.75 10300 0.3283 0.94
0.1223 2.76 10350 0.3441 0.92
0.0954 2.77 10400 0.3049 0.94
0.0438 2.79 10450 0.3675 0.9467
0.0796 2.8 10500 0.3364 0.94
0.0803 2.81 10550 0.2970 0.94
0.0324 2.83 10600 0.3941 0.9267
0.083 2.84 10650 0.3439 0.94
0.1263 2.85 10700 0.3759 0.9267
0.1044 2.87 10750 1.0700 0.58
0.1182 2.88 10800 0.4409 0.9333
0.126 2.89 10850 0.6467 0.5933
0.094 2.91 10900 0.3741 0.9333
0.1405 2.92 10950 0.3458 0.9267
0.1024 2.93 11000 0.2946 0.9333
0.0812 2.95 11050 0.2850 0.9333
0.1132 2.96 11100 0.3093 0.9267
0.0775 2.97 11150 0.3938 0.9067
0.1179 2.99 11200 0.3528 0.9267
0.1413 3.0 11250 0.2984 0.9333
0.0528 3.01 11300 0.3387 0.9333
0.0214 3.03 11350 0.4108 0.92
0.0408 3.04 11400 0.4174 0.9267
0.0808 3.05 11450 0.4283 0.9267
0.0535 3.07 11500 0.3719 0.9333
0.0344 3.08 11550 0.4382 0.9333
0.0364 3.09 11600 0.4195 0.9333
0.0524 3.11 11650 0.4607 0.92
0.0682 3.12 11700 0.4503 0.92
0.0554 3.13 11750 0.4563 0.92
0.0401 3.15 11800 0.4668 0.9133
0.0782 3.16 11850 0.4468 0.9133
0.0605 3.17 11900 0.4239 0.92
0.0599 3.19 11950 0.4019 0.92
0.0364 3.2 12000 0.3988 0.9267
0.0357 3.21 12050 0.4168 0.9267
0.072 3.23 12100 0.3889 0.9333
0.0931 3.24 12150 0.3368 0.9333
0.0724 3.25 12200 0.3209 0.9333
0.0653 3.27 12250 0.3615 0.9333
0.0173 3.28 12300 0.3946 0.9333
0.0537 3.29 12350 0.3876 0.9333
0.0373 3.31 12400 0.4079 0.9267
0.0322 3.32 12450 0.3553 0.94
0.0585 3.33 12500 0.4276 0.92
0.0315 3.35 12550 0.4092 0.9267
0.0317 3.36 12600 0.4107 0.9267
0.082 3.37 12650 0.4170 0.9267
0.1101 3.39 12700 0.3801 0.9333
0.0392 3.4 12750 0.3802 0.9333
0.0382 3.41 12800 0.4194 0.9267
0.048 3.43 12850 0.3794 0.9333
0.0896 3.44 12900 0.3961 0.9267
0.0966 3.45 12950 0.3982 0.92
0.0165 3.47 13000 0.3819 0.92
0.0701 3.48 13050 0.3440 0.94
0.0104 3.49 13100 0.4132 0.9267
0.0991 3.51 13150 0.3477 0.9333
0.0554 3.52 13200 0.3255 0.94
0.0476 3.53 13250 0.4343 0.92
0.0213 3.55 13300 0.4601 0.92
0.0465 3.56 13350 0.4141 0.9267
0.1246 3.57 13400 0.3473 0.94
0.1112 3.59 13450 0.3679 0.92
0.0323 3.6 13500 0.3508 0.9267
0.0423 3.61 13550 0.3475 0.94
0.0498 3.63 13600 0.4095 0.92
0.0531 3.64 13650 0.3544 0.9333
0.0365 3.65 13700 0.4403 0.9133
0.058 3.67 13750 0.4284 0.9133
0.0191 3.68 13800 0.4466 0.92
0.0838 3.69 13850 0.5128 0.9067
0.1561 3.71 13900 0.3588 0.9267
0.0464 3.72 13950 0.3867 0.92
0.037 3.73 14000 0.3961 0.92
0.0288 3.75 14050 0.4274 0.92
0.0928 3.76 14100 0.3524 0.94
0.0696 3.77 14150 0.3555 0.9333
0.0318 3.79 14200 0.3457 0.9467
0.0417 3.8 14250 0.3412 0.94
0.0283 3.81 14300 0.3845 0.9333
0.058 3.83 14350 0.3765 0.9333
0.0589 3.84 14400 0.4085 0.9267
0.0432 3.85 14450 0.4103 0.9267
0.0365 3.87 14500 0.4000 0.9267
0.0858 3.88 14550 0.3905 0.9267
0.0494 3.89 14600 0.3739 0.9267
0.0503 3.91 14650 0.3203 0.94
0.0349 3.92 14700 0.3268 0.9467
0.0328 3.93 14750 0.3259 0.9467
0.0347 3.95 14800 0.3588 0.94
0.0233 3.96 14850 0.3456 0.9467
0.0602 3.97 14900 0.3819 0.94
0.0766 3.99 14950 0.3813 0.9333
0.0562 4.0 15000 0.3669 0.9333
0.0163 4.01 15050 0.4176 0.92
0.007 4.03 15100 0.3694 0.9333
0.0005 4.04 15150 0.3915 0.9333
0.021 4.05 15200 0.4334 0.9333
0.0823 4.07 15250 0.4155 0.9333
0.0509 4.08 15300 0.4056 0.9333
0.0381 4.09 15350 0.3729 0.94
0.045 4.11 15400 0.3940 0.9333
0.0379 4.12 15450 0.4276 0.9267
0.0661 4.13 15500 0.3797 0.94
0.0522 4.15 15550 0.4029 0.9333
0.0189 4.16 15600 0.4424 0.9267
0.0191 4.17 15650 0.4711 0.92
0.031 4.19 15700 0.4344 0.9333
0.0837 4.2 15750 0.3703 0.94
0.0397 4.21 15800 0.3976 0.9333
0.034 4.23 15850 0.4021 0.9333
0.0199 4.24 15900 0.4015 0.9333
0.0315 4.25 15950 0.3652 0.94
0.076 4.27 16000 0.3421 0.94
0.0478 4.28 16050 0.3122 0.9533
0.0203 4.29 16100 0.3436 0.9467
0.0706 4.31 16150 0.3544 0.94
0.0086 4.32 16200 0.3730 0.94
0.05 4.33 16250 0.3761 0.94
0.048 4.35 16300 0.3583 0.94
0.0715 4.36 16350 0.3459 0.94
0.0316 4.37 16400 0.3355 0.94
0.0356 4.39 16450 0.3278 0.9467
0.0176 4.4 16500 0.3177 0.9467
0.0817 4.41 16550 0.3705 0.9333
0.0414 4.43 16600 0.3919 0.9333
0.0198 4.44 16650 0.3435 0.9467
0.0203 4.45 16700 0.3708 0.94
0.0391 4.47 16750 0.3615 0.94
0.0132 4.48 16800 0.3827 0.94
0.0385 4.49 16850 0.3837 0.94
0.0366 4.51 16900 0.3633 0.94
0.0779 4.52 16950 0.3403 0.9467
0.0168 4.53 17000 0.4592 0.92
0.0517 4.55 17050 0.4063 0.9333
0.0138 4.56 17100 0.4335 0.9267
0.0123 4.57 17150 0.3777 0.9333
0.0324 4.59 17200 0.4657 0.92
0.0202 4.6 17250 0.4791 0.92
0.001 4.61 17300 0.4761 0.92
0.0364 4.63 17350 0.4663 0.92
0.0154 4.64 17400 0.4611 0.92
0.0184 4.65 17450 0.4616 0.92
0.0004 4.67 17500 0.4650 0.92
0.0192 4.68 17550 0.4649 0.92
0.0185 4.69 17600 0.4654 0.92
0.0196 4.71 17650 0.4643 0.92
0.0386 4.72 17700 0.4660 0.92
0.0236 4.73 17750 0.4499 0.9267
0.0383 4.75 17800 0.4479 0.9267
0.0398 4.76 17850 0.4483 0.9267
0.0004 4.77 17900 0.4541 0.9267
0.023 4.79 17950 0.4387 0.9267
0.0361 4.8 18000 0.4409 0.9267
0.0409 4.81 18050 0.4384 0.9267
0.0004 4.83 18100 0.4376 0.9267
0.0171 4.84 18150 0.4421 0.9267
0.0589 4.85 18200 0.4373 0.9267
0.0004 4.87 18250 0.4492 0.9267
0.0142 4.88 18300 0.4585 0.9267
0.0561 4.89 18350 0.4681 0.9267
0.0204 4.91 18400 0.4608 0.9267
0.0248 4.92 18450 0.4641 0.9267
0.0404 4.93 18500 0.4567 0.9267
0.0608 4.95 18550 0.4518 0.9267
0.0412 4.96 18600 0.4510 0.9267
0.0183 4.97 18650 0.4522 0.9267
0.0567 4.99 18700 0.4492 0.9267
0.0173 5.0 18750 0.4490 0.9267

Framework versions

  • Transformers 4.24.0
  • Pytorch 1.13.0
  • Datasets 2.6.1
  • Tokenizers 0.13.1
Downloads last month
13

Dataset used to train pig4431/amazonPolarity_XLNET_5E

Evaluation results