Hugging Face's logo

yigagilbert
/
salt_language_ID

Text2Text Generation
Transformers
TensorBoard
Safetensors
t5
Generated from Trainer
Eval Results
Inference Endpoints
text-generation-inference
Model card Files Metrics Community
salt_language_ID / README.md
yigagilbert's picture
yigagilbert
End of training
6221255 verified
preview code
|
raw history blame
No virus
15.6 kB
metadata
license: apache-2.0
base_model: google/t5-efficient-tiny
tags:
  - generated_from_trainer
model-index:
  - name: salt_language_ID
    results: []

salt_language_ID

This model is a fine-tuned version of google/t5-efficient-tiny on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 0.0226

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0002
  • train_batch_size: 32
  • eval_batch_size: 16
  • seed: 42
  • gradient_accumulation_steps: 2
  • total_train_batch_size: 64
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 500
  • num_epochs: 2

Training results

Training Loss Epoch Step Validation Loss
290.8962 0.01 10 305.3102
294.9642 0.01 20 296.0765
281.0769 0.02 30 279.4232
270.1917 0.03 40 254.2555
243.3464 0.04 50 224.8921
214.4873 0.04 60 196.3753
187.9743 0.05 70 135.2601
164.024 0.06 80 105.8822
143.6121 0.06 90 90.4786
126.019 0.07 100 75.9475
111.2358 0.08 110 64.2843
96.1458 0.09 120 51.4159
83.5523 0.09 130 37.5541
69.0164 0.1 140 24.2653
55.3427 0.11 150 19.5405
38.9215 0.11 160 12.6305
28.0225 0.12 170 10.0512
21.42 0.13 180 6.2506
15.1783 0.14 190 3.1231
11.7336 0.14 200 1.5384
9.3141 0.15 210 1.0360
6.9583 0.16 220 0.5647
5.7743 0.16 230 0.5395
4.7486 0.17 240 0.5611
3.7387 0.18 250 0.4738
3.3398 0.19 260 0.4057
3.1383 0.19 270 0.7111
2.5906 0.2 280 0.3963
2.4711 0.21 290 0.6025
2.0874 0.21 300 0.4192
2.2178 0.22 310 0.5130
1.9783 0.23 320 0.2481
1.9655 0.24 330 0.2947
1.677 0.24 340 0.1795
1.5847 0.25 350 0.4913
1.6727 0.26 360 0.3358
1.5304 0.26 370 0.4296
1.4964 0.27 380 0.1527
1.3643 0.28 390 0.4387
1.1374 0.29 400 0.1458
1.0719 0.29 410 0.1550
1.2705 0.3 420 0.3249
0.863 0.31 430 0.1285
0.9644 0.31 440 0.2107
0.9679 0.32 450 0.1729
0.9753 0.33 460 0.2159
0.7938 0.33 470 0.3218
0.739 0.34 480 0.1385
0.6355 0.35 490 0.4408
0.8578 0.36 500 0.1109
0.758 0.36 510 0.1401
0.5957 0.37 520 0.1470
0.5933 0.38 530 0.1215
0.6636 0.38 540 0.2513
0.6857 0.39 550 0.1407
0.5623 0.4 560 0.1325
0.5055 0.41 570 0.1624
0.5866 0.41 580 0.1763
0.5811 0.42 590 0.1567
0.5255 0.43 600 0.0916
0.4512 0.43 610 0.1853
0.4862 0.44 620 0.1168
0.4378 0.45 630 0.0929
0.4966 0.46 640 0.1254
0.5138 0.46 650 0.1285
0.4926 0.47 660 0.1072
0.4133 0.48 670 0.0727
0.3738 0.48 680 0.1100
0.4558 0.49 690 0.1214
0.3865 0.5 700 0.0773
0.4216 0.51 710 0.1595
0.3449 0.51 720 0.0754
0.4205 0.52 730 0.0982
0.3779 0.53 740 0.1105
0.3229 0.53 750 0.1698
0.3178 0.54 760 0.0753
0.3405 0.55 770 0.2353
0.3267 0.56 780 0.0656
0.2672 0.56 790 0.0955
0.4229 0.57 800 0.0635
0.3338 0.58 810 0.1630
0.337 0.58 820 0.0740
0.2945 0.59 830 0.1947
0.3374 0.6 840 0.1016
0.3101 0.61 850 0.0946
0.2595 0.61 860 0.0785
0.3179 0.62 870 0.0758
0.244 0.63 880 0.0606
0.3186 0.63 890 0.0601
0.2838 0.64 900 0.0847
0.2624 0.65 910 0.0638
0.2806 0.66 920 0.0915
0.2859 0.66 930 0.0630
0.213 0.67 940 0.0592
0.2174 0.68 950 0.0514
0.2555 0.68 960 0.0832
0.2361 0.69 970 0.0442
0.1854 0.7 980 0.1016
0.2414 0.71 990 0.0615
0.2522 0.71 1000 0.0420
0.2331 0.72 1010 0.0609
0.2191 0.73 1020 0.0605
0.1605 0.73 1030 0.0535
0.2002 0.74 1040 0.0607
0.2003 0.75 1050 0.0535
0.2306 0.76 1060 0.0597
0.2004 0.76 1070 0.0583
0.1524 0.77 1080 0.0653
0.2124 0.78 1090 0.0543
0.1635 0.78 1100 0.0490
0.2245 0.79 1110 0.0538
0.2144 0.8 1120 0.0411
0.2212 0.81 1130 0.0421
0.2369 0.81 1140 0.0373
0.1499 0.82 1150 0.1028
0.2434 0.83 1160 0.0515
0.214 0.83 1170 0.0388
0.1667 0.84 1180 0.0576
0.2044 0.85 1190 0.0360
0.1666 0.86 1200 0.0532
0.1679 0.86 1210 0.0389
0.2201 0.87 1220 0.0411
0.1384 0.88 1230 0.0653
0.2331 0.88 1240 0.0364
0.1344 0.89 1250 0.0432
0.1661 0.9 1260 0.0604
0.1689 0.91 1270 0.0426
0.1465 0.91 1280 0.0448
0.2009 0.92 1290 0.0389
0.1384 0.93 1300 0.0362
0.179 0.93 1310 0.0466
0.1728 0.94 1320 0.0373
0.139 0.95 1330 0.0469
0.1359 0.96 1340 0.0339
0.1666 0.96 1350 0.0390
0.0943 0.97 1360 0.0359
0.1155 0.98 1370 0.0499
0.1176 0.98 1380 0.0390
0.1034 0.99 1390 0.0603
0.1147 1.0 1400 0.0370
0.127 1.0 1410 0.0513
0.1474 1.01 1420 0.0341
0.1509 1.02 1430 0.0378
0.0809 1.03 1440 0.0521
0.1262 1.03 1450 0.0320
0.1305 1.04 1460 0.0484
0.1552 1.05 1470 0.0311
0.1147 1.05 1480 0.0341
0.1099 1.06 1490 0.0330
0.1196 1.07 1500 0.0332
0.0823 1.08 1510 0.0475
0.1426 1.08 1520 0.0377
0.1118 1.09 1530 0.0336
0.0665 1.1 1540 0.0328
0.1171 1.1 1550 0.0324
0.1166 1.11 1560 0.0447
0.1348 1.12 1570 0.0342
0.1327 1.13 1580 0.0413
0.1099 1.13 1590 0.0335
0.0801 1.14 1600 0.0370
0.13 1.15 1610 0.0389
0.1238 1.15 1620 0.0516
0.1092 1.16 1630 0.0311
0.1007 1.17 1640 0.0399
0.1142 1.18 1650 0.0383
0.0893 1.18 1660 0.0328
0.1115 1.19 1670 0.0536
0.0861 1.2 1680 0.0289
0.1141 1.2 1690 0.0334
0.1487 1.21 1700 0.0314
0.1214 1.22 1710 0.0371
0.0876 1.23 1720 0.0296
0.0927 1.23 1730 0.0292
0.0651 1.24 1740 0.0309
0.1355 1.25 1750 0.0372
0.0883 1.25 1760 0.0359
0.1067 1.26 1770 0.0305
0.1166 1.27 1780 0.0368
0.0603 1.28 1790 0.0306
0.073 1.28 1800 0.0292
0.1029 1.29 1810 0.0308
0.1019 1.3 1820 0.0279
0.0989 1.3 1830 0.0356
0.1132 1.31 1840 0.0506
0.0978 1.32 1850 0.0280
0.0743 1.33 1860 0.0305
0.0573 1.33 1870 0.0265
0.0861 1.34 1880 0.0303
0.0782 1.35 1890 0.0467
0.0931 1.35 1900 0.0286
0.0812 1.36 1910 0.0329
0.0993 1.37 1920 0.0440
0.1547 1.38 1930 0.0411
0.081 1.38 1940 0.0308
0.1014 1.39 1950 0.0289
0.0674 1.4 1960 0.0362
0.1119 1.4 1970 0.0412
0.0996 1.41 1980 0.0267
0.1239 1.42 1990 0.0272
0.0919 1.43 2000 0.0334
0.1352 1.43 2010 0.0276
0.068 1.44 2020 0.0283
0.094 1.45 2030 0.0282
0.0844 1.45 2040 0.0315
0.0486 1.46 2050 0.0247
0.0721 1.47 2060 0.0275
0.1169 1.48 2070 0.0331
0.1055 1.48 2080 0.0292
0.0665 1.49 2090 0.0241
0.078 1.5 2100 0.0245
0.0923 1.5 2110 0.0277
0.0983 1.51 2120 0.0292
0.0993 1.52 2130 0.0241
0.0381 1.53 2140 0.0316
0.0614 1.53 2150 0.0269
0.0616 1.54 2160 0.0239
0.0535 1.55 2170 0.0246
0.0645 1.55 2180 0.0286
0.0895 1.56 2190 0.0310
0.0963 1.57 2200 0.0266
0.087 1.58 2210 0.0253
0.0976 1.58 2220 0.0252
0.1 1.59 2230 0.0332
0.0679 1.6 2240 0.0301
0.0949 1.6 2250 0.0263
0.0508 1.61 2260 0.0232
0.0619 1.62 2270 0.0274
0.0649 1.63 2280 0.0239
0.0837 1.63 2290 0.0253
0.0903 1.64 2300 0.0262
0.0655 1.65 2310 0.0274
0.0782 1.65 2320 0.0340
0.0905 1.66 2330 0.0279
0.1116 1.67 2340 0.0278
0.06 1.67 2350 0.0256
0.0915 1.68 2360 0.0285
0.0826 1.69 2370 0.0259
0.0593 1.7 2380 0.0265
0.0551 1.7 2390 0.0247
0.0732 1.71 2400 0.0252
0.0936 1.72 2410 0.0271
0.0706 1.72 2420 0.0263
0.0544 1.73 2430 0.0250
0.0606 1.74 2440 0.0247
0.0707 1.75 2450 0.0256
0.0759 1.75 2460 0.0269
0.0688 1.76 2470 0.0260
0.0537 1.77 2480 0.0239
0.0979 1.77 2490 0.0246
0.0899 1.78 2500 0.0263
0.0834 1.79 2510 0.0274
0.0597 1.8 2520 0.0253
0.0807 1.8 2530 0.0250
0.0902 1.81 2540 0.0221
0.0849 1.82 2550 0.0223
0.0722 1.82 2560 0.0222
0.0647 1.83 2570 0.0211
0.0789 1.84 2580 0.0217
0.0839 1.85 2590 0.0248
0.0761 1.85 2600 0.0252
0.1191 1.86 2610 0.0267
0.093 1.87 2620 0.0254
0.0581 1.87 2630 0.0245
0.0776 1.88 2640 0.0246
0.0699 1.89 2650 0.0242
0.07 1.9 2660 0.0246
0.0523 1.9 2670 0.0238
0.0773 1.91 2680 0.0226
0.0781 1.92 2690 0.0221
0.0593 1.92 2700 0.0223
0.0955 1.93 2710 0.0234
0.0662 1.94 2720 0.0235
0.0704 1.95 2730 0.0229
0.0785 1.95 2740 0.0222
0.0778 1.96 2750 0.0219
0.0462 1.97 2760 0.0220
0.0596 1.97 2770 0.0222
0.0599 1.98 2780 0.0224
0.0489 1.99 2790 0.0226
0.0738 2.0 2800 0.0226

Framework versions

  • Transformers 4.38.2
  • Pytorch 2.1.2
  • Datasets 2.1.0
  • Tokenizers 0.15.2