Hugging Face's logo

syafiqfaray
/
byt5-small-indocollex-informal-to-formal

Text2Text Generation
Transformers
PyTorch
t5
Generated from Trainer
text-generation-inference
Inference Endpoints
Model card Files Community
byt5-small-indocollex-informal-to-formal / README.md
syafiqfaray's picture
syafiqfaray
Update README.md
a6e5334
preview code
|
raw
history blame
10.6 kB
metadata
license: apache-2.0
base_model: google/byt5-small
tags:
  - generated_from_trainer
metrics:
  - wer
model-index:
  - name: byt5-finetuned-indocollex-informal-to-formal
    results: []

byt5-finetuned-indocollex-informal-to-formal

This model is a fine-tuned version of google/byt5-small on IndoCollex dataset on informal-formal transformation.

It achieves the following results on the evaluation set:

  • Loss: 0.2186
  • CER: 0.2292
  • WER: 0.6667
  • Word Accuracy: 0.3333
  • Gen Len: 7.4857

On test set, it achieves following results :

  • CER: 0.2655
  • WER: 0.666
  • Word Accuracy: 0.333

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 32
  • eval_batch_size: 32
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 100

Training results

Training Loss Epoch Step Validation Loss Cer Wer Word Acc Gen Len
No log 1.0 47 45.4518 2.1817 2.0286 -1.0286 19.0
No log 2.0 94 34.7405 2.2267 2.5619 -1.5619 19.0
No log 3.0 141 26.0483 2.2895 4.5857 -3.5857 19.0
No log 4.0 188 17.2640 2.399 1.3667 -0.3667 19.0
No log 5.0 235 7.8648 2.4949 1.0 0.0 19.0
No log 6.0 282 5.4635 2.4143 1.0 0.0 19.0
No log 7.0 329 4.8432 1.253 1.0 0.0 8.8743
No log 8.0 376 4.1049 1.0 1.0 0.0 0.0
No log 9.0 423 3.1453 0.848 1.0 0.0 7.3371
No log 10.0 470 2.6065 0.8778 0.9905 0.0095 7.3486
19.2068 11.0 517 1.6326 0.9677 1.0 0.0 9.5143
19.2068 12.0 564 0.9833 0.7538 0.9905 0.0095 8.4571
19.2068 13.0 611 0.6980 0.6562 0.981 0.019 7.5543
19.2068 14.0 658 0.5709 0.5679 0.9857 0.0143 6.9714
19.2068 15.0 705 0.4965 0.4567 0.9571 0.0429 6.7886
19.2068 16.0 752 0.4470 0.3413 0.9381 0.0619 6.84
19.2068 17.0 799 0.4211 0.3175 0.9238 0.0762 6.8514
19.2068 18.0 846 0.4036 0.3124 0.9 0.1 6.6914
19.2068 19.0 893 0.3738 0.3031 0.9048 0.0952 6.9429
19.2068 20.0 940 0.3604 0.309 0.8857 0.1143 6.9086
19.2068 21.0 987 0.3489 0.3022 0.881 0.119 7.0171
0.8827 22.0 1034 0.3320 0.2869 0.8333 0.1667 6.9771
0.8827 23.0 1081 0.3238 0.2861 0.8238 0.1762 6.9257
0.8827 24.0 1128 0.3163 0.2666 0.8143 0.1857 7.2686
0.8827 25.0 1175 0.3139 0.2733 0.8095 0.1905 7.2914
0.8827 26.0 1222 0.3029 0.2716 0.8 0.2 7.36
0.8827 27.0 1269 0.2941 0.2666 0.7905 0.2095 7.2971
0.8827 28.0 1316 0.2905 0.2666 0.7857 0.2143 7.2914
0.8827 29.0 1363 0.2835 0.2615 0.7857 0.2143 7.2686
0.8827 30.0 1410 0.2829 0.2733 0.781 0.219 7.44
0.8827 31.0 1457 0.2762 0.2598 0.7714 0.2286 7.3714
0.3372 32.0 1504 0.2746 0.2725 0.7857 0.2143 7.4571
0.3372 33.0 1551 0.2728 0.2666 0.7714 0.2286 7.4457
0.3372 34.0 1598 0.2650 0.2572 0.7619 0.2381 7.3886
0.3372 35.0 1645 0.2618 0.2708 0.7762 0.2238 7.44
0.3372 36.0 1692 0.2579 0.2572 0.7619 0.2381 7.3771
0.3372 37.0 1739 0.2563 0.2496 0.7524 0.2476 7.3371
0.3372 38.0 1786 0.2530 0.247 0.7571 0.2429 7.3543
0.3372 39.0 1833 0.2531 0.2504 0.7667 0.2333 7.3657
0.3372 40.0 1880 0.2521 0.2453 0.7476 0.2524 7.3143
0.3372 41.0 1927 0.2496 0.2419 0.7333 0.2667 7.2914
0.3372 42.0 1974 0.2483 0.2411 0.7381 0.2619 7.3143
0.2747 43.0 2021 0.2446 0.2402 0.7381 0.2619 7.3429
0.2747 44.0 2068 0.2443 0.2402 0.7381 0.2619 7.32
0.2747 45.0 2115 0.2425 0.2377 0.7381 0.2619 7.3714
0.2747 46.0 2162 0.2406 0.2351 0.7429 0.2571 7.3714
0.2747 47.0 2209 0.2399 0.2402 0.7429 0.2571 7.32
0.2747 48.0 2256 0.2383 0.2402 0.7381 0.2619 7.3657
0.2747 49.0 2303 0.2363 0.2377 0.7429 0.2571 7.3257
0.2747 50.0 2350 0.2340 0.2301 0.7143 0.2857 7.3714
0.2747 51.0 2397 0.2347 0.2275 0.7143 0.2857 7.3543
0.2747 52.0 2444 0.2332 0.2275 0.7143 0.2857 7.3714
0.2747 53.0 2491 0.2309 0.2258 0.7095 0.2905 7.3657
0.2411 54.0 2538 0.2309 0.225 0.7048 0.2952 7.3714
0.2411 55.0 2585 0.2299 0.2267 0.7048 0.2952 7.3829
0.2411 56.0 2632 0.2280 0.2258 0.7048 0.2952 7.4171
0.2411 57.0 2679 0.2301 0.2233 0.6952 0.3048 7.44
0.2411 58.0 2726 0.2287 0.2207 0.6905 0.3095 7.44
0.2411 59.0 2773 0.2295 0.2216 0.7 0.3 7.4171
0.2411 60.0 2820 0.2277 0.2199 0.6952 0.3048 7.4229
0.2411 61.0 2867 0.2267 0.2233 0.6952 0.3048 7.4286
0.2411 62.0 2914 0.2260 0.2233 0.7048 0.2952 7.4343
0.2411 63.0 2961 0.2263 0.2224 0.7048 0.2952 7.4343
0.2193 64.0 3008 0.2262 0.2216 0.6952 0.3048 7.4286
0.2193 65.0 3055 0.2268 0.225 0.6952 0.3048 7.4
0.2193 66.0 3102 0.2241 0.2207 0.6952 0.3048 7.4114
0.2193 67.0 3149 0.2237 0.2233 0.7 0.3 7.4286
0.2193 68.0 3196 0.2230 0.2224 0.7 0.3 7.4229
0.2193 69.0 3243 0.2229 0.2216 0.681 0.319 7.4286
0.2193 70.0 3290 0.2225 0.2241 0.7 0.3 7.4286
0.2193 71.0 3337 0.2220 0.2241 0.6905 0.3095 7.44
0.2193 72.0 3384 0.2221 0.2241 0.6905 0.3095 7.4286
0.2193 73.0 3431 0.2214 0.2241 0.6905 0.3095 7.4171
0.2193 74.0 3478 0.2215 0.2233 0.6905 0.3095 7.4229
0.2056 75.0 3525 0.2209 0.2267 0.6905 0.3095 7.4457
0.2056 76.0 3572 0.2208 0.2258 0.6905 0.3095 7.44
0.2056 77.0 3619 0.2201 0.225 0.6905 0.3095 7.4343
0.2056 78.0 3666 0.2205 0.2258 0.6905 0.3095 7.4229
0.2056 79.0 3713 0.2209 0.225 0.6905 0.3095 7.4171
0.2056 80.0 3760 0.2203 0.2275 0.6857 0.3143 7.4571
0.2056 81.0 3807 0.2201 0.2275 0.6857 0.3143 7.4571
0.2056 82.0 3854 0.2204 0.2275 0.6857 0.3143 7.4571
0.2056 83.0 3901 0.2203 0.2267 0.6762 0.3238 7.4629
0.2056 84.0 3948 0.2199 0.2267 0.6667 0.3333 7.4743
0.2056 85.0 3995 0.2194 0.2267 0.6667 0.3333 7.48
0.196 86.0 4042 0.2193 0.2275 0.6667 0.3333 7.4743
0.196 87.0 4089 0.2189 0.2284 0.6667 0.3333 7.48
0.196 88.0 4136 0.2185 0.2275 0.6619 0.3381 7.4971
0.196 89.0 4183 0.2188 0.225 0.6619 0.3381 7.4914
0.196 90.0 4230 0.2185 0.2292 0.6667 0.3333 7.4857
0.196 91.0 4277 0.2188 0.2292 0.6667 0.3333 7.4857
0.196 92.0 4324 0.2189 0.2284 0.6667 0.3333 7.48
0.196 93.0 4371 0.2191 0.2258 0.6667 0.3333 7.4743
0.196 94.0 4418 0.2190 0.2258 0.6667 0.3333 7.4743
0.196 95.0 4465 0.2187 0.2258 0.6667 0.3333 7.4743
0.1901 96.0 4512 0.2186 0.2267 0.6667 0.3333 7.48
0.1901 97.0 4559 0.2187 0.2267 0.6667 0.3333 7.48
0.1901 98.0 4606 0.2187 0.2267 0.6667 0.3333 7.48
0.1901 99.0 4653 0.2186 0.2292 0.6667 0.3333 7.4857
0.1901 100.0 4700 0.2186 0.2292 0.6667 0.3333 7.4857

Framework versions

  • Transformers 4.33.0
  • Pytorch 2.0.0
  • Datasets 2.1.0
  • Tokenizers 0.13.3