Edit model card

t5-small-billsum_model

This model is a fine-tuned version of t5-small on the billsum dataset. It achieves the following results on the evaluation set:

  • Loss: 1.4109
  • Rouge1: 0.2444
  • Rouge2: 0.2013
  • Rougel: 0.2371
  • Rougelsum: 0.2372
  • Gen Len: 18.9994
  • Bleu: 0.0018

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 16
  • eval_batch_size: 16
  • seed: 42
  • gradient_accumulation_steps: 4
  • total_train_batch_size: 64
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 40
  • mixed_precision_training: Native AMP

Training results

Training Loss Epoch Step Validation Loss Rouge1 Rouge2 Rougel Rougelsum Gen Len Bleu
No log 1.0 296 1.8388 0.222 0.1724 0.2118 0.2119 18.9942 0.0011
2.2619 2.0 592 1.7177 0.2287 0.1797 0.2186 0.2187 18.9957 0.0013
2.2619 3.0 888 1.6596 0.2337 0.1853 0.2241 0.2242 18.9979 0.0015
1.9013 4.0 1185 1.6184 0.2359 0.1873 0.2268 0.2269 19.0 0.0016
1.9013 5.0 1481 1.5934 0.2372 0.1891 0.2285 0.2286 19.0 0.0016
1.8196 6.0 1777 1.5683 0.2378 0.1901 0.2293 0.2294 18.9985 0.0016
1.7679 7.0 2073 1.5489 0.2371 0.1901 0.2288 0.2289 19.0 0.0016
1.7679 8.0 2370 1.5335 0.2386 0.1924 0.2306 0.2306 19.0 0.0017
1.7315 9.0 2666 1.5215 0.239 0.193 0.2311 0.2312 19.0 0.0017
1.7315 10.0 2962 1.5094 0.2394 0.1938 0.2318 0.2317 19.0 0.0017
1.6994 11.0 3258 1.4996 0.2403 0.195 0.2325 0.2325 19.0 0.0017
1.6769 12.0 3555 1.4904 0.2405 0.1955 0.2328 0.2328 19.0 0.0017
1.6769 13.0 3851 1.4820 0.2409 0.1961 0.2333 0.2333 19.0 0.0017
1.659 14.0 4147 1.4740 0.2416 0.1971 0.2341 0.2341 18.9994 0.0017
1.659 15.0 4443 1.4694 0.242 0.1978 0.2345 0.2346 19.0 0.0018
1.6436 16.0 4740 1.4629 0.2425 0.1981 0.2348 0.2348 19.0 0.0018
1.6271 17.0 5036 1.4567 0.2428 0.1987 0.2352 0.2353 18.9994 0.0018
1.6271 18.0 5332 1.4519 0.243 0.1991 0.2355 0.2356 19.0 0.0018
1.6135 19.0 5628 1.4483 0.2429 0.1992 0.2354 0.2355 18.9994 0.0018
1.6135 20.0 5925 1.4425 0.2434 0.1998 0.2359 0.236 18.9994 0.0018
1.6038 21.0 6221 1.4403 0.2435 0.1999 0.2361 0.2362 18.9994 0.0018
1.5958 22.0 6517 1.4370 0.2436 0.2 0.2363 0.2364 18.9994 0.0018
1.5958 23.0 6813 1.4328 0.2439 0.2003 0.2366 0.2367 18.9994 0.0018
1.5875 24.0 7110 1.4308 0.2439 0.2003 0.2366 0.2367 18.9994 0.0018
1.5875 25.0 7406 1.4283 0.2439 0.2004 0.2366 0.2367 18.9994 0.0018
1.581 26.0 7702 1.4255 0.2438 0.2003 0.2365 0.2367 18.9994 0.0018
1.581 27.0 7998 1.4241 0.2438 0.2005 0.2365 0.2366 18.9994 0.0018
1.5734 28.0 8295 1.4212 0.244 0.2007 0.2367 0.2368 18.9994 0.0018
1.5697 29.0 8591 1.4199 0.244 0.2007 0.2367 0.2368 18.9994 0.0018
1.5697 30.0 8887 1.4173 0.244 0.2007 0.2368 0.2368 18.9994 0.0018
1.5639 31.0 9183 1.4168 0.2439 0.2007 0.2367 0.2368 18.9994 0.0018
1.5639 32.0 9480 1.4159 0.2441 0.2007 0.2367 0.2368 18.9994 0.0018
1.5608 33.0 9776 1.4143 0.2442 0.2009 0.2369 0.237 18.9994 0.0018
1.5562 34.0 10072 1.4132 0.2442 0.2009 0.2369 0.237 18.9994 0.0018
1.5562 35.0 10368 1.4123 0.2442 0.201 0.2369 0.237 18.9994 0.0018
1.5563 36.0 10665 1.4122 0.2443 0.2012 0.237 0.2371 18.9994 0.0018
1.5563 37.0 10961 1.4112 0.2443 0.2011 0.237 0.2371 18.9994 0.0018
1.5526 38.0 11257 1.4112 0.2444 0.2013 0.2371 0.2373 18.9994 0.0018
1.5525 39.0 11553 1.4110 0.2443 0.2012 0.237 0.2372 18.9994 0.0018
1.5525 39.97 11840 1.4109 0.2444 0.2013 0.2371 0.2372 18.9994 0.0018

Framework versions

  • Transformers 4.28.1
  • Pytorch 2.0.0+cu118
  • Datasets 2.11.0
  • Tokenizers 0.13.3
Downloads last month
6
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Dataset used to train alaahussein/t5-small-billsum_model

Evaluation results