Edit model card
YAML Metadata Error: "language[0]" must only contain lowercase characters
YAML Metadata Error: "language[0]" with value "zh_CN" is not valid. It must be an ISO 639-1, 639-2 or 639-3 code (two/three letters), or a special value like "code", "multilingual". If you want to use BCP-47 identifiers, you can specify them in language_bcp47.
YAML Metadata Error: "language[1]" must only contain lowercase characters
YAML Metadata Error: "language[1]" with value "zh_CN" is not valid. It must be an ISO 639-1, 639-2 or 639-3 code (two/three letters), or a special value like "code", "multilingual". If you want to use BCP-47 identifiers, you can specify them in language_bcp47.

filter-mlsum-pretrained

This model is a fine-tuned version of lincoln/mbart-mlsum-automatic-summarization on an unkown dataset. It achieves the following results on the evaluation set:

  • Loss: 2.1258
  • Rouge1: 42.1802
  • Rouge2: 28.8282
  • Rougel: 38.353
  • Rougelsum: 38.4497
  • Gen Len: 15.7048

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 64
  • eval_batch_size: 64
  • seed: 13
  • gradient_accumulation_steps: 2
  • total_train_batch_size: 128
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 5.0
  • mixed_precision_training: Native AMP

Training results

Training Loss Epoch Step Bleu Gen Len Validation Loss Rouge-1 Rouge-2 Rouge-3 Rouge-4
3.2488 0.02 600 1.0077 16.5021 2.9137 0.3472 0.2187 0.129 0.0831
2.8602 0.04 1200 1.0448 15.5959 2.7929 0.3555 0.231 0.1425 0.0948
2.7612 0.06 1800 0.9912 15.9283 2.7275 0.3634 0.2327 0.139 0.0892
2.71 0.08 2400 1.1238 16.029 2.6673 0.3705 0.2393 0.1448 0.0937
2.6029 0.11 3000 1.091 15.8317 2.6153 0.3705 0.2382 0.1443 0.0943
2.5834 0.13 3600 1.0894 15.9131 2.5937 0.3793 0.246 0.1517 0.1013
2.5339 0.15 4200 1.1034 15.8331 2.5716 0.3758 0.2441 0.146 0.0948
2.5176 0.17 4800 1.1365 16.2552 2.5338 0.3695 0.2385 0.1454 0.0942
2.4962 0.19 5400 1.1237 16.0041 2.5145 0.3773 0.2462 0.1533 0.1017
2.4573 0.21 6000 0.9416 16.1241 2.5056 0.3753 0.2457 0.1541 0.1012
2.4324 0.23 6600 1.122 15.3448 2.4891 0.3824 0.2531 0.157 0.1033
2.4343 0.25 7200 1.8299 15.5959 2.4728 0.384 0.2512 0.1556 0.1026
2.4089 0.28 7800 1.7741 16.3421 2.4608 0.3818 0.2501 0.1556 0.102
2.376 0.3 8400 1.1575 15.3834 2.4402 0.3887 0.2582 0.1611 0.1058
2.3739 0.32 9000 1.7924 15.6455 2.4331 0.3902 0.2561 0.1587 0.1042
2.3485 0.34 9600 2.2605 15.5407 2.4215 0.3712 0.2423 0.1493 0.0984
2.3535 0.36 10200 1.2569 16.2538 2.4047 0.3837 0.2524 0.1572 0.1045
2.3359 0.38 10800 1.2334 15.4607 2.4025 0.3808 0.2488 0.1531 0.0994
2.3265 0.4 11400 1.116 16.2703 2.3926 0.3909 0.2574 0.159 0.1049
2.3024 0.42 12000 1.0944 15.3807 2.3964 0.3883 0.2554 0.158 0.1043
2.2988 0.45 12600 1.6318 15.5062 2.3616 0.3889 0.259 0.1617 0.107
2.2966 0.47 13200 1.1887 15.8041 2.3728 0.3835 0.2556 0.1633 0.1111
2.2823 0.49 13800 1.1252 15.9972 2.3591 0.3805 0.249 0.1571 0.1052
2.2748 0.51 14400 1.0418 15.3021 2.3619 0.3862 0.2569 0.161 0.1072
2.2624 0.53 15000 1.0299 15.8634 2.3415 0.3909 0.2575 0.1608 0.1072
2.2585 0.55 15600 1.0671 15.5503 2.3557 0.3899 0.2586 0.1622 0.1077
2.2586 0.57 16200 1.6521 15.4345 2.3431 0.389 0.2593 0.1642 0.1105
2.2464 0.59 16800 1.2836 15.6124 2.3609 0.3934 0.2591 0.1593 0.1041
2.2523 0.62 17400 1.7653 15.8648 2.3339 0.3958 0.2653 0.1683 0.1133
2.2287 0.64 18000 1.3186 16.4455 2.3188 0.3911 0.2617 0.1678 0.1143
2.2068 0.66 18600 1.6488 15.9062 2.3109 0.3919 0.262 0.1657 0.1115
2.2195 0.68 19200 1.8291 15.5269 2.3271 0.3859 0.2575 0.1631 0.1081
2.2128 0.7 19800 2.2759 15.8703 2.3113 0.3962 0.2655 0.1691 0.1123
2.2071 0.72 20400 2.4205 15.9738 2.3036 0.3907 0.2608 0.1637 0.1081
2.1975 0.74 21000 1.9886 15.8234 2.2919 0.3906 0.2632 0.169 0.1157
2.1965 0.76 21600 1.8754 15.3434 2.2957 0.39 0.2608 0.1665 0.1114
2.1886 0.78 22200 1.5683 15.3407 2.2835 0.3968 0.2658 0.168 0.1117
2.185 0.81 22800 2.127 16.0566 2.2685 0.3913 0.2624 0.1691 0.114
2.1697 0.83 23400 1.2554 15.7021 2.2888 0.3983 0.2676 0.1704 0.1148
2.1637 0.85 24000 2.0099 16.2607 2.2767 0.3979 0.2681 0.1719 0.1181
2.1559 0.87 24600 2.2632 15.2179 2.2840 0.3996 0.269 0.1714 0.1152
2.1666 0.89 25200 1.2354 15.6828 2.2744 0.397 0.2655 0.1677 0.1108
2.1388 0.91 25800 1.2576 15.7959 2.2661 0.3982 0.2655 0.1687 0.1128
2.1458 0.93 26400 1.334 15.6428 2.2582 0.3976 0.2682 0.1711 0.1142
2.1337 0.95 27000 1.287 16.1379 2.2474 0.4001 0.2654 0.1682 0.1119
2.1324 0.98 27600 1.1739 16.0552 2.2487 0.4003 0.2664 0.168 0.1113
2.1318 1.0 28200 2.1267 15.931 2.2553 0.4037 0.27 0.1714 0.1163
2.0379 1.02 28800 1.1489 15.3421 2.2787 0.3962 0.263 0.1674 0.114
1.9044 1.04 29400 1.6737 15.6 2.2538 0.4003 0.2693 0.1729 0.1161
1.9149 1.06 30000 1.1077 15.771 2.2487 0.4062 0.274 0.1774 0.1209
1.9211 1.08 30600 1.2744 15.0566 2.2708 0.4075 0.2742 0.1744 0.1172
1.9285 1.1 31200 1.1875 16.1021 2.2443 0.3983 0.2652 0.1671 0.1124
1.9106 1.12 31800 1.2422 15.36 2.2562 0.4079 0.2751 0.1762 0.119
1.9313 1.15 32400 1.3036 15.8317 2.2515 0.4027 0.2717 0.1748 0.1196
1.931 1.17 33000 1.138 16.1917 2.2415 0.4016 0.2701 0.1724 0.1179
1.9232 1.19 33600 1.2741 15.6814 2.2511 0.4074 0.2757 0.1782 0.1222
1.9233 1.21 34200 1.4101 15.8345 2.2388 0.4027 0.2712 0.1727 0.1174
1.9172 1.23 34800 1.252 15.6124 2.2434 0.4046 0.2747 0.1783 0.1215
1.9258 1.25 35400 1.2459 15.5062 2.2342 0.4107 0.2801 0.1814 0.1236
1.9184 1.27 36000 1.2943 15.6083 2.2393 0.4119 0.2817 0.1839 0.1244
1.9195 1.29 36600 1.1197 15.8359 2.2237 0.4014 0.2695 0.1699 0.1132
1.932 1.31 37200 1.2212 15.9752 2.2202 0.4027 0.2708 0.1723 0.1168
1.9161 1.34 37800 1.2541 15.5779 2.2236 0.4091 0.2783 0.1804 0.1244
1.9115 1.36 38400 1.4237 15.8276 2.1993 0.4122 0.2813 0.1832 0.1258
1.9108 1.38 39000 1.8321 16.0386 2.2079 0.412 0.2794 0.1806 0.1226
1.921 1.4 39600 1.8388 15.5076 2.2158 0.411 0.2799 0.1804 0.1226
1.9124 1.42 40200 1.915 16.0 2.2071 0.4032 0.2726 0.1742 0.1185
1.9134 1.44 40800 2.1237 16.0372 2.1980 0.4036 0.2702 0.1689 0.1122
1.9124 1.46 41400 2.4274 15.3421 2.2111 0.4037 0.274 0.1754 0.1203
1.9149 1.48 42000 1.8393 15.5683 2.2105 0.4057 0.2748 0.1762 0.119
1.9147 1.51 42600 1.2703 16.3048 2.1874 0.4084 0.2767 0.179 0.1233
1.9075 1.53 43200 1.7775 15.9545 2.1946 0.4109 0.2807 0.1857 0.1286
1.8996 1.55 43800 1.2485 15.6648 2.1924 0.4082 0.2749 0.1764 0.1196
1.9003 1.57 44400 1.1624 15.8041 2.1895 0.4093 0.2758 0.1766 0.1194
1.9048 1.59 45000 1.8167 16.2938 2.1843 0.407 0.2741 0.1779 0.1203
1.9017 1.61 45600 2.0689 15.3931 2.2073 0.4111 0.2795 0.1811 0.1246
1.8946 1.63 46200 1.7099 15.9917 2.1839 0.4095 0.2797 0.1826 0.1258
1.886 1.65 46800 1.8287 15.8276 2.1945 0.4051 0.2761 0.1799 0.1237
1.9068 1.68 47400 1.9476 15.3503 2.1926 0.4132 0.2819 0.1836 0.1262
1.9008 1.7 48000 1.3086 15.5931 2.1857 0.4167 0.2868 0.1893 0.1303
1.8965 1.72 48600 2.1687 15.8317 2.1781 0.402 0.2715 0.175 0.1197
1.8907 1.74 49200 2.3316 15.8952 2.1661 0.4035 0.2717 0.1746 0.1193
1.8938 1.76 49800 1.6839 15.6028 2.1736 0.4008 0.2693 0.1741 0.1184
1.8769 1.78 50400 1.1867 15.9393 2.1723 0.403 0.272 0.1761 0.1201
1.8813 1.8 51000 1.8509 16.2538 2.1454 0.4085 0.2773 0.1801 0.1227
1.8913 1.82 51600 1.9677 15.7503 2.1691 0.4052 0.2786 0.1836 0.1274
1.8785 1.85 52200 1.7 15.7559 2.1683 0.4132 0.2793 0.1796 0.1216
1.881 1.87 52800 1.2867 16.0345 2.1372 0.416 0.2824 0.1837 0.1264
1.8833 1.89 53400 1.761 16.0966 2.1501 0.4126 0.2808 0.1825 0.1253
1.8727 1.91 54000 1.9868 15.8221 2.1504 0.4165 0.2828 0.1826 0.1233
1.8901 1.93 54600 1.801 14.9393 2.2104 0.4151 0.2846 0.1848 0.1258
1.8802 1.95 55200 2.0887 15.8069 2.1555 0.407 0.2766 0.1794 0.1214
1.8827 1.97 55800 1.8323 15.8524 2.1510 0.4221 0.291 0.193 0.135
1.8673 1.99 56400 1.2667 15.4262 2.1620 0.4092 0.2795 0.1836 0.1275
1.6735 2.01 57000 1.821 15.8538 2.1836 0.4193 0.2875 0.189 0.1317
1.6367 2.04 57600 2.5547 15.8055 2.1941 0.415 0.2831 0.1849 0.1284
1.6326 2.06 58200 2.0999 15.9352 2.1743 0.4157 0.2829 0.1842 0.1267
1.6354 2.08 58800 2.3907 15.68 2.1879 0.4233 0.2921 0.1936 0.1361
1.6352 2.1 59400 1.979 16.1807 2.1735 0.4236 0.2907 0.193 0.1346
1.6428 2.12 60000 2.2266 15.8759 2.1858 0.4204 0.2881 0.1896 0.1308
1.6483 2.14 60600 1.9294 15.8469 2.1878 0.4237 0.2892 0.1901 0.1317
1.6502 2.16 61200 1.7967 15.7131 2.1814 0.4164 0.2835 0.1852 0.1275
1.6585 2.18 61800 1.1843 16.0579 2.1620 0.413 0.2828 0.1852 0.128
1.6457 2.21 62400 1.7951 15.9862 2.1873 0.4194 0.2885 0.1908 0.1341
1.6433 2.23 63000 1.6297 16.1324 2.1770 0.4039 0.2741 0.1773 0.1209
1.6493 2.25 63600 1.8762 15.5131 2.1702 0.414 0.2851 0.1883 0.1292
1.672 2.27 64200 2.1811 16.1945 2.1433 0.4198 0.2852 0.1854 0.1272
1.6411 2.29 64800 2.0637 16.1434 2.1661 0.4103 0.2809 0.1848 0.1275
1.6561 2.31 65400 2.452 15.5724 2.1761 0.4204 0.292 0.1935 0.135
1.6516 2.33 66000 2.216 15.7048 2.1836 0.4186 0.2887 0.1909 0.1326
1.6738 2.35 66600 1.7496 15.731 2.1452 0.4186 0.2904 0.1944 0.1364
1.672 2.38 67200 1.3179 15.7697 2.1412 0.4206 0.2898 0.1936 0.1358
1.6625 2.4 67800 2.3606 15.76 2.1412 0.4134 0.285 0.189 0.1315
1.6725 2.42 68400 2.3687 15.4745 2.1825 0.4165 0.2874 0.1883 0.1303
1.6588 2.44 69000 2.2056 15.8841 2.1307 0.4259 0.2952 0.1974 0.139
1.6629 2.46 69600 1.7605 15.469 2.1523 0.4149 0.2861 0.1901 0.1327
1.6716 2.48 70200 1.3733 15.3683 2.1546 0.4202 0.2889 0.1897 0.1314
1.6708 2.5 70800 2.6313 15.7214 2.1408 0.4236 0.2937 0.1972 0.1395
1.6637 2.52 71400 2.5112 15.909 2.1252 0.4203 0.2903 0.1935 0.1361
1.6743 2.55 72000 2.2902 15.749 2.1326 0.426 0.297 0.1989 0.1404
1.6681 2.57 72600 2.1003 16.3338 2.1120 0.4185 0.2876 0.1904 0.1342
1.6791 2.59 73200 1.7082 15.7283 2.1269 0.4268 0.2968 0.1988 0.1392
1.6643 2.61 73800 1.9914 16.0552 2.1166 0.4177 0.2886 0.1939 0.1369
1.6666 2.63 74400 1.8012 16.0276 2.1242 0.4174 0.2875 0.19 0.1328
1.67 2.65 75000 1.696 15.5559 2.1619 0.4196 0.2919 0.1939 0.136
1.6794 2.67 75600 2.0322 15.6221 2.1425 0.4166 0.2871 0.1891 0.1328
1.6753 2.69 76200 2.5736 15.7407 2.1432 0.4215 0.2928 0.1958 0.1388
1.6807 2.71 76800 2.3404 15.7186 2.1240 0.4181 0.2885 0.1917 0.1346
1.6707 2.74 77400 2.4439 15.5724 2.1246 0.4191 0.2906 0.1936 0.1359
1.6736 2.76 78000 2.0595 16.2731 2.1053 0.4158 0.2869 0.1902 0.1324
1.6651 2.78 78600 1.6489 15.6772 2.1365 0.4242 0.2924 0.1938 0.1346
1.6746 2.8 79200 1.1565 15.9062 2.1232 0.4161 0.2848 0.1872 0.1308
1.6666 2.82 79800 1.7445 15.9407 2.1417 0.414 0.2807 0.1817 0.1249
1.6687 2.84 80400 1.9425 15.8676 2.1240 0.4088 0.2786 0.1821 0.1269
1.6678 2.86 81000 1.6419 15.9214 2.1125 0.417 0.2873 0.188 0.1303
1.6609 2.88 81600 1.8123 15.8579 2.1227 0.4199 0.2904 0.1916 0.1323

Framework versions

  • Transformers 4.8.2
  • Pytorch 1.8.1+cu111
  • Datasets 1.9.0
  • Tokenizers 0.10.3
Downloads last month
3
Hosted inference API
This model can be loaded on the Inference API on-demand.