Hugging Face's logo

pminervini
/
sft-llava-1.5-7b-hf

PEFT
TensorBoard
Safetensors
trl
sft
Generated from Trainer
Model card Files Metrics Community
Edit model card

sft-llava-1.5-7b-hf

This model is a fine-tuned version of llava-hf/llava-1.5-7b-hf on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 2.2066
  • Bleu: 0.1022
  • Rouge1: 0.4068
  • Rouge2: 0.1449
  • Rougel: 0.3039
  • F1: 0.1633

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 1
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • training_steps: 128

Training results

Training Loss Epoch Step Validation Loss Bleu Rouge1 Rouge2 Rougel F1
2.4895 0.0078 1 2.8980 0.0341 0.2763 0.0784 0.1926 0.0606
2.7403 0.0156 2 2.8865 0.0350 0.2778 0.0797 0.1928 0.0621
2.5288 0.0234 3 2.8686 0.0346 0.2783 0.0798 0.1936 0.0615
2.7888 0.0312 4 2.8437 0.0359 0.2787 0.0814 0.1946 0.0636
2.6592 0.0391 5 2.8111 0.0372 0.2799 0.0820 0.1971 0.0657
2.682 0.0469 6 2.7774 0.0374 0.2840 0.0835 0.1998 0.0661
2.7822 0.0547 7 2.7344 0.0410 0.2863 0.0863 0.2037 0.0717
2.6998 0.0625 8 2.6884 0.0425 0.2884 0.0899 0.2054 0.0741
2.332 0.0703 9 2.6515 0.0466 0.2929 0.0936 0.2109 0.0804
2.6385 0.0781 10 2.6203 0.0478 0.2953 0.0960 0.2118 0.0822
2.8734 0.0859 11 2.5952 0.0496 0.2994 0.0963 0.2134 0.0850
2.5088 0.0938 12 2.5700 0.0542 0.3012 0.1018 0.2173 0.0919
2.7795 0.1016 13 2.5459 0.0571 0.3050 0.1054 0.2213 0.0961
2.4867 0.1094 14 2.5214 0.0585 0.3083 0.1072 0.2229 0.0984
2.1623 0.1172 15 2.5031 0.0591 0.3085 0.1079 0.2240 0.0992
2.1557 0.125 16 2.4844 0.0592 0.3127 0.1089 0.2257 0.0995
2.0768 0.1328 17 2.4667 0.0599 0.3129 0.1094 0.2265 0.1006
2.2171 0.1406 18 2.4522 0.0604 0.3170 0.1107 0.2282 0.1015
2.2241 0.1484 19 2.4378 0.0616 0.3196 0.1130 0.2319 0.1032
2.3845 0.1562 20 2.4224 0.0623 0.3258 0.1144 0.2339 0.1046
2.0968 0.1641 21 2.4077 0.0629 0.3294 0.1154 0.2363 0.1056
2.1321 0.1719 22 2.3935 0.0635 0.3332 0.1169 0.2411 0.1067
2.0084 0.1797 23 2.3798 0.0652 0.3397 0.1212 0.2453 0.1094
2.0457 0.1875 24 2.3698 0.0660 0.3423 0.1219 0.2492 0.1107
2.0829 0.1953 25 2.3562 0.0672 0.3466 0.1221 0.2504 0.1125
2.1274 0.2031 26 2.3441 0.0678 0.3510 0.1233 0.2522 0.1137
2.5369 0.2109 27 2.3315 0.0689 0.3558 0.1245 0.2556 0.1155
2.3216 0.2188 28 2.3180 0.0739 0.3621 0.1289 0.2632 0.1228
2.2894 0.2266 29 2.3073 0.0764 0.3671 0.1312 0.2672 0.1265
2.3701 0.2344 30 2.2968 0.0797 0.3755 0.1337 0.2717 0.1314
1.9144 0.2422 31 2.2904 0.0821 0.3764 0.1362 0.2748 0.1348
2.1149 0.25 32 2.2838 0.0840 0.3804 0.1362 0.2776 0.1376
1.7937 0.2578 33 2.2795 0.0859 0.3851 0.1386 0.2833 0.1405
1.6068 0.2656 34 2.2743 0.0869 0.3899 0.1390 0.2856 0.1421
1.9267 0.2734 35 2.2709 0.0884 0.3940 0.1404 0.2889 0.1444
2.0678 0.2812 36 2.2670 0.0905 0.3970 0.1418 0.2918 0.1474
1.9654 0.2891 37 2.2626 0.0936 0.4022 0.1449 0.2977 0.1519
2.1679 0.2969 38 2.2597 0.0952 0.4076 0.1467 0.2992 0.1543
2.5372 0.3047 39 2.2561 0.0972 0.4119 0.1491 0.3031 0.1573
2.1875 0.3125 40 2.2524 0.0952 0.4031 0.1461 0.2962 0.1540
2.492 0.3203 41 2.2500 0.1009 0.4168 0.1517 0.3082 0.1624
1.9496 0.3281 42 2.2467 0.1026 0.4203 0.1521 0.3104 0.1650
1.9127 0.3359 43 2.2447 0.1047 0.4221 0.1535 0.3125 0.1678
2.2491 0.3438 44 2.2422 0.1042 0.4228 0.1528 0.3139 0.1672
2.1814 0.3516 45 2.2413 0.1067 0.4251 0.1548 0.3150 0.1706
1.7902 0.3594 46 2.2395 0.1075 0.4268 0.1536 0.3166 0.1718
1.982 0.3672 47 2.2390 0.1083 0.4249 0.1542 0.3158 0.1727
1.9774 0.375 48 2.2373 0.1092 0.4310 0.1572 0.3209 0.1743
1.8207 0.3828 49 2.2377 0.1092 0.4299 0.1569 0.3214 0.1742
2.2484 0.3906 50 2.2361 0.1102 0.4298 0.1560 0.3184 0.1754
2.2954 0.3984 51 2.2352 0.1098 0.4328 0.1550 0.3201 0.1752
2.1899 0.4062 52 2.2344 0.1115 0.4330 0.1584 0.3215 0.1773
2.1295 0.4141 53 2.2338 0.1120 0.4351 0.1588 0.3233 0.1782
2.1473 0.4219 54 2.2323 0.1120 0.4365 0.1580 0.3254 0.1783
1.9628 0.4297 55 2.2315 0.1130 0.4357 0.1581 0.3260 0.1795
2.0926 0.4375 56 2.2315 0.1143 0.4378 0.1592 0.3261 0.1812
1.9722 0.4453 57 2.2301 0.1140 0.4366 0.1583 0.3250 0.1808
2.5585 0.4531 58 2.2298 0.1140 0.4377 0.1579 0.3270 0.1809
1.8927 0.4609 59 2.2297 0.1145 0.4388 0.1587 0.3266 0.1816
1.8164 0.4688 60 2.2289 0.1140 0.4376 0.1570 0.3267 0.1808
2.1107 0.4766 61 2.2279 0.1139 0.4367 0.1570 0.3276 0.1807
1.827 0.4844 62 2.2265 0.1157 0.4388 0.1578 0.3275 0.1831
2.0554 0.4922 63 2.2269 0.1162 0.4359 0.1577 0.3251 0.1835
2.2363 0.5 64 2.2254 0.1167 0.4397 0.1587 0.3287 0.1845
2.1859 0.5078 65 2.2258 0.1160 0.4395 0.1562 0.3275 0.1836
2.0456 0.5156 66 2.2248 0.1162 0.4374 0.1580 0.3270 0.1836
2.085 0.5234 67 2.2250 0.1164 0.4400 0.1583 0.3279 0.1841
1.9723 0.5312 68 2.2243 0.1152 0.4374 0.1567 0.3241 0.1824
2.3812 0.5391 69 2.2233 0.1161 0.4379 0.1589 0.3265 0.1836
1.8786 0.5469 70 2.2236 0.1101 0.4252 0.1526 0.3184 0.1749
2.5123 0.5547 71 2.2225 0.1110 0.4260 0.1536 0.3187 0.1761
1.8613 0.5625 72 2.2231 0.1169 0.4391 0.1591 0.3283 0.1846
2.1822 0.5703 73 2.2221 0.1094 0.4246 0.1524 0.3175 0.1739
1.6759 0.5781 74 2.2215 0.1174 0.4404 0.1605 0.3296 0.1854
1.7215 0.5859 75 2.2216 0.1175 0.4444 0.1589 0.3291 0.1859
2.415 0.5938 76 2.2212 0.1127 0.4323 0.1554 0.3224 0.1787
2.366 0.6016 77 2.2210 0.1173 0.4470 0.1598 0.3316 0.1859
2.1624 0.6094 78 2.2200 0.1123 0.4322 0.1553 0.3227 0.1783
2.422 0.6172 79 2.2204 0.1117 0.4316 0.1547 0.3216 0.1775
1.5925 0.625 80 2.2198 0.1190 0.4465 0.1602 0.3330 0.1879
2.0679 0.6328 81 2.2199 0.1119 0.4329 0.1555 0.3224 0.1779
2.0866 0.6406 82 2.2184 0.1189 0.4467 0.1615 0.3326 0.1878
2.3189 0.6484 83 2.2199 0.1180 0.4458 0.1604 0.3324 0.1866
2.0302 0.6562 84 2.2192 0.1184 0.4460 0.1602 0.3320 0.1871
1.7403 0.6641 85 2.2189 0.1181 0.4455 0.1609 0.3323 0.1867
2.1954 0.6719 86 2.2187 0.1199 0.4440 0.1613 0.3315 0.1889
1.997 0.6797 87 2.2199 0.1183 0.4418 0.1588 0.3311 0.1867
2.4519 0.6875 88 2.2186 0.1120 0.4320 0.1553 0.3228 0.1779
2.2017 0.6953 89 2.2179 0.1072 0.4179 0.1513 0.3122 0.1706
2.1003 0.7031 90 2.2180 0.1122 0.4324 0.1541 0.3224 0.1782
1.7368 0.7109 91 2.2168 0.1123 0.4303 0.1541 0.3215 0.1781
1.8353 0.7188 92 2.2168 0.1122 0.4287 0.1543 0.3207 0.1778
2.1268 0.7266 93 2.2160 0.1199 0.4436 0.1622 0.3333 0.1887
1.9001 0.7344 94 2.2151 0.1074 0.4164 0.1523 0.3126 0.1707
1.8191 0.7422 95 2.2145 0.1064 0.4165 0.1495 0.3112 0.1695
2.1177 0.75 96 2.2136 0.1064 0.4163 0.1498 0.3114 0.1694
2.001 0.7578 97 2.2130 0.1069 0.4186 0.1508 0.3128 0.1703
1.954 0.7656 98 2.2137 0.1120 0.4318 0.1534 0.3235 0.1778
2.4814 0.7734 99 2.2128 0.1067 0.4178 0.1500 0.3115 0.1699
1.6829 0.7812 100 2.2121 0.1077 0.4171 0.1528 0.3123 0.1712
2.1517 0.7891 101 2.2124 0.1077 0.4174 0.1529 0.3125 0.1713
2.1862 0.7969 102 2.2117 0.1072 0.4171 0.1513 0.3119 0.1706
2.0831 0.8047 103 2.2109 0.1023 0.4048 0.1442 0.3027 0.1634
1.8499 0.8125 104 2.2098 0.1069 0.4172 0.1511 0.3142 0.1702
2.2972 0.8203 105 2.2105 0.1080 0.4189 0.1524 0.3148 0.1718
1.7076 0.8281 106 2.2099 0.1072 0.4171 0.1504 0.3113 0.1705
2.1683 0.8359 107 2.2090 0.1019 0.4036 0.1454 0.3018 0.1627
1.7442 0.8438 108 2.2085 0.1071 0.4201 0.1516 0.3133 0.1707
1.4781 0.8516 109 2.2078 0.1028 0.4033 0.1466 0.3030 0.1639
2.2545 0.8594 110 2.2093 0.1034 0.4047 0.1467 0.3018 0.1647
2.1487 0.8672 111 2.2077 0.1027 0.4050 0.1466 0.3023 0.1638
2.4301 0.875 112 2.2083 0.1025 0.4052 0.1462 0.3055 0.1636
1.7237 0.8828 113 2.2082 0.1028 0.4045 0.1469 0.3021 0.1639
2.198 0.8906 114 2.2083 0.1038 0.4066 0.1474 0.3051 0.1654
2.2638 0.8984 115 2.2083 0.1026 0.4037 0.1455 0.3032 0.1636
1.7335 0.9062 116 2.2073 0.1028 0.4040 0.1443 0.3028 0.1639
2.2235 0.9141 117 2.2074 0.1076 0.4170 0.1519 0.3116 0.1711
2.0328 0.9219 118 2.2073 0.1028 0.4043 0.1465 0.3032 0.1639
1.7564 0.9297 119 2.2066 0.1086 0.4184 0.1542 0.3144 0.1725
1.9033 0.9375 120 2.2071 0.1034 0.4042 0.1463 0.3034 0.1647
2.2383 0.9453 121 2.2072 0.1076 0.4170 0.1533 0.3131 0.1711
1.9066 0.9531 122 2.2069 0.1123 0.4314 0.1556 0.3233 0.1782
2.0935 0.9609 123 2.2071 0.1031 0.4047 0.1466 0.3018 0.1643
1.9301 0.9688 124 2.2067 0.1034 0.4047 0.1463 0.3043 0.1647
1.8388 0.9766 125 2.2064 0.1025 0.4038 0.1462 0.3029 0.1634
1.93 0.9844 126 2.2073 0.1079 0.4209 0.1510 0.3150 0.1718
1.669 0.9922 127 2.2074 0.1029 0.4055 0.1459 0.3033 0.1642
1.9271 1.0 128 2.2066 0.1022 0.4068 0.1449 0.3039 0.1633

Framework versions

  • PEFT 0.12.0
  • Transformers 4.44.2
  • Pytorch 2.4.0+cu121
  • Datasets 3.0.0
  • Tokenizers 0.19.1
Downloads last month
2
Inference API
Unable to determine this model’s pipeline type. Check the docs .

Model tree for pminervini/sft-llava-1.5-7b-hf

Base model

llava-hf/llava-1.5-7b-hf
Adapter
(102)
this model

Evaluation results

Metadata error: specify a dataset to view leaderboard