Hugging Face's logo

SimonMA
/
Codellama-7b-lora-rps-adapter

PEFT
TensorBoard
Safetensors
trl
sft
Generated from Trainer
Model card Files Metrics Community
Codellama-7b-lora-rps-adapter / README.md
SimonMA's picture
SimonMA
End of training
c4cea10 verified
preview code
|
raw
history blame
10.8 kB
metadata
base_model: codellama/CodeLlama-7b-Instruct-hf
library_name: peft
license: llama2
tags:
  - trl
  - sft
  - generated_from_trainer
model-index:
  - name: Codellama-7b-lora-rps-adapter
    results: []

Codellama-7b-lora-rps-adapter

This model is a fine-tuned version of codellama/CodeLlama-7b-Instruct-hf on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 0.3001

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0002
  • train_batch_size: 2
  • eval_batch_size: 2
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_ratio: 0.03
  • num_epochs: 4

Training results

Training Loss Epoch Step Validation Loss
0.1811 2.3788 13000 0.2900
0.2081 2.3879 13050 0.2917
0.1862 2.3971 13100 0.2925
0.1806 2.4062 13150 0.2905
0.1844 2.4154 13200 0.2887
0.1862 2.4245 13250 0.2879
0.1783 2.4337 13300 0.2897
0.2143 2.4428 13350 0.2871
0.2068 2.4520 13400 0.2877
0.1815 2.4611 13450 0.2877
0.1657 2.4703 13500 0.2871
0.2198 2.4794 13550 0.2857
0.1709 2.4886 13600 0.2872
0.1741 2.4977 13650 0.2857
0.217 2.5069 13700 0.2847
0.2064 2.5160 13750 0.2861
0.1813 2.5252 13800 0.2856
0.1895 2.5343 13850 0.2867
0.1881 2.5435 13900 0.2856
0.1815 2.5526 13950 0.2872
0.1772 2.5618 14000 0.2849
0.1808 2.5709 14050 0.2858
0.1808 2.5801 14100 0.2851
0.1949 2.5892 14150 0.2865
0.1894 2.5984 14200 0.2859
0.18 2.6075 14250 0.2846
0.1765 2.6167 14300 0.2842
0.178 2.6258 14350 0.2841
0.2042 2.6349 14400 0.2844
0.2073 2.6441 14450 0.2854
0.1748 2.6532 14500 0.2842
0.2015 2.6624 14550 0.2838
0.1968 2.6715 14600 0.2836
0.1919 2.6807 14650 0.2846
0.1811 2.6898 14700 0.2834
0.1751 2.6990 14750 0.2852
0.1889 2.7081 14800 0.2818
0.184 2.7173 14850 0.2833
0.1861 2.7264 14900 0.2852
0.1997 2.7356 14950 0.2835
0.1638 2.7447 15000 0.2839
0.1941 2.7539 15050 0.2830
0.1759 2.7630 15100 0.2833
0.1803 2.7722 15150 0.2837
0.1727 2.7813 15200 0.2834
0.2242 2.7905 15250 0.2816
0.1911 2.7996 15300 0.2849
0.196 2.8088 15350 0.2825
0.196 2.8179 15400 0.2815
0.1701 2.8271 15450 0.2800
0.1771 2.8362 15500 0.2823
0.187 2.8454 15550 0.2816
0.1804 2.8545 15600 0.2823
0.1722 2.8637 15650 0.2805
0.1957 2.8728 15700 0.2777
0.1725 2.8820 15750 0.2794
0.1945 2.8911 15800 0.2793
0.1884 2.9003 15850 0.2781
0.1687 2.9094 15900 0.2797
0.1965 2.9186 15950 0.2783
0.1669 2.9277 16000 0.2789
0.1827 2.9369 16050 0.2781
0.1663 2.9460 16100 0.2779
0.1665 2.9552 16150 0.2807
0.1812 2.9643 16200 0.2796
0.1995 2.9735 16250 0.2784
0.1792 2.9826 16300 0.2786
0.184 2.9918 16350 0.2786
0.1727 3.0009 16400 0.2781
0.1239 3.0101 16450 0.3034
0.1256 3.0192 16500 0.2975
0.1732 3.0284 16550 0.2993
0.1216 3.0375 16600 0.2999
0.1283 3.0467 16650 0.3015
0.1225 3.0558 16700 0.3011
0.1284 3.0650 16750 0.3038
0.1246 3.0741 16800 0.2990
0.1277 3.0833 16850 0.3011
0.1237 3.0924 16900 0.3023
0.1174 3.1016 16950 0.3053
0.1202 3.1107 17000 0.3037
0.121 3.1199 17050 0.3013
0.126 3.1290 17100 0.3034
0.1188 3.1382 17150 0.3008
0.1346 3.1473 17200 0.2997
0.1428 3.1565 17250 0.3011
0.1263 3.1656 17300 0.3038
0.1391 3.1747 17350 0.3044
0.128 3.1839 17400 0.3026
0.1367 3.1930 17450 0.3040
0.1214 3.2022 17500 0.3046
0.1253 3.2113 17550 0.3049
0.1157 3.2205 17600 0.3048
0.1354 3.2296 17650 0.3033
0.1233 3.2388 17700 0.3001
0.1139 3.2479 17750 0.3028
0.1297 3.2571 17800 0.3026
0.1339 3.2662 17850 0.3014
0.1244 3.2754 17900 0.3041
0.1351 3.2845 17950 0.3051
0.1147 3.2937 18000 0.3036
0.1251 3.3028 18050 0.3031
0.1158 3.3120 18100 0.3030
0.1192 3.3211 18150 0.3043
0.1293 3.3303 18200 0.3048
0.1255 3.3394 18250 0.3006
0.1306 3.3486 18300 0.3016
0.1195 3.3577 18350 0.3029
0.1273 3.3669 18400 0.3043
0.1127 3.3760 18450 0.3044
0.1315 3.3852 18500 0.3040
0.1138 3.3943 18550 0.3018
0.1277 3.4035 18600 0.3039
0.1139 3.4126 18650 0.3031
0.1244 3.4218 18700 0.3019
0.1323 3.4309 18750 0.3013
0.128 3.4401 18800 0.3015
0.1232 3.4492 18850 0.3035
0.1276 3.4584 18900 0.3032
0.1258 3.4675 18950 0.3037
0.1376 3.4767 19000 0.3022
0.1337 3.4858 19050 0.3019
0.1146 3.4950 19100 0.3028
0.115 3.5041 19150 0.3020
0.1229 3.5133 19200 0.3014
0.1324 3.5224 19250 0.3015
0.1294 3.5316 19300 0.3026
0.1284 3.5407 19350 0.3004
0.1247 3.5499 19400 0.3029
0.1227 3.5590 19450 0.3018
0.1192 3.5682 19500 0.3007
0.1204 3.5773 19550 0.3021
0.1124 3.5865 19600 0.3035
0.1254 3.5956 19650 0.3028
0.1225 3.6048 19700 0.3018
0.1198 3.6139 19750 0.3027
0.1245 3.6231 19800 0.3023
0.1175 3.6322 19850 0.3031
0.113 3.6414 19900 0.3034
0.1241 3.6505 19950 0.3028
0.1333 3.6597 20000 0.3028
0.1159 3.6688 20050 0.3016
0.1208 3.6780 20100 0.3015
0.1327 3.6871 20150 0.3002
0.1176 3.6962 20200 0.3020
0.1149 3.7054 20250 0.3020
0.1126 3.7145 20300 0.3013
0.1238 3.7237 20350 0.3001
0.1129 3.7328 20400 0.3006
0.1259 3.7420 20450 0.3004
0.1186 3.7511 20500 0.3004
0.1257 3.7603 20550 0.3006
0.1265 3.7694 20600 0.3006
0.1257 3.7786 20650 0.3005
0.1167 3.7877 20700 0.3000
0.1121 3.7969 20750 0.3010
0.1201 3.8060 20800 0.3002
0.1299 3.8152 20850 0.3004
0.1325 3.8243 20900 0.2993
0.1221 3.8335 20950 0.2999
0.1166 3.8426 21000 0.3004
0.1149 3.8518 21050 0.3009
0.1094 3.8609 21100 0.3007
0.1267 3.8701 21150 0.2994
0.1246 3.8792 21200 0.2995
0.1217 3.8884 21250 0.2994
0.1133 3.8975 21300 0.2993
0.1106 3.9067 21350 0.2998
0.116 3.9158 21400 0.3001
0.1155 3.9250 21450 0.2998
0.1249 3.9341 21500 0.3002
0.1203 3.9433 21550 0.3003
0.1307 3.9524 21600 0.3001
0.1328 3.9616 21650 0.3001
0.1202 3.9707 21700 0.3001
0.1283 3.9799 21750 0.3001
0.1133 3.9890 21800 0.3001
0.1198 3.9982 21850 0.3001

Framework versions

  • PEFT 0.12.0
  • Transformers 4.44.2
  • Pytorch 2.4.0+cu121
  • Datasets 2.21.0
  • Tokenizers 0.19.1