codet5p-770m-py-sanitized-codebleu-1-True-0.0001-0.1-lora-infant

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.6873
• Codebleu: 0.1244
• Ngram Match Score: 0.0258
• Weighted Ngram Match Score: 0.0520
• Syntax Match Score: 0.1310
• Dataflow Match Score: 0.1606

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 50

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9871	1.0	15	0.9197	0.0072	0.0000	0.0000	0.0079	0.0100
0.9599	2.0	30	0.9009	0.0200	0.0000	0.0053	0.0185	0.0301
0.9303	3.0	45	0.8654	0.0833	0.0193	0.0474	0.1032	0.0884
0.8725	4.0	60	0.8467	0.1005	0.0209	0.0503	0.1270	0.1064
0.8613	5.0	75	0.8336	0.1007	0.0238	0.0521	0.1243	0.1084
0.836	6.0	90	0.8153	0.1005	0.0232	0.0512	0.1323	0.1004
0.8286	7.0	105	0.7953	0.0984	0.0236	0.0514	0.1270	0.1004
0.8074	8.0	120	0.7667	0.1036	0.0249	0.0563	0.1283	0.1104
0.7782	9.0	135	0.7399	0.0960	0.0136	0.0416	0.1217	0.1044
0.7638	10.0	150	0.7282	0.1033	0.0174	0.0503	0.1270	0.1145
0.7551	11.0	165	0.7236	0.1038	0.0192	0.0502	0.1257	0.1165
0.7538	12.0	180	0.7178	0.1084	0.0185	0.0518	0.1349	0.1185
0.7446	13.0	195	0.7139	0.1081	0.0198	0.0528	0.1376	0.1145
0.7465	14.0	210	0.7103	0.1065	0.0172	0.0444	0.1323	0.1185
0.7728	15.0	225	0.7065	0.1117	0.0233	0.0541	0.1415	0.1185
0.7455	16.0	240	0.7033	0.1107	0.0247	0.0525	0.1429	0.1145
0.7309	17.0	255	0.7017	0.1199	0.0270	0.0544	0.1508	0.1285
0.7172	18.0	270	0.6992	0.1161	0.0238	0.0514	0.1429	0.1285
0.7241	19.0	285	0.6979	0.1183	0.0259	0.0530	0.1495	0.1265
0.7132	20.0	300	0.6966	0.1126	0.0245	0.0512	0.1442	0.1185
0.6995	21.0	315	0.6936	0.1193	0.0262	0.0550	0.1534	0.1245
0.6916	22.0	330	0.6926	0.1127	0.0230	0.0482	0.1415	0.1225
0.6873	23.0	345	0.6913	0.1152	0.0255	0.0513	0.1442	0.1245
0.6884	24.0	360	0.6908	0.1157	0.0238	0.0471	0.1389	0.1325
0.7025	25.0	375	0.6895	0.1133	0.0241	0.0471	0.1389	0.1265
0.6857	26.0	390	0.6885	0.1093	0.0217	0.0468	0.1296	0.1265
0.6669	27.0	405	0.6894	0.1107	0.0201	0.0463	0.1296	0.1305
0.6842	28.0	420	0.6866	0.1053	0.0220	0.0489	0.1230	0.1225
0.6606	29.0	435	0.6866	0.1112	0.0227	0.0486	0.1217	0.1386
0.6648	30.0	450	0.6868	0.1070	0.0209	0.0478	0.1177	0.1325
0.6615	31.0	465	0.6856	0.1091	0.0223	0.0493	0.1283	0.1265
0.6616	32.0	480	0.6871	0.1104	0.0226	0.0484	0.1217	0.1365
0.663	33.0	495	0.6876	0.1076	0.0240	0.0511	0.1257	0.1245
0.6632	34.0	510	0.6876	0.1042	0.0237	0.0497	0.1257	0.1165
0.6548	35.0	525	0.6882	0.1148	0.0246	0.0501	0.1217	0.1466
0.6778	36.0	540	0.6848	0.1114	0.0224	0.0502	0.1217	0.1386
0.6517	37.0	555	0.6866	0.1180	0.0234	0.0490	0.1283	0.1486
0.6576	38.0	570	0.6876	0.1219	0.0248	0.0519	0.1349	0.1506
0.6504	39.0	585	0.6862	0.1224	0.0237	0.0501	0.1310	0.1566
0.6558	40.0	600	0.6871	0.1242	0.0249	0.0507	0.1349	0.1566
0.6426	41.0	615	0.6876	0.1290	0.0288	0.0546	0.1389	0.1627
0.6533	42.0	630	0.6868	0.1246	0.0244	0.0501	0.1323	0.1606
0.6396	43.0	645	0.6876	0.1226	0.0270	0.0539	0.1336	0.1526
0.6488	44.0	660	0.6873	0.1226	0.0270	0.0538	0.1336	0.1526
0.6419	45.0	675	0.6876	0.1282	0.0264	0.0525	0.1402	0.1606
0.6443	46.0	690	0.6874	0.1221	0.0264	0.0523	0.1310	0.1546
0.6499	47.0	705	0.6875	0.1200	0.0264	0.0523	0.1257	0.1546
0.6402	48.0	720	0.6874	0.1244	0.0258	0.0520	0.1310	0.1606
0.6552	49.0	735	0.6872	0.1244	0.0258	0.0520	0.1310	0.1606
0.6296	50.0	750	0.6873	0.1244	0.0258	0.0520	0.1310	0.1606

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3