codet5p-770m-py-sanitized-codebleu-1-True-0.0001-0.1-lora-layer_12_13_14_15

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.7695
• Codebleu: 0.1084
• Ngram Match Score: 0.0289
• Weighted Ngram Match Score: 0.0524
• Syntax Match Score: 0.1283
• Dataflow Match Score: 0.1225

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 64

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9784	1.0	15	0.9216	0.0072	0.0000	0.0000	0.0079	0.0100
0.9724	2.0	30	0.9088	0.0080	0.0000	0.0000	0.0079	0.0120
0.9408	3.0	45	0.8772	0.0591	0.0025	0.0272	0.0701	0.0703
0.8817	4.0	60	0.8393	0.0990	0.0225	0.0529	0.1243	0.1044
0.8454	5.0	75	0.8120	0.0989	0.0225	0.0514	0.1204	0.1084
0.819	6.0	90	0.7845	0.1055	0.0170	0.0454	0.1257	0.1225
0.785	7.0	105	0.7614	0.1112	0.0139	0.0367	0.1349	0.1305
0.7501	8.0	120	0.7475	0.1087	0.0183	0.0449	0.1376	0.1185
0.7257	9.0	135	0.7398	0.1098	0.0250	0.0544	0.1362	0.1185
0.7042	10.0	150	0.7335	0.1153	0.0285	0.0606	0.1376	0.1285
0.6941	11.0	165	0.7273	0.1163	0.0283	0.0606	0.1481	0.1205
0.6818	12.0	180	0.7241	0.1090	0.0302	0.0592	0.1257	0.1245
0.6569	13.0	195	0.7222	0.1032	0.0299	0.0572	0.1138	0.1225
0.628	14.0	210	0.7237	0.1169	0.0275	0.0579	0.1283	0.1426
0.6384	15.0	225	0.7204	0.1136	0.0311	0.0596	0.1349	0.1265
0.6243	16.0	240	0.7200	0.1097	0.0274	0.0530	0.1296	0.1245
0.6124	17.0	255	0.7176	0.1063	0.0254	0.0502	0.1243	0.1225
0.5879	18.0	270	0.7205	0.1042	0.0219	0.0404	0.1085	0.1365
0.5853	19.0	285	0.7201	0.1083	0.0238	0.0430	0.1257	0.1285
0.5678	20.0	300	0.7275	0.1107	0.0210	0.0404	0.1270	0.1345
0.5516	21.0	315	0.7249	0.1157	0.0241	0.0416	0.1283	0.1446
0.5444	22.0	330	0.7239	0.1081	0.0241	0.0421	0.1190	0.1345
0.544	23.0	345	0.7270	0.1180	0.0262	0.0468	0.1362	0.1406
0.5374	24.0	360	0.7251	0.1164	0.0248	0.0426	0.1257	0.1486
0.5341	25.0	375	0.7224	0.1110	0.0262	0.0458	0.1230	0.1365
0.5194	26.0	390	0.7231	0.1148	0.0305	0.0526	0.1177	0.1486
0.4993	27.0	405	0.7310	0.1237	0.0256	0.0450	0.1389	0.1526
0.4976	28.0	420	0.7364	0.1187	0.0201	0.0360	0.1402	0.1426
0.4917	29.0	435	0.7287	0.1208	0.0259	0.0454	0.1376	0.1466
0.4788	30.0	450	0.7387	0.1180	0.0250	0.0423	0.1257	0.1526
0.4819	31.0	465	0.7397	0.1058	0.0233	0.0410	0.1138	0.1345
0.4747	32.0	480	0.7322	0.1126	0.0255	0.0439	0.1257	0.1386
0.4826	33.0	495	0.7366	0.1106	0.0243	0.0435	0.1230	0.1365
0.4597	34.0	510	0.7458	0.1126	0.0249	0.0439	0.1257	0.1386
0.4529	35.0	525	0.7447	0.1064	0.0246	0.0438	0.1164	0.1325
0.4729	36.0	540	0.7390	0.1050	0.0244	0.0434	0.1111	0.1345
0.4437	37.0	555	0.7438	0.1045	0.0244	0.0436	0.1098	0.1345
0.4476	38.0	570	0.7509	0.1143	0.0258	0.0438	0.1257	0.1426
0.4447	39.0	585	0.7565	0.1041	0.0255	0.0443	0.1164	0.1265
0.4425	40.0	600	0.7463	0.1109	0.0239	0.0437	0.1217	0.1386
0.4348	41.0	615	0.7512	0.1079	0.0242	0.0431	0.1124	0.1406
0.432	42.0	630	0.7546	0.1156	0.0260	0.0464	0.1283	0.1426
0.4313	43.0	645	0.7611	0.1132	0.0251	0.0445	0.1230	0.1426
0.437	44.0	660	0.7571	0.1132	0.0247	0.0446	0.1230	0.1426
0.4251	45.0	675	0.7600	0.1111	0.0248	0.0456	0.1217	0.1386
0.4182	46.0	690	0.7626	0.1072	0.0247	0.0437	0.1164	0.1345
0.423	47.0	705	0.7583	0.1062	0.0209	0.0378	0.1204	0.1305
0.4207	48.0	720	0.7569	0.1088	0.0281	0.0508	0.1257	0.1265
0.423	49.0	735	0.7669	0.1086	0.0294	0.0503	0.1230	0.1285
0.41	50.0	750	0.7636	0.1176	0.0342	0.0582	0.1283	0.1426
0.4132	51.0	765	0.7611	0.1072	0.0293	0.0526	0.1151	0.1325
0.4193	52.0	780	0.7620	0.1067	0.0287	0.0507	0.1204	0.1265
0.411	53.0	795	0.7640	0.1065	0.0273	0.0504	0.1283	0.1185
0.3992	54.0	810	0.7628	0.1074	0.0283	0.0502	0.1204	0.1285
0.4147	55.0	825	0.7657	0.1073	0.0277	0.0502	0.1204	0.1285
0.4033	56.0	840	0.7675	0.1087	0.0299	0.0538	0.1283	0.1225
0.4045	57.0	855	0.7685	0.1071	0.0300	0.0538	0.1243	0.1225
0.3979	58.0	870	0.7702	0.1071	0.0300	0.0538	0.1243	0.1225
0.4118	59.0	885	0.7688	0.1122	0.0291	0.0523	0.1296	0.1305
0.4012	60.0	900	0.7692	0.1122	0.0291	0.0523	0.1296	0.1305
0.4071	61.0	915	0.7687	0.1122	0.0290	0.0526	0.1296	0.1305
0.3957	62.0	930	0.7684	0.1121	0.0287	0.0520	0.1296	0.1305
0.4092	63.0	945	0.7690	0.1122	0.0289	0.0524	0.1296	0.1305
0.3849	64.0	960	0.7695	0.1084	0.0289	0.0524	0.1283	0.1225

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3