codet5p-770m-py-sanitized-codebleu-1-True-5e-07-0.1

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.7152
• Codebleu: 0.1158
• Ngram Match Score: 0.0289
• Weighted Ngram Match Score: 0.0536
• Syntax Match Score: 0.1362
• Dataflow Match Score: 0.1325

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-07
• train_batch_size: 6
• eval_batch_size: 6
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 50
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9796	1.0	20	0.9476	0.0199	0.0000	0.0043	0.0185	0.0301
0.9603	2.0	40	0.9196	0.0949	0.0187	0.0469	0.1164	0.1044
0.9247	3.0	60	0.8701	0.0977	0.0229	0.0526	0.1190	0.1064
0.8677	4.0	80	0.8430	0.0982	0.0231	0.0518	0.1243	0.1024
0.8451	5.0	100	0.8179	0.1004	0.0249	0.0558	0.1283	0.1024
0.7991	6.0	120	0.7986	0.0997	0.0186	0.0451	0.1270	0.1064
0.7707	7.0	140	0.7839	0.0986	0.0179	0.0454	0.1243	0.1064
0.7453	8.0	160	0.7721	0.0965	0.0178	0.0459	0.1230	0.1024
0.7144	9.0	180	0.7632	0.1139	0.0204	0.0518	0.1402	0.1265
0.7101	10.0	200	0.7548	0.1139	0.0204	0.0518	0.1402	0.1265
0.6975	11.0	220	0.7479	0.1169	0.0204	0.0522	0.1455	0.1285
0.6707	12.0	240	0.7420	0.1205	0.0217	0.0524	0.1481	0.1345
0.6742	13.0	260	0.7381	0.1190	0.0221	0.0528	0.1481	0.1305
0.6384	14.0	280	0.7346	0.1191	0.0233	0.0529	0.1481	0.1305
0.6241	15.0	300	0.7307	0.1210	0.0237	0.0529	0.1508	0.1325
0.6351	16.0	320	0.7276	0.1173	0.0240	0.0529	0.1495	0.1245
0.6075	17.0	340	0.7242	0.1194	0.0253	0.0540	0.1521	0.1265
0.5998	18.0	360	0.7223	0.1194	0.0253	0.0540	0.1521	0.1265
0.6072	19.0	380	0.7206	0.1220	0.0293	0.0608	0.1561	0.1265
0.6113	20.0	400	0.7187	0.1192	0.0251	0.0521	0.1521	0.1265
0.5841	21.0	420	0.7168	0.1193	0.0246	0.0510	0.1468	0.1325
0.5645	22.0	440	0.7154	0.1198	0.0247	0.0507	0.1481	0.1325
0.5669	23.0	460	0.7140	0.1153	0.0245	0.0510	0.1389	0.1305
0.5484	24.0	480	0.7133	0.1143	0.0244	0.0512	0.1362	0.1305
0.5494	25.0	500	0.7129	0.1153	0.0245	0.0510	0.1389	0.1305
0.5417	26.0	520	0.7126	0.1151	0.0247	0.0510	0.1362	0.1325
0.5329	27.0	540	0.7127	0.1161	0.0249	0.0509	0.1389	0.1325
0.5262	28.0	560	0.7131	0.1146	0.0257	0.0509	0.1389	0.1285
0.521	29.0	580	0.7127	0.1100	0.0238	0.0491	0.1362	0.1205
0.514	30.0	600	0.7131	0.1136	0.0270	0.0551	0.1389	0.1245
0.5087	31.0	620	0.7132	0.1145	0.0280	0.0551	0.1389	0.1265
0.507	32.0	640	0.7134	0.1144	0.0249	0.0494	0.1389	0.1285
0.5034	33.0	660	0.7136	0.1074	0.0267	0.0550	0.1336	0.1145
0.4992	34.0	680	0.7138	0.1121	0.0282	0.0555	0.1389	0.1205
0.5023	35.0	700	0.7138	0.1121	0.0282	0.0555	0.1389	0.1205
0.4883	36.0	720	0.7138	0.1121	0.0282	0.0555	0.1389	0.1205
0.4953	37.0	740	0.7141	0.1072	0.0269	0.0530	0.1336	0.1145
0.486	38.0	760	0.7144	0.1072	0.0269	0.0530	0.1336	0.1145
0.4766	39.0	780	0.7146	0.1071	0.0239	0.0473	0.1336	0.1165
0.4778	40.0	800	0.7146	0.1077	0.0242	0.0472	0.1310	0.1205
0.48	41.0	820	0.7142	0.1077	0.0242	0.0472	0.1310	0.1205
0.4675	42.0	840	0.7143	0.1077	0.0242	0.0472	0.1310	0.1205
0.4805	43.0	860	0.7148	0.1131	0.0240	0.0473	0.1323	0.1325
0.4743	44.0	880	0.7149	0.1151	0.0276	0.0534	0.1349	0.1325
0.4806	45.0	900	0.7152	0.1157	0.0285	0.0534	0.1362	0.1325
0.469	46.0	920	0.7153	0.1157	0.0285	0.0534	0.1362	0.1325
0.4714	47.0	940	0.7152	0.1158	0.0288	0.0536	0.1362	0.1325
0.4797	48.0	960	0.7152	0.1158	0.0288	0.0536	0.1362	0.1325
0.4639	49.0	980	0.7153	0.1158	0.0289	0.0536	0.1362	0.1325
0.4777	50.0	1000	0.7152	0.1158	0.0289	0.0536	0.1362	0.1325

Framework versions

• Transformers 4.30.0.dev0
• Pytorch 2.0.1
• Datasets 2.13.1
• Tokenizers 0.13.3