codet5p-770m-py-sanitized-codebleu-1-True-1e-05-0.1-lora

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.7197
• Codebleu: 0.1027
• Ngram Match Score: 0.0200
• Weighted Ngram Match Score: 0.0436
• Syntax Match Score: 0.1283
• Dataflow Match Score: 0.1124

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 1e-05
• train_batch_size: 6
• eval_batch_size: 6
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 50
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9828	1.0	20	0.9475	0.0072	0.0000	0.0000	0.0079	0.0100
0.9666	2.0	40	0.9354	0.0080	0.0000	0.0000	0.0079	0.0120
0.9587	3.0	60	0.9147	0.0332	0.0001	0.0151	0.0331	0.0462
0.9405	4.0	80	0.8876	0.0824	0.0090	0.0323	0.0952	0.1004
0.9305	5.0	100	0.8652	0.0972	0.0197	0.0481	0.1217	0.1044
0.8863	6.0	120	0.8499	0.0969	0.0231	0.0517	0.1190	0.1044
0.8586	7.0	140	0.8362	0.0986	0.0222	0.0508	0.1217	0.1064
0.837	8.0	160	0.8239	0.0984	0.0212	0.0508	0.1257	0.1024
0.8071	9.0	180	0.8133	0.0990	0.0200	0.0499	0.1257	0.1044
0.8137	10.0	200	0.8030	0.0972	0.0139	0.0374	0.1217	0.1084
0.8071	11.0	220	0.7940	0.0957	0.0162	0.0438	0.1177	0.1064
0.7898	12.0	240	0.7860	0.0968	0.0168	0.0441	0.1204	0.1064
0.7933	13.0	260	0.7797	0.0980	0.0204	0.0547	0.1217	0.1044
0.7582	14.0	280	0.7733	0.1036	0.0149	0.0427	0.1323	0.1124
0.7531	15.0	300	0.7682	0.1036	0.0137	0.0410	0.1310	0.1145
0.7669	16.0	320	0.7636	0.1073	0.0144	0.0425	0.1336	0.1205
0.7435	17.0	340	0.7591	0.1074	0.0150	0.0425	0.1336	0.1205
0.7385	18.0	360	0.7554	0.1049	0.0145	0.0418	0.1296	0.1185
0.7529	19.0	380	0.7517	0.1049	0.0145	0.0418	0.1296	0.1185
0.7681	20.0	400	0.7487	0.1049	0.0148	0.0418	0.1296	0.1185
0.7336	21.0	420	0.7459	0.1049	0.0152	0.0418	0.1296	0.1185
0.7166	22.0	440	0.7433	0.1049	0.0152	0.0418	0.1296	0.1185
0.7265	23.0	460	0.7409	0.1034	0.0154	0.0418	0.1296	0.1145
0.7096	24.0	480	0.7390	0.1034	0.0154	0.0418	0.1296	0.1145
0.7174	25.0	500	0.7369	0.1034	0.0154	0.0418	0.1296	0.1145
0.7158	26.0	520	0.7355	0.1086	0.0171	0.0419	0.1362	0.1205
0.7171	27.0	540	0.7339	0.1086	0.0171	0.0419	0.1362	0.1205
0.7135	28.0	560	0.7327	0.1145	0.0230	0.0520	0.1429	0.1245
0.6943	29.0	580	0.7317	0.1149	0.0247	0.0544	0.1429	0.1245
0.702	30.0	600	0.7304	0.1132	0.0244	0.0544	0.1429	0.1205
0.6976	31.0	620	0.7292	0.1137	0.0239	0.0545	0.1402	0.1245
0.6977	32.0	640	0.7285	0.1108	0.0239	0.0541	0.1349	0.1225
0.6965	33.0	660	0.7276	0.1058	0.0200	0.0456	0.1296	0.1185
0.6929	34.0	680	0.7269	0.1039	0.0190	0.0437	0.1296	0.1145
0.6861	35.0	700	0.7261	0.1050	0.0198	0.0437	0.1323	0.1145
0.6876	36.0	720	0.7254	0.1050	0.0198	0.0437	0.1323	0.1145
0.6934	37.0	740	0.7241	0.1050	0.0198	0.0437	0.1323	0.1145
0.6807	38.0	760	0.7234	0.1050	0.0198	0.0437	0.1323	0.1145
0.6771	39.0	780	0.7226	0.1050	0.0198	0.0437	0.1323	0.1145
0.6653	40.0	800	0.7219	0.1050	0.0198	0.0437	0.1323	0.1145
0.6842	41.0	820	0.7215	0.1051	0.0201	0.0437	0.1323	0.1145
0.6524	42.0	840	0.7210	0.1051	0.0201	0.0437	0.1323	0.1145
0.6818	43.0	860	0.7207	0.1051	0.0201	0.0437	0.1323	0.1145
0.6724	44.0	880	0.7205	0.1035	0.0199	0.0437	0.1283	0.1145
0.6928	45.0	900	0.7202	0.1035	0.0199	0.0437	0.1283	0.1145
0.6794	46.0	920	0.7201	0.1027	0.0200	0.0436	0.1283	0.1124
0.6703	47.0	940	0.7200	0.1027	0.0200	0.0436	0.1283	0.1124
0.6931	48.0	960	0.7198	0.1027	0.0200	0.0436	0.1283	0.1124
0.6651	49.0	980	0.7197	0.1027	0.0200	0.0436	0.1283	0.1124
0.6939	50.0	1000	0.7197	0.1027	0.0200	0.0436	0.1283	0.1124

Framework versions

• Transformers 4.30.0.dev0
• Pytorch 2.0.1
• Datasets 2.13.1
• Tokenizers 0.13.3