codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_12

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.7241
• Codebleu: 0.1012
• Ngram Match Score: 0.0160
• Weighted Ngram Match Score: 0.0377
• Syntax Match Score: 0.1190
• Dataflow Match Score: 0.1205

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 64

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9814	1.0	15	0.9245	0.0072	0.0000	0.0000	0.0079	0.0100
0.9647	2.0	30	0.9229	0.0072	0.0000	0.0000	0.0079	0.0100
0.9776	3.0	45	0.9192	0.0080	0.0000	0.0000	0.0079	0.0120
0.9443	4.0	60	0.9110	0.0096	0.0000	0.0001	0.0079	0.0161
0.9505	5.0	75	0.8952	0.0435	0.0013	0.0233	0.0384	0.0643
0.9446	6.0	90	0.8734	0.0817	0.0171	0.0472	0.1019	0.0863
0.9284	7.0	105	0.8552	0.1028	0.0242	0.0568	0.1243	0.1124
0.8778	8.0	120	0.8396	0.0995	0.0220	0.0527	0.1217	0.1084
0.8601	9.0	135	0.8259	0.0995	0.0225	0.0517	0.1217	0.1084
0.8488	10.0	150	0.8142	0.1046	0.0201	0.0524	0.1310	0.1124
0.8333	11.0	165	0.8030	0.1009	0.0131	0.0374	0.1190	0.1205
0.8299	12.0	180	0.7918	0.0976	0.0127	0.0373	0.1151	0.1165
0.8054	13.0	195	0.7822	0.0978	0.0114	0.0346	0.1164	0.1165
0.7855	14.0	210	0.7741	0.0979	0.0130	0.0397	0.1151	0.1165
0.791	15.0	225	0.7684	0.0976	0.0115	0.0352	0.1138	0.1185
0.7967	16.0	240	0.7647	0.1065	0.0162	0.0448	0.1204	0.1305
0.7852	17.0	255	0.7612	0.1046	0.0157	0.0448	0.1177	0.1285
0.7548	18.0	270	0.7583	0.1054	0.0162	0.0448	0.1177	0.1305
0.7693	19.0	285	0.7555	0.1120	0.0175	0.0453	0.1257	0.1386
0.7576	20.0	300	0.7538	0.1054	0.0165	0.0449	0.1217	0.1265
0.7445	21.0	315	0.7519	0.1058	0.0162	0.0410	0.1177	0.1325
0.7425	22.0	330	0.7496	0.1058	0.0162	0.0410	0.1177	0.1325
0.739	23.0	345	0.7486	0.1077	0.0162	0.0410	0.1204	0.1345
0.7392	24.0	360	0.7470	0.1107	0.0169	0.0415	0.1217	0.1406
0.7633	25.0	375	0.7464	0.1045	0.0166	0.0410	0.1204	0.1265
0.7303	26.0	390	0.7449	0.1150	0.0201	0.0466	0.1323	0.1386
0.7168	27.0	405	0.7440	0.1158	0.0212	0.0479	0.1336	0.1386
0.7239	28.0	420	0.7435	0.1137	0.0239	0.0538	0.1323	0.1325
0.7132	29.0	435	0.7432	0.1044	0.0157	0.0380	0.1230	0.1245
0.709	30.0	450	0.7418	0.0992	0.0139	0.0334	0.1138	0.1225
0.7067	31.0	465	0.7408	0.0969	0.0154	0.0380	0.1164	0.1124
0.711	32.0	480	0.7394	0.1009	0.0179	0.0440	0.1204	0.1165
0.6992	33.0	495	0.7377	0.1008	0.0203	0.0456	0.1190	0.1165
0.7045	34.0	510	0.7361	0.1009	0.0179	0.0440	0.1204	0.1165
0.6858	35.0	525	0.7359	0.1008	0.0203	0.0456	0.1190	0.1165
0.7107	36.0	540	0.7340	0.0989	0.0203	0.0456	0.1164	0.1145
0.7013	37.0	555	0.7324	0.0999	0.0198	0.0454	0.1190	0.1145
0.7027	38.0	570	0.7323	0.0992	0.0203	0.0453	0.1151	0.1165
0.6956	39.0	585	0.7313	0.1054	0.0199	0.0445	0.1270	0.1205
0.6998	40.0	600	0.7309	0.1022	0.0193	0.0445	0.1270	0.1124
0.6856	41.0	615	0.7304	0.1027	0.0197	0.0443	0.1243	0.1165
0.682	42.0	630	0.7296	0.1038	0.0197	0.0443	0.1270	0.1165
0.6819	43.0	645	0.7295	0.1027	0.0197	0.0443	0.1243	0.1165
0.6897	44.0	660	0.7288	0.1053	0.0208	0.0449	0.1243	0.1225
0.6863	45.0	675	0.7287	0.1053	0.0208	0.0449	0.1243	0.1225
0.6794	46.0	690	0.7281	0.1053	0.0208	0.0449	0.1243	0.1225
0.6907	47.0	705	0.7273	0.1053	0.0208	0.0453	0.1243	0.1225
0.6838	48.0	720	0.7267	0.1053	0.0208	0.0453	0.1243	0.1225
0.6848	49.0	735	0.7261	0.1024	0.0171	0.0386	0.1217	0.1205
0.6712	50.0	750	0.7263	0.1024	0.0171	0.0386	0.1217	0.1205
0.6962	51.0	765	0.7262	0.1024	0.0170	0.0388	0.1217	0.1205
0.695	52.0	780	0.7257	0.1024	0.0170	0.0388	0.1217	0.1205
0.6858	53.0	795	0.7254	0.1024	0.0170	0.0388	0.1217	0.1205
0.6603	54.0	810	0.7252	0.1024	0.0170	0.0388	0.1217	0.1205
0.6806	55.0	825	0.7252	0.1024	0.0170	0.0388	0.1217	0.1205
0.683	56.0	840	0.7251	0.1008	0.0170	0.0388	0.1217	0.1165
0.6871	57.0	855	0.7247	0.1024	0.0169	0.0384	0.1217	0.1205
0.6736	58.0	870	0.7247	0.1012	0.0160	0.0377	0.1190	0.1205
0.6847	59.0	885	0.7246	0.1012	0.0160	0.0377	0.1190	0.1205
0.6681	60.0	900	0.7244	0.1012	0.0160	0.0377	0.1190	0.1205
0.6882	61.0	915	0.7244	0.1012	0.0160	0.0377	0.1190	0.1205
0.6689	62.0	930	0.7241	0.1012	0.0160	0.0377	0.1190	0.1205
0.6763	63.0	945	0.7241	0.1012	0.0160	0.0377	0.1190	0.1205
0.6621	64.0	960	0.7241	0.1012	0.0160	0.0377	0.1190	0.1205

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3