codet5p-770m-py-sanitized-codebleu-1-True-0.0001-0.1-lora-layer_4_5_6_7

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.7050
• Codebleu: 0.1115
• Ngram Match Score: 0.0243
• Weighted Ngram Match Score: 0.0470
• Syntax Match Score: 0.1243
• Dataflow Match Score: 0.1365

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 64

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9786	1.0	15	0.9201	0.0072	0.0000	0.0000	0.0079	0.0100
0.9644	2.0	30	0.9027	0.0199	0.0000	0.0043	0.0185	0.0301
0.9318	3.0	45	0.8679	0.0788	0.0063	0.0310	0.0952	0.0924
0.8745	4.0	60	0.8411	0.1008	0.0213	0.0507	0.1296	0.1044
0.8532	5.0	75	0.8237	0.0966	0.0211	0.0509	0.1190	0.1044
0.829	6.0	90	0.8033	0.0961	0.0193	0.0508	0.1243	0.0984
0.8134	7.0	105	0.7764	0.1064	0.0161	0.0480	0.1376	0.1124
0.7813	8.0	120	0.7549	0.0967	0.0111	0.0329	0.1243	0.1064
0.7574	9.0	135	0.7430	0.1048	0.0165	0.0424	0.1389	0.1084
0.7417	10.0	150	0.7349	0.1074	0.0185	0.0471	0.1296	0.1225
0.7314	11.0	165	0.7287	0.1032	0.0195	0.0467	0.1270	0.1145
0.7247	12.0	180	0.7211	0.1035	0.0197	0.0467	0.1296	0.1124
0.7033	13.0	195	0.7179	0.1038	0.0166	0.0398	0.1270	0.1185
0.682	14.0	210	0.7151	0.1078	0.0218	0.0474	0.1296	0.1225
0.6899	15.0	225	0.7112	0.1053	0.0165	0.0413	0.1283	0.1205
0.6936	16.0	240	0.7072	0.1055	0.0178	0.0418	0.1283	0.1205
0.6714	17.0	255	0.7041	0.1072	0.0185	0.0421	0.1323	0.1205
0.6555	18.0	270	0.7030	0.1091	0.0211	0.0455	0.1336	0.1225
0.6572	19.0	285	0.7005	0.1064	0.0237	0.0478	0.1257	0.1225
0.6385	20.0	300	0.7027	0.0958	0.0167	0.0391	0.1230	0.1024
0.629	21.0	315	0.6986	0.0989	0.0189	0.0414	0.1257	0.1064
0.6183	22.0	330	0.7003	0.1040	0.0236	0.0476	0.1257	0.1165
0.6151	23.0	345	0.7014	0.0993	0.0191	0.0397	0.1230	0.1104
0.6089	24.0	360	0.6978	0.1004	0.0211	0.0437	0.1243	0.1104
0.6182	25.0	375	0.6983	0.1053	0.0245	0.0496	0.1243	0.1205
0.6008	26.0	390	0.6960	0.1025	0.0208	0.0435	0.1217	0.1185
0.5846	27.0	405	0.6981	0.0998	0.0205	0.0432	0.1230	0.1104
0.5919	28.0	420	0.6973	0.1000	0.0195	0.0417	0.1243	0.1104
0.5759	29.0	435	0.6981	0.0960	0.0208	0.0449	0.1190	0.1044
0.5697	30.0	450	0.6991	0.0946	0.0226	0.0453	0.1111	0.1084
0.5687	31.0	465	0.6986	0.0986	0.0272	0.0516	0.1124	0.1145
0.5733	32.0	480	0.7031	0.1053	0.0273	0.0516	0.1190	0.1245
0.5677	33.0	495	0.6964	0.1129	0.0287	0.0544	0.1310	0.1305
0.5764	34.0	510	0.6952	0.0988	0.0201	0.0423	0.1190	0.1124
0.5537	35.0	525	0.7011	0.1175	0.0301	0.0560	0.1376	0.1345
0.578	36.0	540	0.6997	0.1136	0.0240	0.0472	0.1296	0.1365
0.5577	37.0	555	0.7002	0.1099	0.0254	0.0486	0.1296	0.1265
0.5546	38.0	570	0.6941	0.1139	0.0274	0.0517	0.1243	0.1406
0.5467	39.0	585	0.7012	0.1068	0.0229	0.0446	0.1217	0.1285
0.5511	40.0	600	0.7041	0.1086	0.0219	0.0418	0.1270	0.1285
0.5379	41.0	615	0.6995	0.1095	0.0230	0.0446	0.1283	0.1285
0.5434	42.0	630	0.7015	0.1170	0.0228	0.0451	0.1349	0.1406
0.5246	43.0	645	0.6995	0.1165	0.0279	0.0511	0.1310	0.1406
0.5375	44.0	660	0.7019	0.1091	0.0212	0.0446	0.1257	0.1305
0.5286	45.0	675	0.7084	0.1099	0.0261	0.0478	0.1217	0.1345
0.5322	46.0	690	0.7032	0.1122	0.0260	0.0503	0.1310	0.1305
0.538	47.0	705	0.7015	0.1178	0.0233	0.0449	0.1349	0.1426
0.5244	48.0	720	0.7012	0.1161	0.0263	0.0458	0.1217	0.1506
0.5311	49.0	735	0.7000	0.1182	0.0273	0.0503	0.1336	0.1426
0.5088	50.0	750	0.7021	0.1221	0.0296	0.0519	0.1362	0.1486
0.5329	51.0	765	0.7003	0.1113	0.0231	0.0461	0.1243	0.1365
0.5285	52.0	780	0.7035	0.1168	0.0248	0.0460	0.1257	0.1486
0.5174	53.0	795	0.7070	0.1127	0.0243	0.0456	0.1217	0.1426
0.5151	54.0	810	0.7029	0.1118	0.0235	0.0457	0.1217	0.1406
0.5311	55.0	825	0.7044	0.1131	0.0244	0.0471	0.1243	0.1406
0.5241	56.0	840	0.7045	0.1051	0.0230	0.0453	0.1151	0.1305
0.5301	57.0	855	0.7026	0.1051	0.0230	0.0453	0.1151	0.1305
0.5139	58.0	870	0.7027	0.1105	0.0239	0.0452	0.1164	0.1426
0.5293	59.0	885	0.7037	0.1126	0.0236	0.0453	0.1217	0.1426
0.5179	60.0	900	0.7044	0.1126	0.0236	0.0453	0.1217	0.1426
0.5297	61.0	915	0.7059	0.1110	0.0239	0.0454	0.1217	0.1386
0.5207	62.0	930	0.7054	0.1102	0.0235	0.0455	0.1217	0.1365
0.5186	63.0	945	0.7050	0.1131	0.0240	0.0469	0.1243	0.1406
0.5079	64.0	960	0.7050	0.1115	0.0243	0.0470	0.1243	0.1365

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3