codet5p-770m-py-sanitized-codebleu-1-True-1e-06-0.1-prefix-tuning

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 9.3690
• Codebleu: 0.0440
• Ngram Match Score: 0.0003
• Weighted Ngram Match Score: 0.0003
• Syntax Match Score: 0.0013
• Dataflow Match Score: 0.1084

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 1e-06
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 50

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
9.311	1.0	8	9.4023	0.0488	0.0003	0.0003	0.0013	0.1205
9.1929	2.0	16	9.4021	0.0488	0.0003	0.0003	0.0013	0.1205
9.2718	3.0	24	9.4019	0.0480	0.0003	0.0003	0.0013	0.1185
9.1752	4.0	32	9.4015	0.0480	0.0003	0.0003	0.0013	0.1185
9.1592	5.0	40	9.4010	0.0480	0.0003	0.0003	0.0013	0.1185
9.1841	6.0	48	9.4005	0.0480	0.0003	0.0003	0.0013	0.1185
9.2778	7.0	56	9.3998	0.0480	0.0003	0.0003	0.0013	0.1185
9.2436	8.0	64	9.3991	0.0480	0.0004	0.0003	0.0013	0.1185
9.1964	9.0	72	9.3983	0.0480	0.0004	0.0003	0.0013	0.1185
9.1678	10.0	80	9.3974	0.0480	0.0004	0.0003	0.0013	0.1185
9.2327	11.0	88	9.3963	0.0480	0.0004	0.0003	0.0013	0.1185
9.2025	12.0	96	9.3950	0.0480	0.0004	0.0003	0.0013	0.1185
9.202	13.0	104	9.3937	0.0480	0.0004	0.0003	0.0013	0.1185
9.2192	14.0	112	9.3924	0.0480	0.0003	0.0003	0.0013	0.1185
9.1797	15.0	120	9.3911	0.0480	0.0003	0.0003	0.0013	0.1185
9.1952	16.0	128	9.3901	0.0480	0.0003	0.0003	0.0013	0.1185
9.1932	17.0	136	9.3891	0.0480	0.0003	0.0003	0.0013	0.1185
9.2271	18.0	144	9.3880	0.0464	0.0003	0.0003	0.0013	0.1145
9.2241	19.0	152	9.3869	0.0464	0.0003	0.0003	0.0013	0.1145
9.2655	20.0	160	9.3857	0.0464	0.0003	0.0003	0.0013	0.1145
9.1865	21.0	168	9.3846	0.0464	0.0003	0.0003	0.0013	0.1145
9.1816	22.0	176	9.3834	0.0464	0.0003	0.0003	0.0013	0.1145
9.1961	23.0	184	9.3824	0.0464	0.0003	0.0003	0.0013	0.1145
9.1911	24.0	192	9.3814	0.0464	0.0003	0.0003	0.0013	0.1145
9.1785	25.0	200	9.3805	0.0464	0.0003	0.0003	0.0013	0.1145
9.1715	26.0	208	9.3797	0.0464	0.0003	0.0003	0.0013	0.1145
9.2293	27.0	216	9.3788	0.0464	0.0003	0.0003	0.0013	0.1145
9.2066	28.0	224	9.3780	0.0464	0.0003	0.0003	0.0013	0.1145
9.2515	29.0	232	9.3772	0.0464	0.0003	0.0003	0.0013	0.1145
9.198	30.0	240	9.3764	0.0464	0.0003	0.0003	0.0013	0.1145
9.2351	31.0	248	9.3758	0.0464	0.0003	0.0003	0.0013	0.1145
9.228	32.0	256	9.3751	0.0440	0.0003	0.0003	0.0013	0.1084
9.2185	33.0	264	9.3744	0.0440	0.0003	0.0003	0.0013	0.1084
9.1991	34.0	272	9.3738	0.0440	0.0003	0.0003	0.0013	0.1084
9.2657	35.0	280	9.3732	0.0440	0.0003	0.0003	0.0013	0.1084
9.1871	36.0	288	9.3726	0.0440	0.0003	0.0003	0.0013	0.1084
9.1871	37.0	296	9.3721	0.0440	0.0003	0.0003	0.0013	0.1084
9.2122	38.0	304	9.3716	0.0440	0.0003	0.0003	0.0013	0.1084
9.2057	39.0	312	9.3712	0.0440	0.0003	0.0003	0.0013	0.1084
9.2578	40.0	320	9.3708	0.0440	0.0003	0.0003	0.0013	0.1084
9.1719	41.0	328	9.3704	0.0440	0.0003	0.0003	0.0013	0.1084
9.1942	42.0	336	9.3701	0.0440	0.0003	0.0003	0.0013	0.1084
9.2253	43.0	344	9.3698	0.0440	0.0003	0.0003	0.0013	0.1084
9.1445	44.0	352	9.3696	0.0440	0.0003	0.0003	0.0013	0.1084
9.2078	45.0	360	9.3694	0.0440	0.0003	0.0003	0.0013	0.1084
9.23	46.0	368	9.3692	0.0440	0.0003	0.0003	0.0013	0.1084
9.1418	47.0	376	9.3691	0.0440	0.0003	0.0003	0.0013	0.1084
9.2528	48.0	384	9.3690	0.0440	0.0003	0.0003	0.0013	0.1084
9.1605	49.0	392	9.3690	0.0440	0.0003	0.0003	0.0013	0.1084
9.1709	50.0	400	9.3690	0.0440	0.0003	0.0003	0.0013	0.1084

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3