codebert-python-custom-functions-dataset-python

This model is a fine-tuned version of neulab/codebert-python on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.0122

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss
17.6391	0.02	1	18.8468
17.4624	0.05	2	16.8714
16.0325	0.07	3	14.7237
13.9159	0.09	4	12.3306
10.0481	0.12	5	9.8566
9.809	0.14	6	7.6512
7.2165	0.16	7	6.0915
5.712	0.19	8	5.3033
5.4211	0.21	9	5.0586
4.8932	0.23	10	5.0131
5.066	0.26	11	4.9536
4.9451	0.28	12	4.8411
5.0093	0.3	13	4.6795
4.6068	0.33	14	4.4849
4.3224	0.35	15	4.2770
3.9837	0.37	16	4.0797
4.1976	0.4	17	3.9111
4.128	0.42	18	3.7831
3.9352	0.44	19	3.6859
4.0264	0.47	20	3.6056
3.8478	0.49	21	3.5358
3.6362	0.51	22	3.4453
3.3028	0.53	23	3.3264
3.1371	0.56	24	3.2070
3.3148	0.58	25	3.0813
3.2673	0.6	26	2.9608
3.0928	0.63	27	2.8464
2.8426	0.65	28	2.7360
2.719	0.67	29	2.6269
2.9311	0.7	30	2.5197
2.7809	0.72	31	2.4133
2.5529	0.74	32	2.3118
2.3033	0.77	33	2.2164
2.3882	0.79	34	2.1272
2.4683	0.81	35	2.0446
2.4469	0.84	36	1.9679
2.2185	0.86	37	1.8938
2.2096	0.88	38	1.8196
2.2544	0.91	39	1.7513
1.9036	0.93	40	1.6817
1.983	0.95	41	1.6117
1.6973	0.98	42	1.5473
1.7622	1.0	43	1.4910
1.8068	1.02	44	1.4393
1.6332	1.05	45	1.3937
1.5962	1.07	46	1.3504
1.5566	1.09	47	1.3093
1.467	1.12	48	1.2705
1.5833	1.14	49	1.2302
1.462	1.16	50	1.1902
1.6844	1.19	51	1.1489
1.4811	1.21	52	1.1072
1.132	1.23	53	1.0670
1.3929	1.26	54	1.0320
1.3733	1.28	55	1.0005
1.3173	1.3	56	0.9679
0.9966	1.33	57	0.9359
1.3424	1.35	58	0.9031
1.0773	1.37	59	0.8694
1.0527	1.4	60	0.8364
1.139	1.42	61	0.8032
1.1167	1.44	62	0.7734
0.7685	1.47	63	0.7460
1.011	1.49	64	0.7211
0.9925	1.51	65	0.6949
1.1036	1.53	66	0.6706
0.9265	1.56	67	0.6462
0.8027	1.58	68	0.6212
0.8847	1.6	69	0.5986
0.8378	1.63	70	0.5767
0.9169	1.65	71	0.5578
0.937	1.67	72	0.5385
0.9755	1.7	73	0.5213
0.8666	1.72	74	0.5065
0.7972	1.74	75	0.4924
0.8839	1.77	76	0.4777
0.6774	1.79	77	0.4632
0.7032	1.81	78	0.4484
0.595	1.84	79	0.4343
0.733	1.86	80	0.4218
0.7852	1.88	81	0.4105
0.649	1.91	82	0.3998
0.729	1.93	83	0.3904
0.7798	1.95	84	0.3828
0.612	1.98	85	0.3756
0.7662	2.0	86	0.3690
0.5521	2.02	87	0.3612
0.5335	2.05	88	0.3528
0.603	2.07	89	0.3428
0.5893	2.09	90	0.3328
0.6001	2.12	91	0.3214
0.4813	2.14	92	0.3091
0.5835	2.16	93	0.2986
0.4238	2.19	94	0.2899
0.517	2.21	95	0.2826
0.3389	2.23	96	0.2771
0.5621	2.26	97	0.2719
0.5298	2.28	98	0.2676
0.5001	2.3	99	0.2636
0.6028	2.33	100	0.2598
0.4834	2.35	101	0.2560
0.3828	2.37	102	0.2513
0.3283	2.4	103	0.2453
0.362	2.42	104	0.2379
0.3924	2.44	105	0.2312
0.5881	2.47	106	0.2254
0.4036	2.49	107	0.2190
0.3797	2.51	108	0.2131
0.4023	2.53	109	0.2076
0.3779	2.56	110	0.2024
0.5212	2.58	111	0.1968
0.3527	2.6	112	0.1913
0.4868	2.63	113	0.1858
0.3335	2.65	114	0.1804
0.3045	2.67	115	0.1759
0.3618	2.7	116	0.1718
0.304	2.72	117	0.1682
0.3166	2.74	118	0.1647
0.3969	2.77	119	0.1615
0.2572	2.79	120	0.1594
0.3467	2.81	121	0.1569
0.3321	2.84	122	0.1546
0.33	2.86	123	0.1512
0.2282	2.88	124	0.1477
0.2623	2.91	125	0.1437
0.4284	2.93	126	0.1400
0.3089	2.95	127	0.1367
0.3058	2.98	128	0.1333
0.1779	3.0	129	0.1302
0.2915	3.02	130	0.1271
0.2477	3.05	131	0.1240
0.2636	3.07	132	0.1209
0.2607	3.09	133	0.1181
0.2009	3.12	134	0.1158
0.3641	3.14	135	0.1140
0.2024	3.16	136	0.1127
0.232	3.19	137	0.1112
0.3783	3.21	138	0.1096
0.2223	3.23	139	0.1083
0.1471	3.26	140	0.1071
0.2082	3.28	141	0.1057
0.1142	3.3	142	0.1047
0.1785	3.33	143	0.1032
0.1935	3.35	144	0.1013
0.2114	3.37	145	0.0994
0.1827	3.4	146	0.0977
0.2312	3.42	147	0.0960
0.2209	3.44	148	0.0943
0.4012	3.47	149	0.0930
0.2126	3.49	150	0.0914
0.1883	3.51	151	0.0897
0.2101	3.53	152	0.0883
0.2442	3.56	153	0.0868
0.1923	3.58	154	0.0852
0.2541	3.6	155	0.0838
0.2062	3.63	156	0.0823
0.2114	3.65	157	0.0807
0.1809	3.67	158	0.0792
0.2083	3.7	159	0.0777
0.2163	3.72	160	0.0764
0.1913	3.74	161	0.0753
0.2633	3.77	162	0.0744
0.3123	3.79	163	0.0736
0.1271	3.81	164	0.0729
0.2404	3.84	165	0.0722
0.1316	3.86	166	0.0714
0.2107	3.88	167	0.0710
0.2088	3.91	168	0.0703
0.1813	3.93	169	0.0697
0.2049	3.95	170	0.0690
0.2178	3.98	171	0.0685
0.3137	4.0	172	0.0677
0.1661	4.02	173	0.0668
0.0944	4.05	174	0.0658
0.2131	4.07	175	0.0649
0.1349	4.09	176	0.0638
0.2231	4.12	177	0.0627
0.2046	4.14	178	0.0618
0.1806	4.16	179	0.0609
0.1463	4.19	180	0.0601
0.1696	4.21	181	0.0593
0.1271	4.23	182	0.0584
0.132	4.26	183	0.0575
0.1295	4.28	184	0.0566
0.182	4.3	185	0.0557
0.1896	4.33	186	0.0548
0.1694	4.35	187	0.0540
0.2121	4.37	188	0.0534
0.1299	4.4	189	0.0530
0.1471	4.42	190	0.0523
0.0996	4.44	191	0.0518
0.2355	4.47	192	0.0514
0.1295	4.49	193	0.0511
0.1528	4.51	194	0.0508
0.1407	4.53	195	0.0506
0.1246	4.56	196	0.0502
0.1635	4.58	197	0.0497
0.1935	4.6	198	0.0492
0.1354	4.63	199	0.0485
0.1051	4.65	200	0.0477
0.0837	4.67	201	0.0468
0.1822	4.7	202	0.0459
0.127	4.72	203	0.0450
0.1133	4.74	204	0.0443
0.1641	4.77	205	0.0435
0.1318	4.79	206	0.0428
0.1544	4.81	207	0.0421
0.1003	4.84	208	0.0413
0.1205	4.86	209	0.0406
0.1348	4.88	210	0.0399
0.0895	4.91	211	0.0393
0.095	4.93	212	0.0388
0.138	4.95	213	0.0383
0.117	4.98	214	0.0378
0.0997	5.0	215	0.0374
0.0989	5.02	216	0.0372
0.0973	5.05	217	0.0370
0.0848	5.07	218	0.0370
0.1232	5.09	219	0.0370
0.1271	5.12	220	0.0370
0.1636	5.14	221	0.0369
0.0893	5.16	222	0.0367
0.125	5.19	223	0.0364
0.1305	5.21	224	0.0360
0.091	5.23	225	0.0356
0.1198	5.26	226	0.0352
0.074	5.28	227	0.0346
0.1208	5.3	228	0.0340
0.1737	5.33	229	0.0334
0.1277	5.35	230	0.0326
0.0811	5.37	231	0.0317
0.0726	5.4	232	0.0310
0.0803	5.42	233	0.0304
0.0793	5.44	234	0.0299
0.0595	5.47	235	0.0296
0.0915	5.49	236	0.0293
0.1049	5.51	237	0.0291
0.1088	5.53	238	0.0289
0.1269	5.56	239	0.0287
0.0589	5.58	240	0.0286
0.1118	5.6	241	0.0285
0.0834	5.63	242	0.0283
0.1003	5.65	243	0.0280
0.0704	5.67	244	0.0278
0.0892	5.7	245	0.0275
0.1004	5.72	246	0.0273
0.119	5.74	247	0.0272
0.1096	5.77	248	0.0270
0.1554	5.79	249	0.0269
0.0903	5.81	250	0.0267
0.0829	5.84	251	0.0266
0.1561	5.86	252	0.0265
0.0707	5.88	253	0.0264
0.1329	5.91	254	0.0262
0.104	5.93	255	0.0256
0.0873	5.95	256	0.0250
0.0954	5.98	257	0.0245
0.1387	6.0	258	0.0239
0.094	6.02	259	0.0234
0.0989	6.05	260	0.0231
0.1187	6.07	261	0.0228
0.1052	6.09	262	0.0226
0.0981	6.12	263	0.0225
0.0529	6.14	264	0.0225
0.0757	6.16	265	0.0225
0.0742	6.19	266	0.0224
0.0532	6.21	267	0.0223
0.0487	6.23	268	0.0223
0.0899	6.26	269	0.0222
0.0479	6.28	270	0.0222
0.1019	6.3	271	0.0221
0.0422	6.33	272	0.0218
0.0581	6.35	273	0.0216
0.0725	6.37	274	0.0214
0.0703	6.4	275	0.0211
0.0943	6.42	276	0.0209
0.0732	6.44	277	0.0207
0.072	6.47	278	0.0204
0.064	6.49	279	0.0201
0.0433	6.51	280	0.0199
0.0705	6.53	281	0.0197
0.0928	6.56	282	0.0195
0.067	6.58	283	0.0194
0.0527	6.6	284	0.0192
0.0771	6.63	285	0.0190
0.0934	6.65	286	0.0189
0.0687	6.67	287	0.0188
0.0915	6.7	288	0.0186
0.0729	6.72	289	0.0186
0.0966	6.74	290	0.0185
0.1624	6.77	291	0.0184
0.0735	6.79	292	0.0183
0.0664	6.81	293	0.0183
0.0718	6.84	294	0.0181
0.0455	6.86	295	0.0179
0.1095	6.88	296	0.0177
0.062	6.91	297	0.0176
0.0753	6.93	298	0.0174
0.0967	6.95	299	0.0172
0.0988	6.98	300	0.0171
0.0919	7.0	301	0.0169
0.0554	7.02	302	0.0167
0.0858	7.05	303	0.0166
0.092	7.07	304	0.0165
0.0299	7.09	305	0.0164
0.0933	7.12	306	0.0163
0.0764	7.14	307	0.0162
0.0657	7.16	308	0.0161
0.0563	7.19	309	0.0159
0.0893	7.21	310	0.0158
0.0988	7.23	311	0.0157
0.0574	7.26	312	0.0156
0.1329	7.28	313	0.0155
0.0853	7.3	314	0.0153
0.0585	7.33	315	0.0152
0.0747	7.35	316	0.0151
0.0494	7.37	317	0.0150
0.0368	7.4	318	0.0149
0.0907	7.42	319	0.0149
0.0698	7.44	320	0.0148
0.0571	7.47	321	0.0148
0.0456	7.49	322	0.0147
0.0492	7.51	323	0.0147
0.0686	7.53	324	0.0146
0.067	7.56	325	0.0145
0.0548	7.58	326	0.0144
0.0415	7.6	327	0.0143
0.0816	7.63	328	0.0143
0.0529	7.65	329	0.0142
0.0818	7.67	330	0.0142
0.0594	7.7	331	0.0142
0.0387	7.72	332	0.0141
0.0561	7.74	333	0.0141
0.0875	7.77	334	0.0140
0.0534	7.79	335	0.0140
0.052	7.81	336	0.0140
0.0894	7.84	337	0.0140
0.0384	7.86	338	0.0139
0.0353	7.88	339	0.0139
0.0843	7.91	340	0.0138
0.059	7.93	341	0.0138
0.0538	7.95	342	0.0138
0.0637	7.98	343	0.0137
0.0492	8.0	344	0.0137
0.0424	8.02	345	0.0137
0.0416	8.05	346	0.0136
0.0608	8.07	347	0.0135
0.0158	8.09	348	0.0135
0.0551	8.12	349	0.0134
0.0954	8.14	350	0.0134
0.0327	8.16	351	0.0133
0.0329	8.19	352	0.0133
0.0604	8.21	353	0.0133
0.0565	8.23	354	0.0133
0.0677	8.26	355	0.0133
0.0483	8.28	356	0.0133
0.0576	8.3	357	0.0133
0.0515	8.33	358	0.0132
0.0381	8.35	359	0.0132
0.0436	8.37	360	0.0132
0.0695	8.4	361	0.0132
0.0564	8.42	362	0.0132
0.0784	8.44	363	0.0132
0.0582	8.47	364	0.0132
0.0476	8.49	365	0.0132
0.1157	8.51	366	0.0131
0.0603	8.53	367	0.0131
0.05	8.56	368	0.0131
0.0428	8.58	369	0.0130
0.0283	8.6	370	0.0130
0.0726	8.63	371	0.0129
0.0681	8.65	372	0.0129
0.0753	8.67	373	0.0128
0.0813	8.7	374	0.0127
0.0592	8.72	375	0.0127
0.0602	8.74	376	0.0127
0.0552	8.77	377	0.0127
0.0547	8.79	378	0.0126
0.0777	8.81	379	0.0126
0.0719	8.84	380	0.0126
0.0641	8.86	381	0.0125
0.0326	8.88	382	0.0125
0.0431	8.91	383	0.0125
0.0813	8.93	384	0.0125
0.077	8.95	385	0.0125
0.1018	8.98	386	0.0125
0.0619	9.0	387	0.0125
0.0525	9.02	388	0.0125
0.0501	9.05	389	0.0125
0.057	9.07	390	0.0125
0.069	9.09	391	0.0125
0.0258	9.12	392	0.0125
0.0639	9.14	393	0.0125
0.0696	9.16	394	0.0125
0.0407	9.19	395	0.0125
0.0465	9.21	396	0.0124
0.084	9.23	397	0.0124
0.0483	9.26	398	0.0124
0.1181	9.28	399	0.0124
0.0383	9.3	400	0.0124
0.0574	9.33	401	0.0124
0.0475	9.35	402	0.0124
0.0549	9.37	403	0.0124
0.0594	9.4	404	0.0124
0.0428	9.42	405	0.0124
0.0825	9.44	406	0.0124
0.0617	9.47	407	0.0124
0.0584	9.49	408	0.0124
0.0579	9.51	409	0.0124
0.0521	9.53	410	0.0124
0.0703	9.56	411	0.0124
0.0279	9.58	412	0.0123
0.0469	9.6	413	0.0123
0.0492	9.63	414	0.0123
0.0308	9.65	415	0.0123
0.0342	9.67	416	0.0123
0.0486	9.7	417	0.0123
0.0284	9.72	418	0.0123
0.0325	9.74	419	0.0123
0.043	9.77	420	0.0123
0.0602	9.79	421	0.0123
0.0349	9.81	422	0.0122
0.0569	9.84	423	0.0122
0.0513	9.86	424	0.0122
0.0455	9.88	425	0.0122
0.0936	9.91	426	0.0122
0.0484	9.93	427	0.0122
0.0556	9.95	428	0.0122
0.0352	9.98	429	0.0122
0.0594	10.0	430	0.0122

Framework versions

• Transformers 4.28.1
• Pytorch 2.0.0+cu118
• Datasets 2.12.0
• Tokenizers 0.13.3