CardicBERT-mix

This model is a fine-tuned version of emilyalsentzer/Bio_ClinicalBERT on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.0986

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 3e-05
• train_batch_size: 1024
• eval_batch_size: 1024
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 400

Training results

Training Loss	Epoch	Step	Validation Loss
No log	1.0	103	0.6997
No log	2.0	206	0.3004
No log	3.0	309	0.2163
1.0692	4.0	412	0.1791
1.0692	5.0	515	0.1588
1.0692	6.0	618	0.1470
1.0692	7.0	721	0.1406
0.1758	8.0	824	0.1334
0.1758	9.0	927	0.1322
0.1758	10.0	1030	0.1265
0.1758	11.0	1133	0.1237
0.1425	12.0	1236	0.1208
0.1425	13.0	1339	0.1211
0.1425	14.0	1442	0.1165
0.1425	15.0	1545	0.1136
0.1287	16.0	1648	0.1152
0.1287	17.0	1751	0.1122
0.1287	18.0	1854	0.1135
0.1287	19.0	1957	0.1146
0.1214	20.0	2060	0.1098
0.1214	21.0	2163	0.1106
0.1214	22.0	2266	0.1085
0.1214	23.0	2369	0.1092
0.116	24.0	2472	0.1050
0.116	25.0	2575	0.1084
0.116	26.0	2678	0.1044
0.116	27.0	2781	0.1053
0.1124	28.0	2884	0.1036
0.1124	29.0	2987	0.1027
0.1124	30.0	3090	0.1025
0.1124	31.0	3193	0.1041
0.1095	32.0	3296	0.1014
0.1095	33.0	3399	0.1057
0.1095	34.0	3502	0.1036
0.1095	35.0	3605	0.1025
0.1071	36.0	3708	0.1024
0.1071	37.0	3811	0.1019
0.1071	38.0	3914	0.1053
0.1071	39.0	4017	0.1050
0.1056	40.0	4120	0.1030
0.1056	41.0	4223	0.1027
0.1056	42.0	4326	0.1031
0.1056	43.0	4429	0.0991
0.1042	44.0	4532	0.1015
0.1042	45.0	4635	0.1009
0.1042	46.0	4738	0.0978
0.1042	47.0	4841	0.1010
0.1025	48.0	4944	0.0986
0.1025	49.0	5047	0.0979
0.1025	50.0	5150	0.1000
0.1025	51.0	5253	0.0997
0.1012	52.0	5356	0.0972
0.1012	53.0	5459	0.0996
0.1012	54.0	5562	0.0979
0.1012	55.0	5665	0.0989
0.1003	56.0	5768	0.0981
0.1003	57.0	5871	0.0995
0.1003	58.0	5974	0.0982
0.1003	59.0	6077	0.0997
0.0993	60.0	6180	0.0991
0.0993	61.0	6283	0.0992
0.0993	62.0	6386	0.1000
0.0993	63.0	6489	0.0994
0.0983	64.0	6592	0.0957
0.0983	65.0	6695	0.0985
0.0983	66.0	6798	0.0978
0.0983	67.0	6901	0.0986
0.098	68.0	7004	0.0975
0.098	69.0	7107	0.0987
0.098	70.0	7210	0.0960
0.098	71.0	7313	0.0964
0.0974	72.0	7416	0.0996
0.0974	73.0	7519	0.0973
0.0974	74.0	7622	0.0975
0.0974	75.0	7725	0.0966
0.0962	76.0	7828	0.0976
0.0962	77.0	7931	0.0946
0.0962	78.0	8034	0.0956
0.0962	79.0	8137	0.0941
0.0959	80.0	8240	0.0961
0.0959	81.0	8343	0.0968
0.0959	82.0	8446	0.0963
0.0959	83.0	8549	0.0952
0.095	84.0	8652	0.0953
0.095	85.0	8755	0.0972
0.095	86.0	8858	0.0961
0.095	87.0	8961	0.0948
0.0946	88.0	9064	0.0930
0.0946	89.0	9167	0.0969
0.0946	90.0	9270	0.0947
0.0946	91.0	9373	0.0948
0.0942	92.0	9476	0.0964
0.0942	93.0	9579	0.0952
0.0942	94.0	9682	0.0950
0.0942	95.0	9785	0.0952
0.0937	96.0	9888	0.0969
0.0937	97.0	9991	0.0962
0.0937	98.0	10094	0.0974
0.0937	99.0	10197	0.0957
0.0935	100.0	10300	0.0967
0.0935	101.0	10403	0.0962
0.0935	102.0	10506	0.0967
0.0935	103.0	10609	0.0966
0.0929	104.0	10712	0.0959
0.0929	105.0	10815	0.0968
0.0929	106.0	10918	0.0958
0.0929	107.0	11021	0.0941
0.0923	108.0	11124	0.0961
0.0923	109.0	11227	0.0938
0.0923	110.0	11330	0.0950
0.0923	111.0	11433	0.0950
0.092	112.0	11536	0.0960
0.092	113.0	11639	0.0972
0.092	114.0	11742	0.0927
0.092	115.0	11845	0.0945
0.0914	116.0	11948	0.0932
0.0914	117.0	12051	0.0939
0.0914	118.0	12154	0.0947
0.0914	119.0	12257	0.0979
0.0913	120.0	12360	0.0926
0.0913	121.0	12463	0.0943
0.0913	122.0	12566	0.0941
0.0913	123.0	12669	0.0967
0.0909	124.0	12772	0.0960
0.0909	125.0	12875	0.0962
0.0909	126.0	12978	0.0970
0.0909	127.0	13081	0.0938
0.0905	128.0	13184	0.0973
0.0905	129.0	13287	0.0949
0.0905	130.0	13390	0.0920
0.0905	131.0	13493	0.0941
0.09	132.0	13596	0.0964
0.09	133.0	13699	0.0968
0.09	134.0	13802	0.0960
0.09	135.0	13905	0.0956
0.09	136.0	14008	0.0958
0.09	137.0	14111	0.0939
0.09	138.0	14214	0.0952
0.09	139.0	14317	0.0939
0.0893	140.0	14420	0.0942
0.0893	141.0	14523	0.0964
0.0893	142.0	14626	0.0944
0.0893	143.0	14729	0.0948
0.0894	144.0	14832	0.0979
0.0894	145.0	14935	0.0921
0.0894	146.0	15038	0.0925
0.0894	147.0	15141	0.0976
0.089	148.0	15244	0.0964
0.089	149.0	15347	0.0975
0.089	150.0	15450	0.0961
0.089	151.0	15553	0.0927
0.0888	152.0	15656	0.0949
0.0888	153.0	15759	0.0936
0.0888	154.0	15862	0.0940
0.0888	155.0	15965	0.0956
0.0884	156.0	16068	0.0945
0.0884	157.0	16171	0.0948
0.0884	158.0	16274	0.0954
0.0884	159.0	16377	0.0953
0.0882	160.0	16480	0.0980
0.0882	161.0	16583	0.0958
0.0882	162.0	16686	0.0944
0.0882	163.0	16789	0.0949
0.0881	164.0	16892	0.0916
0.0881	165.0	16995	0.0937
0.0881	166.0	17098	0.0936
0.0881	167.0	17201	0.0944
0.0876	168.0	17304	0.0963
0.0876	169.0	17407	0.0947
0.0876	170.0	17510	0.0941
0.0876	171.0	17613	0.0961
0.0875	172.0	17716	0.0946
0.0875	173.0	17819	0.0955
0.0875	174.0	17922	0.0918
0.0875	175.0	18025	0.0946
0.0873	176.0	18128	0.0968
0.0873	177.0	18231	0.0937
0.0873	178.0	18334	0.0965
0.0873	179.0	18437	0.0971
0.0869	180.0	18540	0.0951
0.0869	181.0	18643	0.0938
0.0869	182.0	18746	0.0991
0.0869	183.0	18849	0.0921
0.0868	184.0	18952	0.0936
0.0868	185.0	19055	0.0942
0.0868	186.0	19158	0.0929
0.0868	187.0	19261	0.0953
0.0868	188.0	19364	0.0940
0.0868	189.0	19467	0.0937
0.0868	190.0	19570	0.0944
0.0868	191.0	19673	0.0946
0.0865	192.0	19776	0.0936
0.0865	193.0	19879	0.0927
0.0865	194.0	19982	0.0974
0.0865	195.0	20085	0.0948
0.0862	196.0	20188	0.0974
0.0862	197.0	20291	0.0949
0.0862	198.0	20394	0.0928
0.0862	199.0	20497	0.0915
0.0859	200.0	20600	0.0928
0.0859	201.0	20703	0.0912
0.0859	202.0	20806	0.0944
0.0859	203.0	20909	0.0948
0.0859	204.0	21012	0.0935
0.0859	205.0	21115	0.0947
0.0859	206.0	21218	0.0956
0.0856	207.0	21321	0.0950
0.0856	208.0	21424	0.0953
0.0856	209.0	21527	0.0970
0.0856	210.0	21630	0.0948
0.0853	211.0	21733	0.0940
0.0853	212.0	21836	0.0928
0.0853	213.0	21939	0.0949
0.0853	214.0	22042	0.0963
0.0851	215.0	22145	0.0926
0.0851	216.0	22248	0.0924
0.0851	217.0	22351	0.0955
0.0851	218.0	22454	0.0932
0.0852	219.0	22557	0.0957
0.0852	220.0	22660	0.0958
0.0852	221.0	22763	0.0950
0.0852	222.0	22866	0.0967
0.0848	223.0	22969	0.0940
0.0848	224.0	23072	0.0954
0.0848	225.0	23175	0.0950
0.0848	226.0	23278	0.0966
0.0846	227.0	23381	0.0966
0.0846	228.0	23484	0.0940
0.0846	229.0	23587	0.0959
0.0846	230.0	23690	0.0947
0.0847	231.0	23793	0.0957
0.0847	232.0	23896	0.0953
0.0847	233.0	23999	0.0965
0.0847	234.0	24102	0.0958
0.0844	235.0	24205	0.0945
0.0844	236.0	24308	0.0982
0.0844	237.0	24411	0.0958
0.0844	238.0	24514	0.0958
0.0842	239.0	24617	0.0924
0.0842	240.0	24720	0.0978
0.0842	241.0	24823	0.0935
0.0842	242.0	24926	0.0934
0.0839	243.0	25029	0.0945
0.0839	244.0	25132	0.0962
0.0839	245.0	25235	0.0961
0.0839	246.0	25338	0.0971
0.0838	247.0	25441	0.0960
0.0838	248.0	25544	0.0968
0.0838	249.0	25647	0.0937
0.0838	250.0	25750	0.0964
0.0836	251.0	25853	0.0949
0.0836	252.0	25956	0.0966
0.0836	253.0	26059	0.0937
0.0836	254.0	26162	0.0940
0.0834	255.0	26265	0.0951
0.0834	256.0	26368	0.0946
0.0834	257.0	26471	0.0934
0.0834	258.0	26574	0.0940
0.0834	259.0	26677	0.0959
0.0834	260.0	26780	0.0944
0.0834	261.0	26883	0.0944
0.0834	262.0	26986	0.0933
0.0831	263.0	27089	0.0952
0.0831	264.0	27192	0.0923
0.0831	265.0	27295	0.0975
0.0831	266.0	27398	0.0943
0.0832	267.0	27501	0.0960
0.0832	268.0	27604	0.0951
0.0832	269.0	27707	0.0961
0.0832	270.0	27810	0.0939
0.0828	271.0	27913	0.0979
0.0828	272.0	28016	0.0939
0.0828	273.0	28119	0.0967
0.0828	274.0	28222	0.0942
0.0828	275.0	28325	0.0963
0.0828	276.0	28428	0.0962
0.0828	277.0	28531	0.0972
0.0828	278.0	28634	0.0979
0.0822	279.0	28737	0.0952
0.0822	280.0	28840	0.0960
0.0822	281.0	28943	0.0948
0.0822	282.0	29046	0.0967
0.0824	283.0	29149	0.0951
0.0824	284.0	29252	0.0957
0.0824	285.0	29355	0.0956
0.0824	286.0	29458	0.0958
0.0823	287.0	29561	0.0950
0.0823	288.0	29664	0.0943
0.0823	289.0	29767	0.0953
0.0823	290.0	29870	0.0956
0.082	291.0	29973	0.0961
0.082	292.0	30076	0.0962
0.082	293.0	30179	0.0966
0.082	294.0	30282	0.0963
0.0822	295.0	30385	0.0949
0.0822	296.0	30488	0.0964
0.0822	297.0	30591	0.0944
0.0822	298.0	30694	0.0944
0.0816	299.0	30797	0.0960
0.0816	300.0	30900	0.0942
0.0816	301.0	31003	0.0982
0.0816	302.0	31106	0.0969
0.0818	303.0	31209	0.0955
0.0818	304.0	31312	0.0940
0.0818	305.0	31415	0.0977
0.0818	306.0	31518	0.0940
0.0814	307.0	31621	0.0961
0.0814	308.0	31724	0.0931
0.0814	309.0	31827	0.0948
0.0814	310.0	31930	0.0959
0.0816	311.0	32033	0.0957
0.0816	312.0	32136	0.0983
0.0816	313.0	32239	0.0976
0.0816	314.0	32342	0.0923
0.0811	315.0	32445	0.0947
0.0811	316.0	32548	0.0954
0.0811	317.0	32651	0.0967
0.0811	318.0	32754	0.0945
0.081	319.0	32857	0.0960
0.081	320.0	32960	0.0947
0.081	321.0	33063	0.0950
0.081	322.0	33166	0.0950
0.0809	323.0	33269	0.0963
0.0809	324.0	33372	0.0958
0.0809	325.0	33475	0.0948
0.0809	326.0	33578	0.0973
0.0809	327.0	33681	0.0956
0.0809	328.0	33784	0.0947
0.0809	329.0	33887	0.0949
0.0809	330.0	33990	0.0966
0.0807	331.0	34093	0.0941
0.0807	332.0	34196	0.0967
0.0807	333.0	34299	0.0952
0.0807	334.0	34402	0.0963
0.0808	335.0	34505	0.0954
0.0808	336.0	34608	0.0978
0.0808	337.0	34711	0.0940
0.0808	338.0	34814	0.0969
0.0805	339.0	34917	0.0939
0.0805	340.0	35020	0.0986
0.0805	341.0	35123	0.0967
0.0805	342.0	35226	0.0970
0.0807	343.0	35329	0.0962
0.0807	344.0	35432	0.0956
0.0807	345.0	35535	0.0971
0.0807	346.0	35638	0.0982
0.0803	347.0	35741	0.0963
0.0803	348.0	35844	0.0980
0.0803	349.0	35947	0.0932
0.0803	350.0	36050	0.0981
0.0803	351.0	36153	0.0934
0.0803	352.0	36256	0.0975
0.0803	353.0	36359	0.0985
0.0803	354.0	36462	0.0970
0.0804	355.0	36565	0.0975
0.0804	356.0	36668	0.0991
0.0804	357.0	36771	0.0945
0.0804	358.0	36874	0.0959
0.0802	359.0	36977	0.0998
0.0802	360.0	37080	0.0955
0.0802	361.0	37183	0.0981
0.0802	362.0	37286	0.0967
0.0802	363.0	37389	0.0974
0.0802	364.0	37492	0.0966
0.0802	365.0	37595	0.0945
0.0802	366.0	37698	0.0980
0.0798	367.0	37801	0.0987
0.0798	368.0	37904	0.0968
0.0798	369.0	38007	0.0950
0.0798	370.0	38110	0.0972
0.08	371.0	38213	0.0966
0.08	372.0	38316	0.0950
0.08	373.0	38419	0.0972
0.08	374.0	38522	0.0978
0.0798	375.0	38625	0.0970
0.0798	376.0	38728	0.0953
0.0798	377.0	38831	0.0951
0.0798	378.0	38934	0.0936
0.0797	379.0	39037	0.0962
0.0797	380.0	39140	0.0969
0.0797	381.0	39243	0.0946
0.0797	382.0	39346	0.0952
0.0798	383.0	39449	0.0949
0.0798	384.0	39552	0.0959
0.0798	385.0	39655	0.0989
0.0798	386.0	39758	0.0969
0.0796	387.0	39861	0.0951
0.0796	388.0	39964	0.0996
0.0796	389.0	40067	0.0961
0.0796	390.0	40170	0.0984
0.0796	391.0	40273	0.0939
0.0796	392.0	40376	0.0981
0.0796	393.0	40479	0.0956
0.0796	394.0	40582	0.0969
0.0795	395.0	40685	0.0965
0.0795	396.0	40788	0.0954
0.0795	397.0	40891	0.0962
0.0795	398.0	40994	0.0963
0.0795	399.0	41097	0.0970
0.0795	400.0	41200	0.0981

Framework versions

• Transformers 4.33.2
• Pytorch 2.1.0+cu121
• Datasets 2.14.6
• Tokenizers 0.13.3