transformer-time-delta-model-final

This model is a fine-tuned version of on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.0815

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.001
• train_batch_size: 256
• eval_batch_size: 256
• seed: 42
• optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 1000
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss
0.0876	2.2422	500	0.0866
0.1025	4.4843	1000	0.0930
0.0922	6.7265	1500	0.0908
0.1	8.9686	2000	0.0909
0.0981	11.2108	2500	0.0912
0.0897	13.4529	3000	0.0917
0.0922	15.6951	3500	0.0925
0.0897	17.9372	4000	0.0860
0.0896	20.1794	4500	0.0900
0.0915	22.4215	5000	0.0871
0.0944	24.6637	5500	0.0902
0.0924	26.9058	6000	0.0902
0.0836	29.1480	6500	0.0860
0.0837	31.3901	7000	0.0867
0.0843	33.6323	7500	0.0892
0.0798	35.8744	8000	0.0845
0.0847	38.1166	8500	0.0857
0.0833	40.3587	9000	0.0857
0.0812	42.6009	9500	0.0850
0.0952	44.8430	10000	0.0873
0.0957	47.0852	10500	0.0860
0.0895	49.3274	11000	0.0861
0.0838	51.5695	11500	0.0861
0.0821	53.8117	12000	0.0857
0.0902	56.0538	12500	0.0852
0.0781	58.2960	13000	0.0851
0.0881	60.5381	13500	0.0903
0.0829	62.7803	14000	0.0860
0.079	65.0224	14500	0.0861
0.0822	67.2646	15000	0.0852
0.0793	69.5067	15500	0.0868
0.0831	71.7489	16000	0.0876
0.0992	73.9910	16500	0.0969
0.0848	76.2332	17000	0.0868
0.0809	78.4753	17500	0.0886
0.0833	80.7175	18000	0.0875
0.0823	82.9596	18500	0.0860
0.0815	85.2018	19000	0.0863
0.0771	87.4439	19500	0.0849
0.0825	89.6861	20000	0.0874
0.0855	91.9283	20500	0.0859
0.089	94.1704	21000	0.0855
0.0788	96.4126	21500	0.0862
0.0793	98.6547	22000	0.0864
0.0919	100.8969	22500	0.0909
0.0836	103.1390	23000	0.0849
0.0802	105.3812	23500	0.0850
0.079	107.6233	24000	0.0870
0.0864	109.8655	24500	0.0866
0.081	112.1076	25000	0.0865
0.0792	114.3498	25500	0.0862
0.0837	116.5919	26000	0.0883
0.0816	118.8341	26500	0.0865
0.0923	121.0762	27000	0.0959
0.0763	123.3184	27500	0.0870
0.0798	125.5605	28000	0.0868
0.0774	127.8027	28500	0.0859
0.0779	130.0448	29000	0.0861
0.0777	132.2870	29500	0.0855
0.0769	134.5291	30000	0.0860
0.0806	136.7713	30500	0.0869
0.0802	139.0135	31000	0.0867
0.0816	141.2556	31500	0.0861
0.0748	143.4978	32000	0.0859
0.0788	145.7399	32500	0.0848
0.0766	147.9821	33000	0.0872
0.0782	150.2242	33500	0.0859
0.0757	152.4664	34000	0.0848
0.0822	154.7085	34500	0.0854
0.0857	156.9507	35000	0.0848
0.0785	159.1928	35500	0.0867
0.0737	161.4350	36000	0.0847
0.0754	163.6771	36500	0.0860
0.078	165.9193	37000	0.0862
0.0953	168.1614	37500	0.0903
0.0807	170.4036	38000	0.0866
0.0742	172.6457	38500	0.0868
0.0818	174.8879	39000	0.0855
0.0773	177.1300	39500	0.0864
0.079	179.3722	40000	0.0856
0.0814	181.6143	40500	0.0859
0.0818	183.8565	41000	0.0894
0.0895	186.0987	41500	0.0871
0.0734	188.3408	42000	0.0864
0.0765	190.5830	42500	0.0869
0.0764	192.8251	43000	0.0867
0.0834	195.0673	43500	0.0863
0.0736	197.3094	44000	0.0837
0.0764	199.5516	44500	0.0843
0.0731	201.7937	45000	0.0837
0.0775	204.0359	45500	0.0853
0.0839	206.2780	46000	0.0842
0.0799	208.5202	46500	0.0834
0.0768	210.7623	47000	0.0847
0.0794	213.0045	47500	0.0832
0.0827	215.2466	48000	0.0855
0.0777	217.4888	48500	0.0843
0.0784	219.7309	49000	0.0846
0.0819	221.9731	49500	0.0856
0.0804	224.2152	50000	0.0842
0.0738	226.4574	50500	0.0857
0.0774	228.6996	51000	0.0840
0.0759	230.9417	51500	0.0848
0.0758	233.1839	52000	0.0856
0.0784	235.4260	52500	0.0847
0.0741	237.6682	53000	0.0873
0.0764	239.9103	53500	0.0837
0.0782	242.1525	54000	0.0846
0.0759	244.3946	54500	0.0852
0.0817	246.6368	55000	0.0846
0.0792	248.8789	55500	0.0867
0.0804	251.1211	56000	0.0850
0.0816	253.3632	56500	0.0843
0.0825	255.6054	57000	0.0855
0.0754	257.8475	57500	0.0841
0.0769	260.0897	58000	0.0856
0.0752	262.3318	58500	0.0842
0.0754	264.5740	59000	0.0842
0.079	266.8161	59500	0.0849
0.0743	269.0583	60000	0.0873
0.0756	271.3004	60500	0.0863
0.0769	273.5426	61000	0.0855
0.0817	275.7848	61500	0.0880
0.0806	278.0269	62000	0.0839
0.0715	280.2691	62500	0.0856
0.0736	282.5112	63000	0.0864
0.0803	284.7534	63500	0.0853
0.0796	286.9955	64000	0.0845
0.0779	289.2377	64500	0.0850
0.0788	291.4798	65000	0.0841
0.0739	293.7220	65500	0.0843
0.0795	295.9641	66000	0.0874
0.0821	298.2063	66500	0.0870
0.079	300.4484	67000	0.0846
0.0791	302.6906	67500	0.0865
0.0787	304.9327	68000	0.0857
0.0775	307.1749	68500	0.0846
0.0815	309.4170	69000	0.0843
0.077	311.6592	69500	0.0850
0.0771	313.9013	70000	0.0836
0.0762	316.1435	70500	0.0854
0.0738	318.3857	71000	0.0863
0.0728	320.6278	71500	0.0864
0.0799	322.8700	72000	0.0862
0.0749	325.1121	72500	0.0854
0.0779	327.3543	73000	0.0860
0.0826	329.5964	73500	0.0849
0.0799	331.8386	74000	0.0844
0.0759	334.0807	74500	0.0852
0.0786	336.3229	75000	0.0855
0.0731	338.5650	75500	0.0840
0.0735	340.8072	76000	0.0853
0.0723	343.0493	76500	0.0850
0.0827	345.2915	77000	0.0851
0.08	347.5336	77500	0.0841
0.0761	349.7758	78000	0.0838
0.0729	352.0179	78500	0.0864
0.0743	354.2601	79000	0.0845
0.0742	356.5022	79500	0.0868
0.0741	358.7444	80000	0.0846
0.075	360.9865	80500	0.0855
0.0805	363.2287	81000	0.0850
0.0725	365.4709	81500	0.0844
0.0809	367.7130	82000	0.0840
0.0773	369.9552	82500	0.0843
0.0755	372.1973	83000	0.0848
0.0753	374.4395	83500	0.0845
0.0755	376.6816	84000	0.0846
0.0714	378.9238	84500	0.0844
0.0761	381.1659	85000	0.0855
0.0743	383.4081	85500	0.0846
0.073	385.6502	86000	0.0851
0.0685	387.8924	86500	0.0851
0.08	390.1345	87000	0.0840
0.0729	392.3767	87500	0.0847
0.0738	394.6188	88000	0.0843
0.0788	396.8610	88500	0.0853
0.077	399.1031	89000	0.0866
0.0736	401.3453	89500	0.0850
0.0748	403.5874	90000	0.0830
0.0768	405.8296	90500	0.0841
0.0791	408.0717	91000	0.0848
0.0727	410.3139	91500	0.0833
0.078	412.5561	92000	0.0840
0.0737	414.7982	92500	0.0837
0.0744	417.0404	93000	0.0863
0.0733	419.2825	93500	0.0927
0.0722	421.5247	94000	0.0836
0.0728	423.7668	94500	0.0821
0.0694	426.0090	95000	0.0834
0.0733	428.2511	95500	0.0882
0.0767	430.4933	96000	0.0857
0.0715	432.7354	96500	0.0858
0.0752	434.9776	97000	0.0836
0.0762	437.2197	97500	0.0851
0.0738	439.4619	98000	0.0853
0.0735	441.7040	98500	0.0833
0.0721	443.9462	99000	0.0844
0.0737	446.1883	99500	0.0844
0.0686	448.4305	100000	0.0842
0.0724	450.6726	100500	0.0845
0.0743	452.9148	101000	0.0838
0.0754	455.1570	101500	0.0850
0.0725	457.3991	102000	0.0855
0.0758	459.6413	102500	0.0860
0.0792	461.8834	103000	0.0876
0.0725	464.1256	103500	0.0880
0.0764	466.3677	104000	0.0868
0.0766	468.6099	104500	0.0870
0.0745	470.8520	105000	0.0843
0.0748	473.0942	105500	0.0851
0.0747	475.3363	106000	0.0863
0.0699	477.5785	106500	0.0846
0.0736	479.8206	107000	0.0843
0.0711	482.0628	107500	0.0869
0.0712	484.3049	108000	0.0855
0.0741	486.5471	108500	0.0844
0.0705	488.7892	109000	0.0827
0.0737	491.0314	109500	0.0852
0.0748	493.2735	110000	0.0860
0.0757	495.5157	110500	0.0843
0.0749	497.7578	111000	0.0856
0.0711	500.0	111500	0.0841
0.0748	502.2422	112000	0.0853
0.0728	504.4843	112500	0.0859
0.0725	506.7265	113000	0.0859
0.0739	508.9686	113500	0.0887
0.0739	511.2108	114000	0.0860
0.0722	513.4529	114500	0.0822
0.0689	515.6951	115000	0.0887
0.0703	517.9372	115500	0.0847
0.0732	520.1794	116000	0.0876
0.0752	522.4215	116500	0.0871
0.0748	524.6637	117000	0.0864
0.0718	526.9058	117500	0.0862
0.0749	529.1480	118000	0.0841
0.0687	531.3901	118500	0.0829
0.0861	533.6323	119000	0.0959
0.0779	535.8744	119500	0.0863
0.0724	538.1166	120000	0.0873
0.0668	540.3587	120500	0.0870
0.0731	542.6009	121000	0.0863
0.072	544.8430	121500	0.0874
0.0704	547.0852	122000	0.0858
0.0785	549.3274	122500	0.0857
0.0694	551.5695	123000	0.0860
0.0709	553.8117	123500	0.0824
0.0676	556.0538	124000	0.0836
0.0734	558.2960	124500	0.0847
0.069	560.5381	125000	0.0859
0.0733	562.7803	125500	0.0859
0.0676	565.0224	126000	0.0866
0.0721	567.2646	126500	0.0884
0.0712	569.5067	127000	0.0853
0.0679	571.7489	127500	0.0850
0.0691	573.9910	128000	0.0848
0.0711	576.2332	128500	0.0859
0.0665	578.4753	129000	0.0841
0.0731	580.7175	129500	0.0848
0.0689	582.9596	130000	0.0852
0.0776	585.2018	130500	0.0845
0.0724	587.4439	131000	0.0866
0.0719	589.6861	131500	0.0862
0.0703	591.9283	132000	0.0871
0.0667	594.1704	132500	0.0899
0.0677	596.4126	133000	0.0879
0.0714	598.6547	133500	0.0863
0.0717	600.8969	134000	0.0867
0.0728	603.1390	134500	0.0856
0.0737	605.3812	135000	0.0831
0.0721	607.6233	135500	0.0832
0.0704	609.8655	136000	0.0843
0.0703	612.1076	136500	0.0857
0.0714	614.3498	137000	0.0852
0.0722	616.5919	137500	0.0865
0.0699	618.8341	138000	0.0873
0.0679	621.0762	138500	0.0860
0.0742	623.3184	139000	0.0845
0.0731	625.5605	139500	0.0865
0.0702	627.8027	140000	0.0860
0.0641	630.0448	140500	0.0852
0.0678	632.2870	141000	0.0857
0.0701	634.5291	141500	0.0883
0.0691	636.7713	142000	0.0830
0.0712	639.0135	142500	0.0829
0.0672	641.2556	143000	0.0828
0.0638	643.4978	143500	0.0850
0.0674	645.7399	144000	0.0858
0.0713	647.9821	144500	0.0841
0.0696	650.2242	145000	0.0865
0.0707	652.4664	145500	0.0854
0.0709	654.7085	146000	0.0865
0.0721	656.9507	146500	0.0859
0.0669	659.1928	147000	0.0864
0.0677	661.4350	147500	0.0855
0.0697	663.6771	148000	0.0844
0.0682	665.9193	148500	0.0849
0.0732	668.1614	149000	0.0851
0.0717	670.4036	149500	0.0851
0.0683	672.6457	150000	0.0857
0.071	674.8879	150500	0.0858
0.0698	677.1300	151000	0.0817
0.0745	679.3722	151500	0.0826
0.0733	681.6143	152000	0.0850
0.0701	683.8565	152500	0.0863
0.0708	686.0987	153000	0.0848
0.0699	688.3408	153500	0.0857
0.0681	690.5830	154000	0.0818
0.0675	692.8251	154500	0.0844
0.0696	695.0673	155000	0.0850
0.0696	697.3094	155500	0.0818
0.0654	699.5516	156000	0.0840
0.071	701.7937	156500	0.0828
0.072	704.0359	157000	0.0846
0.0724	706.2780	157500	0.0857
0.0704	708.5202	158000	0.0851
0.0722	710.7623	158500	0.0867
0.0739	713.0045	159000	0.0851
0.0692	715.2466	159500	0.0865
0.0693	717.4888	160000	0.0843
0.0699	719.7309	160500	0.0858
0.0678	721.9731	161000	0.0852
0.0673	724.2152	161500	0.0850
0.0649	726.4574	162000	0.0844
0.0664	728.6996	162500	0.0845
0.0698	730.9417	163000	0.0834
0.0659	733.1839	163500	0.0849
0.0688	735.4260	164000	0.0823
0.0669	737.6682	164500	0.0852
0.0694	739.9103	165000	0.0817
0.0715	742.1525	165500	0.0850
0.0696	744.3946	166000	0.0850
0.0686	746.6368	166500	0.0849
0.0689	748.8789	167000	0.0851
0.0699	751.1211	167500	0.0859
0.0702	753.3632	168000	0.0836
0.0734	755.6054	168500	0.0848
0.0725	757.8475	169000	0.0820
0.0647	760.0897	169500	0.0820
0.0664	762.3318	170000	0.0866
0.0726	764.5740	170500	0.0851
0.0653	766.8161	171000	0.0854
0.0752	769.0583	171500	0.0832
0.0689	771.3004	172000	0.0834
0.07	773.5426	172500	0.0841
0.0676	775.7848	173000	0.0842
0.0698	778.0269	173500	0.0863
0.0654	780.2691	174000	0.0856
0.0675	782.5112	174500	0.0856
0.0686	784.7534	175000	0.0854
0.0638	786.9955	175500	0.0849
0.0681	789.2377	176000	0.0847
0.0665	791.4798	176500	0.0838
0.0669	793.7220	177000	0.0837
0.0676	795.9641	177500	0.0852
0.0639	798.2063	178000	0.0853
0.0643	800.4484	178500	0.0844
0.0684	802.6906	179000	0.0840
0.07	804.9327	179500	0.0850
0.0685	807.1749	180000	0.0842
0.0654	809.4170	180500	0.0849
0.0708	811.6592	181000	0.0839
0.0708	813.9013	181500	0.0845
0.063	816.1435	182000	0.0846
0.0631	818.3857	182500	0.0846
0.0661	820.6278	183000	0.0852
0.0668	822.8700	183500	0.0842
0.0686	825.1121	184000	0.0845
0.0655	827.3543	184500	0.0845
0.065	829.5964	185000	0.0845
0.0691	831.8386	185500	0.0851
0.0663	834.0807	186000	0.0850
0.0659	836.3229	186500	0.0857
0.063	838.5650	187000	0.0811
0.0702	840.8072	187500	0.0834
0.0671	843.0493	188000	0.0842
0.0666	845.2915	188500	0.0848
0.0679	847.5336	189000	0.0848
0.0697	849.7758	189500	0.0846
0.0698	852.0179	190000	0.0849
0.0669	854.2601	190500	0.0836
0.0647	856.5022	191000	0.0844
0.0623	858.7444	191500	0.0842
0.0712	860.9865	192000	0.0845
0.0679	863.2287	192500	0.0844
0.0654	865.4709	193000	0.0842
0.0658	867.7130	193500	0.0837
0.0661	869.9552	194000	0.0840
0.0678	872.1973	194500	0.0840
0.0646	874.4395	195000	0.0842
0.068	876.6816	195500	0.0848
0.0696	878.9238	196000	0.0847
0.0659	881.1659	196500	0.0845
0.0676	883.4081	197000	0.0842
0.0661	885.6502	197500	0.0849
0.0622	887.8924	198000	0.0842
0.0636	890.1345	198500	0.0839
0.0648	892.3767	199000	0.0846
0.0654	894.6188	199500	0.0837
0.0647	896.8610	200000	0.0845
0.0672	899.1031	200500	0.0841
0.0667	901.3453	201000	0.0840
0.0657	903.5874	201500	0.0841
0.0682	905.8296	202000	0.0837
0.0717	908.0717	202500	0.0846
0.0611	910.3139	203000	0.0843
0.0628	912.5561	203500	0.0844
0.0668	914.7982	204000	0.0840
0.0612	917.0404	204500	0.0840
0.0677	919.2825	205000	0.0843
0.067	921.5247	205500	0.0840
0.0675	923.7668	206000	0.0838
0.064	926.0090	206500	0.0841
0.0705	928.2511	207000	0.0838
0.0631	930.4933	207500	0.0826
0.0626	932.7354	208000	0.0839
0.0677	934.9776	208500	0.0843
0.0639	937.2197	209000	0.0844
0.0714	939.4619	209500	0.0841
0.0676	941.7040	210000	0.0844
0.0657	943.9462	210500	0.0837
0.066	946.1883	211000	0.0837
0.0668	948.4305	211500	0.0831
0.0658	950.6726	212000	0.0834
0.0631	952.9148	212500	0.0841
0.0647	955.1570	213000	0.0838
0.0641	957.3991	213500	0.0832
0.0669	959.6413	214000	0.0833
0.0624	961.8834	214500	0.0829
0.0675	964.1256	215000	0.0836
0.0602	966.3677	215500	0.0834
0.0685	968.6099	216000	0.0835
0.0636	970.8520	216500	0.0841
0.0671	973.0942	217000	0.0834
0.0665	975.3363	217500	0.0825
0.0641	977.5785	218000	0.0829
0.0679	979.8206	218500	0.0828
0.0663	982.0628	219000	0.0833
0.0651	984.3049	219500	0.0835
0.0661	986.5471	220000	0.0832
0.0644	988.7892	220500	0.0834
0.0627	991.0314	221000	0.0833
0.0588	993.2735	221500	0.0834
0.0694	995.5157	222000	0.0834
0.0698	997.7578	222500	0.0834
0.0651	1000.0	223000	0.0834

Framework versions

• Transformers 4.57.5
• Pytorch 2.9.1+cu130
• Datasets 4.5.0
• Tokenizers 0.22.2