NeuronDS/CL_forecasting_foundation_model

output

This model is a fine-tuned version of on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.1542

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.001
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 100

Training results

Training Loss	Epoch	Step	Validation Loss
0.2823	1.0	384	0.1897
0.2134	2.0	768	0.1762
0.1961	3.0	1152	0.1714
0.1855	4.0	1536	0.1693
0.1777	5.0	1920	0.1738
0.1713	6.0	2304	0.1674
0.1664	7.0	2688	0.1681
0.1613	8.0	3072	0.1733
0.1578	9.0	3456	0.1698
0.1542	10.0	3840	0.1622
0.1505	11.0	4224	0.1666
0.1475	12.0	4608	0.1655
0.1451	13.0	4992	0.1651
0.1426	14.0	5376	0.1646
0.1409	15.0	5760	0.1618
0.1385	16.0	6144	0.1617
0.1366	17.0	6528	0.1591
0.1347	18.0	6912	0.1628
0.1325	19.0	7296	0.1598
0.1313	20.0	7680	0.1606
0.1295	21.0	8064	0.1573
0.1285	22.0	8448	0.1587
0.1276	23.0	8832	0.1639
0.1258	24.0	9216	0.1608
0.1244	25.0	9600	0.1599
0.1234	26.0	9984	0.1584
0.1225	27.0	10368	0.1604
0.1214	28.0	10752	0.1570
0.1207	29.0	11136	0.1575
0.1195	30.0	11520	0.1563
0.1186	31.0	11904	0.1602
0.1177	32.0	12288	0.1595
0.1167	33.0	12672	0.1582
0.1159	34.0	13056	0.1556
0.1149	35.0	13440	0.1564
0.114	36.0	13824	0.1567
0.1132	37.0	14208	0.1551
0.1125	38.0	14592	0.1560
0.1113	39.0	14976	0.1537
0.1114	40.0	15360	0.1518
0.1103	41.0	15744	0.1585
0.1098	42.0	16128	0.1552
0.1094	43.0	16512	0.1533
0.1087	44.0	16896	0.1542
0.1081	45.0	17280	0.1505
0.1085	46.0	17664	0.1535
0.1075	47.0	18048	0.1526
0.1069	48.0	18432	0.1521
0.1067	49.0	18816	0.1532
0.1063	50.0	19200	0.1522
0.1056	51.0	19584	0.1522
0.1048	52.0	19968	0.1538
0.1048	53.0	20352	0.1534
0.1051	54.0	20736	0.1519
0.1045	55.0	21120	0.1542

Framework versions

• Transformers 4.37.2
• Pytorch 2.2.0+cu121
• Datasets 2.17.0
• Tokenizers 0.15.2