--- license: mit base_model: facebook/esm2_t6_8M_UR50D tags: - generated_from_trainer metrics: - precision - recall library_name: peft model-index: - name: esm_ft_Aerin_Yang_et_al_2023 results: [] --- # esm_ft_Aerin_Yang_et_al_2023 This model is a fine-tuned version of [facebook/esm2_t6_8M_UR50D](https://huggingface.co/facebook/esm2_t6_8M_UR50D) on an unknown dataset. It achieves the following results on the evaluation set: - Loss: 0.8744 - Rmse: 0.9351 - Mae: 0.9082 - Spearmanr Corr: nan - Spearmanr Corr P Value: nan - Pearsonr Corr: nan - Pearsonr Corr P Value: nan - Spearmanr Corr Of Deltas: nan - Spearmanr Corr Of Deltas P Value: nan - Pearsonr Corr Of Deltas: nan - Pearsonr Corr Of Deltas P Value: nan - Ranking F1 Score: 0.0 - Ranking Mcc: 0.0 - Rmse Enriched: 1.1132 - Mae Enriched: 1.1132 - Spearmanr Corr Enriched: nan - Spearmanr Corr Enriched P Value: nan - Pearsonr Corr Enriched: nan - Pearsonr Corr Enriched P Value: nan - Spearmanr Corr Of Deltas Enriched: nan - Spearmanr Corr Of Deltas Enriched P Value: nan - Pearsonr Corr Of Deltas Enriched: nan - Pearsonr Corr Of Deltas Enriched P Value: nan - Ranking F1 Score Enriched: 0.0 - Ranking Mcc Enriched: 0.0 - Classification Thresh: 0.5 - Mcc: 0.0 - F1 Score: 0.0 - Acc: 0.5448 - Auc: 0.5 - Precision: 0.2724 - Recall: 0.5 ## Model description More information needed ## Intended uses & limitations More information needed ## Training and evaluation data More information needed ## Training procedure ### Training hyperparameters The following hyperparameters were used during training: - learning_rate: 0.1 - train_batch_size: 8 - eval_batch_size: 8 - seed: 42 - distributed_type: not_parallel - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 - lr_scheduler_type: linear - lr_scheduler_warmup_steps: 200 - num_epochs: 100 - mixed_precision_training: Native AMP ### Training results | Training Loss | Epoch | Step | Validation Loss | Rmse | Mae | Spearmanr Corr | Spearmanr Corr P Value | Pearsonr Corr | Pearsonr Corr P Value | Spearmanr Corr Of Deltas | Spearmanr Corr Of Deltas P Value | Pearsonr Corr Of Deltas | Pearsonr Corr Of Deltas P Value | Ranking F1 Score | Ranking Mcc | Rmse Enriched | Mae Enriched | Spearmanr Corr Enriched | Spearmanr Corr Enriched P Value | Pearsonr Corr Enriched | Pearsonr Corr Enriched P Value | Spearmanr Corr Of Deltas Enriched | Spearmanr Corr Of Deltas Enriched P Value | Pearsonr Corr Of Deltas Enriched | Pearsonr Corr Of Deltas Enriched P Value | Ranking F1 Score Enriched | Ranking Mcc Enriched | Classification Thresh | Mcc | F1 Score | Acc | Auc | Precision | Recall | |:-------------:|:-----:|:-----:|:---------------:|:------:|:------:|:--------------:|:----------------------:|:-------------:|:---------------------:|:------------------------:|:--------------------------------:|:-----------------------:|:-------------------------------:|:----------------:|:-----------:|:-------------:|:------------:|:-----------------------:|:-------------------------------:|:----------------------:|:------------------------------:|:---------------------------------:|:-----------------------------------------:|:--------------------------------:|:----------------------------------------:|:-------------------------:|:--------------------:|:---------------------:|:---:|:--------:|:------:|:------:|:---------:|:------:| | 0.9757 | 1.0 | 335 | 0.8805 | 0.9384 | 0.9260 | 0.1765 | 0.0000 | 0.1841 | 0.0000 | 0.1764 | 0.0 | 0.1829 | 0.0 | 0.3085 | 0.0994 | 0.8694 | 0.8694 | -0.0570 | 0.3214 | -0.0560 | 0.3300 | -0.0564 | 0.0000 | -0.0558 | 0.0000 | 0.0004 | -0.0332 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5833 | 0.2724 | 0.5 | | 0.9623 | 2.0 | 670 | 0.9395 | 0.9693 | 0.8980 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.2814 | 1.2814 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 1.0629 | 3.0 | 1005 | 1.3044 | 1.1421 | 0.8760 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.6686 | 1.6686 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 1.1253 | 4.0 | 1340 | 1.2135 | 1.1016 | 0.8801 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.5964 | 1.5964 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 1.1795 | 5.0 | 1675 | 0.8632 | 0.9291 | 0.9174 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.9756 | 0.9756 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 1.1739 | 6.0 | 2010 | 0.8957 | 0.9464 | 0.9037 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.1862 | 1.1862 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 2.7995 | 7.0 | 2345 | 0.8684 | 0.9319 | 0.9210 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.9266 | 0.9266 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 1.0472 | 8.0 | 2680 | 1.0553 | 1.0273 | 0.9533 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5646 | 0.5646 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 1.0783 | 9.0 | 3015 | 1.2430 | 1.1149 | 0.8787 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.6208 | 1.6208 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 0.9656 | 10.0 | 3350 | 0.8624 | 0.9287 | 0.9152 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.0073 | 1.0072 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 1.2348 | 11.0 | 3685 | 1.1586 | 1.0764 | 0.8828 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.5480 | 1.5480 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 0.9899 | 12.0 | 4020 | 0.8626 | 0.9287 | 0.9146 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.0156 | 1.0155 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 1.0165 | 13.0 | 4355 | 1.1301 | 1.0630 | 0.9603 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.4865 | 0.4865 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 1.0648 | 14.0 | 4690 | 1.0519 | 1.0256 | 0.8890 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.4391 | 1.4391 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 1.3008 | 15.0 | 5025 | 3.3846 | 1.8397 | 1.5890 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 2.5920 | 2.5920 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 1.1505 | 16.0 | 5360 | 0.8714 | 0.9335 | 0.9092 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.0987 | 1.0987 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 1.1522 | 17.0 | 5695 | 1.5739 | 1.2546 | 0.9895 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.1604 | 0.1603 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.6256 | 0.4552 | 0.5 | 0.2276 | 0.5 | | 1.0012 | 18.0 | 6030 | 3.2349 | 1.7986 | 1.5413 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 2.5441 | 2.5441 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 1.1073 | 19.0 | 6365 | 0.9015 | 0.9495 | 0.9028 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.2016 | 1.2016 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 0.9681 | 20.0 | 6700 | 0.9108 | 0.9544 | 0.9336 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.7839 | 0.7839 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 1.0465 | 21.0 | 7035 | 1.0870 | 1.0426 | 0.8868 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.4777 | 1.4777 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 0.9831 | 22.0 | 7370 | 0.8820 | 0.9392 | 0.9265 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.8638 | 0.8638 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 0.9377 | 23.0 | 7705 | 0.8646 | 0.9298 | 0.9123 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.0506 | 1.0506 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 1.0435 | 24.0 | 8040 | 0.8731 | 0.9344 | 0.9232 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.9005 | 0.9005 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 1.0537 | 25.0 | 8375 | 0.8628 | 0.9289 | 0.9167 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.9849 | 0.9849 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 1.1299 | 26.0 | 8710 | 0.9318 | 0.9653 | 0.9375 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.7404 | 0.7404 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 1.0194 | 27.0 | 9045 | 0.9064 | 0.9520 | 0.9327 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.7942 | 0.7942 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 0.9194 | 28.0 | 9380 | 1.0536 | 1.0265 | 0.9531 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5666 | 0.5666 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 0.9385 | 29.0 | 9715 | 0.8727 | 0.9342 | 0.9230 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.9022 | 0.9022 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 0.9392 | 30.0 | 10050 | 0.8625 | 0.9287 | 0.9147 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.0149 | 1.0149 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | | 0.937 | 31.0 | 10385 | 0.8744 | 0.9351 | 0.9082 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.1132 | 1.1132 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 | ### Framework versions - PEFT 0.13.2 - Transformers 4.41.2 - Pytorch 2.5.1+cu118 - Datasets 3.1.0 - Tokenizers 0.19.1