metadata
license: mit
base_model: facebook/esm2_t6_8M_UR50D
tags:
- generated_from_trainer
metrics:
- precision
- recall
library_name: peft
model-index:
- name: esm_ft_Aerin_Yang_et_al_2023
results: []
esm_ft_Aerin_Yang_et_al_2023
This model is a fine-tuned version of facebook/esm2_t6_8M_UR50D on an unknown dataset. It achieves the following results on the evaluation set:
- Loss: 0.8744
- Rmse: 0.9351
- Mae: 0.9082
- Spearmanr Corr: nan
- Spearmanr Corr P Value: nan
- Pearsonr Corr: nan
- Pearsonr Corr P Value: nan
- Spearmanr Corr Of Deltas: nan
- Spearmanr Corr Of Deltas P Value: nan
- Pearsonr Corr Of Deltas: nan
- Pearsonr Corr Of Deltas P Value: nan
- Ranking F1 Score: 0.0
- Ranking Mcc: 0.0
- Rmse Enriched: 1.1132
- Mae Enriched: 1.1132
- Spearmanr Corr Enriched: nan
- Spearmanr Corr Enriched P Value: nan
- Pearsonr Corr Enriched: nan
- Pearsonr Corr Enriched P Value: nan
- Spearmanr Corr Of Deltas Enriched: nan
- Spearmanr Corr Of Deltas Enriched P Value: nan
- Pearsonr Corr Of Deltas Enriched: nan
- Pearsonr Corr Of Deltas Enriched P Value: nan
- Ranking F1 Score Enriched: 0.0
- Ranking Mcc Enriched: 0.0
- Classification Thresh: 0.5
- Mcc: 0.0
- F1 Score: 0.0
- Acc: 0.5448
- Auc: 0.5
- Precision: 0.2724
- Recall: 0.5
Model description
More information needed
Intended uses & limitations
More information needed
Training and evaluation data
More information needed
Training procedure
Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 0.1
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- distributed_type: not_parallel
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- lr_scheduler_warmup_steps: 200
- num_epochs: 100
- mixed_precision_training: Native AMP
Training results
| Training Loss | Epoch | Step | Validation Loss | Rmse | Mae | Spearmanr Corr | Spearmanr Corr P Value | Pearsonr Corr | Pearsonr Corr P Value | Spearmanr Corr Of Deltas | Spearmanr Corr Of Deltas P Value | Pearsonr Corr Of Deltas | Pearsonr Corr Of Deltas P Value | Ranking F1 Score | Ranking Mcc | Rmse Enriched | Mae Enriched | Spearmanr Corr Enriched | Spearmanr Corr Enriched P Value | Pearsonr Corr Enriched | Pearsonr Corr Enriched P Value | Spearmanr Corr Of Deltas Enriched | Spearmanr Corr Of Deltas Enriched P Value | Pearsonr Corr Of Deltas Enriched | Pearsonr Corr Of Deltas Enriched P Value | Ranking F1 Score Enriched | Ranking Mcc Enriched | Classification Thresh | Mcc | F1 Score | Acc | Auc | Precision | Recall |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0.9757 | 1.0 | 335 | 0.8805 | 0.9384 | 0.9260 | 0.1765 | 0.0000 | 0.1841 | 0.0000 | 0.1764 | 0.0 | 0.1829 | 0.0 | 0.3085 | 0.0994 | 0.8694 | 0.8694 | -0.0570 | 0.3214 | -0.0560 | 0.3300 | -0.0564 | 0.0000 | -0.0558 | 0.0000 | 0.0004 | -0.0332 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5833 | 0.2724 | 0.5 |
| 0.9623 | 2.0 | 670 | 0.9395 | 0.9693 | 0.8980 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.2814 | 1.2814 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 1.0629 | 3.0 | 1005 | 1.3044 | 1.1421 | 0.8760 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.6686 | 1.6686 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 1.1253 | 4.0 | 1340 | 1.2135 | 1.1016 | 0.8801 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.5964 | 1.5964 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 1.1795 | 5.0 | 1675 | 0.8632 | 0.9291 | 0.9174 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.9756 | 0.9756 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 1.1739 | 6.0 | 2010 | 0.8957 | 0.9464 | 0.9037 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.1862 | 1.1862 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 2.7995 | 7.0 | 2345 | 0.8684 | 0.9319 | 0.9210 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.9266 | 0.9266 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 1.0472 | 8.0 | 2680 | 1.0553 | 1.0273 | 0.9533 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5646 | 0.5646 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 1.0783 | 9.0 | 3015 | 1.2430 | 1.1149 | 0.8787 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.6208 | 1.6208 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 0.9656 | 10.0 | 3350 | 0.8624 | 0.9287 | 0.9152 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.0073 | 1.0072 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 1.2348 | 11.0 | 3685 | 1.1586 | 1.0764 | 0.8828 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.5480 | 1.5480 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 0.9899 | 12.0 | 4020 | 0.8626 | 0.9287 | 0.9146 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.0156 | 1.0155 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 1.0165 | 13.0 | 4355 | 1.1301 | 1.0630 | 0.9603 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.4865 | 0.4865 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 1.0648 | 14.0 | 4690 | 1.0519 | 1.0256 | 0.8890 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.4391 | 1.4391 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 1.3008 | 15.0 | 5025 | 3.3846 | 1.8397 | 1.5890 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 2.5920 | 2.5920 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 1.1505 | 16.0 | 5360 | 0.8714 | 0.9335 | 0.9092 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.0987 | 1.0987 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 1.1522 | 17.0 | 5695 | 1.5739 | 1.2546 | 0.9895 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.1604 | 0.1603 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.6256 | 0.4552 | 0.5 | 0.2276 | 0.5 |
| 1.0012 | 18.0 | 6030 | 3.2349 | 1.7986 | 1.5413 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 2.5441 | 2.5441 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 1.1073 | 19.0 | 6365 | 0.9015 | 0.9495 | 0.9028 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.2016 | 1.2016 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 0.9681 | 20.0 | 6700 | 0.9108 | 0.9544 | 0.9336 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.7839 | 0.7839 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 1.0465 | 21.0 | 7035 | 1.0870 | 1.0426 | 0.8868 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.4777 | 1.4777 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 0.9831 | 22.0 | 7370 | 0.8820 | 0.9392 | 0.9265 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.8638 | 0.8638 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 0.9377 | 23.0 | 7705 | 0.8646 | 0.9298 | 0.9123 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.0506 | 1.0506 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 1.0435 | 24.0 | 8040 | 0.8731 | 0.9344 | 0.9232 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.9005 | 0.9005 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 1.0537 | 25.0 | 8375 | 0.8628 | 0.9289 | 0.9167 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.9849 | 0.9849 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 1.1299 | 26.0 | 8710 | 0.9318 | 0.9653 | 0.9375 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.7404 | 0.7404 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 1.0194 | 27.0 | 9045 | 0.9064 | 0.9520 | 0.9327 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.7942 | 0.7942 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 0.9194 | 28.0 | 9380 | 1.0536 | 1.0265 | 0.9531 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5666 | 0.5666 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 0.9385 | 29.0 | 9715 | 0.8727 | 0.9342 | 0.9230 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.9022 | 0.9022 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 0.9392 | 30.0 | 10050 | 0.8625 | 0.9287 | 0.9147 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.0149 | 1.0149 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
| 0.937 | 31.0 | 10385 | 0.8744 | 0.9351 | 0.9082 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 1.1132 | 1.1132 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0 | 0.0 | 0.5 | 0.0 | 0.0 | 0.5448 | 0.5 | 0.2724 | 0.5 |
Framework versions
- PEFT 0.13.2
- Transformers 4.41.2
- Pytorch 2.5.1+cu118
- Datasets 3.1.0
- Tokenizers 0.19.1