|
firefly-llama2-13b模型,目前在Open LLM排行榜上,以62分的成绩,在所有13B模型中排名第三,且仅比榜首略低0.5分。 |
|
|
|
**该模型是个英文模型,仅使用英文数据训练,未针对中文扩充词表** |
|
|
|
值得注意的是,我们采用了qlora技术,比其他排名前列的模型,需要更少的训练资源,24G的显卡即可训练百亿模型。 |
|
|
|
训练代码以及更多细节,欢迎关注我们的开源中文大模型项目[Firefly](https://github.com/yangjianxin1/Firefly), 以及公众号【YeungNLP】 |
|
|
|
![firefly_logo](leaderboard2.jpeg) |
|
|
|
![firefly_logo](leaderboard1.jpeg) |
|
|
|
|
|
# [Open LLM Leaderboard Evaluation Results](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard) |
|
Detailed results can be found [here](https://huggingface.co/datasets/open-llm-leaderboard/details_YeungNLP__firefly-llama2-13b) |
|
|
|
| Metric | Value | |
|
|-----------------------|---------------------------| |
|
| Avg. | 52.25 | |
|
| ARC (25-shot) | 59.13 | |
|
| HellaSwag (10-shot) | 81.99 | |
|
| MMLU (5-shot) | 55.49 | |
|
| TruthfulQA (0-shot) | 51.57 | |
|
| Winogrande (5-shot) | 74.66 | |
|
| GSM8K (5-shot) | 11.22 | |
|
| DROP (3-shot) | 31.69 | |
|
|