metadata
developers:
- https://huggingface.co/FlagAlphaAI
license: apache-2.0
language:
- zh
- en
pipeline_tag: question-answering
library_name: transformers
Llama2中文社区
Llama2中文微调参数
由于Llama2本身的中文对齐较弱,我们采用中文指令集,对meta-llama/Llama-2-7b-chat-hf进行LoRA微调,使其具备较强的中文对话能力。
🎯 该版本为LoRA中文微调参数FlagAlpha/Llama2-Chinese-7b-Chat-LoRA和meta-llama/Llama-2-7b-chat-hf参数结合后的版本,可直接使用
🚀 社区地址:
Github:Llama2-Chinese
在线体验链接:llama.family
🔥 社区介绍
欢迎来到Llama2中文社区!
我们是一个专注于Llama2模型在中文方面的优化和上层建设的高级技术社区。
基于大规模中文数据,从预训练开始对Llama2模型进行中文能力的持续迭代升级。
我们热忱欢迎对大模型LLM充满热情的开发者和研究者加入我们的行列。
🐼 社区资源
- Llama2在线体验链接llama.family,同时包含Meta原版和中文微调版本!
- Llama2 Chat模型的中文问答能力评测!
- 社区飞书知识库,欢迎大家一起共建!
Open LLM Leaderboard Evaluation Results
Detailed results can be found here
Metric | Value |
---|---|
Avg. | 48.62 |
ARC (25-shot) | 52.39 |
HellaSwag (10-shot) | 77.52 |
MMLU (5-shot) | 47.72 |
TruthfulQA (0-shot) | 46.87 |
Winogrande (5-shot) | 74.27 |
GSM8K (5-shot) | 8.04 |
DROP (3-shot) | 33.53 |