chenxingphh commited on
Commit
6782937
1 Parent(s): 6f60ce3

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +16 -0
README.md CHANGED
@@ -20,6 +20,7 @@ pipeline_tag: text-generation
20
  </div>
21
 
22
  <p align="center">
 
23
  <a href="https://github.com/OrionStarAI/OrionStar-Yi-34B-Chat" target="_blank">Github</a>
24
  </p>
25
 
@@ -41,6 +42,21 @@ pipeline_tag: text-generation
41
  - 我们微调的模型对学术研究完全开放,同时请大家遵守[协议](#协议)
42
  和 [Yi License](https://github.com/01-ai/Yi/blob/main/MODEL_LICENSE_AGREEMENT.txt)
43
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
44
  # 模型推理
45
 
46
  推理所需的相关代码已发布在 Github上。Github仓库链接:[OrionStar-Yi-34B-Chat](https://github.com/OrionStarAI/OrionStar-Yi-34B-Chat)。
 
20
  </div>
21
 
22
  <p align="center">
23
+ 🤗 <a href="https://huggingface.co/OrionStarAI/OrionStar-Yi-34B-Chat" target="_blank">Hugging Face</a> |
24
  <a href="https://github.com/OrionStarAI/OrionStar-Yi-34B-Chat" target="_blank">Github</a>
25
  </p>
26
 
 
42
  - 我们微调的模型对学术研究完全开放,同时请大家遵守[协议](#协议)
43
  和 [Yi License](https://github.com/01-ai/Yi/blob/main/MODEL_LICENSE_AGREEMENT.txt)
44
 
45
+ - 模型评估结果
46
+
47
+ 我们使用[opencompass](https://opencompass.org.cn)对以下通用领域数据集进行了 5-shot
48
+ 测试。其他模型评估结果取自[opencompass-leaderboard](https://opencompass.org.cn/leaderboard-llm)。
49
+
50
+ | | C-Eval | MMLU | CMMLU |
51
+ |---------------------------|--------|-------|-------|
52
+ | **GPT-4** | 69.9 | 83 | 71 |
53
+ | **ChatGPT** | 52.5 | 69.1 | 53.9 |
54
+ | **Claude-1** | 52 | 65.7 | - |
55
+ | **TigerBot-70B-Chat-V2** | 57.7 | 65.9 | 59.9 |
56
+ | **WeMix-LLaMA2-70B** | 55.2 | 71.3 | 56 |
57
+ | **LLaMA-2-70B-Chat** | 44.3 | 63.8 | 43.3 |
58
+ | **OrionStar-Yi-34B-Chat** | 77.71 | 78.32 | 73.52 |
59
+
60
  # 模型推理
61
 
62
  推理所需的相关代码已发布在 Github上。Github仓库链接:[OrionStar-Yi-34B-Chat](https://github.com/OrionStarAI/OrionStar-Yi-34B-Chat)。