Commit
•
2653dcc
1
Parent(s):
02b404d
Upload README.md
Browse files
README.md
ADDED
@@ -0,0 +1,137 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
<!-- markdownlint-disable first-line-h1 -->
|
2 |
+
<!-- markdownlint-disable html -->
|
3 |
+
![](./pics/orion_start.PNG)
|
4 |
+
|
5 |
+
<div align="center">
|
6 |
+
<h1>
|
7 |
+
OrionStar-Yi-34B-Chat
|
8 |
+
</h1>
|
9 |
+
</div>
|
10 |
+
|
11 |
+
<p align="center">
|
12 |
+
🤗 <a href="https://huggingface.co/OrionStarAI" target="_blank">Hugging Face</a>
|
13 |
+
</p>
|
14 |
+
|
15 |
+
# 目录
|
16 |
+
|
17 |
+
- [📖 模型介绍](#模型介绍)
|
18 |
+
- [📊 模型推理 🔥](#模型推理)
|
19 |
+
- [👥 示例输出](#示例输出)
|
20 |
+
- [🥇 企业介绍](#企业介绍)
|
21 |
+
- [📜 声明、协议](#声明协议)
|
22 |
+
|
23 |
+
# 模型介绍
|
24 |
+
|
25 |
+
- OrionStar-Yi-34B-Chat 是猎户星空基于零一万物开源的**Yi-34B**模型,使用 __15W+__ 的高质量语料训练而来微调大模型,旨在为大模型社区用户提供卓越的交互体验。
|
26 |
+
|
27 |
+
- Yi系列模型是由零一万物团队开源的大模型,在多个权威的中文、英文及通用领域 benchmark
|
28 |
+
上取得不错的效果。今天我们推出的Orionstar-Yi-34B-Chat更进一步挖掘了Yi-34B的潜力。通过对大量高质量微调语料库的深度训练,Orionstar-Yi-34B-Chat在评估数据上表现出色,我们致力于将其打造成为ChatGPT领域中的杰出开源替代品!
|
29 |
+
|
30 |
+
- 我们微调的模型对学术研究完全开放,同时请大家遵守[协议](#协议)
|
31 |
+
和 [Yi License](https://github.com/01-ai/Yi/blob/main/MODEL_LICENSE_AGREEMENT.txt)
|
32 |
+
|
33 |
+
发布模型和下载链接见下表:
|
34 |
+
|
35 |
+
| 模型大小 | 下载链接 |
|
36 |
+
|------|--------------------------------------------------------------------------------------|
|
37 |
+
| 34B | 🤗 [OrionStar-Yi-34B-Chat](https://huggingface.co/OrionStarAI/OrionStar-Yi-34B-Chat) |
|
38 |
+
|
39 |
+
# 模型推理
|
40 |
+
|
41 |
+
推理所需的模型权重、源码、配置已发布在 Hugging Face,下载链接见本文档最开始的表格。我们在此示范多种推理方式。程序会自动从
|
42 |
+
Hugging Face 下载所需资源。
|
43 |
+
|
44 |
+
## Python 代码方式
|
45 |
+
|
46 |
+
```python
|
47 |
+
import torch
|
48 |
+
from transformers import AutoModelForCausalLM, AutoTokenizer
|
49 |
+
from transformers.generation.utils import GenerationConfig
|
50 |
+
|
51 |
+
tokenizer = AutoTokenizer.from_pretrained("OrionStarAI/OrionStar-Yi-34B-Chat", use_fast=False, trust_remote_code=True)
|
52 |
+
model = AutoModelForCausalLM.from_pretrained("OrionStarAI/OrionStar-Yi-34B-Chat", device_map="auto",
|
53 |
+
torch_dtype=torch.bfloat16, trust_remote_code=True)
|
54 |
+
|
55 |
+
model.generation_config = GenerationConfig.from_pretrained("OrionStarAI/OrionStar-Yi-34B-Chat")
|
56 |
+
messages = [{"role": "user", "content": "你好! 你叫什么名字!"}]
|
57 |
+
response = model.chat(tokenizer, messages, streaming=Flase)
|
58 |
+
print(response)
|
59 |
+
|
60 |
+
# 你好,我的名字叫聚言,很高兴见到你。
|
61 |
+
```
|
62 |
+
|
63 |
+
在上述两段代码中,模型加载指定 `device_map='auto'`
|
64 |
+
,会使用所有可用显卡。如需指定使用的设备,可以使用类似 `export CUDA_VISIBLE_DEVICES=0,1`(使用了0、1号显卡)的方式控制。
|
65 |
+
|
66 |
+
## 命令行工具方式
|
67 |
+
|
68 |
+
```shell
|
69 |
+
python cli_demo.py
|
70 |
+
```
|
71 |
+
|
72 |
+
本命令行工具是为 Chat 场景设计,因此我们不支持使用该工具调用 Base 模型。
|
73 |
+
|
74 |
+
## 脚本直接推理
|
75 |
+
|
76 |
+
```shell
|
77 |
+
python text_generation.py --model OrionStarAI/OrionStar-Yi-34B-Chat --tokenizer OrionStarAI/OrionStar-Yi-34B-Chat --prompt 你好,你叫什么名字
|
78 |
+
```
|
79 |
+
|
80 |
+
# 示例输出
|
81 |
+
|
82 |
+
## 闲聊
|
83 |
+
|
84 |
+
`````
|
85 |
+
用户:你好,你叫什么名字
|
86 |
+
OrionStar-Yi-34B:你好,我的名字叫聚言,很高兴见到你。
|
87 |
+
用户:你有哪些功能
|
88 |
+
OrionStar-Yi-34B:我是一个多才多艺的AI助手,我可以回答你的问题、陪你聊天、帮你查询信息、提供生活建议等等。
|
89 |
+
用户:讲个笑话
|
90 |
+
OrionStar-Yi-34B:为什么香肠总是不开心?因为它没有朋友,只能被夹在面包里。
|
91 |
+
`````
|
92 |
+
|
93 |
+
## 数学
|
94 |
+
|
95 |
+
`````
|
96 |
+
用户:鸡和兔在一个笼子里,共有26个头,68只脚,那么鸡有多少只,兔有多少只?
|
97 |
+
OrionStar-Yi-34B:设鸡的数量为x,兔的数量为y。
|
98 |
+
根据题意,可得出以下两个方程:
|
99 |
+
x + y = 26 (共有26个头)
|
100 |
+
2x + 4y = 68 (共有68只脚)
|
101 |
+
将第一个方程变形,得到y = 26 - x
|
102 |
+
将y的值代入第二个方程中,得到:
|
103 |
+
2x + 4(26-x) = 68
|
104 |
+
解这个方程,得到x = 18
|
105 |
+
所以,鸡有18只,兔有26 - 18 = 8只。
|
106 |
+
`````
|
107 |
+
|
108 |
+
# 企业介绍
|
109 |
+
|
110 |
+
猎户星空(ORION
|
111 |
+
STAR)是一家全球领先的服务机器人解决方案公司,成立于2016年9月。猎户星空致力于基于人工智能技术打造下一代革命性机器人,使人们能够摆脱重复的体力劳动,使人类的工作和生活更加智能和有趣,通过技术使社会和世界变得更加美好。
|
112 |
+
|
113 |
+
猎户星空拥有完全自主开发的全链条人工智能技术,如语音交互和视觉导航。它整合了产品开发能力和技术应用能力。基于Orion机械臂平台,它推出了ORION
|
114 |
+
STAR AI Robot Greeting、AI Robot Greeting Mini、Lucki、Coffee
|
115 |
+
Master等产品,并建立了Orion机器人的开放平台OrionOS。通过为 **真正有用的机器人而生** 的理念实践,它通过AI技术为更多人赋能。
|
116 |
+
|
117 |
+
# 声明、协议
|
118 |
+
|
119 |
+
## 声明
|
120 |
+
|
121 |
+
我们在此声明,我们的开发团队并未基于 OrionStar-Yi-34B-Chat 模型开发任何应用,无论是在
|
122 |
+
iOS、Android、网页或任何其他平台。我们强烈呼吁所有使用者,不要利用 OrionStar-Yi-34B-Chat 模型进行任何危害国家社会安全或违法的活动。另外,我们也要求使用者不要将
|
123 |
+
OrionStar-Yi-34B-Chat 模型用于未经适当安全审查和备案的互联网服务。
|
124 |
+
|
125 |
+
我们希望所有的使用者都能遵守这个原则,确保科技的发展能在规范和合法的环境下进行。
|
126 |
+
我们已经尽我们所能,来确保模型训练过程中使用的数据的合规性。然而,尽管我们已经做出了巨大的努力,但由于模型和数据的复杂性,仍有可能存在一些无法预见的问题。因此,如果由于使用
|
127 |
+
OrionStar-Yi-34B-Chat 开源模型而导致的任何问题,包括但不限于数据安全问题、公共舆论风险,或模型被误导、滥用、传播或不当利用所带来的任何风险和问题,我们将不承担任何责任。
|
128 |
+
|
129 |
+
## 协议
|
130 |
+
|
131 |
+
社区使用 OrionStar-Yi-34B-Chat
|
132 |
+
模型需要遵循 [Apache 2.0](https://github.com/OrionStarAI/OrionStar-Yi-34B-Chat/blob/main/LICENSE)
|
133 |
+
和[《Yi-34B 模型社区许可协议》](https://github.com/01-ai/Yi/blob/main/MODEL_LICENSE_AGREEMENT.txt)
|
134 |
+
|
135 |
+
# 联系我们
|
136 |
+
|
137 |
+
![](./pics/wechat_group.jpg)
|