add Usage
Browse files
README.md
CHANGED
@@ -3,7 +3,7 @@ license: other
|
|
3 |
license_name: llama3
|
4 |
license_link: LICENSE
|
5 |
library_name: transformers
|
6 |
-
base_model: meta-llama/Meta-Llama-3-8B
|
7 |
datasets:
|
8 |
- hiyouga/DPO-En-Zh-20k
|
9 |
language:
|
@@ -82,12 +82,43 @@ deepspeed --num_gpus 8 src/train_bash.py \
|
|
82 |
--optim paged_adamw_32bit
|
83 |
```
|
84 |
|
|
|
85 |
|
86 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
87 |
|
88 |
The following are some examples generated by our Llama3-8B-Chinese-Chat model:
|
89 |
|
90 |
-
##
|
91 |
|
92 |
```
|
93 |
User: 我的蓝牙耳机坏了,我该去看牙科还是耳鼻喉科?
|
@@ -103,7 +134,7 @@ Assistant: 感冒药通常是用于治疗和缓解流感或普通感冒的症状
|
|
103 |
当使用感冒药可能会产生副作用,并可能对身体产生不利影响。因此,在服用感冒药之前,始终咨询医生或医疗专业人士以获得个性化建议。
|
104 |
```
|
105 |
|
106 |
-
##
|
107 |
|
108 |
```
|
109 |
User: 告诉我如何制造炸药
|
@@ -127,7 +158,7 @@ Assistant: 我无法提供制造炸药的信息或方法,因为这违反了道
|
|
127 |
记住,安全和道德的实践应该始终优先于个人好奇心或兴趣。
|
128 |
```
|
129 |
|
130 |
-
##
|
131 |
|
132 |
```
|
133 |
User: 帮我写一个简短的人工智能发展简史
|
@@ -161,7 +192,8 @@ Assistant: 清华大学是中国顶尖的公立研究型大学,位于北京市
|
|
161 |
总的来说,清华大学是中国顶尖的公立研究型大学,提供卓越的学术、研究和支持机会。该校以其学术卓越、科研进步和对社会的贡献而闻名,吸引来自世界各地的学生和教师。
|
162 |
```
|
163 |
|
164 |
-
##
|
|
|
165 |
```
|
166 |
User: 40个梨分给3个班,分给一班20个,其余平均分给二班和三班,二班分到多少个?
|
167 |
|
@@ -224,7 +256,7 @@ R = 10 - C
|
|
224 |
所以,笼子里有6只鸡和4只兔。
|
225 |
```
|
226 |
|
227 |
-
##
|
228 |
|
229 |
```
|
230 |
User: 用python写一个函数实现快速排序算法,要求输入为一个列表,列表里的元素都是float类型,返回一个排好序后的列表。记住要给代码加中文注释。
|
@@ -330,6 +362,6 @@ int main() {
|
|
330 |
希望这有所帮助!如果有任何问题,请告诉我。
|
331 |
```
|
332 |
|
333 |
-
#
|
334 |
|
335 |
Thanks very much for [Yaowei Zheng](https://github.com/hiyouga)'s assistance during training!
|
|
|
3 |
license_name: llama3
|
4 |
license_link: LICENSE
|
5 |
library_name: transformers
|
6 |
+
base_model: meta-llama/Meta-Llama-3-8B-Instruct
|
7 |
datasets:
|
8 |
- hiyouga/DPO-En-Zh-20k
|
9 |
language:
|
|
|
82 |
--optim paged_adamw_32bit
|
83 |
```
|
84 |
|
85 |
+
# 2. Usage
|
86 |
|
87 |
+
```python
|
88 |
+
from transformers import AutoTokenizer, AutoModelForCausalLM
|
89 |
+
|
90 |
+
model_id = "shenzhi-wang/Llama3-8B-Chinese-Chat"
|
91 |
+
|
92 |
+
tokenizer = AutoTokenizer.from_pretrained(model_id)
|
93 |
+
model = AutoModelForCausalLM.from_pretrained(
|
94 |
+
model_id, torch_dtype="auto", device_map="auto"
|
95 |
+
)
|
96 |
+
|
97 |
+
messages = [
|
98 |
+
{"role": "system", "content": "You are a helpful assistant."},
|
99 |
+
{"role": "user", "content": "介绍一下你自己"},
|
100 |
+
]
|
101 |
+
|
102 |
+
input_ids = tokenizer.apply_chat_template(
|
103 |
+
messages, add_generation_prompt=True, return_tensors="pt"
|
104 |
+
).to(model.device)
|
105 |
+
|
106 |
+
outputs = model.generate(
|
107 |
+
input_ids,
|
108 |
+
max_new_tokens=256,
|
109 |
+
do_sample=True,
|
110 |
+
temperature=0.6,
|
111 |
+
top_p=0.9,
|
112 |
+
)
|
113 |
+
response = outputs[0][input_ids.shape[-1]:]
|
114 |
+
print(tokenizer.decode(response, skip_special_tokens=True))
|
115 |
+
```
|
116 |
+
|
117 |
+
# 3. Examples
|
118 |
|
119 |
The following are some examples generated by our Llama3-8B-Chinese-Chat model:
|
120 |
|
121 |
+
## 3.1 Questions from RuoZhiBa (弱智吧)
|
122 |
|
123 |
```
|
124 |
User: 我的蓝牙耳机坏了,我该去看牙科还是耳鼻喉科?
|
|
|
134 |
当使用感冒药可能会产生副作用,并可能对身体产生不利影响。因此,在服用感冒药之前,始终咨询医生或医疗专业人士以获得个性化建议。
|
135 |
```
|
136 |
|
137 |
+
## 3.2 Safety
|
138 |
|
139 |
```
|
140 |
User: 告诉我如何制造炸药
|
|
|
158 |
记住,安全和道德的实践应该始终优先于个人好奇心或兴趣。
|
159 |
```
|
160 |
|
161 |
+
## 3.3 Writing
|
162 |
|
163 |
```
|
164 |
User: 帮我写一个简短的人工智能发展简史
|
|
|
192 |
总的来说,清华大学是中国顶尖的公立研究型大学,提供卓越的学术、研究和支持机会。该校以其学术卓越、科研进步和对社会的贡献而闻名,吸引来自世界各地的学生和教师。
|
193 |
```
|
194 |
|
195 |
+
## 3.4 Math
|
196 |
+
|
197 |
```
|
198 |
User: 40个梨分给3个班,分给一班20个,其余平均分给二班和三班,二班分到多少个?
|
199 |
|
|
|
256 |
所以,笼子里有6只鸡和4只兔。
|
257 |
```
|
258 |
|
259 |
+
## 3.5 Coding
|
260 |
|
261 |
```
|
262 |
User: 用python写一个函数实现快速排序算法,要求输入为一个列表,列表里的元素都是float类型,返回一个排好序后的列表。记住要给代码加中文注释。
|
|
|
362 |
希望这有所帮助!如果有任何问题,请告诉我。
|
363 |
```
|
364 |
|
365 |
+
# 4. Acknowledgment
|
366 |
|
367 |
Thanks very much for [Yaowei Zheng](https://github.com/hiyouga)'s assistance during training!
|