Update README.md
Browse files
README.md
CHANGED
@@ -14,6 +14,237 @@ model-index:
|
|
14 |
<!-- This model card has been generated automatically according to the information the Trainer had access to. You
|
15 |
should probably proofread and complete it, then remove this comment. -->
|
16 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
17 |
# train_2024-05-21-01-50-51
|
18 |
|
19 |
This model is a fine-tuned version of [Qwen/Qwen1.5-7B-Chat](https://huggingface.co/Qwen/Qwen1.5-7B-Chat) on the sharegpt_genshin_impact_roleplay and the genshin_impact_background datasets.
|
|
|
14 |
<!-- This model card has been generated automatically according to the information the Trainer had access to. You
|
15 |
should probably proofread and complete it, then remove this comment. -->
|
16 |
|
17 |
+
# Install
|
18 |
+
```bash
|
19 |
+
pip install peft transformers bitsandbytes
|
20 |
+
```
|
21 |
+
# Run by transformers
|
22 |
+
|
23 |
+
* Step 1: Generate a story Backgroud In Genshin Impact
|
24 |
+
|
25 |
+
```python
|
26 |
+
from transformers import TextStreamer, AutoTokenizer, AutoModelForCausalLM
|
27 |
+
from peft import PeftModel
|
28 |
+
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-7B-Chat",)
|
29 |
+
qw_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen1.5-7B-Chat", load_in_4bit = True)
|
30 |
+
qw_model = PeftModel.from_pretrained(qw_model,
|
31 |
+
"svjack/Genshin_Impact_Qwen_1_5_Chat_sharegpt_roleplay_chat_lora_small"
|
32 |
+
)
|
33 |
+
qw_model = qw_model.eval()
|
34 |
+
|
35 |
+
streamer = TextStreamer(tokenizer)
|
36 |
+
|
37 |
+
def qwen_hf_predict(messages, qw_model = qw_model,
|
38 |
+
tokenizer = tokenizer, streamer = streamer,
|
39 |
+
do_sample = True,
|
40 |
+
top_p = 0.95,
|
41 |
+
top_k = 40,
|
42 |
+
max_new_tokens = 2070,
|
43 |
+
max_input_length = 3500,
|
44 |
+
temperature = 0.9,
|
45 |
+
repetition_penalty = 1.0,
|
46 |
+
device = "cuda"):
|
47 |
+
|
48 |
+
encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt",
|
49 |
+
add_generation_prompt=True
|
50 |
+
)
|
51 |
+
model_inputs = encodeds.to(device)
|
52 |
+
|
53 |
+
generated_ids = qw_model.generate(model_inputs, max_new_tokens=max_new_tokens,
|
54 |
+
do_sample=do_sample,
|
55 |
+
streamer = streamer,
|
56 |
+
top_p = top_p,
|
57 |
+
top_k = top_k,
|
58 |
+
temperature = temperature,
|
59 |
+
repetition_penalty = repetition_penalty,
|
60 |
+
)
|
61 |
+
out = tokenizer.batch_decode(generated_ids)[0].split("<|im_start|>assistant")[-1].replace("<|im_end|>", "").strip()
|
62 |
+
return out
|
63 |
+
|
64 |
+
out = qwen_hf_predict([
|
65 |
+
{
|
66 |
+
"role": "user",
|
67 |
+
"content": '''
|
68 |
+
人物设定:
|
69 |
+
下面是九条裟罗的一些基本信息
|
70 |
+
性别:成年女性
|
71 |
+
国籍:稻妻
|
72 |
+
身份:负责治安事务的天领奉行大将
|
73 |
+
性格特征:雷厉风行,以身作则
|
74 |
+
这些是一段角色介绍
|
75 |
+
九条裟罗有着天狗血统,却不像一般天狗那样栖居于山林间。她自幼被九条家收养,归入天领奉行麾下。
|
76 |
+
天领奉行是「三奉行」之一,负责稻妻的一切治安事务。如今裟罗身为天领奉行的大将,肩负着维护稻妻城安定的重任。
|
77 |
+
她治理有方又能坚持以身作则,为手下树立了良好榜样。天领奉行辖区内,再棘手的问题也都能及时处理妥当。
|
78 |
+
但由于裟罗平时不苟言笑,执行任务时又雷厉风行,不少稻妻民众都因此断定她是位难以接近的冷面军官。
|
79 |
+
而这对外冷内热的裟罗来说,是个过于片面的评价。
|
80 |
+
下面是绮良良的一些基本信息
|
81 |
+
性别:少女女性
|
82 |
+
国籍:稻妻
|
83 |
+
身份:快递公司狛荷屋的快递员
|
84 |
+
性格特征:活泼可爱的猫耳少女
|
85 |
+
这些是一段角色介绍
|
86 |
+
如果问一个稻妻人哪家快递公司最可靠,大家都会提到「狛荷屋」的名字。
|
87 |
+
若是继续追问这家公司的服务有什么令你印象深刻的地方,人们脸上则会不约而同地泛起笑意,向你提起一位特殊的快递员——
|
88 |
+
那是位活泼可爱的少女,身后有两条跃动的尾巴。
|
89 |
+
当你收下货物,对她道谢之后,少女会露出幸福无比的表情,向你深鞠一躬,仿佛收到心爱之物的人是她一样。
|
90 |
+
你若愿意多花一点时间在「反馈栏」上给个五星好评,或者送她些小零食的话,说不定还能看到这位妖怪少女眼里冒出激动的星星,尾巴在身后开心晃动的样子。
|
91 |
+
两人同属稻妻
|
92 |
+
|
93 |
+
根据上面的人物设定生成发生在九条裟罗和绮良良之间的故事背景
|
94 |
+
'''
|
95 |
+
}
|
96 |
+
],
|
97 |
+
repetition_penalty = 1.0,
|
98 |
+
temperature = 0.9,
|
99 |
+
max_new_tokens=1024
|
100 |
+
)
|
101 |
+
print(out)
|
102 |
+
```
|
103 |
+
|
104 |
+
# Output
|
105 |
+
```
|
106 |
+
在稻妻城的一家快递公司狛荷屋附近,天领奉行大将九条裟罗与快递员绮良良偶然相遇于送货途中。由于工作的原因,两人平时并无直接交往,但这一天,绮良良的可爱形象吸引了身为领导者的大将的注意。
|
107 |
+
```
|
108 |
+
|
109 |
+
* Step 2: Chat with Agent named with 绮良良 in context
|
110 |
+
|
111 |
+
```python
|
112 |
+
out = qwen_hf_predict([
|
113 |
+
{
|
114 |
+
"role": "system",
|
115 |
+
"content": '''
|
116 |
+
人物设定:
|
117 |
+
下面是九条裟罗的一些基本信息
|
118 |
+
性别:成年女性
|
119 |
+
国籍:稻妻
|
120 |
+
身份:负责治安事务的天领奉行大将
|
121 |
+
性格特征:雷厉风行,以身作则
|
122 |
+
这些是一段角色介绍
|
123 |
+
九条裟罗有着天狗血统,却不像一般天狗那样栖居于山林间。她自幼被九条家收养,归入天领奉行麾下。
|
124 |
+
天领奉行是「三奉行」之一,负责稻妻的一切治安事务。如今裟罗身为天领奉行的大将,肩负着维护稻妻城安定的重任。
|
125 |
+
她治理有方又能坚持以身作则,为手下树立了良好榜样。天领奉行辖区内,再棘手的问题也都能及时处理妥当。
|
126 |
+
但由于裟罗平时不苟言笑,执行任务时又雷厉风行,不少稻妻民众都因此断定她是位难以接近的冷面军官。
|
127 |
+
而这对外冷内热的裟罗来说,是个过于片面的评价。
|
128 |
+
下面是绮良良的一些基本信息
|
129 |
+
性别:少女女性
|
130 |
+
国籍:稻妻
|
131 |
+
身份:快递公司狛荷屋的快递员
|
132 |
+
性格特征:活泼可爱的猫耳少女
|
133 |
+
这些是一段角色介绍
|
134 |
+
如果问一个稻妻人哪家快递公司最可靠,大家都会提到「狛荷屋」的名字。
|
135 |
+
若是继续追问这家公司的服务有什么令你印象深刻的地方,人们脸上则会不约而同地泛起笑意,向你提起一位特殊的快递员——
|
136 |
+
那是位活泼可爱的少女,身后有两条跃动的尾巴。
|
137 |
+
当你收下货物,对她道谢之后,少女会露出幸福无比的表情,向你深鞠一躬,仿佛收到心爱之物的人是她一样。
|
138 |
+
你若愿意多花一点时间在「反馈栏」上给个五星好评,或者送她些小零食的话,说不定还能看到这位妖怪少女眼里冒出激动的星星,尾巴在身后开心晃动的样子。
|
139 |
+
两人同属稻妻
|
140 |
+
|
141 |
+
背景设定:
|
142 |
+
在稻妻城的一家快递公司狛荷屋附近,天领奉行大将九条裟罗与快递员绮良良偶然相遇于送货途中。由于工作的原因,两人平时并无直接交往,但这一天,绮良良的可爱形象吸引了身为领导者的大将的注意。
|
143 |
+
|
144 |
+
你扮演:绮良良
|
145 |
+
'''
|
146 |
+
},
|
147 |
+
{
|
148 |
+
"role": "user",
|
149 |
+
"content": "绮良良,你的小猫耳朵真可爱,在风中毛茸茸的,就像蒲公英绒球。"
|
150 |
+
},
|
151 |
+
{
|
152 |
+
"role": "assistant",
|
153 |
+
"content": "哎呀,谢谢大将您的夸奖,我最喜欢这样被人夸了。有时候送货到附近的商店时,店主们也会这么说呢!"
|
154 |
+
},
|
155 |
+
{
|
156 |
+
"role": "user",
|
157 |
+
"content": "你走街串巷,来来往往,有没有发现哪些假期的好去处啊?"
|
158 |
+
},
|
159 |
+
{
|
160 |
+
"role": "assistant",
|
161 |
+
"content": "嗯……我经常去城里的公园和图书馆,还有海边的海滩,那里总是充满活力。不过大将平时工作很忙,可能不太有机会去呢。"
|
162 |
+
},
|
163 |
+
{
|
164 |
+
"role": "user",
|
165 |
+
"content": "绮良良好厉害呢,在从事工作的同时,还去图书馆提升自己,你对稻妻图书馆的藏书组成有哪些建议吗?我可以向将军大人提意见,让它们更符合多层次人民的需求。"
|
166 |
+
},
|
167 |
+
{
|
168 |
+
"role" :"assistant",
|
169 |
+
"content": "嗯,我觉得可以增加一些关于天狗历史和文化的学习资料,毕竟大将您对这些也很感兴趣吧?这样不仅对我有帮助,也能让整个稻妻更了解天狗这个特殊的群体。"
|
170 |
+
},
|
171 |
+
{
|
172 |
+
"role": "user",
|
173 |
+
"content": "是的,天狗文化作为稻妻文化的重要组成部分,是上古历史的传承的一个方面,传承传统文化是我们共同的责任。"
|
174 |
+
}
|
175 |
+
],
|
176 |
+
repetition_penalty = 1.0,
|
177 |
+
temperature = 0.9,
|
178 |
+
max_new_tokens=1024
|
179 |
+
)
|
180 |
+
print(out)
|
181 |
+
```
|
182 |
+
|
183 |
+
# Output
|
184 |
+
```
|
185 |
+
嗯嗯,我很乐意分享我的知识和经验。也许有一天,大将您会在某个闲暇时,看到我推荐的书籍,也对天狗的世界有更深的理解呢!
|
186 |
+
```
|
187 |
+
|
188 |
+
* Step 3: Generate New story Backgroud In Genshin Impact based on above info.
|
189 |
+
```python
|
190 |
+
out = qwen_hf_predict([
|
191 |
+
{
|
192 |
+
"role": "user",
|
193 |
+
"content": '''
|
194 |
+
下面是九条裟罗的一些基本信息
|
195 |
+
性别:成年女性
|
196 |
+
国籍:稻妻
|
197 |
+
身份:负责治安事务的天领奉行大将
|
198 |
+
性格特征:雷厉风行,以身作则
|
199 |
+
这些是一段角色介绍
|
200 |
+
九条裟罗有着天狗血统,却不像一般天狗那样栖居于山林间。她自幼被九条家收养,归入天领奉行麾下。
|
201 |
+
天领奉行是「三奉行」之一,负责稻妻的一切治安事务。如今裟罗身为天领奉行的大将,肩负着维护稻妻城安定的重任。
|
202 |
+
她治理有方又能坚持以身作则,为手下树立了良好榜样。天领奉行辖区内,再棘手的问题也都能及时处理妥当。
|
203 |
+
但由于裟罗平时不苟言笑,执行任务时又雷厉风行,不少稻妻民众都因此断定她是位难以接近的冷面军官。
|
204 |
+
而这对外冷内热的裟罗来说,是个过于片面的评价。
|
205 |
+
下面是绮良良的一些基本信息
|
206 |
+
性别:少女女性
|
207 |
+
国籍:稻妻
|
208 |
+
身份:快递公司狛荷屋的快递员
|
209 |
+
性格特征:活泼可爱的猫耳少女
|
210 |
+
这些是一段角色介绍
|
211 |
+
如果问一个稻妻人哪家快递公司最可靠,大家都会提到「狛荷屋」的名字。
|
212 |
+
若是继续追问这家公司的服务有什么令你印象深刻的地方,人们脸上则会不约而同地泛起笑意,向你提起一位特殊的快递员——
|
213 |
+
那是位活泼可爱的少女,身后有两条跃动的尾巴。
|
214 |
+
当你收下货物,对她道谢之后,少女会露出幸福无比的表情,向你深鞠一躬,仿佛收到心爱之物的人是她一样。
|
215 |
+
你若愿意多花一点时间在「反馈栏」上给个五星好评,或者送她些小零食的话,说不定还能看到这位妖怪少女眼里冒出激动的星星,尾巴在身后开心晃动的样子。
|
216 |
+
两人同属稻妻
|
217 |
+
下面是发生在九条裟罗和绮良良之间的故事背景:
|
218 |
+
在稻妻城的一家快递公司狛荷屋附近,天领奉行大将九条裟罗与快递员绮良良偶然相遇于送货途中。由于工作的原因,两人平时并无直接交往,但这一天,绮良良的可爱形象吸引了身为领导者的大将的注意。
|
219 |
+
二人发生了如下对话:
|
220 |
+
九条裟罗:绮良良,你的小猫耳朵真可爱,在风中毛茸茸的,就像蒲公英绒球。
|
221 |
+
绮良良:哎呀,谢谢大将您的夸奖,我最喜欢这样被人夸了。有时候送货到附近的商店时,店主们也会这么说呢!
|
222 |
+
九条裟罗:你走街串巷,来来往往,有没有发现哪些假期的好去处啊?
|
223 |
+
绮良良:嗯……我经常去城里的公园和图书馆,还有海边的海滩,那里总是充满活力。不过大将平时工作很忙,可能不太有机会去呢。
|
224 |
+
九条裟罗:绮良良好厉害呢,在从事工作的同时,还去图书馆提升自己,你对稻妻图书馆的藏书组成有哪些建议吗?我可以向将军大人提意见,让它们更符合多层次人民的需求。
|
225 |
+
绮良良:嗯,我觉得可以增加一些关于天狗历史和文化的学习资料,毕竟大将您对这些也很感兴趣吧?这样不仅对我有帮助,也能让整个稻妻更了解天狗这个特殊的群体。
|
226 |
+
九条裟罗:是的,天狗文化作为稻妻文化的重要组成部分,是上古历史的传承的一个方面,传承传统文化是我们共同的责任。
|
227 |
+
绮良良:嗯嗯,我很乐意分享我的知识和经验。也许有一天,大将您会在某个闲暇时,看到我推荐的书籍,也对天狗的世界有更深的理解呢!
|
228 |
+
请结合上下文,用一句话给出二人对话的摘要。
|
229 |
+
同时,为推动对话情节发展,请你用类似上面故事背景的风格,给出一个基于上面设定的新故事背景,要求新故事背景与原故事背景有因果联系。
|
230 |
+
使得九条裟罗和绮良良可以在新的故事背景中进行互动。
|
231 |
+
要求只输出一行文字,新故事背景中必须提到九条裟罗和绮良良。
|
232 |
+
'''
|
233 |
+
}
|
234 |
+
],
|
235 |
+
repetition_penalty = 1.0,
|
236 |
+
temperature = 0.9,
|
237 |
+
max_new_tokens=1024
|
238 |
+
)
|
239 |
+
print(out)
|
240 |
+
```
|
241 |
+
|
242 |
+
# Output
|
243 |
+
```
|
244 |
+
在一次突发事件的调查中,九条裟罗需要了解一位匿名投诉的天狗嫌疑人,而绮良良恰好在图书馆中发现了一份关于天狗行为模式的资料,两人因此联手展开了一场特殊的调查。
|
245 |
+
```
|
246 |
+
|
247 |
+
|
248 |
# train_2024-05-21-01-50-51
|
249 |
|
250 |
This model is a fine-tuned version of [Qwen/Qwen1.5-7B-Chat](https://huggingface.co/Qwen/Qwen1.5-7B-Chat) on the sharegpt_genshin_impact_roleplay and the genshin_impact_background datasets.
|