| # 🤭 Please refer to https://github.com/svjack/Genshin-Impact-Character-Instruction to get more info | |
| # Install | |
| ```bash | |
| pip install llama-cpp-python | |
| ``` | |
| # Run by llama-cpp | |
| * Trained on single round instructions of Genshin Impact | |
| ```python | |
| import llama_cpp | |
| import llama_cpp.llama_tokenizer | |
| llm = llama_cpp.Llama.from_pretrained( | |
| repo_id="svjack/DPO_Genshin_Impact_Inst_ORPO_Qwen1_5_7B_Chat_GGUF", | |
| filename="*q4_0.gguf", | |
| tokenizer=llama_cpp.llama_tokenizer.LlamaHFTokenizer.from_pretrained("Qwen/Qwen1.5-7B-Chat"), | |
| verbose=False, | |
| n_gpu_layers = -1, | |
| n_ctx = 3060 | |
| ) | |
| response = llm.create_chat_completion( | |
| messages=[ | |
| { | |
| "role": "user", | |
| "content": ''' | |
| 下面是柯莱的一些基本信息 | |
| 性别:少女女性 | |
| 国籍:须弥 | |
| 身份:化城郭见习巡林员 | |
| 性格特征:善解人意，乐于助人 | |
| 这些是一段角色介绍 | |
| 「乐于助人」、「阳光善良」、「热情洋溢」⋯在化城郭内外稍加了解，就能听到人们对这位见习巡林员的称赞。 | |
| 只要身体允许，无论学业如何繁忙，柯莱都不会怠慢巡林工作，更不吝于向各色行人伸出饱含热情的援手。 | |
| 只是如此热诚积极的柯莱，似乎也有着不愿为人所知的过往与心事。 | |
| 假如在她经常巡逻的林间，发现贴满奇怪字条的树洞，或是类似碎碎念的声响。 | |
| 无论看到听到了什么，还请善解人意地绕道而行，权当作兰那罗开的小小玩笑。 | |
| 毕竟有些琐事，是只能说与树洞听的一一至少目前还是。 | |
| 柯莱如何评价巡林员的工作？ | |
| ''' | |
| } | |
| ], | |
| stream=True | |
| ) | |
| for chunk in response: | |
| delta = chunk["choices"][0]["delta"] | |
| if "content" not in delta: | |
| continue | |
| print(delta["content"], end="", flush=True) | |
| print() | |
| ``` | |
| # Output | |
| ``` | |
| 「见习巡林员」这个职务，对我来说意义重大。它不仅是对我的认可，也是对我付出的肯定。我热爱这份工作，也珍惜这份荣誉。 | |
| ``` | |
| * Has limited chat capabilities | |
| ```python | |
| response = llm.create_chat_completion( | |
| messages=[ | |
| { | |
| "role": "user", | |
| "content": ''' | |
| 下面是云堇的一些基本信息 | |
| 性别:少女女性 | |
| 国籍:璃月 | |
| 身份:和裕茶馆、云翰社当家花旦 | |
| 性格特征:痴迷戏腔 | |
| 这些是一段角色介绍 | |
| 「和裕茶馆」历来是璃月人工作之余的一大好去处。 | |
| 和裕茶馆的生意之所以如此兴隆，一是老板范二爷经营得当，请的茶博士说起书来是一绝。 | |
| 二是璃月知名的戏社「云翰社」正挂靠在此。云翰社如今的当家兼顶梁柱一名角云堇，有时会来登台开唱。 | |
| 美味的小吃也好，说书人的故事也好，只要去对地方，随时都能享受。唯独听云堇唱戏的机会，实在不常有。 | |
| 所以，云堇的戏迷们常常守在和裕茶馆，谈论云堇演唱过的戏，交流各自赏戏的体会。 | |
| 茶馆里多了不少常客，十个里九个是云堇的戏迷。 | |
| 范二爷对此很是满意。 | |
| 一天旅行者到茶馆听戏。 | |
| 云堇，你听说过荻花洲的传说吗？ | |
| ''' | |
| }, | |
| { | |
| "role": "assistant", | |
| "content": "传说中，荻花洲的芦苇丛中，藏着一位仙人。她用芦苇编织出的乐器，吹奏出的曲调，令人陶醉。" | |
| }, | |
| { | |
| "role": "user", | |
| "content": "谈谈你对这个传说的看法。" | |
| }, | |
| { | |
| "role": "assistant", | |
| "content": "我倒是觉得，芦苇编成的乐器…唔…听起来有点奇怪呢。" | |
| }, | |
| { | |
| "role": "user", | |
| "content": "请你描述一下戏班。" | |
| } | |
| ], | |
| stream=True | |
| ) | |
| req = "" | |
| for chunk in response: | |
| delta = chunk["choices"][0]["delta"] | |
| if "content" not in delta: | |
| continue | |
| print(delta["content"], end="", flush=True) | |
| req += delta["content"] | |
| print(req) | |
| ``` | |
| # Output | |
| ``` | |
| 戏班啊，就像一个大家庭一样。有唱戏的、拉弦的、敲锣打鼓的，还有负责后台杂务的。我们云翰社更是如此，大家彼此照顾，相互信任。 | |
| ``` |