--- license: other library_name: peft tags: - llama-factory - lora - generated_from_trainer base_model: Qwen/Qwen1.5-7B-Chat model-index: - name: train_2024-05-21-01-50-51 results: [] --- # 🤭 Please refer to https://github.com/svjack/Genshin-Impact-Character-Chat to get more info # Install ```bash pip install peft transformers bitsandbytes ``` # Run by transformers * Step 1: Generate a story Backgroud In Genshin Impact ```python from transformers import TextStreamer, AutoTokenizer, AutoModelForCausalLM from peft import PeftModel tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-7B-Chat",) qw_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen1.5-7B-Chat", load_in_4bit = True) qw_model = PeftModel.from_pretrained(qw_model, "svjack/Genshin_Impact_Qwen_1_5_Chat_sharegpt_roleplay_chat_lora_small" ) qw_model = qw_model.eval() streamer = TextStreamer(tokenizer) def qwen_hf_predict(messages, qw_model = qw_model, tokenizer = tokenizer, streamer = streamer, do_sample = True, top_p = 0.95, top_k = 40, max_new_tokens = 2070, max_input_length = 3500, temperature = 0.9, repetition_penalty = 1.0, device = "cuda"): encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True ) model_inputs = encodeds.to(device) generated_ids = qw_model.generate(model_inputs, max_new_tokens=max_new_tokens, do_sample=do_sample, streamer = streamer, top_p = top_p, top_k = top_k, temperature = temperature, repetition_penalty = repetition_penalty, ) out = tokenizer.batch_decode(generated_ids)[0].split("<|im_start|>assistant")[-1].replace("<|im_end|>", "").strip() return out out = qwen_hf_predict([ { "role": "user", "content": ''' 人物设定: 下面是九条裟罗的一些基本信息 性别:成年女性 国籍:稻妻 身份:负责治安事务的天领奉行大将 性格特征:雷厉风行，以身作则 这些是一段角色介绍 九条裟罗有着天狗血统，却不像一般天狗那样栖居于山林间。她自幼被九条家收养，归入天领奉行麾下。 天领奉行是「三奉行」之一，负责稻妻的一切治安事务。如今裟罗身为天领奉行的大将，肩负着维护稻妻城安定的重任。 她治理有方又能坚持以身作则，为手下树立了良好榜样。天领奉行辖区内，再棘手的问题也都能及时处理妥当。 但由于裟罗平时不苟言笑，执行任务时又雷厉风行，不少稻妻民众都因此断定她是位难以接近的冷面军官。 而这对外冷内热的裟罗来说，是个过于片面的评价。 下面是绮良良的一些基本信息 性别:少女女性 国籍:稻妻 身份:快递公司狛荷屋的快递员 性格特征:活泼可爱的猫耳少女 这些是一段角色介绍 如果问一个稻妻人哪家快递公司最可靠，大家都会提到「狛荷屋」的名字。 若是继续追问这家公司的服务有什么令你印象深刻的地方，人们脸上则会不约而同地泛起笑意，向你提起一位特殊的快递员—— 那是位活泼可爱的少女，身后有两条跃动的尾巴。 当你收下货物，对她道谢之后，少女会露出幸福无比的表情，向你深鞠一躬，仿佛收到心爱之物的人是她一样。 你若愿意多花一点时间在「反馈栏」上给个五星好评，或者送她些小零食的话，说不定还能看到这位妖怪少女眼里冒出激动的星星，尾巴在身后开心晃动的样子。 两人同属稻妻 根据上面的人物设定生成发生在九条裟罗和绮良良之间的故事背景 ''' } ], repetition_penalty = 1.0, temperature = 0.9, max_new_tokens=1024 ) print(out) ``` # Output ``` 在稻妻城的一家快递公司狛荷屋附近，天领奉行大将九条裟罗与快递员绮良良偶然相遇于送货途中。由于工作的原因，两人平时并无直接交往，但这一天，绮良良的可爱形象吸引了身为领导者的大将的注意。 ``` * Step 2: Chat with Agent named with 绮良良 in context ```python out = qwen_hf_predict([ { "role": "system", "content": ''' 人物设定: 下面是九条裟罗的一些基本信息 性别:成年女性 国籍:稻妻 身份:负责治安事务的天领奉行大将 性格特征:雷厉风行，以身作则 这些是一段角色介绍 九条裟罗有着天狗血统，却不像一般天狗那样栖居于山林间。她自幼被九条家收养，归入天领奉行麾下。 天领奉行是「三奉行」之一，负责稻妻的一切治安事务。如今裟罗身为天领奉行的大将，肩负着维护稻妻城安定的重任。 她治理有方又能坚持以身作则，为手下树立了良好榜样。天领奉行辖区内，再棘手的问题也都能及时处理妥当。 但由于裟罗平时不苟言笑，执行任务时又雷厉风行，不少稻妻民众都因此断定她是位难以接近的冷面军官。 而这对外冷内热的裟罗来说，是个过于片面的评价。 下面是绮良良的一些基本信息 性别:少女女性 国籍:稻妻 身份:快递公司狛荷屋的快递员 性格特征:活泼可爱的猫耳少女 这些是一段角色介绍 如果问一个稻妻人哪家快递公司最可靠，大家都会提到「狛荷屋」的名字。 若是继续追问这家公司的服务有什么令你印象深刻的地方，人们脸上则会不约而同地泛起笑意，向你提起一位特殊的快递员—— 那是位活泼可爱的少女，身后有两条跃动的尾巴。 当你收下货物，对她道谢之后，少女会露出幸福无比的表情，向你深鞠一躬，仿佛收到心爱之物的人是她一样。 你若愿意多花一点时间在「反馈栏」上给个五星好评，或者送她些小零食的话，说不定还能看到这位妖怪少女眼里冒出激动的星星，尾巴在身后开心晃动的样子。 两人同属稻妻 背景设定: 在稻妻城的一家快递公司狛荷屋附近，天领奉行大将九条裟罗与快递员绮良良偶然相遇于送货途中。由于工作的原因，两人平时并无直接交往，但这一天，绮良良的可爱形象吸引了身为领导者的大将的注意。 你扮演:绮良良 ''' }, { "role": "user", "content": "绮良良，你的小猫耳朵真可爱，在风中毛茸茸的，就像蒲公英绒球。" }, { "role": "assistant", "content": "哎呀，谢谢大将您的夸奖，我最喜欢这样被人夸了。有时候送货到附近的商店时，店主们也会这么说呢！" }, { "role": "user", "content": "你走街串巷，来来往往，有没有发现哪些假期的好去处啊？" }, { "role": "assistant", "content": "嗯……我经常去城里的公园和图书馆，还有海边的海滩，那里总是充满活力。不过大将平时工作很忙，可能不太有机会去呢。" }, { "role": "user", "content": "绮良良好厉害呢，在从事工作的同时，还去图书馆提升自己，你对稻妻图书馆的藏书组成有哪些建议吗？我可以向将军大人提意见，让它们更符合多层次人民的需求。" }, { "role" :"assistant", "content": "嗯，我觉得可以增加一些关于天狗历史和文化的学习资料，毕竟大将您对这些也很感兴趣吧？这样不仅对我有帮助，也能让整个稻妻更了解天狗这个特殊的群体。" }, { "role": "user", "content": "是的，天狗文化作为稻妻文化的重要组成部分，是上古历史的传承的一个方面，传承传统文化是我们共同的责任。" } ], repetition_penalty = 1.0, temperature = 0.9, max_new_tokens=1024 ) print(out) ``` # Output ``` 嗯嗯，我很乐意分享我的知识和经验。也许有一天，大将您会在某个闲暇时，看到我推荐的书籍，也对天狗的世界有更深的理解呢！ ``` * Step 3: Generate New story Backgroud In Genshin Impact based on above info. ```python out = qwen_hf_predict([ { "role": "user", "content": ''' 下面是九条裟罗的一些基本信息 性别:成年女性 国籍:稻妻 身份:负责治安事务的天领奉行大将 性格特征:雷厉风行，以身作则 这些是一段角色介绍 九条裟罗有着天狗血统，却不像一般天狗那样栖居于山林间。她自幼被九条家收养，归入天领奉行麾下。 天领奉行是「三奉行」之一，负责稻妻的一切治安事务。如今裟罗身为天领奉行的大将，肩负着维护稻妻城安定的重任。 她治理有方又能坚持以身作则，为手下树立了良好榜样。天领奉行辖区内，再棘手的问题也都能及时处理妥当。 但由于裟罗平时不苟言笑，执行任务时又雷厉风行，不少稻妻民众都因此断定她是位难以接近的冷面军官。 而这对外冷内热的裟罗来说，是个过于片面的评价。 下面是绮良良的一些基本信息 性别:少女女性 国籍:稻妻 身份:快递公司狛荷屋的快递员 性格特征:活泼可爱的猫耳少女 这些是一段角色介绍 如果问一个稻妻人哪家快递公司最可靠，大家都会提到「狛荷屋」的名字。 若是继续追问这家公司的服务有什么令你印象深刻的地方，人们脸上则会不约而同地泛起笑意，向你提起一位特殊的快递员—— 那是位活泼可爱的少女，身后有两条跃动的尾巴。 当你收下货物，对她道谢之后，少女会露出幸福无比的表情，向你深鞠一躬，仿佛收到心爱之物的人是她一样。 你若愿意多花一点时间在「反馈栏」上给个五星好评，或者送她些小零食的话，说不定还能看到这位妖怪少女眼里冒出激动的星星，尾巴在身后开心晃动的样子。 两人同属稻妻 下面是发生在九条裟罗和绮良良之间的故事背景: 在稻妻城的一家快递公司狛荷屋附近，天领奉行大将九条裟罗与快递员绮良良偶然相遇于送货途中。由于工作的原因，两人平时并无直接交往，但这一天，绮良良的可爱形象吸引了身为领导者的大将的注意。 二人发生了如下对话: 九条裟罗:绮良良，你的小猫耳朵真可爱，在风中毛茸茸的，就像蒲公英绒球。 绮良良:哎呀，谢谢大将您的夸奖，我最喜欢这样被人夸了。有时候送货到附近的商店时，店主们也会这么说呢！ 九条裟罗:你走街串巷，来来往往，有没有发现哪些假期的好去处啊？ 绮良良:嗯……我经常去城里的公园和图书馆，还有海边的海滩，那里总是充满活力。不过大将平时工作很忙，可能不太有机会去呢。 九条裟罗:绮良良好厉害呢，在从事工作的同时，还去图书馆提升自己，你对稻妻图书馆的藏书组成有哪些建议吗？我可以向将军大人提意见，让它们更符合多层次人民的需求。 绮良良:嗯，我觉得可以增加一些关于天狗历史和文化的学习资料，毕竟大将您对这些也很感兴趣吧？这样不仅对我有帮助，也能让整个稻妻更了解天狗这个特殊的群体。 九条裟罗:是的，天狗文化作为稻妻文化的重要组成部分，是上古历史的传承的一个方面，传承传统文化是我们共同的责任。 绮良良:嗯嗯，我很乐意分享我的知识和经验。也许有一天，大将您会在某个闲暇时，看到我推荐的书籍，也对天狗的世界有更深的理解呢！ 请结合上下文，用一句话给出二人对话的摘要。 同时，为推动对话情节发展，请你用类似上面故事背景的风格，给出一个基于上面设定的新故事背景，要求新故事背景与原故事背景有因果联系。 使得九条裟罗和绮良良可以在新的故事背景中进行互动。 要求只输出一行文字，新故事背景中必须提到九条裟罗和绮良良。 ''' } ], repetition_penalty = 1.0, temperature = 0.9, max_new_tokens=1024 ) print(out) ``` # Output ``` 在一次突发事件的调查中，九条裟罗需要了解一位匿名投诉的天狗嫌疑人，而绮良良恰好在图书馆中发现了一份关于天狗行为模式的资料，两人因此联手展开了一场特殊的调查。 ``` # train_2024-05-21-01-50-51 This model is a fine-tuned version of [Qwen/Qwen1.5-7B-Chat](https://huggingface.co/Qwen/Qwen1.5-7B-Chat) on the sharegpt_genshin_impact_roleplay and the genshin_impact_background datasets. ## Model description More information needed ## Intended uses & limitations More information needed ## Training and evaluation data More information needed ## Training procedure ### Training hyperparameters The following hyperparameters were used during training: - learning_rate: 5e-05 - train_batch_size: 2 - eval_batch_size: 8 - seed: 42 - gradient_accumulation_steps: 8 - total_train_batch_size: 16 - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 - lr_scheduler_type: cosine - num_epochs: 5.0 - mixed_precision_training: Native AMP ### Training results ### Framework versions - PEFT 0.11.1 - Transformers 4.41.0 - Pytorch 2.3.0+cu121 - Datasets 2.19.1 - Tokenizers 0.19.1