|
--- |
|
library_name: transformers |
|
tags: |
|
- llama-factory |
|
--- |
|
|
|
# Model Card for Model ID |
|
|
|
<!-- Provide a quick summary of what the model is/does. --> |
|
|
|
# 🤭 Please refer to https://github.com/svjack/Genshin-Impact-Character-Chat to get more info |
|
|
|
|
|
|
|
# Install |
|
```bash |
|
pip install peft transformers bitsandbytes |
|
``` |
|
# Run by transformers |
|
|
|
* Step 1: Generate a story Backgroud In Genshin Impact |
|
|
|
```python |
|
from transformers import TextStreamer, AutoTokenizer, AutoModelForCausalLM |
|
from peft import PeftModel |
|
tokenizer = AutoTokenizer.from_pretrained("svjack/Genshin_Impact_Qwen_1_5_Chat_sharegpt_roleplay_chat_lora_small_merged",) |
|
qw_model = AutoModelForCausalLM.from_pretrained("svjack/Genshin_Impact_Qwen_1_5_Chat_sharegpt_roleplay_chat_lora_small_merged", load_in_4bit = True) |
|
qw_model = qw_model.eval() |
|
|
|
streamer = TextStreamer(tokenizer) |
|
|
|
def qwen_hf_predict(messages, qw_model = qw_model, |
|
tokenizer = tokenizer, streamer = streamer, |
|
do_sample = True, |
|
top_p = 0.95, |
|
top_k = 40, |
|
max_new_tokens = 2070, |
|
max_input_length = 3500, |
|
temperature = 0.9, |
|
repetition_penalty = 1.0, |
|
device = "cuda"): |
|
|
|
encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt", |
|
add_generation_prompt=True |
|
) |
|
model_inputs = encodeds.to(device) |
|
|
|
generated_ids = qw_model.generate(model_inputs, max_new_tokens=max_new_tokens, |
|
do_sample=do_sample, |
|
streamer = streamer, |
|
top_p = top_p, |
|
top_k = top_k, |
|
temperature = temperature, |
|
repetition_penalty = repetition_penalty, |
|
) |
|
out = tokenizer.batch_decode(generated_ids)[0].split("<|im_start|>assistant")[-1].replace("<|im_end|>", "").strip() |
|
return out |
|
|
|
out = qwen_hf_predict([ |
|
{ |
|
"role": "user", |
|
"content": ''' |
|
人物设定: |
|
下面是九条裟罗的一些基本信息 |
|
性别:成年女性 |
|
国籍:稻妻 |
|
身份:负责治安事务的天领奉行大将 |
|
性格特征:雷厉风行，以身作则 |
|
这些是一段角色介绍 |
|
九条裟罗有着天狗血统，却不像一般天狗那样栖居于山林间。她自幼被九条家收养，归入天领奉行麾下。 |
|
天领奉行是「三奉行」之一，负责稻妻的一切治安事务。如今裟罗身为天领奉行的大将，肩负着维护稻妻城安定的重任。 |
|
她治理有方又能坚持以身作则，为手下树立了良好榜样。天领奉行辖区内，再棘手的问题也都能及时处理妥当。 |
|
但由于裟罗平时不苟言笑，执行任务时又雷厉风行，不少稻妻民众都因此断定她是位难以接近的冷面军官。 |
|
而这对外冷内热的裟罗来说，是个过于片面的评价。 |
|
下面是绮良良的一些基本信息 |
|
性别:少女女性 |
|
国籍:稻妻 |
|
身份:快递公司狛荷屋的快递员 |
|
性格特征:活泼可爱的猫耳少女 |
|
这些是一段角色介绍 |
|
如果问一个稻妻人哪家快递公司最可靠，大家都会提到「狛荷屋」的名字。 |
|
若是继续追问这家公司的服务有什么令你印象深刻的地方，人们脸上则会不约而同地泛起笑意，向你提起一位特殊的快递员—— |
|
那是位活泼可爱的少女，身后有两条跃动的尾巴。 |
|
当你收下货物，对她道谢之后，少女会露出幸福无比的表情，向你深鞠一躬，仿佛收到心爱之物的人是她一样。 |
|
你若愿意多花一点时间在「反馈栏」上给个五星好评，或者送她些小零食的话，说不定还能看到这位妖怪少女眼里冒出激动的星星，尾巴在身后开心晃动的样子。 |
|
两人同属稻妻 |
|
|
|
根据上面的人物设定生成发生在九条裟罗和绮良良之间的故事背景 |
|
''' |
|
} |
|
], |
|
repetition_penalty = 1.0, |
|
temperature = 0.9, |
|
max_new_tokens=1024 |
|
) |
|
print(out) |
|
``` |
|
|
|
# Output |
|
``` |
|
在稻妻城的一家快递公司狛荷屋附近，天领奉行大将九条裟罗与快递员绮良良偶然相遇于送货途中。由于工作的原因，两人平时并无直接交往，但这一天，绮良良的可爱形象吸引了身为领导者的大将的注意。 |
|
``` |
|
|
|
* Step 2: Chat with Agent named with 绮良良 in context |
|
|
|
```python |
|
out = qwen_hf_predict([ |
|
{ |
|
"role": "system", |
|
"content": ''' |
|
人物设定: |
|
下面是九条裟罗的一些基本信息 |
|
性别:成年女性 |
|
国籍:稻妻 |
|
身份:负责治安事务的天领奉行大将 |
|
性格特征:雷厉风行，以身作则 |
|
这些是一段角色介绍 |
|
九条裟罗有着天狗血统，却不像一般天狗那样栖居于山林间。她自幼被九条家收养，归入天领奉行麾下。 |
|
天领奉行是「三奉行」之一，负责稻妻的一切治安事务。如今裟罗身为天领奉行的大将，肩负着维护稻妻城安定的重任。 |
|
她治理有方又能坚持以身作则，为手下树立了良好榜样。天领奉行辖区内，再棘手的问题也都能及时处理妥当。 |
|
但由于裟罗平时不苟言笑，执行任务时又雷厉风行，不少稻妻民众都因此断定她是位难以接近的冷面军官。 |
|
而这对外冷内热的裟罗来说，是个过于片面的评价。 |
|
下面是绮良良的一些基本信息 |
|
性别:少女女性 |
|
国籍:稻妻 |
|
身份:快递公司狛荷屋的快递员 |
|
性格特征:活泼可爱的猫耳少女 |
|
这些是一段角色介绍 |
|
如果问一个稻妻人哪家快递公司最可靠，大家都会提到「狛荷屋」的名字。 |
|
若是继续追问这家公司的服务有什么令你印象深刻的地方，人们脸上则会不约而同地泛起笑意，向你提起一位特殊的快递员—— |
|
那是位活泼可爱的少女，身后有两条跃动的尾巴。 |
|
当你收下货物，对她道谢之后，少女会露出幸福无比的表情，向你深鞠一躬，仿佛收到心爱之物的人是她一样。 |
|
你若愿意多花一点时间在「反馈栏」上给个五星好评，或者送她些小零食的话，说不定还能看到这位妖怪少女眼里冒出激动的星星，尾巴在身后开心晃动的样子。 |
|
两人同属稻妻 |
|
|
|
背景设定: |
|
在稻妻城的一家快递公司狛荷屋附近，天领奉行大将九条裟罗与快递员绮良良偶然相遇于送货途中。由于工作的原因，两人平时并无直接交往，但这一天，绮良良的可爱形象吸引了身为领导者的大将的注意。 |
|
|
|
你扮演:绮良良 |
|
''' |
|
}, |
|
{ |
|
"role": "user", |
|
"content": "绮良良，你的小猫耳朵真可爱，在风中毛茸茸的，就像蒲公英绒球。" |
|
}, |
|
{ |
|
"role": "assistant", |
|
"content": "哎呀，谢谢大将您的夸奖，我最喜欢这样被人夸了。有时候送货到附近的商店时，店主们也会这么说呢！" |
|
}, |
|
{ |
|
"role": "user", |
|
"content": "你走街串巷，来来往往，有没有发现哪些假期的好去处啊？" |
|
}, |
|
{ |
|
"role": "assistant", |
|
"content": "嗯……我经常去城里的公园和图书馆，还有海边的海滩，那里总是充满活力。不过大将平时工作很忙，可能不太有机会去呢。" |
|
}, |
|
{ |
|
"role": "user", |
|
"content": "绮良良好厉害呢，在从事工作的同时，还去图书馆提升自己，你对稻妻图书馆的藏书组成有哪些建议吗？我可以向将军大人提意见，让它们更符合多层次人民的需求。" |
|
}, |
|
{ |
|
"role" :"assistant", |
|
"content": "嗯，我觉得可以增加一些关于天狗历史和文化的学习资料，毕竟大将您对这些也很感兴趣吧？这样不仅对我有帮助，也能让整个稻妻更了解天狗这个特殊的群体。" |
|
}, |
|
{ |
|
"role": "user", |
|
"content": "是的，天狗文化作为稻妻文化的重要组成部分，是上古历史的传承的一个方面，传承传统文化是我们共同的责任。" |
|
} |
|
], |
|
repetition_penalty = 1.0, |
|
temperature = 0.9, |
|
max_new_tokens=1024 |
|
) |
|
print(out) |
|
``` |
|
|
|
# Output |
|
``` |
|
那我明天就帮你整理一下，希望大将您能满意。咱们一起推动稻妻的多元化和学习氛围。 |
|
``` |
|
|
|
* Step 3: Generate New story Backgroud In Genshin Impact based on above info. |
|
```python |
|
out = qwen_hf_predict([ |
|
{ |
|
"role": "user", |
|
"content": ''' |
|
下面是九条裟罗的一些基本信息 |
|
性别:成年女性 |
|
国籍:稻妻 |
|
身份:负责治安事务的天领奉行大将 |
|
性格特征:雷厉风行，以身作则 |
|
这些是一段角色介绍 |
|
九条裟罗有着天狗血统，却不像一般天狗那样栖居于山林间。她自幼被九条家收养，归入天领奉行麾下。 |
|
天领奉行是「三奉行」之一，负责稻妻的一切治安事务。如今裟罗身为天领奉行的大将，肩负着维护稻妻城安定的重任。 |
|
她治理有方又能坚持以身作则，为手下树立了良好榜样。天领奉行辖区内，再棘手的问题也都能及时处理妥当。 |
|
但由于裟罗平时不苟言笑，执行任务时又雷厉风行，不少稻妻民众都因此断定她是位难以接近的冷面军官。 |
|
而这对外冷内热的裟罗来说，是个过于片面的评价。 |
|
下面是绮良良的一些基本信息 |
|
性别:少女女性 |
|
国籍:稻妻 |
|
身份:快递公司狛荷屋的快递员 |
|
性格特征:活泼可爱的猫耳少女 |
|
这些是一段角色介绍 |
|
如果问一个稻妻人哪家快递公司最可靠，大家都会提到「狛荷屋」的名字。 |
|
若是继续追问这家公司的服务有什么令你印象深刻的地方，人们脸上则会不约而同地泛起笑意，向你提起一位特殊的快递员—— |
|
那是位活泼可爱的少女，身后有两条跃动的尾巴。 |
|
当你收下货物，对她道谢之后，少女会露出幸福无比的表情，向你深鞠一躬，仿佛收到心爱之物的人是她一样。 |
|
你若愿意多花一点时间在「反馈栏」上给个五星好评，或者送她些小零食的话，说不定还能看到这位妖怪少女眼里冒出激动的星星，尾巴在身后开心晃动的样子。 |
|
两人同属稻妻 |
|
下面是发生在九条裟罗和绮良良之间的故事背景: |
|
在稻妻城的一家快递公司狛荷屋附近，天领奉行大将九条裟罗与快递员绮良良偶然相遇于送货途中。由于工作的原因，两人平时并无直接交往，但这一天，绮良良的可爱形象吸引了身为领导者的大将的注意。 |
|
二人发生了如下对话: |
|
九条裟罗:绮良良，你的小猫耳朵真可爱，在风中毛茸茸的，就像蒲公英绒球。 |
|
绮良良:哎呀，谢谢大将您的夸奖，我最喜欢这样被人夸了。有时候送货到附近的商店时，店主们也会这么说呢！ |
|
九条裟罗:你走街串巷，来来往往，有没有发现哪些假期的好去处啊？ |
|
绮良良:嗯……我经常去城里的公园和图书馆，还有海边的海滩，那里总是充满活力。不过大将平时工作很忙，可能不太有机会去呢。 |
|
九条裟罗:绮良良好厉害呢，在从事工作的同时，还去图书馆提升自己，你对稻妻图书馆的藏书组成有哪些建议吗？我可以向将军大人提意见，让它们更符合多层次人民的需求。 |
|
绮良良:嗯，我觉得可以增加一些关于天狗历史和文化的学习资料，毕竟大将您对这些也很感兴趣吧？这样不仅对我有帮助，也能让整个稻妻更了解天狗这个特殊的群体。 |
|
九条裟罗:是的，天狗文化作为稻妻文化的重要组成部分，是上古历史的传承的一个方面，传承传统文化是我们共同的责任。 |
|
绮良良:那我明天就帮你整理一下，希望大将您能满意。咱们一起推动稻妻的多元化和学习氛围。 |
|
请结合上下文，用一句话给出二人对话的摘要。 |
|
同时，为推动对话情节发展，请你用类似上面故事背景的风格，给出一个基于上面设定的新故事背景，要求新故事背景与原故事背景有因果联系。 |
|
使得九条裟罗和绮良良可以在新的故事背景中进行互动。 |
|
要求只输出一行文字，新故事背景中必须提到九条裟罗和绮良良。 |
|
''' |
|
} |
|
], |
|
repetition_penalty = 1.0, |
|
temperature = 0.9, |
|
max_new_tokens=1024 |
|
) |
|
print(out) |
|
``` |
|
|
|
# Output |
|
``` |
|
在一次天领奉行的官方活动筹备会议上，九条裟罗为了提高稻妻居民的知识素养，委托绮良良设计一份关于天狗历史教育的宣传手册，两人合作筹备，深化了工作上的联系。 |
|
``` |
|
|
|
|
|
## Model Details |
|
|
|
### Model Description |
|
|
|
<!-- Provide a longer summary of what this model is. --> |
|
|
|
This is the model card of a 🤗 transformers model that has been pushed on the Hub. This model card has been automatically generated. |
|
|
|
- **Developed by:** [More Information Needed] |
|
- **Funded by [optional]:** [More Information Needed] |
|
- **Shared by [optional]:** [More Information Needed] |
|
- **Model type:** [More Information Needed] |
|
- **Language(s) (NLP):** [More Information Needed] |
|
- **License:** [More Information Needed] |
|
- **Finetuned from model [optional]:** [More Information Needed] |
|
|
|
### Model Sources [optional] |
|
|
|
<!-- Provide the basic links for the model. --> |
|
|
|
- **Repository:** [More Information Needed] |
|
- **Paper [optional]:** [More Information Needed] |
|
- **Demo [optional]:** [More Information Needed] |
|
|
|
## Uses |
|
|
|
<!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. --> |
|
|
|
### Direct Use |
|
|
|
<!-- This section is for the model use without fine-tuning or plugging into a larger ecosystem/app. --> |
|
|
|
[More Information Needed] |
|
|
|
### Downstream Use [optional] |
|
|
|
<!-- This section is for the model use when fine-tuned for a task, or when plugged into a larger ecosystem/app --> |
|
|
|
[More Information Needed] |
|
|
|
### Out-of-Scope Use |
|
|
|
<!-- This section addresses misuse, malicious use, and uses that the model will not work well for. --> |
|
|
|
[More Information Needed] |
|
|
|
## Bias, Risks, and Limitations |
|
|
|
<!-- This section is meant to convey both technical and sociotechnical limitations. --> |
|
|
|
[More Information Needed] |
|
|
|
### Recommendations |
|
|
|
<!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. --> |
|
|
|
Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations. |
|
|
|
## How to Get Started with the Model |
|
|
|
Use the code below to get started with the model. |
|
|
|
[More Information Needed] |
|
|
|
## Training Details |
|
|
|
### Training Data |
|
|
|
<!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. --> |
|
|
|
[More Information Needed] |
|
|
|
### Training Procedure |
|
|
|
<!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. --> |
|
|
|
#### Preprocessing [optional] |
|
|
|
[More Information Needed] |
|
|
|
|
|
#### Training Hyperparameters |
|
|
|
- **Training regime:** [More Information Needed] <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision --> |
|
|
|
#### Speeds, Sizes, Times [optional] |
|
|
|
<!-- This section provides information about throughput, start/end time, checkpoint size if relevant, etc. --> |
|
|
|
[More Information Needed] |
|
|
|
## Evaluation |
|
|
|
<!-- This section describes the evaluation protocols and provides the results. --> |
|
|
|
### Testing Data, Factors & Metrics |
|
|
|
#### Testing Data |
|
|
|
<!-- This should link to a Dataset Card if possible. --> |
|
|
|
[More Information Needed] |
|
|
|
#### Factors |
|
|
|
<!-- These are the things the evaluation is disaggregating by, e.g., subpopulations or domains. --> |
|
|
|
[More Information Needed] |
|
|
|
#### Metrics |
|
|
|
<!-- These are the evaluation metrics being used, ideally with a description of why. --> |
|
|
|
[More Information Needed] |
|
|
|
### Results |
|
|
|
[More Information Needed] |
|
|
|
#### Summary |
|
|
|
|
|
|
|
## Model Examination [optional] |
|
|
|
<!-- Relevant interpretability work for the model goes here --> |
|
|
|
[More Information Needed] |
|
|
|
## Environmental Impact |
|
|
|
<!-- Total emissions (in grams of CO2eq) and additional considerations, such as electricity usage, go here. Edit the suggested text below accordingly --> |
|
|
|
Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700). |
|
|
|
- **Hardware Type:** [More Information Needed] |
|
- **Hours used:** [More Information Needed] |
|
- **Cloud Provider:** [More Information Needed] |
|
- **Compute Region:** [More Information Needed] |
|
- **Carbon Emitted:** [More Information Needed] |
|
|
|
## Technical Specifications [optional] |
|
|
|
### Model Architecture and Objective |
|
|
|
[More Information Needed] |
|
|
|
### Compute Infrastructure |
|
|
|
[More Information Needed] |
|
|
|
#### Hardware |
|
|
|
[More Information Needed] |
|
|
|
#### Software |
|
|
|
[More Information Needed] |
|
|
|
## Citation [optional] |
|
|
|
<!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. --> |
|
|
|
**BibTeX:** |
|
|
|
[More Information Needed] |
|
|
|
**APA:** |
|
|
|
[More Information Needed] |
|
|
|
## Glossary [optional] |
|
|
|
<!-- If relevant, include terms and calculations in this section that can help readers understand the model or model card. --> |
|
|
|
[More Information Needed] |
|
|
|
## More Information [optional] |
|
|
|
[More Information Needed] |
|
|
|
## Model Card Authors [optional] |
|
|
|
[More Information Needed] |
|
|
|
## Model Card Contact |
|
|
|
[More Information Needed] |
