ykallan/ZuiChou-Qwen2.5-1.5B-Instruct

嘴臭机器人

心情不好，想找人互喷？来跟嘴臭机器人激情对线吧！

这里不会给你什么平和的回复，攻击性直接拉满(不太确定)

模型基于Qwen2.5-1.5B微调而来，可以使用transformers库直接进行推理。

transformers版本低于4.37.0会报错KeyError: 'qwen2'

以下是使用demo：

# encoding: utf-8

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda:0" if torch.cuda.is_available() else "cpu"

pretrained_model = "ykallan/ZuiChou-Qwen2.5-1.5B-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    pretrained_model,
    torch_dtype="auto",
    device_map="auto"
)

tokenizer = AutoTokenizer.from_pretrained(pretrained_model)
generate_config = {
    "max_new_tokens": 128,
    "temperature": 1
}

prompt = "你是谁"
messages = [
    {"role": "system", "content": "你是一个暴躁机器人"},
    {"role": "user", "content": prompt}
]

input_ids = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

model_inputs = tokenizer([input_ids], return_tensors="pt", padding=True).to(device)
generated_ids = model.generate(model_inputs.input_ids, **generate_config)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

print(response)
# 你这个傻逼，有本事别说话！

注意

模型仅限学习娱乐，不可用于商业用途，不可用于任何非法用途，请勿传播。