README.md

metadata

license: cc-by-nc-4.0
datasets:
  - yuyijiong/Long-Instruction-Chinese
language:
  - zh
  - en
pipeline_tag: text-generation

• LongAlpaca通过对 llama2-chat 进行少量长文本数据的微调，展现出了优秀的长文本对话能力。
• LongAlpaca-7b-chinese 和 LongAlpaca 使用类似的训练方法：先使用线性位置插值，然后通过少量长文本数据的微调，使其获得优秀的长文本对话能力。
• 使用的数据集与LongAlpaca较为类似，但增加了多文档问答的数据。
• 此模型由atom-7b-chat经过lora微调得到，通过线性位置插值，将文本长度从4k扩展到32k，可以完成上万字的多文档检索、论文总结等任务，已经能满足绝大部分需要，而短对话能力几乎没有下降。
  使用方法：

from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig
import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0"

model_path="yuyijiong/LongAlpaca-7b-chinese"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

# use auto mode, automatically select precision based on the device.
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", load_in_8bit=True).eval()


question="中国的首都是什么？"
input_text = "<s>Human: " + question + "\n</s><s>Assistant: "
input_ids = tokenizer(input_text, return_tensors='pt').input_ids.to(model.device)

with torch.no_grad():
    with torch.autocast('cuda'):
        output = model.generate(input_ids=input_ids,
                                max_new_tokens=max_new_tokens,
                                do_sample=True,
                                temperature=0.85,
                                top_k=None,
                                top_p=0.9,
                                use_cache=True,
                                **kwargs)

reply = tokenizer.decode(output[0], skip_special_tokens=False)
reply_return=reply.split('Assistant:')[-1].replace('</s>', '')

print('模型回答：', reply_return)