对 llama 7b 采用斯坦福提供的训练集进行中文训练，使用PeftModel的lora训练的权重
使用方法
tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
model = LlamaForCausalLM.from_pretrained( "decapoda-research/llama-7b-hf", load_in_8bit=True, torch_dtype=torch.float16, device_map="auto", )
model = PeftModel.from_pretrained( model, "yinfupai/alpaca_7b_zh", torch_dtype=torch.float16 )
例子
- Q：你在做什么？
- BOT：我正在写一篇文章，旨在解释如何使用机器学习来改善客户服务.
- Q: 这是帮谁写的文章？
- BOT: 约翰·托马斯.
- Q: 为什么要帮他写文章?
- BOT: 因为约翰·托马斯是一位知名的机器学习和数据科学专家.
请用python给出斐波纳契数列的代码.
def fibonacci(n):
if n == 0:
return 0
elif n == 1:
return 1
else:
return fibonacci(n-1) + fibonacci(n-2)
一些问题
- 对于音译过来中文的词语,有些在名词有多种汉字写法,这些不同,可能会影响到结果.
- 输出答案有时与问题无关,正确的提问才能得到答案
- 模型的能力虽然得到了一定的提升,但对于7B的模型来说,依然不够显著
- 运行速度极较慢
license: other
- Downloads last month
- 0