Update README.md

56c8325 6 months ago

No virus

7.22 kB

	---
	title: chinese-alpaca-plus-7b
	emoji: 📚
	colorFrom: gray
	colorTo: red
	language:
	- zh
	tags:
	- chatglm
	- pytorch
	- zh
	- Text2Text-Generation
	license: "other"
	widget:
	- text: "为什么天空是蓝色的？"
	---

	# Chinese Alpaca Plus 7B Model

	发布中文LLaMA, Alpaca Plus版（7B）模型


	推出中文LLaMA, Alpaca Plus版（7B），相比基础版本的改进点如下：

	- 进一步扩充了训练数据，其中LLaMA扩充至120G文本（通用领域），Alpaca扩充至4M指令数据（重点增加了STEM相关数据）
	- Alpaca训练时采用了更大的rank，相比原版具有更低的验证集损失
	- 评测结果显示，Alpaca-Plus-7B相比基础版Alpaca-7B效果更优，部分任务接近或超过13B版本
	- 这一轮比拼：7B获得65.3分，13B获得70.9分，Plus-7B效果75.3分，具体评测结果请参考[效果评测](https://github.com/ymcui/Chinese-LLaMA-Alpaca/blob/main/examples/README.md)

	本模型是`原生LLaMA-7B`合并`中文LLaMA LoRA`和`中文Alpaca LoRA`后的模型权重`chinese-alpaca-plus-7b-hf`，并转化为HuggingFace版本权重（.bin文件），可以直接使用或者继续训练。

	13b-hf权重链接：https://huggingface.co/shibing624/chinese-alpaca-plus-13b-hf

	test case:

	\|input_text\|predict\|
	\|:-- \|:--- \|
	\|为什么天空是蓝色的？\|天空是蓝色的，是因为大气层中的气体分子会散射太阳光中的蓝色光，使得我们看到的天空是蓝色的。\|


	## release model weight

	- chinese-llama-plus-7b 模型权重链接：https://huggingface.co/minlik/chinese-llama-plus-7b-merged
	- chinese-alpaca-plus-7b 模型权重链接：https://huggingface.co/shibing624/chinese-alpaca-plus-7b-hf
	- chinese-llama-plus-13b 模型权重链接：https://huggingface.co/shibing624/chinese-llama-plus-13b-hf
	- chinese-aplaca-plus-13b 模型权重链接：https://huggingface.co/shibing624/chinese-alpaca-plus-13b-hf

	## Usage

	本项目开源在textgen项目：[textgen](https://github.com/shibing624/textgen)，可支持llama模型，通过如下命令调用：

	Install package:
	```shell
	pip install -U textgen
	```

	```python
	from textgen import GptModel
	model = GptModel("llama", "shibing624/chinese-alpaca-plus-7b-hf")
	r = model.predict(["用一句话描述地球为什么是独一无二的。"])
	print(r) # ['地球是独一无二的，因为它拥有独特的大气层、水循环、生物多样性以及其他自然资源，这些都使它成为一个独特的生命支持系统。']
	```

	## Usage (HuggingFace Transformers)
	Without [textgen](https://github.com/shibing624/textgen), you can use the model like this:

	First, you pass your input through the transformer model, then you get the generated sentence.

	Install package:
	```
	pip install sentencepiece
	pip install transformers>=4.28.0
	```

	```python
	import torch
	import transformers
	from transformers import LlamaTokenizer, LlamaForCausalLM

	def generate_prompt(text):
	return f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.

	### Instruction:
	{text}

	### Response:"""


	tokenizer = LlamaTokenizer.from_pretrained('shibing624/chinese-alpaca-plus-7b-hf')
	model = LlamaForCausalLM.from_pretrained('shibing624/chinese-alpaca-plus-7b-hf').half().cuda()
	model.eval()

	text = '为什么天空是蓝色的？'
	prompt = generate_prompt(text)
	input_ids = tokenizer.encode(prompt, return_tensors='pt').to('cuda')


	with torch.no_grad():
	output_ids = model.generate(
	input_ids=input_ids,
	max_new_tokens=128,
	temperature=1,
	top_k=40,
	top_p=0.9,
	repetition_penalty=1.15
	).cuda()
	output = tokenizer.decode(output_ids[0], skip_special_tokens=True)
	print(output.replace(text, '').strip())
	```


	output:
	```shell
	为什么天空是蓝色的？
	天空是蓝色的，是因为大气层中的气体分子会散射太阳光中的蓝色光，使得我们看到的天空是蓝色的。
	```

	## 模型来源
	release合并后的模型权重，一步到位直接使用，省电、减少碳排放。

	基于 [多LoRA权重合并（适用于Chinese-Alpaca-Plus ）](https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/%E6%89%8B%E5%8A%A8%E6%A8%A1%E5%9E%8B%E5%90%88%E5%B9%B6%E4%B8%8E%E8%BD%AC%E6%8D%A2#%E5%A4%9Alora%E6%9D%83%E9%87%8D%E5%90%88%E5%B9%B6%E9%80%82%E7%94%A8%E4%BA%8Echinese-alpaca-plus-)方法手动合并而成，具体是使用 [decapoda-research/llama-7b-hf](https://huggingface.co/decapoda-research/llama-7b-hf)
	底座模型合并 Chinese-LLaMA-Plus-LoRA和Chinese-Alpaca-Plus-LoRA 两个LoRA权重得到，并转化为HuggingFace版本权重（.bin文件）。


	HuggingFace版本权重（.bin文件）可用于：
	- 使用Transformers进行训练和推理
	- 使用text-generation-webui搭建界面

	PyTorch版本权重（.pth文件）可用于：
	- 使用llama.cpp工具进行量化和部署

	PyTorch版本权重（.pth文件）链接，8-bit量化版的Alpaca-Plus-7B：[Billsfriend/chinese-Alpaca-7b-plus-ggml-q8_0](https://huggingface.co/Billsfriend/chinese-Alpaca-7b-plus-ggml-q8_0/tree/main)


	模型文件组成：
	```
	chinese-alpaca-plus-7b-hf
	config.json
	generation_config.json
	pytorch_model-00001-of-00002.bin
	pytorch_model-00002-of-00002.bin
	pytorch_model.bin.index.json
	special_tokens_map.json
	tokenizer.json
	tokenizer.model
	tokenizer_config.json
	```

	硬件要求：14G显存

	### 微调数据集
	我整理部分公开微调数据集：

	1. 50万条中文ChatGPT指令Belle数据集：[BelleGroup/train_0.5M_CN](https://huggingface.co/datasets/BelleGroup/train_0.5M_CN)
	2. 100万条中文ChatGPT指令Belle数据集：[BelleGroup/train_1M_CN](https://huggingface.co/datasets/BelleGroup/train_1M_CN)
	3. 5万条英文ChatGPT指令Alpaca数据集：[50k English Stanford Alpaca dataset](https://github.com/tatsu-lab/stanford_alpaca#data-release)
	4. 5万条中文GPT4指令Alpaca数据集：[shibing624/alpaca-zh](https://huggingface.co/datasets/shibing624/alpaca-zh)
	5. 69万条中文指令Guanaco数据集(Belle50万条+Guanaco19万条)：[Chinese-Vicuna/guanaco_belle_merge_v1.0](https://huggingface.co/datasets/Chinese-Vicuna/guanaco_belle_merge_v1.0)


	如果需要训练LLaMA模型，请参考[https://github.com/shibing624/textgen](https://github.com/shibing624/textgen)


	## Citation

	```latex
	@software{textgen,
	author = {Xu Ming},
	title = {textgen: Implementation of language model finetune},
	year = {2023},
	url = {https://github.com/shibing624/textgen},
	}
	```


	## Reference
	- https://github.com/ymcui/Chinese-LLaMA-Alpaca

	# [Open LLM Leaderboard Evaluation Results](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)
	Detailed results can be found [here](https://huggingface.co/datasets/open-llm-leaderboard/details_shibing624__chinese-alpaca-plus-7b-hf)

	\| Metric \| Value \|
	\|-----------------------\|---------------------------\|
	\| Avg. \| 42.46 \|
	\| ARC (25-shot) \| 49.23 \|
	\| HellaSwag (10-shot) \| 70.48 \|
	\| MMLU (5-shot) \| 38.39 \|
	\| TruthfulQA (0-shot) \| 39.72 \|
	\| Winogrande (5-shot) \| 70.09 \|
	\| GSM8K (5-shot) \| 0.68 \|
	\| DROP (3-shot) \| 28.61 \|