文件夹结构:
export
├─dataset
├─launch
├─models
│ ├─chinese-alpaca-2-7b-64k
│ └─sft_lora_model
├─results
└─scripts
└─inference
- 请在
https://huggingface.co/hfl/chinese-alpaca-2-7b-64k
下载Chinese-alpaca-2-7b-64K到models/chinese-alpaca-2-7b-64k
; - 将本仓库的delta权重下载至
models/sft_lora_model
; - 调用
launch/inference_batch.sh
进行inference。
Unable to determine this model's library. Check the
docs
.