johnlui's picture
Update README.md
a92f055

经过本人合成及量化的 7B/13B 模型


开这个仓,主要是为了给大家讲述使用方法,这玩意儿真得自己摸索啊。

直接使用方法

移动本仓库中的 llama-7b-hfllama-13b-hf 两个文件夹,到你项目的 ./models 文件下即可。该文件夹同时适用于 llama.cpptext-generation-webui

DIY 使用方法

以 7B 为例:

  1. 在 models 文件下新建名为 llama-7b-hf 的文件夹,注意,此名字不可以随意修改
  2. llama-7b-hf 下只需要有两个文件:config.jsonggml-model-q4_0.bin
  3. config.json 大家可以到本项目对应的文件夹里下载
  4. ggml-model-q4_0.bin 就是你按照教程合成出来的最终文件

资料来源

7b 为我自己合成,13b 是从 https://huggingface.co/minlik/chinese-alpaca-13b-quantized 仓库里下载的。