add README
Browse files
README.md
ADDED
@@ -0,0 +1,16 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
# 经过本人合成及量化的 13B plus 模型
|
2 |
+
<hr>
|
3 |
+
|
4 |
+
> #### 开这个仓,主要是为了给大家讲述使用方法,这玩意儿真得自己摸索啊。
|
5 |
+
|
6 |
+
### 使用方法
|
7 |
+
|
8 |
+
移动本仓库中的 `alpaca-13b-plus` 文件夹到你项目的`./models`文件下即可。该文件夹同时适用于`llama.cpp`和`text-generation-webui`。
|
9 |
+
|
10 |
+
### 使用体验
|
11 |
+
|
12 |
+
效果确实比 13b 好了不少,能写出比较长的文字了,速度没有明显变化,本模型运行时需要 9.2GB 内存,未进行格式转换和量化时需要 50GB 内存,太吓人了,速度还只有十分之一。
|
13 |
+
|
14 |
+
### 资料来源
|
15 |
+
|
16 |
+
13b 已合并文件是从 https://huggingface.co/shibing624/chinese-alpaca-plus-13b-hf 仓库中下载的,我对其进行了格式转换与 4bit 量化。
|