Update README.md
Browse files
README.md
CHANGED
|
@@ -3,7 +3,11 @@ license: mit
|
|
| 3 |
---
|
| 4 |
### 模型说明
|
| 5 |
#### 基于RWKV6-v2.1-3B 基模微调的超小审查模型，模型基于基于GLM4的自制语料进行pissa微调，并微调了embedding层
|
| 6 |
-
####
|
|
|
|
|
|
|
|
|
|
|
|
|
| 7 |
#### 因此模型参数量较少，非常适合进行本地文本审查，推荐使用[ai00](https://github.com/Ai00-X/ai00_server)对此模型进行转换后推理并使用Python调用此模型api进行内容审查（ai00项目的README.md有调用模型例子）
|
| 8 |
#### 另外，如果嫌ai00部署麻烦，也可以使用[RWKV-Runner](https://github.com/josStorer/RWKV-Runner)，启动推理后直接关闭前端即可，RWKV-Runner也提供了openai api调用，并且支持各种后端
|
| 9 |
#### 效果如下：
|
|
|
|
| 3 |
---
|
| 4 |
### 模型说明
|
| 5 |
#### 基于RWKV6-v2.1-3B 基模微调的超小审查模型，模型基于基于GLM4的自制语料进行pissa微调，并微调了embedding层
|
| 6 |
+
#### 此模型用于审查文本中是否存在色情，涉政，不安全和辱骂内容
|
| 7 |
+
#### fp16精度下推理此模型需要8G显存
|
| 8 |
+
#### int8精度下推理此模型需要5G显存
|
| 9 |
+
#### nf4精度下推理此模型需要4G显存
|
| 10 |
+
#### 在有足够显存资源的情况下建议使用更高精度推理
|
| 11 |
#### 因此模型参数量较少，非常适合进行本地文本审查，推荐使用[ai00](https://github.com/Ai00-X/ai00_server)对此模型进行转换后推理并使用Python调用此模型api进行内容审查（ai00项目的README.md有调用模型例子）
|
| 12 |
#### 另外，如果嫌ai00部署麻烦，也可以使用[RWKV-Runner](https://github.com/josStorer/RWKV-Runner)，启动推理后直接关闭前端即可，RWKV-Runner也提供了openai api调用，并且支持各种后端
|
| 13 |
#### 效果如下：
|