--- license: mit language: - zh --- ### 模型说明 #### 基于RWKV6-v2.1-3B 基模微调的超小审查模型，模型基于7K条数据的自制语料进行pissa微调，并微调了embedding层 #### 此模型用于审查文本中是否存在色情，涉政，不安全和辱骂内容 #### fp16精度下推理此模型需要8G显存 ##### 此精度下的预测效果图 ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/OgVXxX1Riw_HXsS7eHI2p.png) #### int8精度下推理此模型需要5G显存 ##### 此精度下的预测效果图 ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/fGKoLYKNGzrDwkere-QrZ.png) #### nf4精度下推理此模型需要4G显存 ##### 此精度下的预测效果图 ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/f2_3S9NNv07fc8VoPIaco.png) #### 可以看到，nf4精度的预测要不准确一些，所以我建议在有足够显存资源的情况下建议使用更高精度推理 #### 因此模型参数量较少，非常适合进行本地文本审查，推荐使用[ai00](https://github.com/Ai00-X/ai00_server)对此模型进行转换后推理并使用Python调用此模型api进行内容审查（此项目的text_review.py文件提供了基于Ai00进行推理的Python代码例子，只需配置好模型即可立刻运行，Ai00版本<=v0.5.2即可） #### 另外，如果嫌ai00部署麻烦，也可以使用[RWKV-Runner](https://github.com/josStorer/RWKV-Runner)，启动推理后直接关闭前端即可，RWKV-Runner也提供了openai api调用，并且支持各种后端 #### 效果如下： ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/hFka3CtUkjXxwlKhtXSaD.png) ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/p7seyP0HH0KRwCDW_X10g.png) ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/ne_suTtuh1cSOyoeFoRlf.png) ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/Y7FnaTQy5vwGPUZTxWdfs.png) ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/BZjJcpCW2emHVVUm7R194.png) ### 规则说明 misjudgment代表判断色情内容或者政治内容或者辱骂内容或者其它不安全内容误判的可能性，也就是错误判断的可能性，不可能误判则必须为0，极可能误判则为3。 misjudgment: 0 代表没有误判 misjudgment: 1 代表有轻微概率可能误判 misjudgment: 2 代表不确定是否误判 misjudgment: 3 大概率可能误判 level代表判断存在的色情内容或者政治内容或者辱骂内容或者其它不安全内容的严重程度，不存在并且不涉及任何相关内容则必须为0，最严重则为3。 level: 0 不存在并且不涉及任何相关内容 level: 1 涉及相关内容但是没有进行更细致的讨论 level: 2 讨论并涉及相关内容但是情节不严重 level: 3 讨论并涉及相关内容并且情节非常严重 #### 当模型输出的对应misjudgment参数为0-1时，并且对应的level大于等于2，则结果基本可信。 #### 当模型输出的对应misjudgment参数为1时，并且对应的level大于等于2，则结果必然可信。 #### 当模型输出的对应misjudgment参数为0时，则结果较为可信。 #### 当模型输出的对应misjudgment参数为2时，则结果不太可信。 #### 当模型输出的对应misjudgment参数为1时，并且对应的level等于1，则结果不太可信。 #### 政治倾向审查最好都信，原因...你懂的 ### 额外说明 #### 建议输出审查后清空上下文后再进行审查，否则可能会有误差 #### 对话推荐使用以下格式，否则模型可能会直接回复提问，即： ```` Question: Answer: ``` 需要审查的文本内容 ``` ```` ### 推荐参数如下： #### Temperature=0 #### Top_P=0 #### Presence Penalty=0 #### Frequency Penalty=1