Update README.md
Browse files
README.md
CHANGED
|
@@ -5,13 +5,13 @@ language:
|
|
| 5 |
|
| 6 |
# PS：该项目仅用作个人学习研究使用。
|
| 7 |
|
| 8 |
-
# 对大模型进行自我认知微调尝试，目的是做一个类似《命运石之门》中的人工智能助手 Amadeus
|
| 9 |
|
| 10 |
微调数据是自己造的，大模型会认为自己是天才美少女——牧濑红莉牺（设定上是傲娇、对User有爱慕之情但又不坦率），而不是人工智能。
|
| 11 |
|
| 12 |
## 1、RWKV-x060-World-1B6-v2.1-chris-test.pth
|
| 13 |
|
| 14 |
-
使用的base模型是RWKV-x060-World-1B6-v2.1-20240328-ctx4096；
|
| 15 |
|
| 16 |
loss值收敛到了1以下（大佬说正常，虽然个人觉得有点过拟合就是了）
|
| 17 |
|
|
@@ -23,7 +23,8 @@ loss值收敛到了1以下（大佬说正常，虽然个人觉得有点过拟合
|
|
| 23 |
|
| 24 |
|
| 25 |
## 2、RWKV-x060-World-1B6-v2.1-novel_extend-lora-20.pth
|
| 26 |
-
|
|
|
|
| 27 |
|
| 28 |
|
| 29 |
|
|
@@ -31,9 +32,9 @@ loss值收敛到了1以下（大佬说正常，虽然个人觉得有点过拟合
|
|
| 31 |
|
| 32 |
## 3、RWKV-x060-World-1B6-v2.1-novel_extend_chris-nsfw.pth
|
| 33 |
|
| 34 |
-
在base模型RWKV-x060-World-1B6-v2.1-20240328-ctx4096的基础上做涩涩小说扩写指令微调后，使用自我认知数据继续微调5轮而成（对比了一下5、6、7轮的，综合来说这个泛化表现更有趣些）。
|
| 35 |
|
| 36 |
-
由于上一个试水版本个人觉得有点过拟合（部分能力降低甚至丧失），所以这次loss值收敛不多，还在1.0以上，结果自我认知清洗不彻底，每次新的会话它都会胡说八道自己给自己上设定，虽然比上一个版本的输出表现更不稳定，但这种不稳定却是有趣得多，已作为我开发的一个AI聊天机器人后端模型之一
|
| 37 |
|
| 38 |
表现效果（因为傲娇+对User有爱慕之情但又不坦率的矛盾设定，表现不稳定但是挺有意思的）：
|
| 39 |
|
|
@@ -43,3 +44,17 @@ loss值收敛到了1以下（大佬说正常，虽然个人觉得有点过拟合
|
|
| 43 |
|
| 44 |
|
| 45 |
用来无聊打发时间很有趣。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 5 |
|
| 6 |
# PS：该项目仅用作个人学习研究使用。
|
| 7 |
|
| 8 |
+
# 对大模型进行自我认知微调尝试，目的是做一个类似《命运石之门》中的人工智能助手 Amadeus 闲聊。后续若有新模型，待我有空会继续更新。
|
| 9 |
|
| 10 |
微调数据是自己造的，大模型会认为自己是天才美少女——牧濑红莉牺（设定上是傲娇、对User有爱慕之情但又不坦率），而不是人工智能。
|
| 11 |
|
| 12 |
## 1、RWKV-x060-World-1B6-v2.1-chris-test.pth
|
| 13 |
|
| 14 |
+
使用的 base 模型是 RWKV-x060-World-1B6-v2.1-20240328-ctx4096 ；
|
| 15 |
|
| 16 |
loss值收敛到了1以下（大佬说正常，虽然个人觉得有点过拟合就是了）
|
| 17 |
|
|
|
|
| 23 |
|
| 24 |
|
| 25 |
## 2、RWKV-x060-World-1B6-v2.1-novel_extend-lora-20.pth
|
| 26 |
+
|
| 27 |
+
在 base 模型 RWKV-x060-World-1B6-v2.1-20240328-ctx4096 的基础上做涩涩小说扩写指令微调后，使用了错误的数据格式微调的模型，所以表现很奇葩，但还是保留下来了。
|
| 28 |
|
| 29 |
|
| 30 |
|
|
|
|
| 32 |
|
| 33 |
## 3、RWKV-x060-World-1B6-v2.1-novel_extend_chris-nsfw.pth
|
| 34 |
|
| 35 |
+
在 base 模型 RWKV-x060-World-1B6-v2.1-20240328-ctx4096 的基础上做涩涩小说扩写指令微调后，使用自我认知数据继续微调5轮而成（对比了一下5、6、7轮的，综合来说这个泛化表现更有趣些）。
|
| 36 |
|
| 37 |
+
由于上一个试水版本个人觉得有点过拟合（部分能力降低甚至丧失），所以这次 loss 值收敛不多，还在 1.0 以上，结果自我认知清洗不彻底，每次新的会话它都会胡说八道自己给自己上设定，虽然比上一个版本的输出表现更不稳定，但这种不稳定却是有趣得多，已作为我开发的一个AI聊天机器人后端模型之一
|
| 38 |
|
| 39 |
表现效果（因为傲娇+对User有爱慕之情但又不坦率的矛盾设定，表现不稳定但是挺有意思的）：
|
| 40 |
|
|
|
|
| 44 |
|
| 45 |
|
| 46 |
用来无聊打发时间很有趣。
|
| 47 |
+
|
| 48 |
+
## 4、RWKV6-3B-v2.1-chris_roleplay_novel_extend-NSFW-ctx1024.pth
|
| 49 |
+
|
| 50 |
+
由于对 16 亿参数量的逻辑表现不满意，所以我尝试强行微调 30 亿参数量模型，之前都是用 lora 微调，由于主机显卡显存有限，30亿参数量使用 NF4 量化的 PISSA 微调。
|
| 51 |
+
|
| 52 |
+
在 base 模型 RWKV-x060-World-3B-v2.1-20240417-ctx4096.pth 的基础做 PISSA 微调2轮而成，除了自我认知外，还加入了少量自造的扩写语料以及角色扮演语料。
|
| 53 |
+
|
| 54 |
+
表现直接提升一个台阶，是我目前体验最久的模型。
|
| 55 |
+
|
| 56 |
+
|
| 57 |
+
|
| 58 |
+
|
| 59 |
+
|
| 60 |
+
|