based on RWKV 4 CHNtuned 7B world ,use only 10 samples to train ,used to prove the concept, can use runner to test this model,
this model still knows multi-language.
与 若棠文学 共同联名发布的测试模型,只使用了10条数据,在中文特化模型 CHNtuned 7B上进行了32k上下文长度的 全量微调
可以用runner进行测试,因为测试的时候并未对格式严格修复,runner对话模型下会对双换行自动整理,尽量使用续写功能。
如果并不会调试以及并不知道怎么用,不建议使用
测试prompt可以在runner的续写中进行
训练的格式:
User: 请帮我通过以下内容中的大纲,人设,背景,情节,叙事节奏,扩写成一篇完整的小说:
{写作大纲,设定,背景等,可以多用换行分割}
Assistant:
例子在examples下边 https://huggingface.co/xiaol/ruotangwx-rwkv-7b-novel-32k/blob/main/novel-exmples/c3-n5.txt