感覺可以用在phi3.5?
感覺可以用在phi3.5?朋友我覺得單純用在rwkv有點太浪費了
当然,任何模型都可以使用此格式的数据集进行微调,我开这个Lab主题的目的本身也是抛砖引玉,只是对一些热门LLM微调热点或者自己的奇思妙想作一个回答,仅此而已
当然,任何模型都可以使用此格式的数据集进行微调,我开这个Lab主题的目的本身也是抛砖引玉,只是对一些热门LLM微调热点或者自己的奇思妙想作一个回答,仅此而已
之後會開源dcot語料嗎?
当然,任何模型都可以使用此格式的数据集进行微调,我开这个Lab主题的目的本身也是抛砖引玉,只是对一些热门LLM微调热点或者自己的奇思妙想作一个回答,仅此而已
之後會開源dcot語料嗎?
当然会的,但是需要等待一段时间,目前还在研究此语料在其它方面的可用性,例如逆推,多模型等,预计会在月底或者下个月开源语料,敬请期待
当然,任何模型都可以使用此格式的数据集进行微调,我开这个Lab主题的目的本身也是抛砖引玉,只是对一些热门LLM微调热点或者自己的奇思妙想作一个回答,仅此而已
之後會開源dcot語料嗎?
当然会的,但是需要等待一段时间,目前还在研究此语料在其它方面的可用性,例如逆推,多模型等,预计会在月底或者下个月开源语料,敬请期待
此篇論文是dcot的論文嗎?
https://arxiv.org/abs/2407.03181
如果有能用於數據合成的腳本就更好了(畢竟在怎麼復刻, 都還是有一點思路的變化)
当然,任何模型都可以使用此格式的数据集进行微调,我开这个Lab主题的目的本身也是抛砖引玉,只是对一些热门LLM微调热点或者自己的奇思妙想作一个回答,仅此而已
之後會開源dcot語料嗎?
当然会的,但是需要等待一段时间,目前还在研究此语料在其它方面的可用性,例如逆推,多模型等,预计会在月底或者下个月开源语料,敬请期待
此篇論文是dcot的論文嗎?
https://arxiv.org/abs/2407.03181
如果有能用於數據合成的腳本就更好了(畢竟在怎麼復刻, 都還是有一點思路的變化)
我微调时并没有参照任何论文,只是突然冒出的改进想法,所以我不确定是不是。
另外,这个数据集的数据合成非常浪费钱(重点是没有什么用,毕竟我主要是调rp的),所以微调后我就删除了,感觉以后也用不到了。
你要做这样的数据只要遵循格式写prompt即可,没有什么难度