license: cc-by-nc-4.0 | |
language: | |
- zh | |
- en | |
* 将Qwen模型的NTK插值方法替换为Yarn,同时修改插值的程度,实现模型在更长文本长度(大于16k)下的正常对话能力。 | |
* 目前仅提供代码,模型权重与原Qwen模型相同。未来可能会发布微调的权重 | |
* 使用时请务必设置 config.use_logn_attn=False、config.use_dynamic_ntk=True,否则模型能力会受影响。 |
license: cc-by-nc-4.0 | |
language: | |
- zh | |
- en | |
* 将Qwen模型的NTK插值方法替换为Yarn,同时修改插值的程度,实现模型在更长文本长度(大于16k)下的正常对话能力。 | |
* 目前仅提供代码,模型权重与原Qwen模型相同。未来可能会发布微调的权重 | |
* 使用时请务必设置 config.use_logn_attn=False、config.use_dynamic_ntk=True,否则模型能力会受影响。 |