nenekochan/Yi-6B-yoruno

训练细节

• Firefly QLoRA
• 基座：Yi-6B
• 数据：341千中文字符（103 个对话串），来自前四作中去掉了长篇描写后的内容
• 时长：60 steps, ~9.2 epochs

技术决策

• 少量的数据：LIMA: Less Is More for Alignment 的宗旨在于，模型的生成内容的质量几乎完全由基座模型的预训练决定，微调训练只会影响生成内容的风格，而且只需要极少量但高质量的训练数据就可以达到效果。
• Yi-6B 为基座：在微调训练的早期测试阶段，我曾以 ChatGLM3-6B-Base 作为基座模型。后来决定使用 Yi-6B 主要是因为它的 Llama2 架构在现今依旧是主流实现，部署选择要多得多（特别是 GGUF 生态）。最终成品比较时，基于 Yi-6B 的比基于 ChatGLM3-6B-Base 对文风的还原度要高一些，不过在创造力上略逊一筹。
• Firefly 微调框架：他们的训练方法是为多轮对话设计的，而超长上下文正是我的训练目标。yoruno-vn 数据集的对话串平均长度是现今大多问答数据集的数倍。对于未来的写作模型，我会认真研究如何制作有真正有效 32k 上下文的模型。