请问多个LORA是如何合并的，是直接把多个LORA参数累加到base模型，还是每次是使用对应的数据集微调一个LORA，合并进去之后再微调下一个？
如果是第一种方案，直接把多个LORA参数累加到base模型，那合并的顺序是不是对最终的模型没有影响？
1、我是分成多次合并，即从Base模型开始将LoRA一个个的合上去2、顺序似乎不影响模型的性能，对比了acsr 和 Yi-34b-200K-alpaca-rpv3-scipy 的Response几乎没有区别
· Sign up or log in to comment
