为什么7b和14b的seq_length不一样?

#13
by yuyijiong - opened

为什么7b和14b的seq_length不一样?
qwen-7b的seq_length=8192,qwen-14b的seq_length=2048,为什么要这样设置?
为什么qwen-14b的seq_len不设为8192?

yuyijiong changed discussion title from 为什么7b和14b的seq_len不一样? to 为什么7b和14b的seq_length不一样?

因为不支持。seq_length是训练中使用的最长的序列长度,不同模型不一样。

jklj077 changed discussion status to closed
yuyijiong changed discussion status to open

所以7b模型训练时使用了8k长度的数据?为什么小模型的数据反而更长呢?

也没什么为什么…… 因为14B开源的时候,7B已经是开源第二版了?第一版7B也是2048的。
image.png

jklj077 changed discussion status to closed

Sign up or log in to comment