看介绍是4096，但实际测了下，是3584？
+1 输入的embedding shape 是 (2, 3584)，但按介绍应该是(1,4096)?
是的，Qwen2的hidden size是3584维，感谢提醒，之前以为和Qwen1.5是一致的，现在ReadME上已经更新了维度说明
· Sign up or log in to comment
