当 batch > 1 的时候(若输入的 token 数目不一致), 其推理结果和 batch = 1的结果不对齐, 而且相差甚远。请问是什么原因呢 ?
有具体例子吗
在模型 v1.1 (fp16)上测试的结果:
OK,不过模型输出本来也不是固定的吧。
已经关闭了 do_sample
· Sign up or log in to comment