多 batch 推理结果不对齐

#81
by shungouxu - opened

当 batch > 1 的时候(若输入的 token 数目不一致), 其推理结果和 batch = 1的结果不对齐, 而且相差甚远。
请问是什么原因呢 ?

有具体例子吗

在模型 v1.1 (fp16)上测试的结果:

batch_结果不对齐.jpg

OK,不过模型输出本来也不是固定的吧。

已经关闭了 do_sample

Sign up or log in to comment