modeling_chatglm.py这个文件,新版4.42.4里面,是不是删除了stream_chat相关的函数,导致不能流式输出了呢
#66
by
strange007
- opened
请问modeling_chatglm.py这个文件,新版4.42.4里面,是不是删除了stream_chat相关的函数,导致不能流式输出了呢
请问应该怎么搞,把原来的版本里面那些stream_chat相关的函数粘贴过来吗
glm-4-9b-chat-1m有带stream_chat的:https://huggingface.co/THUDM/glm-4-9b-chat-1m/blob/main/modeling_chatglm.py
这个函数不是标准函数,于是删掉了,在github中我们很早就移除了这些非标准推理函数的使用,您可以参考github中我们是怎么实现流的输出的。
如果你要恢复,直接重新粘贴回来就行
zRzRzRzRzRzRzR
changed discussion status to
closed