UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 0-1: unexpected end of data
#69
by
Tyler-f
- opened
我本地用text-generation-webui的transformer跑glm-4-9b-chat的时候，输出到一些特定字符就会有[UnicodeDecodeError](UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 0-1: unexpected end of data)打断输出的情况。但我跑其他的本地模型都没有这个问题
我测试后发现至少“嚎”、“啕”、“讪”、“匕”、“奂”、“嗔”、“蝼”、“缨”’、“嚓”、“猾”、“狰”、“狞”、“囔”、“饴”、“啬”、“岌”这些字，还有“╒”这种特殊字符是稳定打断输出的，还有很多其他的字没试出来。还有特殊字符💰也会中断输出，但后台显示错位略有区别：“UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 0-2: unexpected end of data”
例如，我在text-generation-webui的defeat选项卡，Prompt选none，在input里直接输入：
请重复一次以下语句：“你好，我是GLM-4-9b。美轮美奂，叹为观止。”
raw格式下得到的output为：
请重复一次以下语句：“你好，我是GLM-4-9b。美轮美奂，叹为观止。”你好，我是GLM-4-9b。美轮美
就会在输出“奂”字之前显示“UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 0-1: unexpected end of data”，并且中断输出。