Why the return sentence has a space in every word?
#2
by
Halfknow
- opened
测试输入：突出高起点规划、高标准建设、高水平管理，全面对标大阪、上海、大阪、深圳等国内外滨海大都市发展模式；
返回输出：['突 出 高 起 点 规 划 、 高 标 准 建 设 、 高 水 平 管 理 ， 全 面 对 标 大 阪 、 上 海 、 大 阪 和 深 圳 等 国 内 外 滨 海 大 都 市 发 展 模 式 。']
返回文本中每个文字之间多了一个空格，测试了在 print(tokenizer.batch_decode(output, skip_special_tokens=True)) 中添加了 clean_up_tokenization_spaces=False 参数，但还是没用。