下载了所有文件但报错“Needs import model weight init func to run quantize.”
#2
by
JianSun
- opened
下载了所有的文件，包括完整的pytorch_model.bin文件（图1），但在引入模型时（图2）报错“Needs import model weight init func to run quantize.”，报错位置是modeling_baichuan.py文件的第611行，上下文如图3。请问是bin文件有残缺或者缺少其他model weight文件吗？
补充背景，想要使用cpu推理，所以没有加参数device_map="auto"
4bits目前不支持CPU推理，如果你想用cpu推理，最好用非量化版本，且最好用float32推理，因为float16在cpu端推理可能存在速度慢或者算子不支持情况
我也是这个问题，但是我用了参数device_map="auto"，请问为什么哇？
我也是这个问题，但是我用了参数device_map="auto"，请问为什么哇？
已解决，accelerate修改为0.23.0
我上面的accelerate是0.23.0，还是有这个问题。
通过执行pip安装xformers、scipy
然后在tokenization_baichuan.py中将self.sp_model = spm.SentencePieceProcessor(**self.sp_model_kwargs)放在super().init()之前即可。