tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True)model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True, ignore_mismatched_sizes=True).float()
程序启动后,cpu很高,超过10分钟没有出结果,有人遇到过类似情况吗。采用int4版本:THUDM/chatglm-6b-int4
· Sign up or log in to comment