THUDM

/

chatglm2-6b

like 2.02k

是否访问huggingface是看你pretrained_model_name_or_path 参数。如果是路径则不访问，如果是模型id则访问。

日志显示部署成功了，但是web_demo启动就是不行，上面的截图。
Running on local URL: http://0.0.0.0:8912

To create a public link, set share=True in launch().

提问的时候有什么log吗

我电脑访问不了huggingface，但模型给的就是路径。
tokenizer = AutoTokenizer.from_pretrained("conf/models/chatglm-6b/",cache_dir="conf/models/", trust_remote_code=True)
model = AutoModel.from_pretrained("conf/models/chatglm-6b/", cache_dir="conf/models/",trust_remote_code=True).half().cuda()

你这个的本地路径，你模型和其它配置文件下了吗

提问后就一直等待了，nohup python web_demo.py &启动的
nohup.out 没有报错日志。
Explicitly passing a revision is encouraged when loading a model with custom code to ensure no malicious code has been contributed in a newer revision.
Explicitly passing a revision is encouraged when loading a configuration with custom code to ensure no malicious code has been contributed in a newer revision.
Explicitly passing a revision is encouraged when loading a model with custom code to ensure no malicious code has been contributed in a newer revision.
Loading checkpoint shards: 100%|██████████| 8/8 [00:06<00:00, 1.14it/s]

ls -lht conf/models/chatglm-6b/
总用量 13G
-rw-r--r-- 1 root root 441 9月 21 15:05 tokenizer_config.json
-rw-r--r-- 1 root root 17K 9月 21 15:05 tokenization_chatglm.py
-rw-r--r-- 1 root root 14K 9月 21 15:05 test_modeling_chatglm.py
-rw-r--r-- 1 root root 15K 9月 21 15:05 quantization.py
-rw-r--r-- 1 root root 33K 9月 21 15:05 pytorch_model.bin.index.json
-rw-r--r-- 1 root root 1020M 9月 21 15:05 pytorch_model-00008-of-00008.bin
-rw-r--r-- 1 root root 1.1G 9月 21 15:04 pytorch_model-00007-of-00008.bin
-rw-r--r-- 1 root root 1.8G 9月 21 15:04 pytorch_model-00006-of-00008.bin
-rw-r--r-- 1 root root 1.8G 9月 21 15:03 pytorch_model-00005-of-00008.bin
-rw-r--r-- 1 root root 1.8G 9月 21 15:02 pytorch_model-00004-of-00008.bin
-rw-r--r-- 1 root root 1.9G 9月 21 15:02 pytorch_model-00003-of-00008.bin
-rw-r--r-- 1 root root 1.8G 9月 21 15:01 pytorch_model-00002-of-00008.bin
-rw-r--r-- 1 root root 1.7G 9月 21 15:00 pytorch_model-00001-of-00008.bin
-rw-r--r-- 1 root root 57K 9月 21 15:00 modeling_chatglm.py
-rw-r--r-- 1 root root 2.6M 9月 21 15:00 ice_text.model
-rw-r--r-- 1 root root 4.2K 9月 21 15:00 configuration_chatglm.py
-rw-r--r-- 1 root root 773 9月 21 15:00 config.json
-rw-r--r-- 1 root root 5.9K 9月 21 15:00 README.md
-rw-r--r-- 1 root root 2.3K 9月 21 15:00 MODEL_LICENSE
-rw-r--r-- 1 root root 12K 9月 21 15:00 LICENSE

电脑配置是咋样的，内存和显存大小。

试试在项目下创建一个py文件，

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("conf/models/chatglm-6b/", trust_remote_code=True)
model = AutoModel.from_pretrained("conf/models/chatglm-6b/", trust_remote_code=True).half().cuda()
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)
response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
print(response)

然后运行，看看会不会出结果或者报错。

from_pretrained("", local_files_only=True)

感谢回复。