模型下载求助

#9
by LIbucai - opened

这个macbert4csc-base-chinese'的模型是要一个个手动下载吗,我在git上过来,想下载macbert4csc-base-chinese'的模型,直接做一下文本纠错。这个模型要怎么用啊大佬们

我的意思是macbert4csc-base-chinese里面这么多文件,我是要一个一个下载然后放到文件夹里,并在demo.py里面指定路径吗。

感谢老哥回复!现在下载是没什么问题。我把模型文件下载到文件夹里面现在的路径是
examples
--macbert
----macbert14(这里面包含了
── config.json
├── pytorch_model.bin
├── special_tokens_map.json
├── tokenizer_config.json
└── vocab.txt 这5个模型文件)
----demo.py 就是我的目录结构是这样的。

也手动改了MacBertCorrector函数的def init(self, model_name_or_path="./macbert4"): 初始化函数,改成了本地模型的加载 ,
后面也加上了BertTokenizerFast.from_pretrained(model_name_or_path,local_files_only=True
但是在我运行python demo.py时,仍然会报
(ReadTimeoutError("HTTPSConnectionPool(host='huggingface.co', port=443): Read timed out. (read timeout=10)"), '(Request ID: 76112734-c79e-4d67-a2ea-7e584013bd69)')' thrown while requesting HEAD https://huggingface.co/shibing624/macbert4csc-base-chinese/resolve/main/tokenizer_config.json

OSError: Can't load tokenizer for 'shibing624/macbert4csc-base-chinese'. If you were trying to load it from 'https://huggingface.co/models', make sure you don't have a local directory with the same name. Otherwise, make sure 'shibing624/macbert4csc-base-chinese' is the correct path to a directory containing all relevant files for a BertTokenizerFast tokenizer

这样的错误,好像是仍然从网站下载的模型,这是为什么。模型加载还有其他的地方吗请问
盼回复

这个是官方代码的问题,跟这个仓库无关。错误原因是你的模型仍然在从网上进行加载,而不是使用本地的路径。init方法中有一个参数选项应该是可以选择是否加载本地模型,你也可以尝试把使用模型的绝对地址,例如C://User/WorkSpace... 具体你可以参考官方的文档

这个是官方代码的问题,跟这个仓库无关。错误原因是你的模型仍然在从网上进行加载,而不是使用本地的路径。init方法中有一个参数选项应该是可以选择是否加载本地模型,你也可以尝试把使用模型的绝对地址,例如C://User/WorkSpace... 具体你可以参考官方的文档

老哥你是说git上的pycorrector上面的文档吗,了解了 感谢老哥!

这个是官方代码的问题,跟这个仓库无关。错误原因是你的模型仍然在从网上进行加载,而不是使用本地的路径。init方法中有一个参数选项应该是可以选择是否加载本地模型,你也可以尝试把使用模型的绝对地址,例如C://User/WorkSpace... 具体你可以参考官方的文档

老哥你是说git上的pycorrector上面的文档吗,了解了 感谢老哥!

请问你在本地跑起来了吗,求助呜呜呜

请问直接按照仓库的文件路径下载到本地就可以了吗,在本地怎么运行呢

这个帖子用于提问和模型有关的问题,基本的API使用请自行翻阅hugging face文档,网络上的许多博客也都有说明。不再回复

这个是官方代码的问题,跟这个仓库无关。错误原因是你的模型仍然在从网上进行加载,而不是使用本地的路径。init方法中有一个参数选项应该是可以选择是否加载本地模型,你也可以尝试把使用模型的绝对地址,例如C://User/WorkSpace... 具体你可以参考官方的文档

老哥你是说git上的pycorrector上面的文档吗,了解了 感谢老哥!

请问你在本地跑起来了吗,求助呜呜呜

我也还没有,一直显示我再网络上下载模型而不是本地加载,我在博客上看好像是我少了个json文件,你呢 现在跑起来了嘛

ImportError: cannot import name 'config' from 'pycorrector'求问为什么config无法导入呀,其他都可以导入,是版本问题什么的吗???

下载完模型的文件就可以。

shibing624 changed discussion status to closed

Sign up or log in to comment