运行配置？
#7
by
wind-hate
- opened
感觉很大啊，我下载了33%用了20多个G，Downloading shards: 33%|███▎ | 1/3 [12:02<24:05, 722.90s/it] ，不知到需要什么样的配置能运行起来，本地我的是4060显卡。。。麻烦看到望解答
如果想要在26G显存的卡是运行，请使用int4或者8量化推理
感觉很大啊，我下载了33%用了20多个G，Downloading shards: 33%|███▎ | 1/3 [12:02<24:05, 722.90s/it] ，不知到需要什么样的配置能运行起来，本地我的是4060显卡。。。麻烦看到望解答
如果想要在26G显存的卡是运行，请使用int4或者8量化推理