binary-husky commited on
Commit
fa395aa
1 Parent(s): 8dded0c

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +4 -4
README.md CHANGED
@@ -109,19 +109,19 @@ python -m pip install -r requirements.txt
109
  # (II-3)python -m pip install -r requirements.txt
110
  ```
111
 
112
- 如果需要支持清华ChatGLM/复旦MOSS作为后端,需要额外安装更多依赖(前提条件:熟悉python + 电脑配置够强):
113
  ```sh
114
- # 1. 支持清华ChatGLM
115
  python -m pip install -r request_llm/requirements_chatglm.txt
116
  ## 清华ChatGLM备注:如果遇到"Call ChatGLM fail 不能正常加载ChatGLM的参数" 错误,参考如下:
117
  ## 1:以上默认安装的为torch+cpu版,使用cuda需要卸载torch重新安装torch+cuda
118
  ## 2:如因本机配置不够无法加载模型,可以修改request_llm/bridge_chatglm.py中的模型精度, 将 AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True) 都修改为 AutoTokenizer.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True)
119
 
120
- # 2. 支持复旦MOSS
121
  python -m pip install -r request_llm/requirements_moss.txt
122
  git clone https://github.com/OpenLMLab/MOSS.git request_llm/moss # 注意执行此行代码时,必须处于项目根路径
123
 
124
- # 3. 确保config.py配置文件的AVAIL_LLM_MODELS包含了期望的模型,目前支持的全部模型如下(jittorllms系列目前仅支持docker方案):
125
  AVAIL_LLM_MODELS = ["gpt-3.5-turbo", "api2d-gpt-3.5-turbo", "gpt-4", "api2d-gpt-4", "chatglm", "newbing", "moss", "jittorllms_rwkv", "jittorllms_pangualpha", "jittorllms_llama"]
126
  ```
127
 
 
109
  # (II-3)python -m pip install -r requirements.txt
110
  ```
111
 
112
+ 【非必要可选步骤】如果需要支持清华ChatGLM/复旦MOSS作为后端,需要额外安装更多依赖(前提条件:熟悉Python + 用过Pytorch + 电脑配置够强):
113
  ```sh
114
+ # 【非必要可选步骤I】支持清华ChatGLM
115
  python -m pip install -r request_llm/requirements_chatglm.txt
116
  ## 清华ChatGLM备注:如果遇到"Call ChatGLM fail 不能正常加载ChatGLM的参数" 错误,参考如下:
117
  ## 1:以上默认安装的为torch+cpu版,使用cuda需要卸载torch重新安装torch+cuda
118
  ## 2:如因本机配置不够无法加载模型,可以修改request_llm/bridge_chatglm.py中的模型精度, 将 AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True) 都修改为 AutoTokenizer.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True)
119
 
120
+ # 【非必要可选步骤II】支持复旦MOSS
121
  python -m pip install -r request_llm/requirements_moss.txt
122
  git clone https://github.com/OpenLMLab/MOSS.git request_llm/moss # 注意执行此行代码时,必须处于项目根路径
123
 
124
+ # 【非必要可选步骤III】确保config.py配置文件的AVAIL_LLM_MODELS包含了期望的模型,目前支持的全部模型如下(jittorllms系列目前仅支持docker方案):
125
  AVAIL_LLM_MODELS = ["gpt-3.5-turbo", "api2d-gpt-3.5-turbo", "gpt-4", "api2d-gpt-4", "chatglm", "newbing", "moss", "jittorllms_rwkv", "jittorllms_pangualpha", "jittorllms_llama"]
126
  ```
127