JINDUI commited on
Commit
c420f7e
1 Parent(s): 68ff366

""" 以下所有配置也都支持利用环境变量覆写,环境变量配置格式见docker-compose.yml。 读取优先级:环境变量 > config_private.py > config.py --- --- --- --- --- --- --- --- --- --- --- --- --- --- --- --- --- --- --- --- --- All the following configurations also support using environment variables to override, and the environment variable configuration format can be seen in docker-compose.yml. Configuration reading priority: environment variable > config_private.py > config.py """ # [step 1]>> API_KEY = "sk-LoxO1RRnZndMnGQaWfxomJyzoAQCZlN6RcnyT7SUkfau8XWE"。极少数情况下,还需要填写组织(格式如org-123456789abcdefghijklmno的),请向下翻,找 API_ORG 设置项 API_KEY = "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,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,sk-LoxO1RRnZndMnGQaWfxomJyzoAQCZlN6RcnyT7SUkfau8XWE" # 可同时填写多个API-KEY,用英文逗号分割,例如API_KEY = "sk-openaikey1,sk-openaikey2,fkxxxx-api2dkey3,azure-apikey4" # [step 2]>> 改为True应用代理,如果直接在海外服务器部署,此处不修改;如果使用本地或无地域限制的大模型时,此处也不需要修改 USE_PROXY = True if USE_PROXY: """ 代理网络的地址,打开你的代理软件查看代理协议(socks5h / http)、地址(localhost)和端口(11284) 填写格式是 [协议]:// [地址] :[端口],填写之前不要忘记把USE_PROXY改成True,如果直接在海外服务器部署,此处不修改 <配置教程&视频教程> https://github.com/binary-husky/gpt_academic/issues/1> [协议] 常见协议无非socks5h/http; 例如 v2**y 和 ss* 的默认本地协议是socks5h; 而cl**h 的默认本地协议是http [地址] 填localhost或者127.0.0.1(localhost意思是代理软件安装在本机上) [端口] 在代理软件的设置里找。虽然不同的代理软件界面不一样,但端口号都应该在最显眼的位置上 """ proxies = { # [协议]:// [地址] :[端口] "http": "http://127.0.0.1:7890", # 再例如 "http": "http://127.0.0.1:7890", "https": "http://127.0.0.1:7890", # 再例如 "https": "http://127.0.0.1:7890", } else: proxies = None # [step 3]>> 模型选择是 (注意: LLM_MODEL是默认选中的模型, 它*必须*被包含在AVAIL_LLM_MODELS列表中 ) LLM_MODEL = "gpt-3.5-turbo-16k" # 可选 ↓↓↓ AVAIL_LLM_MODELS = ["gpt-4-1106-preview", "gpt-4-turbo-preview", "gpt-4-vision-preview", "gpt-3.5-turbo-1106", "gpt-3.5-turbo-16k", "gpt-3.5-turbo", "azure-gpt-3.5", "gpt-4", "gpt-4-32k", "azure-gpt-4", "glm-4", "glm-3-turbo", "gemini-pro", "chatglm3" ] # --- --- --- --- # P.S. 其他可用的模型还包括 # AVAIL_LLM_MODELS = [ # "qianfan", "deepseekcoder", # "spark", "sparkv2", "sparkv3", "sparkv3.5", # "qwen-turbo", "qwen-plus", "qwen-max", "qwen-local", # "moonshot-v1-128k", "moonshot-v1-32k", "moonshot-v1-8k", # "gpt-3.5-turbo-0613", "gpt-3.5-turbo-16k-0613", "gpt-3.5-turbo-0125" # "claude-3-sonnet-20240229","claude-3-opus-20240229", "claude-2.1", "claude-instant-1.2", # "moss", "llama2", "chatglm_onnx", "internlm", "jittorllms_pangualpha", "jittorllms_llama", # "yi-34b-chat-0205", "yi-34b-chat-200k" # ] # --- --- --- --- # 此外,为了更灵活地接入one-api多模型管理界面,您还可以在接入one-api时, # 使用"one-api-*"前缀直接使用非标准方式接入的模型,例如 # AVAIL_LLM_MODELS = ["one-api-claude-3-sonnet-20240229(max_token=100000)"] # --- --- --- --- # --------------- 以下配置可以优化体验 --------------- # 重新URL重新定向,实现更换API_URL的作用(高危设置! 常规情况下不要修改! 通过修改此设置,您将把您的API-KEY和对话隐私完全暴露给您设定的中间人!) # 格式: API_URL_REDIRECT = {"https://api.openai.com/v1/chat/completions": "在这里填写重定向的api.openai.com的URL"} # 举例: API_URL_REDIRECT = {"https://api.openai.com/v1/chat/completions": "https://reverse-proxy-url/v1/chat/completions"} API_URL_REDIRECT = {} # 多线程函数插件中,默认允许多少路线程同时访问OpenAI。Free trial users的限制是每分钟3次,Pay-as-you-go users的限制是每分钟3500次 # 一言以蔽之:免费(5刀)用户填3,OpenAI绑了信用卡的用户可以填 16 或者更高。提高限制请查询:https://platform.openai.com/docs/guides/rate-limits/overview DEFAULT_WORKER_NUM = 3 # 色彩主题, 可选 ["Default", "Chuanhu-Small-and-Beautiful", "High-Contrast"] # 更多主题, 请查阅Gradio主题商店: https://huggingface.co/spaces/gradio/theme-gallery 可选 ["Gstaff/Xkcd", "NoCrypt/Miku", ...] THEME = "Default" AVAIL_THEMES = ["Default", "Chuanhu-Small-and-Beautiful", "High-Contrast", "Gstaff/Xkcd", "NoCrypt/Miku"] # 默认的系统提示词(system prompt) INIT_SYS_PROMPT = "Serve me as a writing and programming assistant." # 对话窗的高度 (仅在LAYOUT="TOP-DOWN"时生效) CHATBOT_HEIGHT = 1115 # 代码高亮 CODE_HIGHLIGHT = True # 窗口布局 LAYOUT = "LEFT-RIGHT" # "LEFT-RIGHT"(左右布局) # "TOP-DOWN"(上下布局) # 暗色模式 / 亮色模式 DARK_MODE = True # 发送请求到OpenAI后,等待多久判定为超时 TIMEOUT_SECONDS = 30 # 网页的端口, -1代表随机端口 WEB_PORT = -1 # 如果OpenAI不响应(网络卡顿、代理失败、KEY失效),重试的次数限制 MAX_RETRY = 2 # 插件分类默认选项 DEFAULT_FN_GROUPS = ['对话', '编程', '学术', '智能体'] # 定义界面上“询问多个GPT模型”插件应该使用哪些模型,请从AVAIL_LLM_MODELS中选择,并在不同模型之间用`&`间隔,例如"gpt-3.5-turbo&chatglm3&azure-gpt-4" MULTI_QUERY_LLM_MODELS = "gpt-3.5-turbo&chatglm3" # 选择本地模型变体(只有当AVAIL_LLM_MODELS包含了对应本地模型时,才会起作用) # 如果你选择Qwen系列的模型,那么请在下面的QWEN_MODEL_SELECTION中指定具体的模型 # 也可以是具体的模型路径 QWEN_LOCAL_MODEL_SELECTION = "Qwen/Qwen-1_8B-Chat-Int8" # 接入通义千问在线大模型 https://dashscope.console.aliyun.com/ DASHSCOPE_API_KEY = "" # 阿里灵积云API_KEY # 百度千帆(LLM_MODEL="qianfan") BAIDU_CLOUD_API_KEY = '' BAIDU_CLOUD_SECRET_KEY = '' BAIDU_CLOUD_QIANFAN_MODEL = 'ERNIE-Bot' # 可选 "ERNIE-Bot-4"(文心大模型4.0), "ERNIE-Bot"(文心一言), "ERNIE-Bot-turbo", "BLOOMZ-7B", "Llama-2-70B-Chat", "Llama-2-13B-Chat", "Llama-2-7B-Chat" # 如果使用ChatGLM2微调模型,请把 LLM_MODEL="chatglmft",并在此处指定模型路径 CHATGLM_PTUNING_CHECKPOINT = "" # 例如"/home/hmp/ChatGLM2-6B/ptuning/output/6b-pt-128-1e-2/checkpoint-100" # 本地LLM模型如ChatGLM的执行方式 CPU/GPU LOCAL_MODEL_DEVICE = "cpu" # 可选 "cuda" LOCAL_MODEL_QUANT = "FP16" # 默认 "FP16" "INT4" 启用量化INT4版本 "INT8" 启用量化INT8版本 # 设置gradio的并行线程数(不需要修改) CONCURRENT_COUNT = 100 # 是否在提交时自动清空输入框 AUTO_CLEAR_TXT = False # 加一个live2d装饰 ADD_WAIFU = False # 设置用户名和密码(不需要修改)(相关功能不稳定,与gradio版本和网络都相关,如果本地使用不建议加这个) # [("username", "password"), ("username2", "password2"), ...] AUTHENTICATION = [] # 如果需要在二级路径下运行(常规情况下,不要修改!!)(需要配合修改main.py才能生效!) CUSTOM_PATH = "/" # HTTPS 秘钥和证书(不需要修改) SSL_KEYFILE = "" SSL_CERTFILE = "" # 极少数情况下,openai的官方KEY需要伴随组织编码(格式如org-xxxxxxxxxxxxxxxxxxxxxxxx)使用 API_ORG = "" # 如果需要使用Slack Claude,使用教程详情见 request_llms/README.md SLACK_CLAUDE_BOT_ID = '' SLACK_CLAUDE_USER_TOKEN = '' # 如果需要使用AZURE(方法一:单个azure模型部署)详情请见额外文档 docs\use_azure.md AZURE_ENDPOINT = "https://你亲手写的api名称.openai.azure.com/" AZURE_API_KEY = "填入azure openai api的密钥" # 建议直接在API_KEY处填写,该选项即将被弃用 AZURE_ENGINE = "填入你亲手写的部署名" # 读 docs\use_azure.md # 如果需要使用AZURE(方法二:多个azure模型部署+动态切换)详情请见额外文档 docs\use_azure.md AZURE_CFG_ARRAY = {} # 阿里云实时语音识别 配置难度较高 # 参考 https://github.com/binary-husky/gpt_academic/blob/master/docs/use_audio.md ENABLE_AUDIO = False ALIYUN_TOKEN="" # 例如 f37f30e0f9934c34a992f6f64f7eba4f ALIYUN_APPKEY="" # 例如 RoPlZrM88DnAFkZK ALIYUN_ACCESSKEY="" # (无需填写) ALIYUN_SECRET="" # (无需填写) # 接入讯飞星火大模型 https://console.xfyun.cn/services/iat XFYUN_APPID = "00000000" XFYUN_API_SECRET = "bbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbb" XFYUN_API_KEY = "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa" # 接入智谱大模型 ZHIPUAI_API_KEY = "" ZHIPUAI_MODEL = "" # 此选项已废弃,不再需要填写 # Claude API KEY ANTHROPIC_API_KEY = "" # 月之暗面 API KEY MOONSHOT_API_KEY = "" # 零一万物(Yi Model) API KEY YIMODEL_API_KEY = "" # Mathpix 拥有执行PDF的OCR功能,但是需要注册账号 MATHPIX_APPID = "" MATHPIX_APPKEY = "" # 自定义API KEY格式 CUSTOM_API_KEY_PATTERN = "" # Google Gemini API-Key GEMINI_API_KEY = '' # HUGGINGFACE的TOKEN,下载LLAMA时起作用 https://huggingface.co/docs/hub/security-tokens HUGGINGFACE_ACCESS_TOKEN = "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" # GROBID服务器地址(填写多个可以均衡负载),用于高质量地读取PDF文档 # 获取方法:复制以下空间https://huggingface.co/spaces/qingxu98/grobid,设为public,然后GROBID_URL = "https://(你的hf用户名如qingxu98)-(你的填写的空间名如grobid).hf.space" GROBID_URLS = [ "https://qingxu98-grobid.hf.space","https://qingxu98-grobid2.hf.space","https://qingxu98-grobid3.hf.space", "https://qingxu98-grobid4.hf.space","https://qingxu98-grobid5.hf.space", "https://qingxu98-grobid6.hf.space", "https://qingxu98-grobid7.hf.space", "https://qingxu98-grobid8.hf.space", ] # 是否允许通过自然语言描述修改本页的配置,该功能具有一定的危险性,默认关闭 ALLOW_RESET_CONFIG = False # 在使用AutoGen插件时,是否使用Docker容器运行代码 AUTOGEN_USE_DOCKER = False # 临时的上传文件夹位置,请勿修改 PATH_PRIVATE_UPLOAD = "private_upload" # 日志文件夹的位置,请勿修改 PATH_LOGGING = "gpt_log" # 除了连接OpenAI之外,还有哪些场合允许使用代理,请勿修改 WHEN_TO_USE_PROXY = ["Download_LLM", "Download_Gradio_Theme", "Connect_Grobid", "Warmup_Modules", "Nougat_Download", "AutoGen"] # *实验性功能*: 自动检测并屏蔽失效的KEY,请勿使用 BLOCK_INVALID_APIKEY = False # 启用插件热加载 PLUGIN_HOT_RELOAD = False # 自定义按钮的最大数量限制 NUM_CUSTOM_BASIC_BTN = 4 """ --------------- 配置关联关系说明 --------------- 在线大模型配置关联关系示意图 │ ├── "gpt-3.5-turbo" 等openai模型 │ ├── API_KEY │ ├── CUSTOM_API_KEY_PATTERN(不常用) │ ├── API_ORG(不常用) │ └── API_URL_REDIRECT(不常用) │ ├── "azure-gpt-3.5" 等azure模型(单个azure模型,不需要动态切换) │ ├── API_KEY │ ├── AZURE_ENDPOINT │ ├── AZURE_API_KEY │ ├── AZURE_ENGINE │ └── API_URL_REDIRECT │ ├── "azure-gpt-3.5" 等azure模型(多个azure模型,需要动态切换,高优先级) │ └── AZURE_CFG_ARRAY │ ├── "spark" 星火认知大模型 spark & sparkv2 │ ├── XFYUN_APPID │ ├── XFYUN_API_SECRET │ └── XFYUN_API_KEY │ ├── "claude-3-opus-20240229" 等claude模型 │ └── ANTHROPIC_API_KEY │ ├── "stack-claude" │ ├── SLACK_CLAUDE_BOT_ID │ └── SLACK_CLAUDE_USER_TOKEN │ ├── "qianfan" 百度千帆大模型库 │ ├── BAIDU_CLOUD_QIANFAN_MODEL │ ├── BAIDU_CLOUD_API_KEY │ └── BAIDU_CLOUD_SECRET_KEY │ ├── "glm-4", "glm-3-turbo", "zhipuai" 智谱AI大模型 │ └── ZHIPUAI_API_KEY │ ├── "yi-34b-chat-0205", "yi-34b-chat-200k" 等零一万物(Yi Model)大模型 │ └── YIMODEL_API_KEY │ ├── "qwen-turbo" 等通义千问大模型 │ └── DASHSCOPE_API_KEY │ ├── "Gemini" │ └── GEMINI_API_KEY │ └── "one-api-...(max_token=...)" 用一种更方便的方式接入one-api多模型管理界面 ├── AVAIL_LLM_MODELS ├── API_KEY └── API_URL_REDIRECT 本地大模型示意图 │ ├── "chatglm3" ├── "chatglm" ├── "chatglm_onnx" ├── "chatglmft" ├── "internlm" ├── "moss" ├── "jittorllms_pangualpha" ├── "jittorllms_llama" ├── "deepseekcoder" ├── "qwen-local" ├── RWKV的支持见Wiki └── "llama2" 用户图形界面布局依赖关系示意图 │ ├── CHATBOT_HEIGHT 对话窗的高度 ├── CODE_HIGHLIGHT 代码高亮 ├── LAYOUT 窗口布局 ├── DARK_MODE 暗色模式 / 亮色模式 ├── DEFAULT_FN_GROUPS 插件分类默认选项 ├── THEME 色彩主题 ├── AUTO_CLEAR_TXT 是否在提交时自动清空输入框 ├── ADD_WAIFU 加一个live2d装饰 └── ALLOW_RESET_CONFIG 是否允许通过自然语言描述修改本页的配置,该功能具有一定的危险性 插件在线服务配置依赖关系示意图 │ ├── 语音功能 │ ├── ENABLE_AUDIO │ ├── ALIYUN_TOKEN │ ├── ALIYUN_APPKEY │ ├── ALIYUN_ACCESSKEY │ └── ALIYUN_SECRET │ └── PDF文档精准解析 ├── GROBID_URLS ├── MATHPIX_APPID └── MATHPIX_APPKEY """

Browse files
Files changed (1) hide show
  1. config.py +60 -50
config.py CHANGED
@@ -7,16 +7,12 @@
7
  Configuration reading priority: environment variable > config_private.py > config.py
8
  """
9
 
10
- # [step 1]>> API_KEY = "sk-123456789xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx123456789"。极少数情况下,还需要填写组织(格式如org-123456789abcdefghijklmno的),请向下翻,找 API_ORG 设置项
11
- API_KEY = "此处填API密钥" # 可同时填写多个API-KEY,用英文逗号分割,例如API_KEY = "sk-openaikey1,sk-openaikey2,fkxxxx-api2dkey3,azure-apikey4"
12
-
13
-
14
- # [step 1]>> API_KEY = "sk-123456789xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx123456789"。极少数情况下,还需要填写组织(格式如org-123456789abcdefghijklmno的),请向下翻,找 API_ORG 设置项
15
- API_KEY = "此处填API密钥" # 可同时填写多个API-KEY,用英文逗号分割,例如API_KEY = "sk-openaikey1,sk-openaikey2,fkxxxx-api2dkey3,azure-apikey4"
16
 
17
 
18
  # [step 2]>> 改为True应用代理,如果直接在海外服务器部署,此处不修改;如果使用本地或无地域限制的大模型时,此处也不需要修改
19
- USE_PROXY = False
20
  if USE_PROXY:
21
  """
22
  代理网络的地址,打开你的代理软件查看代理协议(socks5h / http)、地址(localhost)和端口(11284)
@@ -28,13 +24,39 @@ if USE_PROXY:
28
  """
29
  proxies = {
30
  # [协议]:// [地址] :[端口]
31
- "http": "socks5h://localhost:11284", # 再例如 "http": "http://127.0.0.1:7890",
32
- "https": "socks5h://localhost:11284", # 再例如 "https": "http://127.0.0.1:7890",
33
  }
34
  else:
35
  proxies = None
36
 
37
- # ------------------------------------ 以下配置可以优化体验, 但大部分场合下并不需要修改 ------------------------------------
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
38
 
39
  # 重新URL重新定向,实现更换API_URL的作用(高危设置! 常规情况下不要修改! 通过修改此设置,您将把您的API-KEY和对话隐私完全暴露给您设定的中间人!)
40
  # 格式: API_URL_REDIRECT = {"https://api.openai.com/v1/chat/completions": "在这里填写重定向的api.openai.com的URL"}
@@ -49,7 +71,7 @@ DEFAULT_WORKER_NUM = 3
49
 
50
  # 色彩主题, 可选 ["Default", "Chuanhu-Small-and-Beautiful", "High-Contrast"]
51
  # 更多主题, 请查阅Gradio主题商店: https://huggingface.co/spaces/gradio/theme-gallery 可选 ["Gstaff/Xkcd", "NoCrypt/Miku", ...]
52
- THEME = "Chuanhu-Small-and-Beautiful"
53
  AVAIL_THEMES = ["Default", "Chuanhu-Small-and-Beautiful", "High-Contrast", "Gstaff/Xkcd", "NoCrypt/Miku"]
54
 
55
 
@@ -70,7 +92,7 @@ LAYOUT = "LEFT-RIGHT" # "LEFT-RIGHT"(左右布局) # "TOP-DOWN"(上下
70
 
71
 
72
  # 暗色模式 / 亮色模式
73
- DARK_MODE = False
74
 
75
 
76
  # 发送请求到OpenAI后,等待多久判定为超时
@@ -84,28 +106,11 @@ WEB_PORT = -1
84
  # 如果OpenAI不响应(网络卡顿、代理失败、KEY失效),重试的次数限制
85
  MAX_RETRY = 2
86
 
87
- # OpenAI模型选择是(gpt4现在只对申请成功的人开放)
88
- LLM_MODEL = "gpt-3.5-turbo" # 可选 "chatglm"
89
- AVAIL_LLM_MODELS = ["gpt-3.5-turbo", "gpt-4", "api2d-gpt-4", "api2d-gpt-3.5-turbo", "spark", "azure-gpt-3.5"]
90
 
91
  # 插件分类默认选项
92
  DEFAULT_FN_GROUPS = ['对话', '编程', '学术', '智能体']
93
 
94
 
95
- # 模型选择是 (注意: LLM_MODEL是默认选中的模型, 它*必须*被包含在AVAIL_LLM_MODELS列表中 )
96
- LLM_MODEL = "gpt-3.5-turbo-16k" # 可选 ↓↓↓
97
- AVAIL_LLM_MODELS = ["gpt-4-1106-preview", "gpt-4-turbo-preview", "gpt-4-vision-preview",
98
- "gpt-3.5-turbo-1106", "gpt-3.5-turbo-16k", "gpt-3.5-turbo", "azure-gpt-3.5",
99
- "gpt-4", "gpt-4-32k", "azure-gpt-4", "glm-4", "glm-3-turbo",
100
- "gemini-pro", "chatglm3", "claude-2"]
101
- # P.S. 其他可用的模型还包括 [
102
- # "moss", "qwen-turbo", "qwen-plus", "qwen-max"
103
- # "zhipuai", "qianfan", "deepseekcoder", "llama2", "qwen-local", "gpt-3.5-turbo-0613",
104
- # "gpt-3.5-turbo-16k-0613", "gpt-3.5-random", "api2d-gpt-3.5-turbo", 'api2d-gpt-3.5-turbo-16k',
105
- # "spark", "sparkv2", "sparkv3", "chatglm_onnx", "claude-1-100k", "claude-2", "internlm", "jittorllms_pangualpha", "jittorllms_llama"
106
- # ]
107
-
108
-
109
  # 定义界面上“询问多个GPT模型”插件应该使用哪些模型,请从AVAIL_LLM_MODELS中选择,并在不同模型之间用`&`间隔,例如"gpt-3.5-turbo&chatglm3&azure-gpt-4"
110
  MULTI_QUERY_LLM_MODELS = "gpt-3.5-turbo&chatglm3"
111
 
@@ -134,6 +139,7 @@ CHATGLM_PTUNING_CHECKPOINT = "" # 例如"/home/hmp/ChatGLM2-6B/ptuning/output/6b
134
  LOCAL_MODEL_DEVICE = "cpu" # 可选 "cuda"
135
  LOCAL_MODEL_QUANT = "FP16" # 默认 "FP16" "INT4" 启用量化INT4版本 "INT8" 启用量化INT8版本
136
 
 
137
  # 设置gradio的并行线程数(不需要修改)
138
  CONCURRENT_COUNT = 100
139
 
@@ -143,7 +149,7 @@ AUTO_CLEAR_TXT = False
143
 
144
 
145
  # 加一个live2d装饰
146
- ADD_WAIFU = True
147
 
148
 
149
  # 设置用户名和密码(不需要修改)(相关功能不稳定,与gradio版本和网络都相关,如果本地使用不建议加这个)
@@ -179,14 +185,8 @@ AZURE_ENGINE = "填入你亲手写的部署名" # 读 docs\use_azure.
179
  AZURE_CFG_ARRAY = {}
180
 
181
 
182
- # 使用Newbing (不推荐使用,未来将删除)
183
- NEWBING_STYLE = "creative" # ["creative", "balanced", "precise"]
184
- NEWBING_COOKIES = """
185
- put your new bing cookies here
186
- """
187
-
188
-
189
- # 阿里云实时语音识别 配置难度较高 仅建议高手用户使用 参考 https://github.com/binary-husky/gpt_academic/blob/master/docs/use_audio.md
190
  ENABLE_AUDIO = False
191
  ALIYUN_TOKEN="" # 例如 f37f30e0f9934c34a992f6f64f7eba4f
192
  ALIYUN_APPKEY="" # 例如 RoPlZrM88DnAFkZK
@@ -205,16 +205,18 @@ ZHIPUAI_API_KEY = ""
205
  ZHIPUAI_MODEL = "" # 此选项已废弃,不再需要填写
206
 
207
 
208
- # # 火山引擎YUNQUE大模型
209
- # YUNQUE_SECRET_KEY = ""
210
- # YUNQUE_ACCESS_KEY = ""
211
- # YUNQUE_MODEL = ""
212
-
213
-
214
  # Claude API KEY
215
  ANTHROPIC_API_KEY = ""
216
 
217
 
 
 
 
 
 
 
 
 
218
  # Mathpix 拥有执行PDF的OCR功能,但是需要注册账号
219
  MATHPIX_APPID = ""
220
  MATHPIX_APPKEY = ""
@@ -229,7 +231,7 @@ GEMINI_API_KEY = ''
229
 
230
 
231
  # HUGGINGFACE的TOKEN,下载LLAMA时起作用 https://huggingface.co/docs/hub/security-tokens
232
- HUGGINGFACE_ACCESS_TOKEN = ""
233
 
234
 
235
  # GROBID服务器地址(填写多个可以均衡负载),用于高质量地读取PDF文档
@@ -273,7 +275,11 @@ PLUGIN_HOT_RELOAD = False
273
  # 自定义按钮的最大数量限制
274
  NUM_CUSTOM_BASIC_BTN = 4
275
 
 
 
276
  """
 
 
277
  在线大模型配置关联关系示意图
278
 
279
  ├── "gpt-3.5-turbo" 等openai模型
@@ -297,7 +303,7 @@ NUM_CUSTOM_BASIC_BTN = 4
297
  │ ├── XFYUN_API_SECRET
298
  │ └── XFYUN_API_KEY
299
 
300
- ├── "claude-1-100k" 等claude模型
301
  │ └── ANTHROPIC_API_KEY
302
 
303
  ├── "stack-claude"
@@ -312,15 +318,19 @@ NUM_CUSTOM_BASIC_BTN = 4
312
  ├── "glm-4", "glm-3-turbo", "zhipuai" 智谱AI大模型
313
  │ └── ZHIPUAI_API_KEY
314
 
 
 
 
315
  ├── "qwen-turbo" 等通义千问大模型
316
  │ └── DASHSCOPE_API_KEY
317
 
318
  ├── "Gemini"
319
  │ └── GEMINI_API_KEY
320
 
321
- └── "newbing" Newbing接口不再稳定,不推荐使用
322
- ├── NEWBING_STYLE
323
- └── NEWBING_COOKIES
 
324
 
325
 
326
  本地大模型示意图
@@ -367,4 +377,4 @@ NUM_CUSTOM_BASIC_BTN = 4
367
  └── MATHPIX_APPKEY
368
 
369
 
370
- """
 
7
  Configuration reading priority: environment variable > config_private.py > config.py
8
  """
9
 
10
+ # [step 1]>> API_KEY = "sk-LoxO1RRnZndMnGQaWfxomJyzoAQCZlN6RcnyT7SUkfau8XWE"。极少数情况下,还需要填写组织(格式如org-123456789abcdefghijklmno的),请向下翻,找 API_ORG 设置项
11
+ API_KEY = "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,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,sk-LoxO1RRnZndMnGQaWfxomJyzoAQCZlN6RcnyT7SUkfau8XWE" # 可同时填写多个API-KEY,用英文逗号分割,例如API_KEY = "sk-openaikey1,sk-openaikey2,fkxxxx-api2dkey3,azure-apikey4"
 
 
 
 
12
 
13
 
14
  # [step 2]>> 改为True应用代理,如果直接在海外服务器部署,此处不修改;如果使用本地或无地域限制的大模型时,此处也不需要修改
15
+ USE_PROXY = True
16
  if USE_PROXY:
17
  """
18
  代理网络的地址,打开你的代理软件查看代理协议(socks5h / http)、地址(localhost)和端口(11284)
 
24
  """
25
  proxies = {
26
  # [协议]:// [地址] :[端口]
27
+ "http": "http://127.0.0.1:7890", # 再例如 "http": "http://127.0.0.1:7890",
28
+ "https": "http://127.0.0.1:7890", # 再例如 "https": "http://127.0.0.1:7890",
29
  }
30
  else:
31
  proxies = None
32
 
33
+ # [step 3]>> 模型选择是 (注意: LLM_MODEL是默认选中的模型, 它*必须*被包含在AVAIL_LLM_MODELS列表中 )
34
+ LLM_MODEL = "gpt-3.5-turbo-16k" # 可选 ↓↓↓
35
+ AVAIL_LLM_MODELS = ["gpt-4-1106-preview", "gpt-4-turbo-preview", "gpt-4-vision-preview",
36
+ "gpt-3.5-turbo-1106", "gpt-3.5-turbo-16k", "gpt-3.5-turbo", "azure-gpt-3.5",
37
+ "gpt-4", "gpt-4-32k", "azure-gpt-4", "glm-4", "glm-3-turbo",
38
+ "gemini-pro", "chatglm3"
39
+ ]
40
+ # --- --- --- ---
41
+ # P.S. 其他可用的模型还包括
42
+ # AVAIL_LLM_MODELS = [
43
+ # "qianfan", "deepseekcoder",
44
+ # "spark", "sparkv2", "sparkv3", "sparkv3.5",
45
+ # "qwen-turbo", "qwen-plus", "qwen-max", "qwen-local",
46
+ # "moonshot-v1-128k", "moonshot-v1-32k", "moonshot-v1-8k",
47
+ # "gpt-3.5-turbo-0613", "gpt-3.5-turbo-16k-0613", "gpt-3.5-turbo-0125"
48
+ # "claude-3-sonnet-20240229","claude-3-opus-20240229", "claude-2.1", "claude-instant-1.2",
49
+ # "moss", "llama2", "chatglm_onnx", "internlm", "jittorllms_pangualpha", "jittorllms_llama",
50
+ # "yi-34b-chat-0205", "yi-34b-chat-200k"
51
+ # ]
52
+ # --- --- --- ---
53
+ # 此外,为了更灵活地接入one-api多模型管理界面,您还可以在接入one-api时,
54
+ # 使用"one-api-*"前缀直接使用非标准方式接入的模型,例如
55
+ # AVAIL_LLM_MODELS = ["one-api-claude-3-sonnet-20240229(max_token=100000)"]
56
+ # --- --- --- ---
57
+
58
+
59
+ # --------------- 以下配置可以优化体验 ---------------
60
 
61
  # 重新URL重新定向,实现更换API_URL的作用(高危设置! 常规情况下不要修改! 通过修改此设置,您将把您的API-KEY和对话隐私完全暴露给您设定的中间人!)
62
  # 格式: API_URL_REDIRECT = {"https://api.openai.com/v1/chat/completions": "在这里填写重定向的api.openai.com的URL"}
 
71
 
72
  # 色彩主题, 可选 ["Default", "Chuanhu-Small-and-Beautiful", "High-Contrast"]
73
  # 更多主题, 请查阅Gradio主题商店: https://huggingface.co/spaces/gradio/theme-gallery 可选 ["Gstaff/Xkcd", "NoCrypt/Miku", ...]
74
+ THEME = "Default"
75
  AVAIL_THEMES = ["Default", "Chuanhu-Small-and-Beautiful", "High-Contrast", "Gstaff/Xkcd", "NoCrypt/Miku"]
76
 
77
 
 
92
 
93
 
94
  # 暗色模式 / 亮色模式
95
+ DARK_MODE = True
96
 
97
 
98
  # 发送请求到OpenAI后,等待多久判定为超时
 
106
  # 如果OpenAI不响应(网络卡顿、代理失败、KEY失效),重试的次数限制
107
  MAX_RETRY = 2
108
 
 
 
 
109
 
110
  # 插件分类默认选项
111
  DEFAULT_FN_GROUPS = ['对话', '编程', '学术', '智能体']
112
 
113
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
114
  # 定义界面上“询问多个GPT模型”插件应该使用哪些模型,请从AVAIL_LLM_MODELS中选择,并在不同模型之间用`&`间隔,例如"gpt-3.5-turbo&chatglm3&azure-gpt-4"
115
  MULTI_QUERY_LLM_MODELS = "gpt-3.5-turbo&chatglm3"
116
 
 
139
  LOCAL_MODEL_DEVICE = "cpu" # 可选 "cuda"
140
  LOCAL_MODEL_QUANT = "FP16" # 默认 "FP16" "INT4" 启用量化INT4版本 "INT8" 启用量化INT8版本
141
 
142
+
143
  # 设置gradio的并行线程数(不需要修改)
144
  CONCURRENT_COUNT = 100
145
 
 
149
 
150
 
151
  # 加一个live2d装饰
152
+ ADD_WAIFU = False
153
 
154
 
155
  # 设置用户名和密码(不需要修改)(相关功能不稳定,与gradio版本和网络都相关,如果本地使用不建议加这个)
 
185
  AZURE_CFG_ARRAY = {}
186
 
187
 
188
+ # 阿里云实时语音识别 配置难度较高
189
+ # 参考 https://github.com/binary-husky/gpt_academic/blob/master/docs/use_audio.md
 
 
 
 
 
 
190
  ENABLE_AUDIO = False
191
  ALIYUN_TOKEN="" # 例如 f37f30e0f9934c34a992f6f64f7eba4f
192
  ALIYUN_APPKEY="" # 例如 RoPlZrM88DnAFkZK
 
205
  ZHIPUAI_MODEL = "" # 此选项已废弃,不再需要填写
206
 
207
 
 
 
 
 
 
 
208
  # Claude API KEY
209
  ANTHROPIC_API_KEY = ""
210
 
211
 
212
+ # 月之暗面 API KEY
213
+ MOONSHOT_API_KEY = ""
214
+
215
+
216
+ # 零一万物(Yi Model) API KEY
217
+ YIMODEL_API_KEY = ""
218
+
219
+
220
  # Mathpix 拥有执行PDF的OCR功能,但是需要注册账号
221
  MATHPIX_APPID = ""
222
  MATHPIX_APPKEY = ""
 
231
 
232
 
233
  # HUGGINGFACE的TOKEN,下载LLAMA时起作用 https://huggingface.co/docs/hub/security-tokens
234
+ HUGGINGFACE_ACCESS_TOKEN = "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"
235
 
236
 
237
  # GROBID服务器地址(填写多个可以均衡负载),用于高质量地读取PDF文档
 
275
  # 自定义按钮的最大数量限制
276
  NUM_CUSTOM_BASIC_BTN = 4
277
 
278
+
279
+
280
  """
281
+ --------------- 配置关联关系说明 ---------------
282
+
283
  在线大模型配置关联关系示意图
284
 
285
  ├── "gpt-3.5-turbo" 等openai模型
 
303
  │ ├── XFYUN_API_SECRET
304
  │ └── XFYUN_API_KEY
305
 
306
+ ├── "claude-3-opus-20240229" 等claude模型
307
  │ └── ANTHROPIC_API_KEY
308
 
309
  ├── "stack-claude"
 
318
  ├── "glm-4", "glm-3-turbo", "zhipuai" 智谱AI大模型
319
  │ └── ZHIPUAI_API_KEY
320
 
321
+ ├── "yi-34b-chat-0205", "yi-34b-chat-200k" 等零一万物(Yi Model)大模型
322
+ │ └── YIMODEL_API_KEY
323
+
324
  ├── "qwen-turbo" 等通义千问大模型
325
  │ └── DASHSCOPE_API_KEY
326
 
327
  ├── "Gemini"
328
  │ └── GEMINI_API_KEY
329
 
330
+ └── "one-api-...(max_token=...)" 用一种更方便的方式接入one-api多模型管理界面
331
+ ├── AVAIL_LLM_MODELS
332
+ ├── API_KEY
333
+ └── API_URL_REDIRECT
334
 
335
 
336
  本地大模型示意图
 
377
  └── MATHPIX_APPKEY
378
 
379
 
380
+ """