shwu
commited on
Commit
•
d1844e4
1
Parent(s):
01d3875
doc
Browse files
README.md
CHANGED
|
@@ -16,7 +16,7 @@ tags:
|
|
| 16 |
blip2zh-chatglm-6b是基于blip2训练的中文多模态聊天模型。
|
| 17 |
|
| 18 |
- **blip2 base model**: [bert-base-chinese](https://huggingface.co/bert-base-chinese)
|
| 19 |
-
- **Vision encoder**:
|
| 20 |
- **Language model**: [chatglm-6b](https://github.com/THUDM/ChatGLM-6B) at [commit](https://huggingface.co/THUDM/chatglm-6b/commit/9324de70a93207c9a310cf99d5d6261791489691)
|
| 21 |
|
| 22 |
### Model Sources
|
|
@@ -27,7 +27,7 @@ blip2zh-chatglm-6b是基于blip2训练的中文多模态聊天模型。
|
|
| 27 |
|
| 28 |
## Uses
|
| 29 |
|
| 30 |
-
|
| 31 |
|
| 32 |
加载模型及推理可以参考[api](https://github.com/XiPotatonium/chatbot-api/blob/main/src/model/blip2chatglm/__init__.py)的实现
|
| 33 |
|
|
|
|
| 16 |
blip2zh-chatglm-6b是基于blip2训练的中文多模态聊天模型。
|
| 17 |
|
| 18 |
- **blip2 base model**: [bert-base-chinese](https://huggingface.co/bert-base-chinese)
|
| 19 |
+
- **Vision encoder**: eva-clip-vit-g
|
| 20 |
- **Language model**: [chatglm-6b](https://github.com/THUDM/ChatGLM-6B) at [commit](https://huggingface.co/THUDM/chatglm-6b/commit/9324de70a93207c9a310cf99d5d6261791489691)
|
| 21 |
|
| 22 |
### Model Sources
|
|
|
|
| 27 |
|
| 28 |
## Uses
|
| 29 |
|
| 30 |
+
模型参数包含了图像编码器和blip2，但是不包含chatglm的参数，需要事先下载[chatglm](https://huggingface.co/THUDM/chatglm-6b)([commit](https://huggingface.co/THUDM/chatglm-6b/commit/9324de70a93207c9a310cf99d5d6261791489691))并安装其对应的依赖。
|
| 31 |
|
| 32 |
加载模型及推理可以参考[api](https://github.com/XiPotatonium/chatbot-api/blob/main/src/model/blip2chatglm/__init__.py)的实现
|
| 33 |
|