doc

README.md

@@ -0,0 +1,56 @@
+---
+language:
+- zh
+- en
+tags:
+- chatglm
+- blip2
+---
+
+# Model Card for {{ model_id | default("Model ID", true) }}
+
+## Model Details
+
+### Model Description
+
+blip2zh-chatglm-6b是基于blip2训练的中文多模态聊天模型。
+
+- **blip2 base model** [bert-base-chinese](https://huggingface.co/bert-base-chinese)
+- **Vision encoder** [eva-clip-vit-g](https://arxiv.org/abs/2211.07636)
+- **Language model** [chatglm-6b](https://huggingface.co/THUDM/chatglm-6b)
+
+### Model Sources
+
+- [**Training Code**](https://github.com/XiPotatonium/LAVIS): blip2训练代码，基于[LAVIS](https://github.com/salesforce/LAVIS)
+- [**webui**](https://github.com/XiPotatonium/chatbot-webui): 一个由gradio实现的webui
+- [**api**](https://github.com/XiPotatonium/chatbot-api): 一个由fastapi实现的api服务，可以部署在本地，同时也支持一些其他类型的本地可部署语言模型。
+
+## Uses
+
+模型参数不包含chatglm的参数，需要事先下载chatglm并安装其对应的依赖。
+
+加载模型及推理可以参考[api](https://github.com/XiPotatonium/chatbot-api/blob/main/src/model/blip2chatglm/__init__.py)的实现
+
+一些[example](https://github.com/XiPotatonium/chatbot-api/blob/main/examples.ipynb)
+
+## Limitations
+
+受限于中文数据集，目前图像理解能力依然有限，会产生无关或者错误的内容。
+目前没有引入多轮对话训练以及指令微调。多轮对话可能会受到上下文的干扰。
+并且同样受限于chatglm-6b本身的对话效果。
+
+## Training Details
+
+### Training Data
+
+* [laion-2b-chinese](https://huggingface.co/datasets/IDEA-CCNL/laion2B-multi-chinese-subset): 我们仅选取了其中clip分数较高的670k图文对。
+* [coco-zh](https://github.com/li-xirong/coco-cn)
+* [flickr8k-zh](http://lixirong.net/datasets/flickr8kcn)
+
+### Training Procedure
+
+基于blip2的两阶段训练方法
+
+## Evaluation
+
+TODO