Update README.md

README.md

@@ -1,3 +1,103 @@
----
-license: apache-2.0
----
+---
+license: apache-2.0
+datasets:
+- REILX/chinese-meme-description-dataset
+- SWHL/ChineseOCRBench
+- priyank-m/chinese_text_recognition
+- fly0331/ChineseTest
+- liuhaotian/LLaVA-Pretrain
+- Lin-Chen/ShareGPT4V
+- REILX/Chinese-Image-Text-Corpus-dataset
+language:
+- zh
+pipeline_tag: image-text-to-text
+tags:
+- llava
+- qwen2
+- CLIP
+- zh
+---
+
+# llava-Qwen2-7B-Instruct-Chinese-CLIP-v3
+
+<img src="./images/llava_qwen_2b_chinese-clip.jpg" alt="logo" width="300" height="300" style="display: block; margin: 0 auto;">
+
+## 模型简介
+
+本模型扩大了中文图文训练数据集,并改用 OFA-Sys/chinese-clip-vit-huge-patch14,增强了中文文字识别能力和图像识别能力。
+
+## 1. 模型结构
+
+llava-Qwen2-7B-Instruct-Chinese-CLIP-v3 = Qwen/Qwen2-7B-Instruct + multi_modal_projector + OFA-Sys/chinese-clip-vit-huge-patch14
+
+## 2. 微调训练过程
+
+模型分三阶段训练,每次都对以下两模块进行微调：
+- vision_tower 和 language_model 的 q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj 模块进行 lora 训练
+- mmp 层全量训练
+
+### 阶段1:
+
+- **数据集**: REILX/chinese-meme-description-dataset、SWHL/ChineseOCRBench、priyank-m/chinese_text_recognition、fly0331/ChineseTest、liuhaotian/LLaVA-Pretrain、Lin-Chen/ShareGPT4V
+- **微调参数**:
+  - lora_r=32, lora_alpha=64, num_train_epochs=2, per_device_train_batch_size=1, gradient_accumulation_steps=8, high_lr=1e-3, low_lr=2e-5, model_max_length=2048
+- **设备**: 8 * A800
+- **训练时长**: 84小时02分钟
+
+### 阶段2:
+
+- **数据集**: REILX/Chinese-Image-Text-Corpus-dataset
+- **微调参数**:
+  - lora_r=32, lora_alpha=64, num_train_epochs=3, per_device_train_batch_size=1, gradient_accumulation_steps=8, high_lr=5e-4, low_lr=1e-5, model_max_length=2048
+- **设备**: 8 * A800
+- **训练时长**: 36小时56分钟
+
+### 阶段3:
+
+- **数据集**: REILX/chinese-meme-description-dataset 中的 ChineseBQB-Claude-3-5-sonnet-20240620.jsonl 和 emo-visual-data-Claude-3-5-sonnet-20240620.jsonl，仅使用质量最高的 Claude-3-5-sonnet-20240620 模型输出进行最后的微调
+- **微调参数**:
+  - lora_r=32, lora_alpha=64, num_train_epochs=3, per_device_train_batch_size=1, gradient_accumulation_steps=8, high_lr=5e-4, low_lr=1e-5, model_max_length=2048
+- **设备**: 8 * A800
+- **训练时长**: 1小时04分钟
+
+**3阶段共耗时**: 122小时
+
+## 3. 数据集
+
+### REILX/llava-Qwen2-7B-Instruct-Chinese-CLIP
+- 图像总大小: 1.8G
+- 图片数量: 约10,835张中文表情包图片
+- 文字总量: 41.6Mb
+- 图像文本对: 约24,332个描述信息
+
+### REILX/llava-Qwen2-7B-Instruct-Chinese-CLIP-v2
+#### 阶段1:
+- 图像总大小: 4.45G
+- 图片数量: 约520,492张
+- 文字总量: 249.93Mb
+- 图像文本对: 约533,989个描述信息
+
+#### 阶段2:
+- 图像总大小: 1.8G
+- 图片数量: 约10,835张中文表情包图片
+- 文字总量: 57.34Mb
+- 图像文本对: 约33,762个描述信息
+
+### REILX/llava-Qwen2-7B-Instruct-Chinese-CLIP-v3
+#### 阶段1:
+- 图像总大小: 41G
+- 图片数量: 约1,056,501张
+- 文字总量: 487.82Mb
+- 图像文本对: 约1,112,369个描述信息
+
+#### 阶段2:
+- 图像总大小: 1.5G
+- 图片数量: 约325,503张
+- 文字总量: 107.79Mb
+- 图像文本对: 约325,503个描述信息
+
+#### 阶段3:
+- 图像总大小: 1.8G
+- 图片数量: 约10,835张
+- 文字总量: 15.28Mb
+- 图像文本对: 约9,430个描述信息