Update README.md
Browse files
README.md
CHANGED
@@ -19,19 +19,18 @@ llava-Qwen2-7B-Instruct-Chinese-CLIP = Qwen/Qwen2-7B-Instruct + multi_modal_proj
|
|
19 |
- vision_tower和language_model的q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj模块进行lora训练</br>
|
20 |
- mmp层全量训练</br>
|
21 |
|
22 |
-
3.
|
23 |
-
|
24 |
-
设备:8*A800</br>
|
25 |
-
训练时长:5小时12分钟
|
26 |
|
27 |
-
|
28 |
-
4. 数据集</br>
|
29 |
使用gemini-1.5-pro, gemini-1.5-flash, yi-vision, gpt4o,claude-3.5-sonnet模型描述emo-visual-data和ChineseBQB数据集。</br>
|
30 |
文本描述信息通过[text-description-of-the-meme](https://huggingface.co/datasets/REILX/text-description-of-the-meme) 下载</br>
|
31 |
图像可通过[emo-visual-data](https://github.com/LLM-Red-Team/emo-visual-data), [ChineseBQB](https://github.com/zhaoolee/ChineseBQB)下载</br>
|
32 |
图片数据总量1.8G,约10835张中文表情包图片。文字总量42Mb,约24332个图像文本对描述信息。
|
33 |
|
34 |
-
|
35 |
以下测试结果显示模型能识别图像中的文字信息,且能正确识别表情包想要表达的内涵。对比REILX/llava-1.5-7b-hf-meme-lora模型中也测试了原始llava-1.5-7b-hf模型的输出,模型无法正确识别图像中的文本信息。</br>
|
36 |
<img src="./images/llava-qwen-2-7b-OFA-Syschinese-clip-memechinesebqb_merged_0708_fp16/llava-qwen2-7b-OFA-Syschinese-clip-fp16-01.PNG" width="800" height="400">
|
37 |
<img src="./images/llava-qwen-2-7b-OFA-Syschinese-clip-memechinesebqb_merged_0708_fp16/llava-qwen2-7b-OFA-Syschinese-clip-fp16-02.PNG" width="800" height="400">
|
@@ -45,7 +44,7 @@ llava-Qwen2-7B-Instruct-Chinese-CLIP = Qwen/Qwen2-7B-Instruct + multi_modal_proj
|
|
45 |
<img src="./images/gpt4o-02.JPG" width="600" height="400">
|
46 |
<img src="./images/gpt4o-03.JPG" width="600" height="400">
|
47 |
|
48 |
-
|
49 |
推理代码
|
50 |
```python
|
51 |
from transformers import LlavaForConditionalGeneration, AutoProcessor
|
|
|
19 |
- vision_tower和language_model的q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj模块进行lora训练</br>
|
20 |
- mmp层全量训练</br>
|
21 |
|
22 |
+
3. 微调参数
|
23 |
+
- lora_r=32,lora_alpha=64,num_train_epochs=5,per_device_train_batch_size=1,gradient_accumulation_steps=8,high_lr=1e-3,low_lr=2e-5,model_max_length=2048.</br>
|
24 |
+
- 设备:8*A800</br>
|
25 |
+
- 训练时长:5小时12分钟
|
26 |
|
27 |
+
5. 数据集</br>
|
|
|
28 |
使用gemini-1.5-pro, gemini-1.5-flash, yi-vision, gpt4o,claude-3.5-sonnet模型描述emo-visual-data和ChineseBQB数据集。</br>
|
29 |
文本描述信息通过[text-description-of-the-meme](https://huggingface.co/datasets/REILX/text-description-of-the-meme) 下载</br>
|
30 |
图像可通过[emo-visual-data](https://github.com/LLM-Red-Team/emo-visual-data), [ChineseBQB](https://github.com/zhaoolee/ChineseBQB)下载</br>
|
31 |
图片数据总量1.8G,约10835张中文表情包图片。文字总量42Mb,约24332个图像文本对描述信息。
|
32 |
|
33 |
+
6. 效果展示</br>
|
34 |
以下测试结果显示模型能识别图像中的文字信息,且能正确识别表情包想要表达的内涵。对比REILX/llava-1.5-7b-hf-meme-lora模型中也测试了原始llava-1.5-7b-hf模型的输出,模型无法正确识别图像中的文本信息。</br>
|
35 |
<img src="./images/llava-qwen-2-7b-OFA-Syschinese-clip-memechinesebqb_merged_0708_fp16/llava-qwen2-7b-OFA-Syschinese-clip-fp16-01.PNG" width="800" height="400">
|
36 |
<img src="./images/llava-qwen-2-7b-OFA-Syschinese-clip-memechinesebqb_merged_0708_fp16/llava-qwen2-7b-OFA-Syschinese-clip-fp16-02.PNG" width="800" height="400">
|
|
|
44 |
<img src="./images/gpt4o-02.JPG" width="600" height="400">
|
45 |
<img src="./images/gpt4o-03.JPG" width="600" height="400">
|
46 |
|
47 |
+
7. 代码</br>
|
48 |
推理代码
|
49 |
```python
|
50 |
from transformers import LlavaForConditionalGeneration, AutoProcessor
|