Dlip-RWKV / README.md
StarRing2022's picture
Update README.md
2ab190d
|
raw
history blame contribute delete
No virus
406 Bytes
---
license: lgpl-3.0
---
一种基于Clip改进的,通用HF格式的冻结LLM语言模型进行图文对齐训练的方案,以RWKV-4-World-0.4B为例,Cifar10为数据集
共创合作:受到visualrwkv冻结LLM模型启发(https://github.com/howard-hou/VisualRWKV)
RWKV-4-World-0.4B模型及训练30个epoch后的checkpoint文件:
GIT开源地址:https://github.com/StarRing2022/Dlip-RWKV/