---
license: lgpl-3.0
---
一种基于Clip改进的，通用HF格式的冻结LLM语言模型进行图文对齐训练的方案，以RWKV-4-World-0.4B为例，Cifar10为数据集

共创合作：受到visualrwkv冻结LLM模型启发（https://github.com/howard-hou/VisualRWKV）

RWKV-4-World-0.4B模型及训练30个epoch后的checkpoint文件：
GIT开源地址：https://github.com/StarRing2022/Dlip-RWKV/