README_zh.md

CogVideoX1.1-5B-SAT

📄 Read in English | 🌐 Github | 📜 arxiv

📍 前往 清影 和 API平台 体验商业版视频生成模型

CogVideoX是 清影 同源的开源版本视频生成模型。CogVideoX1.1 是 CogVideoX 开源模型的升级版本。

CogVideoX1.1-5B 系列模型支持 10秒 长度的视频和更高的分辨率，其中 CogVideoX1.1-5B-I2V 支持 任意分辨率 的视频生成。

本仓库存放了 CogVideoX1.1-5B 模型的 SAT 权重版本。具体来说，包含了如下模块:

Transformer

包含了I2V和T2V两个模型的权重。具体来说，包含了如下模块:

├── transformer_i2v
│   ├── 1000
│   │   └── mp_rank_00_model_states.pt
│   └── latest
└── transformer_t2v
    ├── 1000
    │   └── mp_rank_00_model_states.pt
    └── latest

请在推理的时候选择对应的权重进行推理。

VAE

VAE部分与 CogVideoX-5B 系列一致，无需更新。你也可以直接从这里下载。具体来说，包含了如下模块:

└── vae
    └── 3d-vae.pt

Text Encoder

与 diffusers 版本的 CogVideoX-5B 一致，无需更新。 你也可以直接从这里下载。具体来说，包含了如下模块:

├── t5-v1_1-xxl
   ├── added_tokens.json
   ├── config.json
   ├── model-00001-of-00002.safetensors
   ├── model-00002-of-00002.safetensors
   ├── model.safetensors.index.json
   ├── special_tokens_map.json
   ├── spiece.model
   └── tokenizer_config.json


0 directories, 8 files

模型协议

该模型根据 CogVideoX LICENSE 许可证发布。

引用

@article{yang2024cogvideox,
  title={CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer},
  author={Yang, Zhuoyi and Teng, Jiayan and Zheng, Wendi and Ding, Ming and Huang, Shiyu and Xu, Jiazheng and Yang, Yuanming and Hong, Wenyi and Zhang, Xiaohan and Feng, Guanyu and others},
  journal={arXiv preprint arXiv:2408.06072},
  year={2024}
}