CogVideoX-5B
📄 Read in English | 🌐 Github | 📜 arxiv
作品案例
模型介绍
CogVideoX是 清影 同源的开源版本视频生成模型。下表展示目前我们提供的视频生成模型列表，以及相关基础信息。
| 模型名 | CogVideoX-2B | CogVideoX-5B (当前仓库) |
|---|---|---|
| 模型介绍 | 入门级模型，兼顾兼容性。运行，二次开发成本低。 | 视频生成质量更高，视觉效果更好的更大尺寸模型。 |
| 推理精度 | FP16, FP32, 不支持 BF16。 可以在主流的NVIDIA显卡上运行 |
BF16, FP32, 不支持 FP16。 需要在安培架构以上(例如 A100，H100) 的 NVIDIA显卡运行 |
| 推理速度 (Single A100, Step = 50) |
FP16: ~90 s | BF16: ~200 s |
| 单GPU推理显存消耗 | 18GB using SAT 12GB (with tied VAE) using diffusers 24GB (without tied VAE) using diffusers |
26GB using SAT 21GB (with tied VAE) using diffusers 41GB (without tied VAE) using diffusers |
| 多GPU推理显存消耗 | 20GB minimum per GPU using diffusers | |
| 微调显存消耗(每卡) | 47 GB (bs=1, LORA) 61 GB (bs=2, LORA) 62GB (bs=1, SFT) |
63 GB (bs=1, LORA) 80 GB (bs=2, LORA) 75GB (bs=1, SFT) |
| 提示词语言 | English* | |
| 提示词长度上限 | 226 Tokens | |
| 视频长度 | 6 seconds | |
| 帧率 | 8 帧 / 秒 | |
| 视频分辨率 | 720 * 480，不支持其他分辨率(含微调) | |
Note 使用 SAT 推理和微调SAT版本模型。欢迎前往我们的github查看。
快速上手 🤗
本模型已经支持使用 huggingface 的 diffusers 库进行部署，你可以按照以下步骤进行部署。
我们推荐您进入我们的 github 并查看相关的提示词优化和转换，以获得更好的体验。
- 安装对应的依赖
pip install --upgrade opencv-python transformers accelerate diffusers
- 运行代码
import gc
import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video
prompt = "A panda, dressed in a small, red jacket and a tiny hat, sits on a wooden stool in a serene bamboo forest. The panda's fluffy paws strum a miniature acoustic guitar, producing soft, melodic tunes. Nearby, a few other pandas gather, watching curiously and some clapping in rhythm. Sunlight filters through the tall bamboo, casting a gentle glow on the scene. The panda's face is expressive, showing concentration and joy as it plays. The background includes a small, flowing stream and vibrant green foliage, enhancing the peaceful and magical atmosphere of this unique musical performance."
pipe = CogVideoXPipeline.from_pretrained(
"THUDM/CogVideoX-5b",
torch_dtype=torch.bfloat16
)
pipe.enable_model_cpu_offload()
gc.collect()
torch.cuda.empty_cache()
torch.cuda.reset_accumulated_memory_stats()
torch.cuda.reset_peak_memory_stats()
pipe.vae.enable_tiling()
video = pipe(
prompt=prompt,
num_videos_per_prompt=1,
num_inference_steps=50,
num_frames=49,
guidance_scale=6,
generator=torch.Generator(device="cuda").manual_seed(42),
).frames[0]
export_to_video(video, "output.mp4", fps=8)
使用单卡A100按照上述配置生成一次视频大约需要200秒。
如果您生成的模型在 MAC 默认播放器上表现为 "全绿" 无法正常观看，属于正常现象 (OpenCV保存视频问题)，仅需更换一个播放器观看。
深入研究
欢迎进入我们的 github，你将获得：
- 更加详细的技术细节介绍和代码解释。
- 提示词的优化和转换。
- SAT版本模型进行推理和微调，甚至预发布。
- 项目更新日志动态，更多互动机会。
- CogVideoX 工具链，帮助您更好的使用模型。
模型协议
该模型根据 CogVideoX LICENSE 许可证发布。
引用
@article{yang2024cogvideox,
title={CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer},
author={Zhuoyi Yang and Jiayan Teng and Wendi Zheng and Ming Ding and Shiyu Huang and JiaZheng Xu and Yuanming Yang and Xiaohan Zhang and Xiaotao Gu and Guanyu Feng and Da Yin and Wenyi Hong and Weihan Wang and Yean Cheng and Yuxuan Zhang and Ting Liu and Bin Xu and Yuxiao Dong and Jie Tang},
year={2024},
}