StoryVisualizationaTask
#193
by
Anyou
- opened
No description provided.
Anyou
changed pull request status to
open
文本故事的可视化（Story Visualization）任务致力于将一段给定的叙事文本或场景描述转化为一个视觉化的图像序列或视频。本项目选择了开源的数据集 Pororo-SV 作为训练和评估模型的基础数据集。
利用扩散模型进行故事合成的历史感知的自回归隐扩散模型，增加了CLIP和BLIP模型分别作为文本和多模态编码器，起到约束条件的作用，指导稳定扩散模型生成与文本相符合的图像序列。