IDEA-CCNL

/

Taiyi-Stable-Diffusion-XL-3.5B

like 54

更新，diffusers直接从huggingface加载也是一样问题。

需要进一步微调，这次数据很少中国图片

需要进一步微调，这次数据很少中国图片

想问下微调代码有公布吗？可以有哪些可以参考？

我们发布训练代码了：

• https://zhuanlan.zhihu.com/p/689784367
• https://github.com/IDEA-CCNL/Taiyi-Diffusion-XL

我们发布训练代码了：

• https://zhuanlan.zhihu.com/p/689784367
• https://github.com/IDEA-CCNL/Taiyi-Diffusion-XL

感谢回复。想请问我基于太乙SD中的clip，针对特定小型数据集训练一个自己的unet实现特定数据集上的中文text2img可以吗，目前是有15k的纯色背景鞋子商品图文对。请问训练时应该冻结clip还是直接解冻一起训? vae冻结就行吗？期待您的回复！

我们发布训练代码了：

• https://zhuanlan.zhihu.com/p/689784367
• https://github.com/IDEA-CCNL/Taiyi-Diffusion-XL

感谢回复。想请问我基于太乙SD中的clip，针对特定小型数据集训练一个自己的unet实现特定数据集上的中文text2img可以吗，目前是有15k的纯色背景鞋子商品图文对。请问训练时应该冻结clip还是直接解冻一起训? vae冻结就行吗？期待您的回复！

unet结构和SD1.5保持一致，inchannel缩小到128