您好!下载模型后通过diffusers加载,似乎模型没有任何与中文关联的能力?是否我的加载方式有误?

#5
by LanTianby - opened

再次感谢各位的贡献!
1.png

2.png

3.png
图1是我的加载方式。图2的prompt为"飞流直下三千尺",这里似乎完全没有理解。图3为"古代宫殿",生成外国风格的建筑。与v0.1相比,没有了中国特征的关联。我考虑可能是我加载方式有问题?

更新,diffusers直接从huggingface加载也是一样问题。

Fengshenbang-LM org

需要进一步微调,这次数据很少中国图片
image.png

需要进一步微调,这次数据很少中国图片
image.png

想问下微调代码有公布吗?可以有哪些可以参考?

Fengshenbang-LM org

我们发布训练代码了:

感谢回复。想请问我基于太乙SD中的clip,针对特定小型数据集训练一个自己的unet实现特定数据集上的中文text2img可以吗,目前是有15k的纯色背景鞋子商品图文对。请问训练时应该冻结clip还是直接解冻一起训? vae冻结就行吗?期待您的回复!

我们发布训练代码了:

感谢回复。想请问我基于太乙SD中的clip,针对特定小型数据集训练一个自己的unet实现特定数据集上的中文text2img可以吗,目前是有15k的纯色背景鞋子商品图文对。请问训练时应该冻结clip还是直接解冻一起训? vae冻结就行吗?期待您的回复!

unet结构和SD1.5保持一致,inchannel缩小到128

Sign up or log in to comment