leafmoone/Mage-Flow-RGBA-vae

Mage-Flow-RGBA VAE — step 14000 continuation

本仓库发布 **Mage RGBA VAE **。结构参考 ChenkinLab/CKMoss-Image-RGBA。 训练数据集leafmoone/webdataset_danbooru_v3_alpha_repack中的部分透明图，没有使用图文对以及不透明图片等

文件

路径	说明
vae/moss_rgba_vae.safetensors	已合并 LoRA 的 RGBA VAE 权重（404.6 MB），可直接加载
vae/mage_config.json	模型结构配置
vae/weights.json	合并前后数值一致性报告
checkpoint-00014000/lora/adapter_model.safetensors	未合并的 LoRA 适配器（43.7 MB，rank 32）
checkpoint-00014000/lora/adapter_config.json	PEFT/LoRA 配置
checkpoint-00014000/lora/mage_config.json	适配器对应的模型配置
checkpoint-00014000/progress.json	训练进度（step 14000，next_batch 44000）
checkpoint-00014000/manifest.json	该 checkpoint 的文件清单与 SHA256

训练指标

累计到 14310 步；最后一个完整保存的 checkpoint 是 step 14000。

训练损失（1131 条日志，3010→14310，前 100 条 vs 后 100 条均值）：

指标	前 100 条	后 100 条	变化
Total loss	0.010546	0.008037	-23.8%
Alpha MAE	0.011672	0.008140	-30.3%
AB-MSE	0.001462	0.001092	-25.3%
LPIPS	0.009080	0.006940	-23.6%
Latent RMS	1.0184	1.0378	+1.9%

固定 8 张验证图（每 500 步一次，共 22 次）：

指标	step 3500	step 10000	step 11500	step 14000	最佳
Alpha MAE ↓	0.01498	0.01111	0.01107	0.01131	0.01107 @ 11500
PSNR ↑	29.99 dB	30.99 dB	31.08 dB	31.12 dB	31.12 dB @ 13500
黑底 PSNR ↑	31.98 dB	32.62 dB	32.66 dB	32.70 dB	32.71 dB @ 13500
白底 PSNR ↑	28.01 dB	29.36 dB	29.50 dB	29.54 dB	29.54 dB @ 14000

训练配置：512px、bf16、micro-batch 8 × accumulation 4（global batch 32）、LoRA rank/alpha 32、
单卡 DCU，平均约 **4.79 秒/步**，峰值显存约 39.5 GiB。
优化器与随机状态文件只用于精确续训，推理不需要。

VAE 输入/输出均为 4 通道、归一化到 `[-1, 1]`，Alpha 在通道 3，`+1` 表示不透明。

## 已知限制

本仓库只包含 **VAE 阶段**的权重，**没有训练 DiT LoRA 阶段**。

- VAE 对真实 RGBA 输入的重建可以正确恢复 Alpha
若要原生透明输出，需要补训 DiT LoRA。

## 许可与致谢

[Mage](https://github.com/microsoft/Mage)（MIT）与
[CKMoss-Image-RGBA](https://github.com/Chenkin-x/CKMoss-Image-RGBA)（GPLv3）。
本项目采用 GPLv3，见 `LICENSE` 与 `NOTICE`。