Stable Diffusion
このモデルは、最初に「laion2B-en」と「laion-high-resolution」から学習し、最後の数回に「LAION-Aesthetics v2 5+」から学習している。「LAION-Aesthetics v2 5+」は、LAION-Aesthetics Predictor V2が、人間に対してどの程度(その画像が)好きかを尋ねたときに、平均して10点中5点以上をつけると予測した6億枚のキャプション付き画像のサブセットである。「LAION-Aesthetics v2 5+」サブセットは、低解像度の画像、およびLAION-5B-WatermarkDetectionが80%以上の確率でウォーターマークを検出した画像が除外されている。最後に行われた学習では、Classifier-Free Diffusion Guidanceを改善するために、さらにテキストの条件づけ(キャプション)が10%削除された。
このモデルの学習には、AWS上の256個のNVIDIA A100(英語版)が使用され、60万米ドルの費用と合計15万のGPU時間が費やされた。
Stable Diffusionには、特定の条件下における劣化や不正確さなどの問題がある。このモデルの初期バージョンは、512×512の解像度の画像からなるデータセットで訓練されたため、ユーザーの要求がその期待される512×512の解像度から逸脱すると、生成される画像の品質が著しく低下する。バージョン2.0のアップデートでは、768×768の解像度で画像をネイティブに生成する機能が導入された。もう一つの課題は、LAIONデータセットにおける四肢のデータ品質が低いため、人間の手足の生成に支障が見られることである。データセットには代表的な特徴がないため、人間の手足や顔を理解するための学習が不十分となっており、そのような画像の生成を指示すると、モデルが混乱してしまうのである。人間の手足だけでなく、動物の四肢の生成も困難であることが確認されており、馬の画像を生成しようとすると25%の確率で失敗するという。
また、個人開発者のアクセシビリティも問題となっている。アニメキャラクターの生成(waifu diffusion)など、データセットに含まれていない新しいユースケースに対してモデルをカスタマイズするには、新たな学習データと訓練が必要である。しかし、この微調整プロセスは、新しいデータの品質に影響を受けやすい。