Stable Diffusion
CFGスケール(英: classifier-free guidance scale)の値を調整することで、出力画像がプロンプトに対してどれだけ忠実であるかを調整することも可能である。実験的なユースケースには低いスケール値を使用したり、具体的な出力を得ることが目的のユースケースには高い値を使用したりできる。
その他のtxt2imgの機能は、Stable Diffusionのフロントエンド実装によって提供される。これには、テキストプロンプトの特定の部分に与えられる重みを調整する機能が含まれる。強調マーカーは、キーワードを括弧で囲むことによって、そのキーワードを強調したり、抑制したりできる。プロンプトの部分的な重みを調整する別の方法として、「ネガティブプロンプト」(英: negative prompt)と呼ばれる機能がある。ネガティブプロンプトは、いくつかのフロントエンド実装に含まれる機能であり、画像生成時にモデルが避けるべきプロンプトをユーザーが指定できる。この機能を使用することで、ユーザーによって指定されたポジティブプロンプト(英: positive prompt)によって(あるいはモデルが元々どのように訓練されたかによって)出力画像内に存在することになる望ましくない画像の特徴を指定・排除できる。
Stable Diffusion(ステイブル・ディフュージョン)は、2022年に公開されたディープラーニング(深層学習)のtext-to-imageモデル(英語版)である。主にテキスト入力に基づく画像生成(text-to-image)に使用されるが、他にもインペインティング(英語版)(英: inpainting)、アウトペインティング(英: outpainting)、テキストプロンプトによって誘導される画像に基づく画像生成(image-to-image)にも使用される。
Stable Diffusionは、ミュンヘン大学のCompVisグループが開発した潜在拡散モデル(英: latent diffusion model)であり、深層生成ニューラルネットワーク(英: deep generative neural network)の一種である。このモデルは、EleutherAIとLAION(英語版)の支援を受け、Stability AI、CompVis LMU、Runwayの三者が共同で公開した。
上段: ネガティブプロンプトなし
中段: "green trees"
下段: "round stones, round rocks"
テキストから画像を生成するサンプリングスクリプトは、「txt2img」(text-to-imageやt2iとも言う)として知られている。これには、テキストプロンプトに加え、サンプリング方式、出力画像の解像度、シード値(英語版)などのさまざまなオプションのパラメータが使用される。このスクリプトは、プロンプトに対するモデルの解釈に基づいて画像ファイルを出力する。生成された画像には、Stable Diffusionによって生成された画像であることをユーザーが識別できるように、目に見えない電子透かしが付与されるが、画像のサイズを変更したり回転したりすると効力を失う。
各txt2imgの生成には、出力画像に影響を与える特定のシード値が含まれる。ユーザーは、さまざまな出力を探るためにシード値をランダムにするか、以前に生成された画像と同じ出力を得るために同じシード値を使用するかを選択できる。また、サンプラーの推論ステップ数を調整することも可能である。値を大きくすると生成に時間がかかり、値を小さくすると視覚的な瑕疵が生じる可能性が生じる。
低解像度の画像や、元の学習データと異なる解像度の画像は、新しいタスクを学習できないだけではなく、モデル全体のパフォーマンスを低下させる可能性がある。また、高品質な画像でモデルを追加学習させたとしても、一般的な消費者向けのコンピュータでモデルを動かすことは困難である。たとえば、waifu-diffusionの学習プロセスには最低でも30GBのVRAMが必要であるが、一般的な消費者向けのGPU、たとえば、NVIDIAのGeForce 30シリーズ(英語版)のVRAM容量(約12GB)を優に超えており、一般人が利用可能な通常のリソースを超えている。
Stable Diffusionの開発者は、(このモデルは)主に英語の説明文が付与されている画像で学習したため、アルゴリズムバイアスが生じる可能性があることを認めている。開発者は、他のコミュニティや文化圏からのデータが不足していると指摘しており、その結果、生成される画像は、西洋の視点に立っており、社会的偏見を助長させるものとなっているという。また、他の言語で書かれたプロンプトよりも、英語で書かれたプロンプトの方がより正確な画像が生成され、西洋(または白人)の文化がデフォルトの表現となることが多いという。