Stable Diffusion
Stable Diffusion
Stable Diffusion(ステイブル・ディフュージョン)は、2022年に公開されたディープラーニング(深層学習)のtext-to-imageモデルである。主にテキスト入力に基づく画像生成(text-to-image)に使用されるが、他にもインペインティング(inpainting)、アウトペインティング(outpainting)、テキストプロンプトによって誘導される画像に基づく画像生成(image-to-image)にも使用される。
Stable Diffusionは、ミュンヘン大学のCompVisグループが開発した潜在拡散モデル(latent diffusion model)であり、深層生成ニューラルネットワーク(deep generative neural network)の一種である。このモデルは、EleutherAIとLAIONの支援を受け、Stability AI、CompVis LMU、Runwayの三者が共同で公開した。2022年10月、Stability AIは、Lightspeed Venture PartnersとCoatue Managementが主導するラウンドで1億100万米ドルを調達した。
Stable Diffusionのコードとウェイトは一般に公開されており、少なくとも8GBのVRAMを持つGPUを搭載したほとんどの消費者向けハードウェアで実行可能である。そのため、DALL-EやMidjourneyなど、クラウドサービス経由でのみアクセス可能だった従来のプロプライエタリなtext-to-imageモデルとは一線を画すものであると評されている。
Stable Diffusionは、教師データを確保するためにインターネット上から何十億もの画像をスクレイピングしているが、その画像の大半は著作権で保護されており、同意も得ていないためには倫理的・法的問題が生じており、提供元のStability AIに対して複数の訴訟が提起されている。
Stable Diffusionは、拡散モデル(diffusion model、DM)の一種である潜在拡散モデル(latent diffusion model、LDM)を使用している。2015年に登場した拡散モデルは、学習元の画像に連続的に付与されたガウシアンノイズを除去する目的で学習されており、デノイジング・オートエンコーダ(denoising autoencoder)のシーケンスとして考えることが可能である。
Stable Diffusionは、変分オートエンコーダ(variational autoencoder、VAE)、U-Net、およびオプションのテキストエンコーダの3つによって構成されている。VAEは、画像をピクセル空間からより低次元の潜在空間(latent space)へと圧縮し、画像のより基本的な意味を捕らえる。圧縮された潜在表現(latent representation)には、順方向拡散過程(forward diffusion process)の際にガウシアンノイズが連続的に付与される。ResNetで構成されるU-Netブロックは、潜在表現を得るために順方向拡散過程の出力をデノイズ(ノイズを除去)する。この過程を逆方向拡散過程(reverse diffusion process)という。最後に、VAEデコーダが潜在表現をピクセル空間へ逆変換し、最終的な画像を生成する。
デノイズの過程は、文字列・画像・その他のモダリティによって柔軟に条件づけることが可能である。エンコードされた条件づけのためのデータは、cross-attention機構によってDenoising U-Netに与えられる。テキストによる条件づけの場合、学習済みの固定的なCLIP ViT-L/14テキストエンコーダを使用して、テキストプロンプトが埋め込み空間へ変換される。研究者らは、LDMの利点として、学習と生成のための計算効率の向上を挙げている。
Stable Diffusionは、LAION-5Bから取得した画像とキャプションのペアから学習している。これは、ウェブ上から収集されたコモン・クロールのデータから派生した一般に利用可能なデータセットである。50億枚の画像とテキストのペアが言語に基づいて分類されており、解像度、ウォーターマークを含んでいる可能性の尤度、および「美学スコア」(aesthetic score)の予測に基づいて別々のデータセットにフィルタリングされている。このデータセットは、Stability AIから資金提供を受けているドイツの非営利団体LAIONによって作成されたものである。Stable Diffusionモデルは、LAION-5Bの3つのサブセット(laion2B-en、laion-high-resolution、laion-aesthetics v2 5+)から学習している。このモデルの学習データを第三者が分析したところ、使用したオリジナルの広いデータセットから抽出した1200万枚の画像のうち、サンプルサイズの約47%が100の異なるドメインから取得された画像であり、Pinterestがサブセットの8.5%を占め、WordPress、Blogspot、Flickr、DeviantArt、ウィキメディア・コモンズなどのウェブサイトがそれに続いていることが確認されたという。
このモデルは、最初に「laion2B-en」と「laion-high-resolution」から学習し、最後の数回に「LAION-Aesthetics v2 5+」から学習している。「LAION-Aesthetics v2 5+」は、LAION-Aesthetics Predictor V2が、人間に対してどの程度(その画像が)好きかを尋ねたときに、平均して10点中5点以上をつけると予測した6億枚のキャプション付き画像のサブセットである。「LAION-Aesthetics v2 5+」サブセットは、低解像度の画像、およびLAION-5B-WatermarkDetectionが80%以上の確率でウォーターマークを検出した画像が除外されている。最後に行われた学習では、Classifier-Free Diffusion Guidanceを改善するために、さらにテキストの条件づけ(キャプション)が10%削除された。
このモデルの学習には、AWS上の256個のNVIDIA A100が使用され、60万米ドルの費用と合計15万のGPU時間が費やされた。
Stable Diffusionには、特定の条件下における劣化や不正確さなどの問題がある。このモデルの初期バージョンは、512×512の解像度の画像からなるデータセットで訓練されたため、ユーザーの要求がその期待される512×512の解像度から逸脱すると、生成される画像の品質が著しく低下する。バージョン2.0のアップデートでは、768×768の解像度で画像をネイティブに生成する機能が導入された。もう一つの課題は、LAIONデータセットにおける四肢のデータ品質が低いため、人間の手足の生成に支障が見られることである。データセットには代表的な特徴がないため、人間の手足や顔を理解するための学習が不十分となっており、そのような画像の生成を指示すると、モデルが混乱してしまうのである。人間の手足だけでなく、動物の四肢の生成も困難であることが確認されており、馬の画像を生成しようとすると25%の確率で失敗するという。
また、個人開発者のアクセシビリティも問題となっている。アニメキャラクターの生成(waifu diffusion)など、データセットに含まれていない新しいユースケースに対してモデルをカスタマイズするには、新たな学習データと訓練が必要である。しかし、この微調整プロセスは、新しいデータの品質に影響を受けやすい。低解像度の画像や、元の学習データと異なる解像度の画像は、新しいタスクを学習できないだけではなく、モデル全体のパフォーマンスを低下させる可能性がある。また、高品質な画像でモデルを追加学習させたとしても、一般的な消費者向けのコンピュータでモデルを動かすことは困難である。たとえば、waifu-diffusionの学習プロセスには最低でも30GBのVRAMが必要であるが、一般的な消費者向けのGPU、たとえば、NVIDIAのGeForce 30シリーズのVRAM容量(約12GB)を優に超えており、一般人が利用可能な通常のリソースを超えている。
Stable Diffusionの開発者は、(このモデルは)主に英語の説明文が付与されている画像で学習したため、アルゴリズムバイアスが生じる可能性があることを認めている。開発者は、他のコミュニティや文化圏からのデータが不足していると指摘しており、その結果、生成される画像は、西洋の視点に立っており、社会的偏見を助長させるものとなっているという。また、他の言語で書かれたプロンプトよりも、英語で書かれたプロンプトの方がより正確な画像が生成され、西洋(または白人)の文化がデフォルトの表現となることが多いという。
Stable Diffusionモデルは、出力に含まれる要素、あるいは含まれない要素を記述するテキストプロンプトを入力することによって、ゼロから新しい画像を生成する機能を備えている。また、既存の画像を与えることも可能であり、diffusion-denoising機構によって、テキストプロンプトに記述された新しい要素を取り込んで再描画することができる(たとえば、guided image synthesisなど)。さらに、インペインティング(inpainting)とアウトペインティング(outpainting)によって既存の画像を部分的に変更することも可能であり、多くの異なるオープンソースの実装が存在する。
Stable Diffusionは、10GB以上のVRAMでの動作が推奨されているが、VRAMが少ない場合は、デフォルトのfloat32ではなくfloat16の精度でウェイトを読み込むことができる。ただし、モデルの性能とVRAM使用量はトレードオフの関係にある。
テキストから画像を生成するサンプリングスクリプトは、「txt2img」(text-to-image)として知られている。これには、テキストプロンプトに加え、サンプリング方式、出力画像の解像度、シード値などのさまざまなオプションのパラメータが使用される。このスクリプトは、プロンプトに対するモデルの解釈に基づいて画像ファイルを出力する。生成された画像には、Stable Diffusionによって生成された画像であることをユーザーが識別できるように、目に見えない電子透かしが付与されるが、画像のサイズを変更したり回転したりすると効力を失う。
各txt2imgの生成には、出力画像に影響を与える特定のシード値が含まれる。ユーザーは、さまざまな出力を探るためにシード値をランダムにするか、以前に生成された画像と同じ出力を得るために同じシード値を使用するかを選択できる。また、サンプラーの推論ステップ数を調整することも可能である。値を大きくすると生成に時間がかかり、値を小さくすると視覚的な瑕疵が生じる可能性が生じる。CFGスケール(classifier-free guidance scale)の値を調整することで、出力画像がプロンプトに対してどれだけ忠実であるかを調整することも可能である。実験的なユースケースには低いスケール値を使用したり、具体的な出力を得ることが目的のユースケースには高い値を使用したりできる。
その他のtxt2imgの機能は、Stable Diffusionのフロントエンド実装によって提供される。これには、テキストプロンプトの特定の部分に与えられる重みを調整する機能が含まれる。強調マーカーは、キーワードを括弧で囲むことによって、そのキーワードを強調したり、抑制したりできる。プロンプトの部分的な重みを調整する別の方法として、「ネガティブプロンプト」(negative prompt)と呼ばれる機能がある。ネガティブプロンプトは、いくつかのフロントエンド実装に含まれる機能であり、画像生成時にモデルが避けるべきプロンプトをユーザーが指定できる。この機能を使用することで、ユーザーによって指定されたポジティブプロンプト(positive prompt)によって(あるいはモデルが元々どのように訓練されたかによって)出力画像内に存在することになる望ましくない画像の特徴を指定・排除できる。
Stable Diffusionには、「img2img」(image-to-image)として知られているもう一つのサンプリングスクリプトがある。これには、テキストプロンプト、既存の画像のパス、0.0から1.0までの強度値が使用される。このスクリプトは、テキストプロンプトで指定された要素を含む、オリジナルの画像に基づいた新しい画像を出力する。強度の値は、出力画像に加えられるノイズの量を表している。強度の値が高いほど画像内に新しい要素が増えるが、指定されたプロンプトと意味的に一致しない画像が生成される可能性がある。
img2imgは、元画像にノイズを加えることができるため、画像データの視覚的特徴を変化させて匿名化する、データ匿名化やデータ拡張に有効である可能性がある。また、画像の解像度を上げ、より詳細な情報を画像に加えるアップスケーリングにも利用できる可能性がある。さらに、Stable Diffusionは、画像圧縮のツールとしても実験されている。JPEGやWebPと比較すると、Stable Diffusionの画像圧縮で使用されている近年の方法は、小さな文字や顔を保存するのに限界がある。
img2imgを使用した画像修正のユースケースは、Stable Diffusionモデルの多くのフロントエンド実装によって提供されている。インペインティング(inpainting)は、ユーザーが提供するマスクレイヤーで区切られた既存画像の一部を選択的に変更するものであり、指定されたプロンプトに基づいて新たに生成されたコンテンツでマスク空間を埋めるものである。Stable Diffusion 2.0のリリースに伴い、インペインティング用途に特化して微調整された専用モデルがStability AIによって作成された。また、インペインティングとは逆のことを行うアウトペインティング(outpainting)という機能もあり、画像を元の解像度以上に拡張し、指定されたプロンプトに基づいて生成されたコンテンツで拡張された空白の部分を埋めることもできる。
2022年11月24日にリリースされたStable Diffusion 2.0では、「depth2img」と名付けられたdepth-guidedモデルが導入された。このモデルは、提供された入力画像の深度を推測し、テキストプロンプトと深度情報の両方に基づいて新しい画像を生成するものであり、入力画像の一貫性と深度を出力画像に維持させることができる。
Stable Diffusionは、生成された画像に関する権利を主張しておらず、画像の内容が違法であったり、個人に有害でない限り、モデルから生成されたあらゆる画像の使用権をユーザーに自由に与えている。Stable Diffusionと他の生成モデルは、著作権のある画像から権利者の同意なしに学習を行っているため、画像の使用に関してユーザーに提供される自由について、所有権の倫理をめぐる論争が引き起こされている。
『ハーバード・ビジネス・レビュー』は、ネット上に公開された無数の著作物を訓練データとして利用するStable Diffusionをはじめとする現行のについて、知的財産権を侵害している可能性があるとして、潜在的な法的リスクを指摘している。そして、訓練データが権利者のライセンスを受けていることが望ましく、生成されたコンテンツの出所を示す手段が必要であるとしている。
開発企業はアーティストの権利を尊重すると称して、著作物を訓練データから除外するためのオプトアウトの申請を受け付けている。しかし『ハーバード・ビジネス・レビュー』は、このオプトアウトは知的財産権を保護する責任を権利者に押し付けているとして、オプトアウトよりもオプトインが適切であると批判している。
芸術家らは、Stable Diffusionのような画像生成ソフトが普及すると、写真家・モデル・撮影監督・俳優といった人間の芸術家が、AIを使用した競合他社に対して徐々に商業的価値を失っていくのではないかという懸念を表明している。『名探偵ピカチュウ』のクリーチャー・デザインに携わったR・J・パーマーは、Stable Diffusionが多くの現役クリエイターの作品を学習データに取り込んでおり、潜在的に彼らの仕事を奪いかねず権利侵害にあたると非難している。DALL・E 2など他の画像生成サービスは、現代の風景写真家の作品を学習データから排除するなど、クリエイターとの協調関係に配慮を見せている。
2023年1月13日、オレゴン州在住の漫画家サラ・アンダーソンら3人の原告はAIアートの違法性を訴え、Stability AIとStable Diffusionを利用した画像生成サービスを展開するMidjourney、DeviantARTの3社に対して訴訟を提起した。画像生成AIは、教師データを確保するためにインターネット上から何十億もの画像をスクレイピングしているが、その画像の大半は著作権で保護されており、同意も得ていないため、画像生成AIには倫理的・法的問題が生じている。アンダーソンは『ワシントン・ポスト』紙の取材に対し、「AIは私の作品を盗んだ」と答えた一方、Stability AI、Midjourney、DeviantARTの3社はいずれも取材を拒否した。
英国のストックフォト企業であるGetty Imagesも画像生成AIが膨大な量の画像を盗用し、知的財産権を侵害しているとしてStability AIへの損害賠償請求訴訟を提起した。画像生成AIはアーティストの知的財産である作品をベースに画像を生成するが、その作品の作者には補償されないし、著作権者の許可も得ていないことが問題視されている。
計算機科学者でプリンストン大学教授のアーヴィンド・ナラヤナンは、「画像生成AIを開発する企業は同意や補償なしに訓練用画像を収集するなど、アーティストに敵対するような方法で開発・デプロイを行っている」とした上で、「特定のアーティストの画風に寄せた画像生成ツールを許容することは、アーティストの労働や視覚的な独自性を明確に流用しているケースのように思える」と述べ、「開発者は、アーティストを訓練用の素材ではなく、パートナーや利害関係者として扱うこともできたはずだ」と画像生成AIの現状に異を唱えた上で、「この現状が必然だったと主張する人物は、企業が責任ある技術開発をできなかったことの言い訳をしているに過ぎない」と結論付けた。
ナラヤナンは、メディアによる画像生成AIの宣伝に関しても厳しく批判しており、それを過度に擬人化するなど誤解を招くような印象を蔓延させ、誇大広告に加担していると指摘している。また、ナラヤナンは「AI報道で気をつけるべき18の落とし穴」として、AIが人間と同じように学習すると暗示して人間の知能とAIを比較したりすることや、AIを電気の発明や産業革命のような歴史的な大転換に安易になぞらえることを批判している。
2023年4月3日、東京大学は理事・副学長の太田邦史の署名付き文章で、全学生・教員向けにMidjourney、Stable Diffusion等の生成AIの利用に関する注意喚起を行った。が、インターネット上のコンテンツを取り込んで学習し、画像を生成しており、これらの元データの作成者が知らないうちに著作権を侵害されたとして、問題提起を行っている現状を指摘。将来的に画像生成AIが生み出したコンテンツが訴訟の対象になる可能性に言及した。
Stable Diffusionの訓練データの収集方法については「データ・ロンダリング」がなされているとの批判を受けている。つまり、提供会社が直接データを収集・利用するのではなく、非営利の研究機関を間に挟むことで、「研究目的」として著作物を収集することができ、著作物の使用に対する対価を払うことなく、商用利用を行っているとされる。
Stable Diffusionは生成AIに基づく他の商業製品と比べて、ユーザーが生成できるコンテンツの種類(暴力や性描写など)に寛容であることが特徴的である。Stability AIのCEOであるEmad Mostaqueは、このモデルが悪用されるのではないかという懸念に対して、「この技術の用途が倫理的・道徳的・合法的であるかどうかはユーザーに責任がある」と説明し、潜在的にはマイナスの影響もあるが、Stable Diffusionの機能を一般人の手に委ねることは、この技術が純粋な利益を提供することにつながると述べている。さらに、Stable Diffusionをオープンにした背景には、クローズドな画像合成AIシステムしか開発してこなかった企業による、このような技術に対する支配と統制を終わらせる意図があると述べている。この理念は、Stable Diffusionが学習済みのウェイトとともにオープンソースとして公開されているために、ユーザーが生成するコンテンツにStability AIが課す成約を容易に回避できるという事実にも反映されている。
また、Discordサーバーを通じて使えるStable Diffusionのホストバージョンは、他の画像生成サービスが禁止している政治的・宗教的にセンシティブな多くのテーマに関する画像ウクライナでの戦争、中国の台湾侵攻、預言者ムハンマドの姿などの生成を野放しにしているとTechCrunchは非難したが、モスタークは「違法なコンテンツは別として、フィルタリングは最小限に抑えられており、どのようにStable Diffusionを使用するかはユーザー次第」とコメントするに留まった。
OpenAIが提供する画像生成AIはディープフェイクに悪用されないように、特定のリクエストの入力をブロックするような対策がされている一方で、Stable Diffusionは名目上ポルノ生成を抑止するような方策が取られているものの、実際にはそれを回避した性的なコンテンツの生成が可能である。カリフォルニア大学バークレー校教授のハニー・ファリドによれば、インターネット上に公開された何億もの画像データを学習する過程で、女性を性的に扱うバイアスが反映されるため、モデルの出力を100%制御することは困難であるとされる。
Kickstarterでは、Stable Diffusionによるポルノの作成を目指す出資プロジェクトが、集めた資金で既存の画像を学習データとして利用することが、多くのアーティストから批判されていることを受け、AIアートに関する条項を変更し、プロジェクトをブロックした。
生成AIの負の側面として、詐欺や思考誘導、世論操作を行う目的で、捏造した顔画像や映像、フェイク音声、フェイク文章といったフェイクメディアを流通させる可能性が懸念されている。すでに国内においてもStable Diffusionを使って捏造された災害画像が拡散する事例もあり、AIを悪用した詐欺や詐称、名誉毀損は現実の脅威となっている。このため国内外で対策のための研究が進められている。