Stable Diffusion
2023年4月3日、東京大学は理事・副学長の太田邦史の署名付き文章で、全学生・教員向けにMidjourney、Stable Diffusion等の生成AIの利用に関する注意喚起を行った。画像生成AIが、インターネット上のコンテンツを取り込んで学習し、画像を生成しており、これらの元データの作成者が知らないうちに著作権を侵害されたとして、問題提起を行っている現状を指摘。将来的に画像生成AIが生み出したコンテンツが訴訟の対象になる可能性に言及した。
Stable Diffusionの訓練データの収集方法については「データ・ロンダリング」がなされているとの批判を受けている。つまり、提供会社が直接データを収集・利用するのではなく、非営利の研究機関を間に挟むことで、「研究目的」として著作物を収集することができ、著作物の使用に対する対価を払うことなく、商用利用を行っているとされる。
Stable Diffusionなどの画像生成AIが抱える倫理的・法的問題に対して、Adobeは独自の画像生成AIのFireflyをリリースした。これはパブリックドメイン、オープンライセンスおよびAdobe Stockの画像を訓練データとして利用しており、知的財産権を巡る問題を大幅に軽減している。Nvidiaも独自の生成AIであるNvidia Picassoをリリースしたが、著作権者に正当な使用料を支払っているとしている。
圧縮された潜在表現(英: latent representation)には、順方向拡散過程(英: forward diffusion process)の際にガウシアンノイズが連続的に付与される。ResNetで構成されるU-Netブロックは、潜在表現を得るために順方向拡散過程の出力をデノイズ(ノイズを除去)する。この過程を逆方向拡散過程(英: reverse diffusion process)という。最後に、VAEデコーダが潜在表現をピクセル空間へ逆変換し、最終的な画像を生成する。
デノイズの過程は、文字列・画像・その他のモダリティによって柔軟に条件づけることが可能である。エンコードされた条件づけのためのデータは、cross-attention機構によってDenoising U-Netに与えられる。テキストによる条件づけの場合、学習済みの固定的なCLIP ViT-L/14テキストエンコーダを使用して、テキストプロンプトが埋め込み空間へ変換される。研究者らは、LDMの利点として、学習と生成のための計算効率の向上を挙げている。
上段: Stable Diffusion 1.5で作成したオリジナル画像
下段: Stable Diffusion XLで作成した修正画像
Stable Diffusionには、「img2img」(image-to-imageやi2iとも言う)として知られているもう一つのサンプリングスクリプトがある。これには、テキストプロンプト、既存の画像のパス、0.0から1.0までの強度値が使用される。このスクリプトは、テキストプロンプトで指定された要素を含む、オリジナルの画像に基づいた新しい画像を出力する。強度の値は、出力画像に加えられるノイズの量を表している。強度の値が高いほど画像内に新しい要素が増えるが、指定されたプロンプトと意味的に一致しない画像が生成される可能性がある。
img2imgは、元画像にノイズを加えることができるため、画像データの視覚的特徴を変化させて匿名化する、データ匿名化(英語版)やデータ拡張(英語版)に有効である可能性がある。また、画像の解像度を上げ、より詳細な情報を画像に加えるアップスケーリングにも利用できる可能性がある。さらに、Stable Diffusionは、画像圧縮のツールとしても実験されている。JPEGやWebPと比較すると、Stable Diffusionの画像圧縮で使用されている近年の方法は、小さな文字や顔を保存するのに限界がある。
2022年10月、Stability AIは、Lightspeed Venture Partners(英語版)とCoatue Management(英語版)が主導するラウンドで1億100万米ドルを調達した。
Stable Diffusionのコードとウェイトは一般に公開されており、少なくとも8GBのVRAMを持つGPUを搭載したほとんどの消費者向けハードウェアで実行可能である。そのため、DALL-EやMidjourneyなど、クラウドサービス経由でのみアクセス可能だった従来のプロプライエタリなtext-to-imageモデルとは一線を画すものであると評されている。
Stable Diffusionは、教師データを確保するためにインターネット上から何十億もの画像をスクレイピングしているが、その画像の大半は著作権で保護されており同意を得ているわけではないため、著作権法に違反するのかどうか、フェアユースに該当するのかどうか、倫理的に適切であるのかといった法的・倫理的な論争が生じており、提供元のStability AIに対して複数の訴訟が提起されている。