Stable Diffusion 是 2022 年發布的深度學習文字到圖像生成模型。它主要用於根據文字的描述產生詳細圖像，儘管它也可以應用於其他任務，如內補繪製、外補繪製，以及在提示詞指導下產生圖生圖的翻譯。

它是一種潛在擴散模型，由慕尼黑大學的 CompVis 研究團體開發的各種生成性類神經網路。它是由初創公司 StabilityAI，CompVis 與 Runway 合作開發的，並得到 EleutherAI 和 LAION 的支援。 截至 2022 年 10 月，StabilityAI 籌集了 1.01 億美元的資金。

Stable Diffusion 的代碼和模型權重已公開發布，可以在大多數配備有適度 GPU 的電腦硬體上運行。而以前的專有文生圖模型（如 DALL-E 和 Midjourney）只能通過雲端運算服務存取。



技術架構

Stable Diffusion 是一種擴散模型（diffusion model）的變體，叫做「潛在擴散模型」（latent diffusion model; LDM）。擴散模型是在 2015 年推出的，其目的是消除對訓練圖像的連續應用高斯噪聲，可以將其視為一系列去噪自編碼器。Stable Diffusion 由 3 個部分組成：變分自編碼器（VAE）、U-Net 和一個文字編碼器。與其學習去噪圖像數據（在「像素空間」中），而是訓練 VAE 將圖像轉換為低維潛在空間。添加和去除高斯噪聲的過程被應用於這個潛在表示，然後將最終的去噪輸出解碼到像素空間中。在前向擴散過程中，高斯噪聲被迭代地應用於壓縮的潛在表徵。每個去噪步驟都由一個包含殘差神經網路（ResNet）中堅的 U-Net 架構完成，通過從前向擴散往反方向去噪而獲得潛在表徵。最後，VAE 解碼器通過將表徵轉換回像素空間來生成輸出圖像。研究人員指出，降低訓練和生成的計算要求是 LDM 的一個優勢。

去噪步驟可以以文字串、圖像或一些其他數據為條件。調節數據的編碼通過交叉注意機制（cross-attention mechanism）暴露給去噪 U-Net 的架構。為了對文字進行調節，一個預訓練的固定 CLIP ViT-L/14 文字編碼器被用來將提示詞​轉化為嵌入空間。



用法

Stable Diffusion 模型支援通過使用提示詞來產生新的圖像，描述要包含或省略的元素，以及重新繪製現有的圖像，其中包含提示詞中描述的新元素（該過程通常被稱為「指導性圖像合成」（guided image synthesis））通過使用模型的擴散去噪機制（diffusion-denoising mechanism）。 此外，該模型還允許通過提示詞在現有的圖中進行內補繪製和外補繪製來部分更改，當與支援這種功能的使用者介面使用時，其中存在許多不同的開源軟體。

Stable Diffusion 建議在 10GB 以上的 VRAM 下運行，
但是 VRAM 較少的使用者可以選擇以 float16 的精度載入權重，而不是默認的 float32，以降低 VRAM 使用率。

文生圖

Stable Diffusion 中的文生圖採樣指令碼，稱為 "txt2img"，接受一個提示詞，以及包括採樣器（sampling type），圖像尺寸，和隨機種子的各種選項參數，並根據模型對提示的解釋生成一個圖像檔案。 生成的圖像帶有不可見的數位浮水印標籤，以允許使用者識別由 Stable Diffusion 生成的圖像，儘管如果圖像被調整大小或旋轉，該浮水印將失去其有效性。 Stable Diffusion 模型是在由 512×512 解析度圖像組成的數據集上訓練出來的，這意味著 txt2img 生成圖像的最佳組態也是以 512×512 的解析度生成的，偏離這個大小會導致生成輸出品質差。 Stable Diffusion 2.0 版本後來引入了以 768×768 解析度圖像生成的能力。

每一個 txt2img 的生成過程都會涉及到一個影響到生成圖像的隨機種子；使用者可以選擇隨機化種子以探索不同生成結果，或者使用相同的種子來獲得與之前生成的圖像相同的結果。 使用者還可以調整採樣迭代步數（inference steps）；較高的值需要較長的運行時間，但較小的值可能會導致視覺缺陷。 另一個可組態的選項，即無分類指導比例值，允許使用者調整提示詞的相關性（classifier-free guidance scale value）；更具實驗性或創造性的用例可以選擇較低的值，而旨在獲得更具體輸出的用例可以使用較高的值。

反向提示詞（negative prompt）是包含在 Stable Diffusion 的一些使用者介面軟體中的一個功能（包括 StabilityAI 自己的「Dreamstudio」雲端軟體即服務模式訂閱制服務），它允許使用者指定模型在圖像生成過程中應該避免的提示，適用於由於使用者提供的普通提示詞，或者由於模型最初的訓練，造成圖像輸出中出現不良的圖像特徵，例如畸形手腳。 與使用強調符（emphasis marker）相比，使用反向提示詞在降低生成不良的圖像的頻率方面具有高度統計顯著的效果；強調符是另一種為提示的部分增加權重的方法，被一些 Stable Diffusion 的開源實現所利用，在關鍵詞中加入括號以增加或減少強調。

圖生圖

Stable Diffusion 包括另一個取樣指令碼，稱為 "img2img"，它接受一個提示詞、現有圖像的檔案路徑和 0.0 到 1.0 之間的去噪強度，並在原始圖像的基礎上產生一個新的圖像，該圖像也具有提示詞中提供的元素；去噪強度表示添加到輸出圖像的噪聲量，值越大，圖像變化越多，但在語義上可能與提供的提示不一致。 圖像升頻是 img2img 的一個潛在用例，除此之外。

2022 年 11 月 24 日發布的 Stable Diffusion 2.0 版本包含一個深度引導模型，稱為 "depth2img"，該模型推斷所提供的輸入圖像的深度，並根據提示詞​和深度資訊生成新圖像，在新圖像中保持原始圖像的連貫性和深度。

內補繪製與外補繪製

Stable Diffusion 模型的許多不同使用者介面軟體提供了通過 img2img 進行圖生圖的其他用例。內補繪製（inpainting）由使用者提供的蒙版描繪的現有圖像的一部分，根據所提供的提示詞，用新生成的內容填充蒙版的空間。 隨著 Stable Diffusion 2.0 版本的發布，StabilityAI 同時建立了一個專門針對內補繪製用例的專用模型。 相反，外補繪製（outpainting）將圖像擴展到其原始尺寸之外，用根據所提供的提示詞生成的內容來填補以前的空白空間。



許可證

與 DALL-E 等模型不同，Stable Diffusion 提供其原始碼以及預訓練的權重。其許可證禁止某些使用案例，包括犯罪，誹謗，騷擾，人肉搜尋，「剝削… 未成年人」，提供醫療建議，自動建立法律義務，偽造法律證據，以及「基於… 社會行為或… 個人或人格特徵… 或受法律保護的特徵或類別而歧視或傷害個人或群體」。 使用者擁有其生成的圖像的權利，並可自由地將其用於商業用途。



模型訓練

Stable Diffusion 是在 LAION-5B 的圖片和標題對上訓練的，LAION-5B 是一個公開的數據集，源自從網路上抓取的 Common Crawl 數據。該數據集由 LAION 建立，LAION 是一家德國非營利組織，接受 StabilityAI 的資助。 該模型最初是在 LAION-5B 的一個大子集上訓練的，最後幾輪訓練是在「LAION-Aesthetics v2 5+」上進行的，這是一個由 6 億張帶標題的圖片組成的子集，人工智慧預測人類在被要求對這些圖片的喜歡程度打分時至少會給 5/10 打分。 這個最終的子集也排除了低解析度的圖像和被人工智慧識別為帶有浮水印的圖像。 對該模型的訓練數據進行的第三方分析發現，在從所使用的原始更廣泛的數據集中抽取的 1200 萬張圖片的較小子集中，大約 47% 的圖像樣本量來自 100 個不同的網站，其中 Pinterest 佔 8.5% 子集，其次是 WordPress，Blogspot，Flickr，DeviantArt 和維基共享資源等網站。

該模型是在亞馬遜雲計算服務上使用 256 個 NVIDIA A100 GPU 訓練，共花費 15 萬個 GPU 小時，成本為 60 萬美元。

終端使用者微調訓練

為了糾正模型初始訓練的局限性，終端使用者可以選擇實施額外的訓練，以微調生成輸出以匹配更具體的使用情況。有三種方法可以讓使用者對 Stable Diffusion 模型權重存檔點進行微調：


* 「嵌入」（Embedding）可以從使用者提供的一些圖像被訓練出來，並允許模型在提示詞​中使用嵌入的名稱時生成視覺上相似的圖像。嵌入是基於 2022 年臺拉維夫大學的研究人員在英偉達的支援下開發的「文字倒置」（Textual Inversion）概念，其中模型的文字編碼器使用的特定標記的向量表示與新的偽詞相關聯。嵌入可以用來減少原始模型中的偏差，或模仿風格。

* 「超網路」（Hypernetwork）是 NovelAI 軟體開發員 Kurumuz 在 2021 年創造的一種技術，最初用於調節文字生成的 Transformer 模型，它能讓 Stable Diffusion 衍生的文生圖模型​模仿各種特定藝術家的風格，無論原始模型​能否識別此藝術家，通過在較大的神經網路中的不同點應用一個預訓練的小神經網路。超網路將文生圖或圖生圖結果導向特定方向，例如加上藝術風格，當與一個較大的神經網路結合使用時。它通過尋找重要的關鍵區域來處理圖像（例：眼睛，頭髮），然後在二級潛在空間中修補這些區域。超網路的一個缺點是它們的準確性相對較低，也有時會產生不可預知的結果。因此，超網路適用於加上視覺風格或清理人體瑕疵。

* DreamBooth 是一個深度學習模型，由 Google Research 和波士頓大學的研究人員於 2022 年開發，可以微調模型以產生與指定主題相關的輸出圖像。



社會影響

由於藝術風格和構圖不受著作權保護，因此通常認為使用 Stable Diffusion 生成藝術品圖像的使用者不應被視為侵犯視覺相似作品的著作權，絕大部分的畫作作者也沒有授權允許用他們的作品訓練 ai，這將導致畫師的失業。 如果生成的圖像中所描述的真人被使用，他們仍然受到人格權的保護， 而且諸如可識別的品牌標識等智慧財產權仍然受到著作權保護。儘管如此，藝術家們表示擔心 Stable Diffusion 等模型的廣泛使用最終可能導致人類藝術家以及攝影師、模特、電影攝影師和演員逐漸失去與基於人工智慧的競爭對手的商業可行性。

與其他公司的類似機器學習圖像合成產品相比，Stable Diffusion 在使用者可能產生的內容類型方面明顯更加寬容，例如暴力或性暴露的圖像。

StabilityAI 的首席執行官 Emad Mostaque 解決了該模型可能被用於濫用目的的擔憂，他解釋說：「人們有責任了解他們在操作這項技術時是否符合道德、道德和法律」，將 Stable Diffusion 的能力交到公眾手中會使該技術在整體上提供淨收益，即使有潛在的負面後果。 此外，Mostaque 認為，Stable Diffusion 的開放可用性背後的意圖是結束大公司對此類技術的控制和主導地位，他們之前只開發了封閉的人工智慧系統進行圖像合成。



參見


* Google 大腦

* 人工智慧藝術



參考文獻



外部鏈結


* Stable Diffusion 演示 （頁面存檔備份，存於網際網路檔案館）

* AUTOMATIC1111 的開源 Stable Diffusion 網路使用者介面（支援繁體中文，簡體中文） （頁面存檔備份，存於網際網路檔案館）