Stable Diffusion 是 2022 年發布的深度學習文字到影像生成模型。它主要用於根據文字的描述產生詳細影像，儘管它也可以應用於其他任務，如內補繪製、外補繪製，以及在提示詞指導下產生圖生圖的轉變。 它是一種擴散模型，由慕尼黑大學的 CompVis 研究團體開發的各種生成性人工神經網路之一。它是由初創公司 StabilityAI、CompVis 與 Runway 合作開發，並得到和的支援。 截至 2022 年 10 月，StabilityAI 籌集了 101 億美元的資金。 Stable Diffusion 的原始碼和模型權重已分別公開發布在 GitHub 和 Hugging Face，可以在大多數配備有適度 GPU 的電腦硬體上執行。而以前的專有文生圖模型（如 DALLE 和 Midjourney）只能透過雲端運算服務訪問。 技術架構 Stable Diffusion 是一種擴散模型（diffusion model）的變體，叫做「潛在擴散模型」（latent diffusion model LDM）。擴散模型是在 2015 年推出的，其目的是消除對訓練影像的連續應用高斯噪聲，可以將其視為一系列去噪自編碼器。Stable Diffusion 由 3 個部分組成：變分自編碼器（VAE）、UNet 和一個文字編碼器。與其學習去噪影像資料（在「畫素空間」中），而是訓練 VAE 將影像轉換為低維潛在空間。新增和去除高斯噪聲的過程被應用於這個潛在表示，然後將最終的去噪輸出解碼到畫素空間中。在前向擴散過程中，高斯噪聲被迭代地應用於壓縮的潛在表徵。每個去噪步驟都由一個包含 ResNet 骨幹的 UNet 架構完成，透過從前向擴散往反方向去噪而獲得潛在表徵。最後，VAE 解碼器透過將表徵轉換回畫素空間來生成輸出影像。研究人員指出，降低訓練和生成的計算要求是 LDM 的一個優勢。 去噪步驟可以以文字串、影像或一些其他資料為條件。調節資料的編碼透過交叉注意機制（crossattention mechanism）暴露給去噪 UNet 的架構。為了對文字進行調節，一個預訓練的固定 CLIP ViTL14 文字編碼器被用來將提示詞轉化為嵌入空間。 用法 Stable Diffusion 模型支援透過使用提示詞來產生新的影像，描述要包含或省略的元素，以及重新繪製現有的影像，其中包含提示詞中描述的新元素（該過程通常被稱為「指導性影像合成」（guided image synthesis））透過使用模型的擴散去噪機制（diffusiondenoising mechanism）。 此外，該模型還允許透過提示詞在現有的圖中進行內補繪製和外補繪製來部分更改，當與支援這種功能的使用者介面使用時，其中存在許多不同的開源軟體。 Stable Diffusion 建議在 10GB 以上的視訊記憶體下執行， 但是視訊記憶體較少的使用者可以選擇以 float16 的精度載入權重，而不是預設的 float32，以降低視訊記憶體使用率。 文生圖 Stable Diffusion 中的文生圖取樣指令碼，稱為 txt2img，接受一個提示詞，以及包括取樣器（sampling type），影像尺寸，和的各種選項引數，並根據模型對提示的解釋生成一個影像檔案。 生成的影像帶有不可見的數位浮水印標籤，以允許使用者識別由 Stable Diffusion 生成的影像，儘管如果影像被調整大小或旋轉，該水印將失去其有效性。 Stable Diffusion 模型是在由 512512 解析度影像組成的資料集上訓練出來的，這意味著 txt2img 生成影像的最佳配置也是以 512512 的解析度生成的，偏離這個大小會導致生成輸出質量差。 Stable Diffusion 20 版本後來引入了以 768768 解析度影像生成的能力。 每一個 txt2img 的生成過程都會涉及到一個影響到生成影像的隨機種子；使用者可以選擇隨機化種子以探索不同生成結果，或者使用相同的種子來獲得與之前生成的影像相同的結果。 使用者還可以調整取樣迭代步數（inference steps）；較高的值需要較長的執行時間，但較小的值可能會導致視覺缺陷。 另一個可配置的選項，即無分類指導比例值，允許使用者調整提示詞的相關性（classifierfree guidance scale value）；更具實驗性或創造性的用例可以選擇較低的值，而旨在獲得更具體輸出的用例可以使用較高的值。 反向提示詞（negative prompt）是包含在 Stable Diffusion 的一些使用者介面軟體中的一個功能（包括 StabilityAI 自己的「Dreamstudio」雲端軟體即服務模式訂閱制服務），它允許使用者指定模型在影像生成過程中應該避免的提示，適用於由於使用者提供的普通提示詞，或者由於模型最初的訓練，造成影像輸出中出現不良的影像特徵，例如畸形手腳。 與使用強調符（emphasis marker）相比，使用反向提示詞在降低生成不良的影像的頻率方面具有高度統計顯著的效果；強調符是另一種為提示的部分增加權重的方法，被一些 Stable Diffusion 的開源實現所利用，在關鍵詞中加入括號以增加或減少強調。 圖生圖 Stable Diffusion 包括另一個取樣指令碼，稱為 img2img，它接受一個提示詞、現有影像的檔案路徑和 00 到 10 之間的去噪強度，並在原始影像的基礎上產生一個新的影像，該影像也具有提示詞中提供的元素；去噪強度表示新增到輸出影像的噪聲量，值越大，影像變化越多，但在語義上可能與提供的提示不一致。 影像升頻是 img2img 的一個潛在用例，除此之外。 2022 年 11 月 24 日發布的 Stable Diffusion 20 版本包含一個深度引導模型，稱為 depth2img，該模型推斷所提供的輸入影像的，並根據提示詞和深度資訊生成新影像，在新影像中保持原始影像的連貫性和深度。 內補繪製與外補繪製 Stable Diffusion 模型的許多不同使用者介面軟體提供了透過 img2img 進行圖生圖的其他用例。內補繪製（inpainting）由使用者提供的描繪的現有影像的一部分，根據所提供的提示詞，用新生成的內容填充蒙版的空間。 隨著 Stable Diffusion 20 版本的發布，StabilityAI 同時建立了一個專門針對內補繪製用例的專用模型。 相反，外補繪製（outpainting）將影像擴充套件到其原始尺寸之外，用根據所提供的提示詞生成的內容來填補以前的空白空間。 許可證 與 DALLE 等模型不同，Stable Diffusion 提供其原始碼以及預訓練的權重。其許可證禁止某些使用案例，包括犯罪，誹謗，騷擾，人肉搜尋，「剝削 未成年人」，提供醫療建議，自動建立法律義務，偽造法律證據，以及「基於 社會行為或 個人或人格特徵 或受法律保護的特徵或類別而歧視或傷害個人或群體」。 使用者擁有其生成的影像的權利，並可自由地將其用於商業用途。 模型訓練 Stable Diffusion 是在 LAION5B 的圖片和標題對上訓練的，LAION5B 是一個公開的資料集，源自從網路上抓取的資料。該資料集由建立，LAION 是一家德國非營利組織，接受 StabilityAI 的資助。 該模型最初是在 LAION5B 的一個大子集上訓練的，最後幾輪訓練是在「LAIONAesthetics v2 5」上進行的，這是一個由 6 億張帶標題的圖片組成的子集，人工智慧預測人類在被要求對這些圖片的喜歡程度打分時至少會給 510 打分。 這個最終的子集也排除了低解析度的影像和被人工智慧識別為帶有水印的影像。 對該模型的訓練資料進行的第三方分析發現，在從所使用的原始更廣泛的資料集中抽取的 1200 萬張圖片的較小子集中，大約 47 的影像樣本量來自 100 個不同的網站，其中 Pinterest 佔 85 子集，其次是 WordPress，Blogspot，Flickr，DeviantArt 和維基共享資源等網站。 該模型是在亞馬遜雲端計算服務上使用 256 個 NVIDIA A100 GPU 訓練，共花費 15 萬個 GPU 小時，成本為 60 萬美元。 終端使用者微調訓練 為了糾正模型初始訓練的侷限性，終端使用者可以選擇實施額外的訓練，以微調生成輸出以匹配更具體的使用情況。有三種方法可以讓使用者對 Stable Diffusion 模型權重存檔點進行微調： 「嵌入」（Embedding）可以從使用者提供的一些影像被訓練出來，並允許模型在提示詞中使用嵌入的名稱時生成視覺上相似的影像。嵌入是基於 2022 年臺拉維夫大學的研究人員在英偉達的支援下開發的「文字倒置」（Textual Inversion）概念，其中模型的文字編碼器使用的特定標記的矢量表示與新的偽詞相關聯。嵌入可以用來減少原始模型中的偏差，或模仿風格。 「超網路」（Hypernetwork）是 NovelAI 軟體開發員 Kurumuz 在 2021 年創造的一種技術，最初用於調節文字生成的 Transformer 模型，它能讓 Stable Diffusion 衍生的文生圖模型模仿各種特定藝術家的風格，無論原始模型能否識別此藝術家，透過在較大的神經網路中的不同點應用一個預訓練的小神經網路。超網路將文生圖或圖生圖結果導向特定方向，例如加上藝術風格，當與一個較大的神經網路結合使用時。它透過尋找重要的關鍵區域來處理影像（例：眼睛，頭髮），然後在二級潛在空間中修補這些區域。超網路的一個缺點是它們的準確性相對較低，也有時會產生不可預知的結果。因此，超網路適用於加上視覺風格或清理人體瑕疵。 DreamBooth 是一個深度學習模型，由 Google Research 和波士頓大學的研究人員於 2022 年開發，可以微調模型以產生與指定主題相關的輸出影像。 發行 版本號 發行日期 引數 註釋 11 12 13 14 2022 年 8 月 都由 CompVis 發行。沒有版本 10。11 引發 12，而 12 引發 13 和 14 二者。 15 2022 年 10 月 983M 以 12 而非 14 的權重初始化。由 RunwayML 發行。 20 2022 年 11 月 從頭在過濾後的資料集上重新訓練。 21 2022 年 12 月 以 20 的權重初始化。 XL 10 2023 年 7 月 35B XL 10 基礎模型有 35 億個引數，使其比以前版本大了約 35 倍。 XL Turbo 2023 年 11 月 提取自 XL 10 而以更少擴散步驟執行。 30 2024 年 2 月（早期預覽） 800M 到 8B 模型家族。 35 2024 年 10 月 25B 到 8B 具有 Large（80 億個引數）、Large Turbo（提取自 SD 35）和 Medium 25 億個引數）的模型家族。 社會影響 由於藝術風格和構圖不受版權保護，因此通常認為使用 Stable Diffusion 生成藝術品影像的使用者不應被視為侵犯視覺相似作品的版權，絕大部分的畫作作者也沒有授權允許用他們的作品訓練 ai，這將導致畫師的失業。 如果生成的影像中所描述的真人被使用，他們仍然受到人格權的保護， 而且諸如可識別的品牌標識等智慧財產權仍然受到版權保護。儘管如此，藝術家們表示擔心 Stable Diffusion 等模型的廣泛使用最終可能導致人類藝術家以及攝影師、模特、電影攝影師和演員逐漸失去與基於人工智慧的競爭對手的商業可行性。 與其他公司的類似機器學習影像合成產品相比，Stable Diffusion 在使用者可能產生的內容型別方面明顯更加寬容，例如暴力或性暴露的影像。 StabilityAI 的執行長 Emad Mostaque 解決了該模型可能被用於濫用目的的擔憂，他解釋說：「人們有責任瞭解他們在操作這項技術時是否符合道德、道德和法律」，將 Stable Diffusion 的能力交到公眾手中會使該技術在整體上提供淨收益，即使有潛在的負面後果。 此外，Mostaque 認為，Stable Diffusion 的開放可用性背後的意圖是結束大公司對此類技術的控制和主導地位，他們之前只開發了封閉的人工智慧系統進行影像合成。 參見 生成式人工智慧 15ai 文字到影像生成模型 人工智慧藝術 DALLE 谷歌大腦 Hugging Face 參考文獻 外部連結 Stable Diffusion 演示 Interactive Explanation of Stable Diffusion AUTOMATIC1111 的開源 Stable Diffusion 網路使用者介面（支援繁體中文，簡體中文） Category2022 年軟體 Category 資料探勘和機器學習軟體 Category 人工神經網路 Category 應用機器學習 Category 人工智慧 Category 計算語言學 Category 深度學習 Category 計算機圖形學 Category 自然語言處理