Stabilna difuzija

**Stabilna difuzija** () jest model dubokog učenja za generiranje slika iz teksta, objavljen 2022. godine i zasnovan na difuzionim tehnikama. Razvoj modela uključivao je istraživače iz grupe CompVis pri LMU Munich, kompaniju Runway i kompaniju Stability AI, a model je postao jedan od najpoznatijih proizvoda u ranom valu generativne vještačke inteligencije.

Pored generiranja slika iz tekstualnih opisa, može se koristiti i za inpainting, outpainting te transformaciju jedne slike u drugu uz pomoć tekstualnog upita. Za razliku od ranijih zatvorenih sistema poput DALL-Ea i Midjourneya, kod i unaprijed istrenirane težine modela objavljeni su javno, što je omogućilo pokretanje modela i na potrošačkom hardveru s relativno skromnim GPU-om.

## Razvoj 
Stabilna difuzija proizašao je iz projekta **Latent Diffusion**, razvijenog u Njemačkoj pri LMU Munich i Univerzitetu Heidelberg. Kasnije su pojedini autori prešli u Stability AI, koja je objavila naredne verzije Stable Diffusiona.

## Tehnologija 
mini|desno|300px|Dijagram latentne difuzione arhitekture korištene u Stable Diffusionu
mini|desno|300px|Ilustracija procesa uklanjanja šuma pri generiranju slike

### Arhitektura 
Stabilna difuzija je latentni difuzioni model, odnosno varijanta difuzionog modela u kojoj se obrada ne odvija neposredno nad pikselima slike, nego u komprimiranom latentnom prostoru. VAE komprimira sliku iz prostora piksela u latentni prostor, U-Net postupno uklanja dodani šum, a dekoder zatim rekonstruira konačnu sliku.

Za uvjetovanje tekstom koristi se unaprijed istrenirani CLIP tekstualni enkoder i mehanizam unakrsne pažnje (*cross-attention*). Prema izvorima iz ranog perioda razvoja, model s približno 860 miliona parametara u U-Netu i 123 miliona u tekstualnom enkoderu smatran je relativno laganim za svoje vrijeme, te je mogao raditi i na potrošačkim grafičkim karticama.

### Skupovi podataka i treniranje 
Model je istreniran na parovima slika i opisa preuzetih iz skupa LAION-5B, javno dostupnog korpusa izvedenog iz podataka Common Crawla. Za treniranje su korišteni podskupovi *laion2B-en*, *laion-high-resolution* i *laion-aesthetics v2 5+*.

U kasnijim analizama isticano je da skupovi podataka sadržavaju i privatne ili osjetljive podatke, što je otvorilo pitanja privatnosti i zakonitosti prikupljanja podataka za treniranje generativnih modela.

### Verzije 
Serija modela Stable Diffusion tokom vremena je proširena s početnih izdanja 1.1–1.4, preko verzija 1.5 i 2.0, do kasnijih sistema kao što su SDXL i Stable Diffusion 3/3.5. SDXL je donio veći model i nativnu podršku za slike rezolucije 1024 × 1024, dok je Stable Diffusion 3 prešao na arhitekturu zasnovanu na *Rectified Flow Transformeru* i MMDiT pristupu.

## Mogućnosti i ograničenja 
Najpoznatija primjena jest generiranje slika na osnovu prirodnojezičnih opisa. Korisnik unosi *prompt*, a model iterativnim uklanjanjem šuma proizvodi novu sliku koja odgovara tekstualnom opisu. Osim toga, model podržava *img2img* postupak, kojim se postojeća slika modificira zadržavajući osnovnu strukturu, kao i selektivno popunjavanje ili proširivanje slike.

Rane verzije modela bile su istrenirane pretežno na slikama rezolucije 512 × 512, zbog čega je kvalitet generiranih slika mogao opadati izvan očekivanih dimenzija. Uočeni su i česti problemi pri generiranju ljudskih ruku, lica i čitljivog teksta, što se u izvorima dovodilo u vezu s ograničenjima i pristrasnostima trening-skupa. Također su isticane algoritamske pristrasnosti, budući da je model primarno treniran na slikama s opisima na engleskom jeziku i s naglašenijom zastupljenošću zapadnih kulturnih obrazaca.

## Upotreba i kontroverze 
Zbog otvorenije dostupnosti, Stable Diffusion brzo je postao osnova za velik broj grafičkih sučelja, prilagođenih modela i zajedničkih projekata, ali je istovremeno otvorio rasprave o zloupotrebi, autorskim pravima, etici i privatnosti. Kritičari su ukazivali na mogućnost generiranja nasilnog, seksualno eksplicitnog ili obmanjujućeg sadržaja, dok su pristalice otvorenog pristupa tvrdile da objavljivanje modela smanjuje korporativnu kontrolu nad generativnom umjetnom inteligencijom.

Istog mjeseca i Getty Images pokrenuo je postupak protiv Stability AI pred Visokim sudom Engleske i Walesa, navodeći da je kompanija bez dozvole preuzela milione Gettyjevih slika i koristila ih za treniranje Stable Diffusiona.

## Licenca 
Za razliku od nekih konkurentskih modela, Stable Diffusion je objavljen sa javno dostupnim izvornim kodom i modelskim težinama.

## Također pogledaj 
* Vještačka inteligencija u umjetnosti
* Difuzioni model
* Midjourney
* DALL-E
* Hugging Face

## Reference 
Kategorija:Vještačka inteligencija
Kategorija:Strojno učenje
Kategorija:Računarska grafika
Kategorija:Softver iz 2022.