Akış tabanlı üretici model

Akış tabanlı üretici model, makine öğreniminde kullanılan ve olasılık dağılımını, normalleştirme akışını (normalizing flow) kullanarak açıkça modelleyen bir üretici modeldir. Bu yöntem, değişken dönüşümü olasılık yasasını kullanarak basit bir dağılımı karmaşık bir dağılıma dönüştüren istatistiksel bir yöntemdir.

Olabilirliğin doğrudan modellenmesi birçok avantaj sağlar. Örneğin, negatif log-olabilirlik doğrudan hesaplanabilir ve kayıp fonksiyonu olarak en aza indirilebilir. Ayrıca, başlangıç dağılımından örnekleme yapılıp akış dönüşümü uygulanarak yeni örnekler üretilebilir.

Buna karşılık, varyasyonel otokodlayıcılar (VAE), üretici çekişmeli ağlar (GAN), veya difüzyon modelleri gibi birçok alternatif üretici modelleme yöntemi olabilirlik fonksiyonunu açıkça temsil etmez.

Yöntem
, dağılımı olan (muhtemelen çok değişkenli bir) rastgele değişken olsun.

için, 'dan dönüştürülen rastgele değişkenler dizisi olsun. fonksiyonları terslenebilir olmalıdır; yani ters fonksiyon mevcut olmalıdır. Son çıktı olan , hedef dağılımı modeller.

'nin log-olabilirliği şu şekildedir:

Bu tür log Jacobianlarının türevleri kullanılarak olasılık dağılımlarının öğrenilmesi, bağımsız bileşen analizi (ICA) için Infomax (maksimum olabilirlik) yaklaşımıyla ortaya çıkmıştır. Bu yaklaşım, tek katmanlı ( ) bir akış tabanlı üretici model oluşturur. Benzer şekilde, koşullu üretici akışların tek katmanlı öncülü de aşağıdaki çalışmada ortaya konmuştur.

Log-olabilirliğin verimli bir şekilde hesaplanabilmesi için fonksiyonlarının kolayca terslenebilir olması ve Jacobianlarının determinantlarının hesaplanmasının basit olması gerekir. Uygulamada, fonksiyonları derin sinir ağları kullanılarak modellenir ve hedef dağılımdan elde edilen veri örneklerinin negatif log-olabilirliğini en aza indirecek şekilde eğitilir. Bu mimariler genellikle, hem ters dönüşüm hem de Jacobian determinantı hesaplamalarında sinir ağının yalnızca ileri geçişinin (forward pass) gerekli olacağı şekilde tasarlanır. Bu tür mimarilere örnek olarak NICE, RealNVP, ve Glow verilebilir.

Log Olabilirliğin Türetilmesi
ve 'ı ele alalım. olduğuna dikkat ediniz.

Değişken dönüşümü formülüne göre, 'in dağılımı şöyledir:

Burada , 'in Jacobian matrisinin determinantıdır.

Ters fonksiyon teoremine göre:

özdeşliği (burada bir terslenebilir matristir) kullanılarak şu elde edilir:

Dolayısıyla log-olabilirlik:

Genel olarak, yukarıdaki ifade herhangi bir ve için de geçerlidir. , yinelemeli olmayan bir terim çıkarılmış 'e eşit olduğundan, matematiksel tümevarım ile şu sonuca ulaşılır:

Eğitim Yöntemi
Derin öğrenme modellerinin eğitiminde genel olarak yapıldığı gibi, normalleştirme akışlarında amaç, modelin olabilirliği ile tahmin edilmek istenen hedef dağılım arasındaki Kullback-Leibler ayrışımını en aza indirmektir. Modelin olabilirliği , öğrenilecek hedef dağılım ise ile gösterildiğinde, (ileri) KL ayrışımı şu şekildedir:

Denklemin sağ tarafındaki ikinci terim, hedef dağılımın entropisine karşılık gelir ve modelin öğrenmesi istenen parametresinden bağımsızdır. Böylece geriye yalnızca hedef dağılım altında negatif log-olabilirliğin beklenen değerini en aza indirmek kalır. Doğrudan hesaplanması mümkün olmayan bu terim, önem örneklemesi kullanan bir Monte Carlo yöntemi ile yaklaşık olarak hesaplanabilir. Gerçekten de, hedef dağılım 'den bağımsız olarak çekilmiş örneklerden oluşan veri kümesine sahipsek, bu terim şu şekilde tahmin edilebilir:

Böylece öğrenme amacı

yerine

ifadesi kullanılır.

Başka bir deyişle, modelin olabilirliği ile hedef dağılım arasındaki Kullback-Leibler ayrışımını en aza indirmek, hedef dağılımdan gözlemlenen örnekler altında modelin olabilirliğini en büyüklemeye eşdeğerdir.

Normalleştirme akışlarının eğitimi için sözde kod aşağıdaki gibidir:

GİRDİ. Veri kümesi , normalleştirme akışı modeli .
ÇÖZ. problemini gradyan inişi ile çöz.
DÖNDÜR.

Varyantlar
Planar Akış
En erken örneklerden biridir. Bir aktivasyon fonksiyonu sabitlensin ve uygun boyutlara sahip olsun. Bu durumda



Genel durumda, tersinin kapalı biçimli bir çözümü yoktur.

Jacobian determinantı



şeklindedir.

Fonksiyonun her noktada terslenebilir olması için bu determinantın her yerde sıfırdan farklı olması gerekir. Örneğin, ve koşulu bu gereksinimi sağlar.

Doğrusal Olmayan Bağımsız Bileşen Tahmini (NICE)
çift boyutlu olsun ve ortadan ikiye ayrılsın.



Burada ve , oto-regresif modeli tanımlayan sabit fonksiyonlardır.

Yeniden parametreleştirme hilesi kullanılarak oto-regresif model bir normalleştirme akışına genelleştirilir:



Oto-regresif model, seçildiğinde geri elde edilir.

İleri dönüşüm ardışık olduğu için yavaştır, ancak ters dönüşüm paralel çalışabildiği için hızlıdır.

Jacobian matrisi alt üçgensel olduğundan, Jacobian şu şekilde yazılır:

.

MAF dönüşümlerinin ileri ve ters fonksiyonlarının yer değiştirilmesi, hızlı ileri dönüşüm ve yavaş ters dönüşüm özelliklerine sahip Ters Oto-regresif Akış (IAF) modelini verir.

Sürekli Normalleştirme Akışı (CNF)
Fonksiyon bileşimi ile akış inşa etmek yerine, başka bir yaklaşım akışı sürekli-zamanlı bir dinamik olarak formüle etmektir. , dağılımı olan gizli değişken olsun. Bu gizli değişken, aşağıdaki akış fonksiyonu ile veri uzayına haritalanır:

Burada keyfi bir fonksiyondur ve örneğin sinir ağları ile modellenebilir.

Ters fonksiyon doğal olarak şu şekilde elde edilir: Buradaki “serbest biçim”, Jacobian’ın yapısına herhangi bir kısıtlama getirilmemesi anlamına gelir. Bu, Jacobian’ın verimli hesaplanabilmesi için dikkatle üst veya alt üçgensel olacak şekilde tasarlandığı önceki ayrık normalleştirme akışı modelleriyle karşılaştırılır.

İz, “Hutchinson hilesi” kullanılarak tahmin edilebilir:

Verilen herhangi bir matrisi ve olacak şekilde herhangi bir rastgele için, olur. (Kanıt: beklenen değeri doğrudan açarak.)

Genellikle rastgele vektör (normal dağılım) veya (Rademacher dağılımı) üzerinden örneklenir.

bir sinir ağı olarak uygulandığında, sinirsel adi diferansiyel denklem (neural ODE) yöntemlerine ihtiyaç duyulur. Gerçekten de CNF, neural ODE’yi öneren aynı çalışmada ilk kez ortaya atılmıştır.

CNF’nin iki temel eksikliği vardır: bunlardan biri, sürekli bir akışın bir homeomorfizm olması gerektiğinden yönelimi ve çevresel izotopiyi korumasıdır (örneğin, uzayın sürekli deformasyonu ile bir sol eli sağ ele çevirmek mümkün değildir; aynı şekilde bir küreyi tersine çevirmek veya bir düğümü çözmek de mümkün değildir). İkinci eksiklik ise öğrenilen akış 'in tekillik (degeneracy) nedeniyle kötü davranabilmesidir; yani aynı problemi çözen sonsuz sayıda olası vardır.

Ek boyutlar eklenerek CNF yeterli esnekliğe sahip hale gelir ve yönelimi tersine çevirebilir, ayrıca çevresel izotopinin ötesine geçebilir (tıpkı bir çokgenin 3 boyutta bir yüzeyden kaldırılıp ters çevrilebilmesi veya bir düğümün 4 boyutta çözülebilmesi gibi). Bu yaklaşım, “genişletilmiş sinirsel ODE” (augmented neural ODE) olarak adlandırılır.

üzerindeki herhangi bir homeomorfizm, üzerinde çalışan bir sinirsel ODE tarafından yaklaşık olarak temsil edilebilir; bu sonuç, Whitney gömme teoremi ile manifoldlar için ve evrensel yaklaşım teoremi ile sinir ağları birleştirilerek elde edilir.

Akış 'yi düzenlemek (regularize etmek) için ek düzenleme kayıpları uygulanabilir. Burada daha genel olan, izometrik olmayan gömülmelere sahip Riemann manifoldu durumu da ele alınmaktadır. Bu metinde ise yalnızca izometrik olarak gömülü manifoldlar dikkate alınmıştır.

Düzgün ve izometrik olarak içine gömülü manifoldlara örnek olarak:

Birim hiperküre: . Bu üzerinde tanımlanan akışlar, örneğin Von Mises–Fisher veya küre üzerindeki uniform dağılım gibi dağılımları genelleştirmek için kullanılabilir.
Simpleks içi: . Burada -yönlü kategorik dağılımlar tanımlıdır; akışlar ise örneğin Dirichlet veya simpleks üzerindeki uniform dağılımların genelleştirilmesine olanak tanır.

Sferik manifoldlar üzerindeki akış dönüşümlerine ilk örnek olarak, normalize edilmiş lineer dönüşüm ele alınabilir. Bu dönüşüm, terslenebilir bir lineer dönüşümün çıktısını birim küreye radyal olarak izdüşürür ve boyutlu terslenebilir bir matris ile parametrize edilir:

Tam Öklidyen uzayda dönüşümü terslenebilir değildir; ancak tanım kümesi ve değer kümesi birim küre ile sınırlandığında dönüşümü terslenebilirdir (daha spesifik olarak bir bijeksiyon, homeomorfizm ve diffeomorfizmdir) ve tersi ile verilir.

dönüşümünün Jacobian’ı, noktasında şu şekildedir:

Bu matrisin mertebesi (rank) olup determinantı sıfırdır. Buna karşın, aşağıda açıklandığı üzere ilgili bölümde, kaynak ve dönüştürülmüş yoğunluklar arasındaki ilişkiyi veren çarpan şu şekilde elde edilir:

Diferansiyel Hacim Oranı
olacak şekilde, bir -boyutlu ve içine düzgün (smooth) ve izometrik olarak gömülmüş bir manifold olsun. , görüntüsü ile sınırlı olan düzgün bir akış dönüşümü olsun. , yoğunluğu olan bir dağılımdan örneklenmiş olsun. ile gösterilen dönüşümün sonucu (pushforward) yoğunluğu ise olsun. noktasını içeren küçük, konveks bir bölgesi ve bunun görüntüsü olan bölgesi ele alınsın; bu bölge 'yi içerir. Olasılık kütlesinin korunumu gereği:

Burada hacim (çok küçük bölgeler için) -boyutlu tanjant uzayı üzerindeki Lebesgue ölçümü ile verilir. Bölgeler sonsuz küçük hale getirildiğinde, iki yoğunluğu birbirine bağlayan çarpan hacim oranıdır ve bu oran diferansiyel hacim oranı olarak adlandırılır.

Manifold üzerindeki hacmin açık formüllerini elde etmek için, bölgesi yerel koordinat uzayında içindeki bir dikdörtgenin, düzgün bir gömme fonksiyonu ( ) ile manifold üzerine haritalanmasıyla oluşturulur. Çok küçük ölçekte bu gömme fonksiyonu lineer hale geldiğinden, bir paralelotop (paralelkenarın çok boyutlu genellemesi) olur. Benzer şekilde, akış dönüşümü de lineer hale gelir ve görüntü de bir paralelotop olur.

içinde bir paralelotop, kenar vektörleri bir köşede birleşerek uzayı dolduran bir matrisi ile temsil edilebilir. Hacim, bu matrisin determinantının mutlak değeri ile verilir. Daha genel durumda (burada olduğu gibi), -boyutlu bir paralelotop içine gömülü olduğunda, “uzun” bir matrisi ile temsil edilebilir; buna diyelim. Paralelotop ile gösterildiğinde, hacmi Gram determinantının karekökü ile verilir:

Aşağıdaki bölümlerde, bu hacim formülünün diferansiyel hacim oranını türetmek için nasıl kullanılabileceği farklı yöntemlerle gösterilecektir.

Simpleks Akışı
İlk örnek olarak, biçiminde tanımlanan bir simpleks akışının diferansiyel hacim oranı türetilir; burada olur.

Gömme fonksiyonu şu şekilde tanımlanır:

Bu fonksiyon, uygun şekilde seçilmiş -boyutlu bir gösterim olan ’yi gömülü manifolda eşler.

boyutlu Jacobian şu şekildedir:

Diferansiyel hacim elemanını tanımlamak için, dönüşüm girişinde ( ) yerel hacim elemanı ele alınır. Öncelikle uzayında kenar uzunlukları olan bir dikdörtgen düşünülür ve bu, köşegen matris ile temsil edilir. Çok küçük ölçekte bu yapı, biçimini alır ve:



faktörünün geometrik yorumu için sağdaki 1-simpleks örneğine bakılabilir.

Dönüşüm çıkışındaki diferansiyel hacim elemanı ( ) şu paralelotoptur:



Burada , fonksiyonunun noktasındaki Jacobian matrisidir. Bu hacmin değeri:

şeklindedir. Böylece çarpanı hacim oranında birbirini götürür ve sayısal olarak hesaplanabilir bir ifade elde edilir.

Bununla birlikte ifade, daha kullanışlı bir biçimde yeniden yazılabilir. Bu amaçla ayrıca temsil fonksiyonu tanımlanır; bu fonksiyon basitçe ilk bileşeni seçer. Jacobian matrisi



şeklindedir.

olduğundan, fonksiyon bileşimi için zincir kuralına göre:



olur. Bu ifade Gram determinantına yerleştirilip kare matrislerin determinant çarpanlarına ayrılarak yeniden düzenlendiğinde, faktörü çıkarılır ve bu da oranda sadeleşir. Sonuçta, “sandviçlenmiş” akış dönüşümünün Jacobian determinantına indirgenir:

Eğer ise, bu ifade değişken dönüşümü sonrası itilen (pushforward) yoğunluğu elde etmek için kullanılabilir; için:

Bu formül yalnızca simpleksin düz (flat) olması ve Jacobian matrisinin sabit olması nedeniyle geçerlidir. Daha genel, eğrisel manifoldlar için durum aşağıda tartışılmaktadır; ayrıca iki somut simpleks akış dönüşümü örneği sunulacaktır.

Simpleks Kalibrasyon Dönüşümü
Bir kalibrasyon dönüşümü, , makine öğrenmesinde olasılıksal bir -sınıflı sınıflandırıcının çıktılarının (sınıf sonrası olasılıkların) son-işleme tabi tutulmasında kullanılır. Bu dönüşüm, giriş dağılımının log-olasılık uzayında ölçeklenmesi ve ötelenmesi sonrası kategorik dağılımların yeniden normalize edilmesi için softmax fonksiyonunu kullanır.

ve , parametreleri ile dönüşüm şu şekilde tanımlanır:

Burada logaritma işlem baz eleman bazında uygulanır. Bir miktar cebirsel düzenleme sonrası diferansiyel hacim oranı şu biçimde ifade edilir:

Bu sonuç, SGB dağılımının yoğunluk fonksiyonunun çarpanlara ayrılmasıyla da elde edilebilir. SGB dağılımı, Dirichlet değişkenlerinin dönüşümünden geçirilmesiyle elde edilir.

Kalibrasyon dönüşümleri çoğunlukla ayırt edici modeller olarak eğitilse de, burada olasılıksal akış olarak yeniden yorumlanmaları, bu dönüşüm üzerine kurulu üretici kalibrasyon modellerinin tasarlanmasına da olanak sağlar. Kalibrasyon amacıyla kullanıldığında, log-olasılık uzayında yön terslenmesini engellemek için kısıtı uygulanabilir. Ek olarak kısıtı ile birlikte bu dönüşüm (ayırt edici eğitim altında) makine öğrenmesinde sıcaklık ölçekleme (temperature scaling) olarak bilinir.

Genelleştirilmiş Kalibrasyon Dönüşümü
Yukarıdaki kalibrasyon dönüşümü, olacak şekilde genelleştirilebilir ve ile (terslenebilir matris) parametrelerini içerir:

Burada matrisinin vektörünü bir özvektör olarak koruması koşulu, invariansı nedeniyle oluşan bilgi kaybını bertaraf ederek terslenebilirliği garanti eder.

Özellikle durumu, izin verilen tek diyagonal parametreleştirmedir ve bu durumda elde edilir. Buna karşılık, için diyagonal olmayan matrislerle daha genel yapı mümkündür.

Ters dönüşüm şu şekildedir:

Diferansiyel hacim oranı ise:

kalibrasyon dönüşümü olarak kullanılacaksa, örneğin matrisinin pozitif tanımlı olması gibi ek kısıtlar getirilebilir. Böylece sağlanır ve yön terslenmesi engellenir. Bu, modelindeki koşulunun bir genellemesi olarak değerlendirilebilir.

için, ve pozitif tanımlı olduğunda, ve dönüşümleri eşdeğer kabul edilebilir; bu anlamda her iki durumda da

dönüşümü bir doğru ile temsil edilir ve bu doğrunun (pozitif) eğimi ile kesişimi dönüşüm parametrelerinin fonksiyonlarıdır. durumunda ise , dönüşümünü gerçekten genelleştirir.

Bununla birlikte, birden fazla akış dönüşümünün zincirlenmesi daha ileri bir genelleme sağlamaz; çünkü:

Bu durumda dönüşümlerinin fonksiyon bileşimi altında bir grup oluşturduğu görülür. dönüşümleri kümesi ise bu grubun bir alt grubunu oluşturur.

Ayrıca bkz.: Dirichlet kalibrasyonu, bu yapı matrisi üzerinde hiçbir kısıt getirmeyerek ’i genelleştirir; ancak bu durumda terslenebilirlik garanti edilmez. Dirichlet kalibrasyonu çoğunlukla ayırt edici (discriminative) model olarak eğitilirken, aynı zamanda üretici (generative) bir kalibrasyon modeli çerçevesinde de eğitilebilir.

Eğri Manifoldlar İçin Diferansiyel Hacim Oranı
Eğri bir manifold üzerinde, örneğin üzerinde tanımlı biçiminde bir akış dönüşümü ele alınsın. Bu manifold için, üzerine adet açısal küresel koordinatı eşleyen bir gömme fonksiyonu tanımlanır.

Bu durumda gömme fonksiyonunun Jacobian’ı sabit değildir ve hem girişte ( ) hem de çıkışta ( ) değerlendirilmesi gerekir. Benzer şekilde, üzerindeki noktadan küresel koordinatları geri alan temsil fonksiyonu için de Jacobian çıkışta ( ) değerlendirilir.

Diferansiyel hacim oranı bu durumda şu şekilde genelleştirilir:

Geometrik sezgi için ele alınabilir. Küresel koordinatlar olarak enlem (co-latitude) ve boylam kullanılır. noktasında:

elde edilir. Bu ifade, o enlemdeki dairesel kesitin yarıçapını temsil eder (örneğin kutup çemberi ile ekvator karşılaştırması).

Buna karşılık küre üzerindeki diferansiyel alan elemanı şu şekilde yazılır:

Önceki türetimi, sabit ve fonksiyonları kullanıldığında kırılgan bir yapıya sahiptir; çünkü bu fonksiyonlar bazı noktalarda iyi tanımlı olmayabilir. Örneğin küresinin kutup noktalarında boylam değeri keyfîdir. Bu problem, standart manifold araçları kullanılarak, yerel koordinatlara (chart’lara) geçilerek aşılır. Bu yaklaşımda çevresinde, sırasıyla yerel -boyutlu koordinatlardan ’ye ve geri dönüşe izin veren ve fonksiyon çiftleri kullanılır. Bu fonksiyonların Jacobian’ları için aynı gösterim korunur ( ) ve böylece yukarıdaki formülü geçerliliğini korur.

Bununla birlikte, yerel koordinat sistemi uygun şekilde seçilerek ifadesi ve pratik hesaplama daha da basitleştirilebilir.

Pratik Uygulama
Manifold akış dönüşümünün parametrelerini öğrenmek için diferansiyel hacim oranı ’ye veya en azından parametrelere göre gradyanına erişim gerekir. Ayrıca bazı çıkarım (inference) görevleri için doğrudan değerinin kendisi de gereklidir. Pratikte kullanılan çözümler şunlardır:

Sorrenson ve ark. (2023)

Ancak bu yaklaşım yüksek boyutlu verilerde maliyetlidir ve en az hesaplama karmaşıklığına sahiptir. Buna rağmen, yavaş otomatik çözüm yöntemleri, elle türetilmiş kapalı form ifadelerin sayısal olarak doğrulanması için son derece değerli bir araç olabilir.

Basit Küresel Akışlar
Makine öğrenmesi literatüründe, derin sinir ağı mimarileriyle oluşturulan çeşitli karmaşık küresel akışlar bulunabilir.

Bu ifade gerçekten de analitik olarak doğrulanabilir:
ifadesi üzerinde doğrudan (ve oldukça zahmetli) cebirsel manipülasyonlar yapılarak,
veya aşağıda verilen genel ifadesinde alınarak.

Son olarak, ve fonksiyonlarının aynı fonksiyonel formda olmadığına dikkat edilmelidir.

Normalize Edilmiş Lineer Akış
Normalize edilmiş lineer akış, , terslenebilir boyutlu matrisi ile şu şekilde tanımlanır:

Diferansiyel hacim oranı şu şekildedir:

Bu sonuç, Angular central Gaussian dağılımı (ACG) üzerinden dolaylı olarak türetilebilir. ACG dağılımı, normalleştirilmiş lineer dönüşüm uygulanmış Gauss ya da birim küre üzerindeki uniform değişkenlerden elde edilebilir.

İlk ilişki, radyal değişken üzerinde bir marjinalizasyon integrali ile ACG yoğunluğunu türetmek için kullanılabilir; ikinci ilişki ise diferansiyel hacim oranını ayrıştırarak elde etmeyi sağlar. Ayrıntılar için ACG dağılımı bölümüne bakınız.

Metot
z_0, dağılımı p_0(z_0) olan (çok değişkenli olabilir) bir rastgele değişken olsun.

i = 1, ..., K için, z_0’dan türetilen rastgele değişkenler dizisi z_i = f_i(z_{i-1}) olarak tanımlansın. f_1, ..., f_K fonksiyonları terslenebilir olmalı, yani her birinin ters fonksiyonu f^{-1}_i mevcut olmalıdır. Son çıktı z_K hedef dağılımı modellemektedir.

z_K’ın log-olabilirliği:

Bu tür log Jacobian determinantları üzerinden dağılım öğrenme yaklaşımı, ICA’nın (bağımsız bileşen analizi) Infomax (maksimum olabilirlik) yöntemine dayanır,

Akış tabanlı modeller ayrıca, eğitim kümesiyle aynı dağılımdan örneklenmemiş örnekler olan dağılım dışı (out-of-distribution) örneklerin olabilirliğini tahmin etmede başarısız olmalarıyla bilinir. Bu olguyu açıklamak için çeşitli hipotezler ortaya atılmıştır; bunlar arasında Tipik küme hipotezi, modellerin eğitimi sırasında tahminleme (estimation) sorunları veya veri dağılımlarının entropisine bağlı temel problemler yer almaktadır.

Normalizing flow modellerinin en ilgi çekici özelliklerinden biri, öğrendikleri bijektif haritalamanın terslenebilir olmasıdır. Bu özellik, modellerin tasarımına yerleştirilen kısıtlamalar (örneğin RealNVP ve Glow) sayesinde teorik olarak terslenebilirliği garanti eder. Ters fonksiyonun tutarlılığı, değişken dönüşümü teoreminin uygulanabilmesi, haritalamanın Jacobian determinantının hesaplanabilmesi ve model ile örnekleme yapılabilmesi açısından kritik öneme sahiptir. Ancak pratikte bu terslenebilirlik, sayısal hassasiyetsizlikler nedeniyle bozulabilir ve ters harita patlayabilir.

Uygulamalar
Akış tabanlı üretici modeller, çok çeşitli modelleme görevlerinde uygulanmıştır; bunlar arasında:

Ses üretimi
Görüntü üretimi
Nokta bulutu modelleme
Video üretimi
Kayıplı görüntü sıkıştırma

Kaynakça