Çekişmeli üretici ağ

Çekişmeli üretici ağ (generative adversarial network ; GAN), Ian Goodfellow ve meslektaşları tarafından 2014 yılında tasarlanan bir makine öğrenimi framework sınıfıdır. Bir oyunda iki sinir ağı birbiriyle yarışmaktadır (Bir ajanın kazancının diğer bir ajanın kaybının olduğu sıfır toplamlı bir oyun şeklinde bir oyundur.).

Bir eğitim seti verildiğinde, bu teknik ile eğitim seti aynı istatistiklerle yeni veriler oluşturmayı öğrenmektedir. Örneğin, fotoğraflar üzerinden eğitilmiş bir GAN, insan gözlemi için bile birçok gerçekçi özelliğe sahip ve yüzeysel olarak özgün görünen yeni fotoğraflar oluşturabilmektedir. Başlangıçta denetimsiz öğrenme için üretken bir model olarak önerilmiş olsa da, çekişmeli üretici ağların yarı denetimli öğrenme,Salimans, Tim; Goodfellow, Ian; Zaremba, Wojciech; Cheung, Vicki; Radford, Alec; Chen, Xi (2016). "Improved Techniques for Training GANs". arXiv:1606.03498 [cs.LG]. tam denetimli öğrenmeIsola, Phillip; Zhu, Jun-Yan; Zhou, Tinghui; Efros, Alexei (2017). "Image-to-Image Translation with Conditional Adversarial Nets". Computer Vision and Pattern Recognition. ve pekiştirmeli öğrenmeHo, Jonathon; Ermon, Stefano (2016). "Generative Adversarial Imitation Learning". Advances in Neural Information Processing Systems: 4565–4573. arXiv:1606.03476. Bibcode:2016arXiv160603476H. için de yararlı olduğu kanıtlanmıştır.

Bir GAN'ın temel fikri, kendisi de dinamik olarak güncellenen ayrıştırıcı aracılığıyla "dolaylı" eğitime dayanmaktadır."Vanilla GAN (GANs in computer vision: Introduction to generative learning)". theaisummer.com. AI Summer. Archived from the original on June 3, 2020. Retrieved September 20, 2020. Bu temelde, üreticinin belirli bir görüntüye olan mesafeyi en aza indirecek şekilde eğitilmediği, bunun yerine ayrıştırıcıyı kandırmak için eğitildiği anlamına gelmektedir. Bu, modelin denetimsiz bir şekilde öğrenmesini sağlamaktadır.

 Yöntem 
Üretken ağ, adayları üretirken; ayrıştırıcı ağ onları değerlendirmektedir. Rekabet, veri dağılımları açısından işlemektedir. Genel olarak üretici ağ, gizli bir alandan ilgilenilen bir veri dağılımına haritalamayı öğrenirken; ayrıştırıcı ağ, üretici tarafından üretilen adayları gerçek veri dağıtımından ayırmaktadır. Üretken ağın eğitim amacı, ayrıştırıcı ağın hata oranını artırmaktır (yani, ayrımcının sentezlenmediğini düşündüğü yeni adaylar üreterek ayrımcı ağını "kandırmak" (gerçek veri dağıtımının bir parçasıdır)).Luc, Pauline; Couprie, Camille; Chintala, Soumith; Verbeek, Jakob (November 25, 2016). "Semantic Segmentation using Adversarial Networks". NIPS Workshop on Adversarial Training, Dec, Barcelona, Spain. 2016. arXiv:1611.08408. Bibcode:2016arXiv161108408L.

Bilinen bir veri kümesi, ayrıştırıcı için ilk eğitim verisi görevi görmektedir. Eğitim, kabul edilebilir doğruluk elde edene kadar eğitim veri setinden örneklerle sunulmasını içermektedir. Üretici, ayrıştırıcıyı kandırmayı başarıp başaramadığına göre eğitilmektedir. Tipik olarak üretici, önceden tanımlanmış bir gizli uzaydan (örneğin, çok değişkenli normal dağılım) örneklenen rastgele girdi ile tohumlanmaktadır. Daha sonra üretici tarafından sentezlenen adaylar, ayrıştırıcı tarafından değerlendirilmektedir. Bağımsız geri çoğaltma prosedürleri, her iki ağa da uygulanır, böylece üretici daha iyi örnekler üretirken, ayrıştırıcı sentetik örnekleri işaretlemede daha yetenekli hale gelmektedir.Andrej Karpathy; Pieter Abbeel; Greg Brockman; Peter Chen; Vicki Cheung; Rocky Duan; Ian Goodfellow; Durk Kingma; Jonathan Ho; Rein Houthooft; Tim Salimans; John Schulman; Ilya Sutskever; Wojciech Zaremba, Generative Models, OpenAI, retrieved April 7, 2016 Görüntü oluşturma için kullanıldığında, üretici tipik olarak bir ters evrişimsel sinir ağıdır ve ayrıştırıcı ise evrişimli sinir ağıdır.

GAN'lar genellikle düzgün bir şekilde genelleştiremedikleri ve giriş verilerinden tüm usulleri kaçırdıkları bir "usul çöküşünden" yakınmaktadır. Örneğin, her basamağın birçok örneğini içeren MNIST veri kümesi üzerinde eğitilmiş bir GAN, yine de, basamakların bir alt kümesinin çıktısından çekinerek atlayabilmektedir. Bazı araştırmacılar, kök problemini ihmal modelini fark edemeyen zayıf bir ayrıştırıcı ağ olarak algılarken diğerleri suçu kötü bir objektif işlev seçimine atamaktadır. Birçok çözüm önerilmiştir.

GAN'lar örtük üretici modellerdir; bu, olabilirlik fonksiyonunu açıkça modellemediklerini göstermektedir. Ayrıca akış tabanlı üretici model gibi alternatiflerin aksine belirli bir örneğe karşılık gelen gizli değişkeni bulmak için araçlar sağlamadıkları anlamına gelmektedir.

 Uygulamalar 
GAN uygulamaları hızla artmaktadır.

 Moda, sanat ve reklamcılık 
GAN'lar sanat üretmek için kullanılabilmektedir; The Verge, Mart 2019'da "GAN'lar tarafından oluşturulan görüntüler, çağdaş yapay zeka sanatının belirleyici görünümü haline geldi" diye yazmıştır.Vincent, James (March 5, 2019). "A never-ending stream of AI art goes up for auction". The Verge. Retrieved June 13, 2020.  GAN'lar ayrıca bir model, fotoğrafçıYu, Jiahui, et al. "Generative image inpainting with contextual attention." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. veya makyaj sanatçısı tutmaya veya bir stüdyo ve ulaşım için ödeme yapmaya gerek kalmadan fotoğrafları boyamak veya hayali moda modellerinin fotoğraflarını oluşturmak için kullanılabilmektedir.

 Bilim 
GAN'lar astronomik görüntüleri iyileştirebilmektedir. Ayrıca karanlık madde araştırmaları için kütle çekimsel merceklemeyi simüle edebilmektedir."Dark matter may shine with invisible "dark light"". New Scientist. 200 (2681): 16. 2008-11. doi:10.1016/s0262-4079(08)62801-8. ISSN 0262-4079. 2019'da karanlık maddenin uzayda belirli bir yönde dağılımını başarılı bir şekilde modellemek ve meydana gelecek kütle çekimsel merceklenmeyi tahmin etmek için kullanılmıştır. GAN'lar, yüksek enerjili jet oluşumunu modellemenin ve yüksek enerjili fizik deneylerinin kalorimetreleri aracılığıyla kısa süreli yağmurlar modellemenin hızlı ve doğru bir yolu olarak önerilmiştir.Musella, Pasquale; Pandolfi, Francesco (2018). "Fast and Accurate Simulation of Particle Detectors Using Generative Adversarial Networks". Computing and Software for Big Science. 2: 8. arXiv:1805.00850. Bibcode:2018arXiv180500850M. doi:10.1007/s41781-018-0015-y. S2CID 119474793.Paganini, Michela; de Oliveira, Luke; Nachman, Benjamin (2018). "CaloGAN: Simulating 3D High Energy Particle Showers in Multi-Layer Electromagnetic Calorimeters with Generative Adversarial Networks". Phys. Rev. D. 97 (1): 014021. arXiv:1712.10321. Bibcode:2018PhRvD..97a4021P. doi:10.1103/PhysRevD.97.014021. S2CID 41265836. GAN'lar ayrıca, parçacık fiziği deneylerinin hesaplama açısından pahalı simülasyonlarındaki darboğazları doğru bir şekilde tahmin etmek için eğitilmiştir. Mevcut ve önerilen CERN deneyleri bağlamındaki uygulamalar, simülasyonu hızlandırmak veya simülasyon doğruluğunu geliştirmek için bu yöntemlerin potansiyelini göstermiştir.Salamani, Dalila; Gadatsch, Stefan; Golling, Tobias; Stewart, Graeme Andrew; Ghosh, Aishik; Rousseau, David; Hasib, Ahmed; Schaarschmidt, Jana (2018-10). "Deep Generative Models for Fast Shower Simulation in ATLAS". 2018 IEEE 14th International Conference on e-Science (e-Science). IEEE. doi:10.1109/escience.2018.00091. ISBN 978-1-5386-9156-4.

 Video oyunları 
2018'de GAN'lar video oyunu modlama topluluğuna ulaştı, eski video oyunlarındaki düşük çözünürlüklü 2D dokuları görüntü eğitimi yoluyla 4k veya daha yüksek çözünürlüklerde yeniden oluşturarak ve ardından oyunun doğal çözünürlüğüne uyacak şekilde aşağı örnekleyerek yükseltme yöntemi olarak kullanıldı.Tang, Xiaoou; Qiao, Yu; Loy, Chen Change; Dong, Chao; Liu, Yihao; Gu, Jinjin; Wu, Shixiang; Yu, Ke; Wang, Xintao (September 1, 2018). "ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks". arXiv:1809.00219. Bibcode:2018arXiv180900219W. Uygun eğitim ile GAN'lar, orijinalin ayrıntı düzeyini, renklerini ve benzeri örnekleri tamamen korurken, orijinalden daha yüksek kalitede daha net ve keskin 2D doku görüntüsü sağlamaktadır. Kapsamlı GAN kullanımının bilinen örnekleri arasında Final Fantasy VIII, Final Fantasy IX, Resident Evil Remake HD Remaster ve Max Payne sayılabilmektedir.
alt=Bir StyleGAN tarafından oluşturulan ve aldatıcı bir şekilde gerçek bir kişinin fotoğrafına benzeyen bir görüntü. Bu görüntü, portrelerin analizine dayalı olarak bir StyleGAN tarafından oluşturulmuştur.|küçükresim|Bir StyleGAN tarafından oluşturulan ve aldatıcı bir şekilde gerçek bir kişinin fotoğrafına benzeyen bir görüntü. Bu görüntü, portrelerin analizine dayalı olarak bir StyleGAN tarafından oluşturulmuştur.

 Kötü amaçlı uygulamalarla ilgili endişeler 
GAN tabanlı insan görüntü sentezinin, örneğin sahte, muhtemelen suçlayıcı fotoğraflar ve videolar üretmek gibi uygunsuz amaçlarla potansiyel kullanımı hakkında endişeler dile getirilmiştir.msmash (February 14, 2019). "'This Person Does Not Exist' Website Uses AI To Create Realistic Yet Horrifying Faces". Slashdot. Retrieved February 16, 2019. GAN'lar, sahte sosyal medya profillerinin oluşturulmasını otomatikleştirmek için var olmayan kişilerin benzersiz, gerçekçi profil fotoğraflarını oluşturmak için kullanılabilmektedir.

2019'da Kaliforniya eyaleti,"Index". III-Vs Review. 13 (1): 48. 2000-02. doi:10.1016/s0961-1290(00)87985-5. ISSN 0961-1290. tasvir edilen kişilerin rızası olmadan sahte pornografi yapmak için insan görüntü sentezi teknolojilerinin kullanılmasını yasaklayan AB-602 yasasını 3 Ekim 2019'da değerlendirdi ve kabul etmiştir. Ayrıca bir siyasi adayın manipüle edilmiş videolarının seçimden sonraki 60 gün içinde dağıtımını yasaklayan yasa tasarısı AB-730 da aynı tarihte kabul edilmiştir.

DARPA'nın Medya Adli Tıp programı, GAN'lar kullanılarak üretilen sahte medya da dahil olmak üzere sahte medyaya karşı koyma yollarını araştırmaktadır.

 Transfer öğrenimi 
Son teknoloji transfer öğrenme araştırması, derin pekiştirmeli öğrenmede olduğu gibi, gizli özellik uzayının hizalanmasını sağlamak için GAN'ları kullanılmaktadır.François-Lavet, Vincent; Henderson, Peter; Islam, Riashat; Bellemare, Marc G.; Pineau, Joelle (2018). An Introduction to Deep Reinforcement Learning. now Publishers Inc. ISBN 978-1-68083-539-7. Bu, bağlamı tahmin etmeye çalışan ayrıştırıcıyı kaynak ve hedef görevin yerleştirmelerini besleyerek çalışmaktadır. Ortaya çıkan kayıp daha sonra (ters olarak) kodlayıcı aracılığıyla geri gönderilmektedir.

 Çeşitli uygulamalar 
GAN, kısmi veya tam görme kaybını önlemek için gerekli olan erken tanıya yardımcı olan glokomatöz görüntüleri tespit etmek için kullanılabilmektedir.Bisneto, Tomaz Ribeiro Viana; de Carvalho Filho, Antonio Oseas; Magalhães, Deborah Maria Vieira (2020-05). "Generative adversarial network and texture features applied to automatic glaucoma detection". Applied Soft Computing (İngilizce). 90: 106165. doi:10.1016/j.asoc.2020.106165.

Fotogerçekçi görüntüler üreten GAN'lar, iç tasarımı, endüstriyel tasarımı, ayakkabıları, çantaları ve giyim eşyalarını veya bilgisayar oyunları sahneleri için öğeleri görselleştirmek için kullanılabilmektedir. Bu tür ağların Facebook tarafından kullanıldığı bildirilmiştir.Greenemeier, Larry (June 20, 2016). "When Will Computers Have Common Sense? Ask Facebook". Scientific American. Retrieved July 31, 2016.

GAN'lar, görüntülerden nesnelerin 3D modellerini yeniden oluşturabilmektedirLiu, Jerry; Yu, Fisher; Funkhouser, Thomas (2017-10). "Interactive 3D Modeling with a Generative Adversarial Network". 2017 International Conference on 3D Vision (3DV). IEEE. doi:10.1109/3dv.2017.00024. ISBN 978-1-5386-2610-8. ve videodaki hareket modellerini modelleyebilmektedir.

GAN'lar, bir bireyin görünümünün yaşla birlikte nasıl değişebileceğini göstermek için yüz fotoğraflarını yaşlandırmak için kullanılabilmektedir.Antipov, Grigory; Baccouche, Moez; Dugelay, Jean-Luc (2017-09). "Face aging with conditional generative adversarial networks". 2017 IEEE International Conference on Image Processing (ICIP). IEEE. doi:10.1109/icip.2017.8296650. ISBN 978-1-5090-2175-8.

GAN'lar, harita stillerini haritacılıkta aktarmak veya sokak görünümü görüntülerini artırmak için de kullanılabilmektedir.Wijnands, Jasper S.; Nice, Kerry A.; Thompson, Jason; Zhao, Haifeng; Stevenson, Mark (2019-08). "Streetscape augmentation using generative adversarial networks: Insights related to health and wellbeing". Sustainable Cities and Society (İngilizce). 49: 101602. doi:10.1016/j.scs.2019.101602.

GAN'larla ilgili ilişki düzeyi geri bildirimi, görüntü oluşturmak ve görüntü arama sistemlerini değiştirmek için kullanılabilmektedir.

GAN'ların bir varyasyonu, doğrusal olmayan dinamik sistemlere optimal kontrol girdileri üretmek için bir ağın eğitiminde kullanılmaktadır. Ayrıştırıcı ağın, çözümün en iyiliğini kontrol eden bir eleştirmen olarak bilindiği ve üretici ağ, optimal kontrolü üreten bir uyarlanabilir ağ olarak bilinmektedir. Kritik ve uyarlanabilir ağ, doğrusal olmayan bir optimal kontrole yaklaşmak için birbirini eğitmektedir.Padhi, Radhakant; Unnikrishnan, Nishant; Wang, Xiaohua; Balakrishnan, S.N. (2006-12). "A single network adaptive critic (SNAC) architecture for optimal control synthesis for a class of nonlinear systems". Neural Networks (İngilizce). 19 (10): 1648–1660. doi:10.1016/j.neunet.2006.08.010.

GAN'lar, iklim değişikliğinin belirli evler üzerindeki etkisini görselleştirmek için kullanılmıştır.

Speech2Face adlı bir GAN modeli, bir kişinin sesini dinledikten sonra yüzünün görüntüsünü yeniden oluşturabilmektedir.Christian, Jon (May 28, 2019). "ASTOUNDING AI GUESSES WHAT YOU LOOK LIKE BASED ON YOUR VOICE". Futurism.

2016'da GAN'lar, kanser, iltihaplanma ve fibroz ile ilişkili çeşitli protein hedefleri için yeni moleküller oluşturmak üzere kullanılmıştır. 2019'da GAN tarafından üretilen moleküller, deneysel olarak farelere uygulanıp doğrulanmıştır.Zhavoronkov, Alex; Ivanenkov, Yan A.; Aliper, Alex; Veselov, Mark S.; Aladinskiy, Vladimir A.; Aladinskaya, Anastasiya V.; Terentiev, Victor A.; Polykovskiy, Daniil A.; Kuznetsov, Maksim D.; Asadulaev, Arip; Volkov, Yury (2019-09). "Deep learning enables rapid identification of potent DDR1 kinase inhibitors". Nature Biotechnology (İngilizce). 37 (9): 1038–1040. doi:10.1038/s41587-019-0224-x. ISSN 1087-0156.

GAN uygulamalarının çoğu görüntü işlemedeyken, çalışma zaman serisi verileriyle de yapılmıştır. Örneğin, tekrarlayan GAN'lar (R-GAN'lar), makine öğrenimi için enerji verileri oluşturmak üzere kullanılmıştır.Mohammad Navid Fekri; Ananda Mohon Ghosh; Katarina Grolinger (2020). "Generating Energy Data for Machine Learning with Recurrent Generative Adversarial Networks". Energies. 13 (1).

 Tarihçe 
GAN'lar için en doğrudan ilham kaynağı, GAN'larla aynı kayıp işlevini kullanan ve Ian Goodfellow'un 2010-2014'te doktorası sırasında çalıştığı gürültü-kontrastlı tahmindi.Gutmann, Michael; Hyvärinen, Aapo. "Noise-Contrastive Estimation" (PDF). International Conference on AI and Statistics.

Başkalarının da benzer fikirleri vardı ama onları benzer şekilde geliştirmediler. Çekişmeli ağları içeren bir fikir Olli Niemitalo tarafından 2010 blog yazısında yayınlanmıştır.Nesbeitt, Sarah L. (2002-02). "The Internet Archive Wayback Machine200259The Internet Archive Wayback Machine. San Francisco, CA: The Internet Archive 2001. Gratis Last visited November 2001". Reference Reviews. 16 (2): 5–5. doi:10.1108/rr.2002.16.2.5.59. ISSN 0950-4125. Bu fikir hiçbir zaman uygulanmadı ve üreticide rastgeleliği içermedi, dolayısıyla üretken bir model değildi. Artık koşullu GAN veya cGAN olarak biliniyordu."GANs were invented in 2010?". reddit r/MachineLearning. 2019. Retrieved May 28, 2019.  GAN'lara benzer bir fikir, 2013 yılında Li, Gauci ve Gross tarafından hayvan davranışlarını modellemek için kullanılmıştır.

Çekişmeli makine öğrenimi, üretici modellemenin yanı sıra başka kullanımlara da sahiptir ve sinir ağları dışındaki modellere uygulanabilmektedir. Kontrol teorisinde, sinir ağlarına dayalı çekişmeli öğrenme, 2006 yılında; bir küçültme politikası, kontrolör ve bir maksimize etme politikası, rahatsızlık arasındaki yinelemeleri değiştirerek aynı zamanda oyun teorik anlamda sağlam kontrolörleri eğitmek için kullanılmıştır.Abu-Khalaf, M.; Lewis, F.L.; Jie Huang (2008-07). "Neurodynamic Programming and Zero-Sum Games for Constrained Control Systems". IEEE Transactions on Neural Networks. 19 (7): 1243–1252. doi:10.1109/TNN.2008.2000204. ISSN 1045-9227.Abu-Khalaf, Murad; Lewis, Frank L.; Huang, Jie (2006-12). "Policy Iterations on the Hamilton–Jacobi–Isaacs Equation for $H_{\infty}$ State Feedback Control With Input Saturation". IEEE Transactions on Automatic Control. 51 (12): 1989–1995. doi:10.1109/TAC.2006.884959. ISSN 0018-9286.

2017'de, piksel doğruluğu yerine gerçekçi dokulara odaklanan görüntü iyileştirme için bir GAN kullanıldı ve yüksek büyütmede daha yüksek görüntü kalitesi üretmiştir.Sajjadi, Mehdi S. M.; Schölkopf, Bernhard; Hirsch, Michael (December 23, 2016). "EnhanceNet: Single Image Super-Resolution Through Automated Texture Synthesis". arXiv:1612.07919 [cs.CV]. 2017 yılında ilk yüzler üretildi. Bunlar Şubat 2018'de Grand Palais'de sergilendi."ARTificial Intelligence enters the History of Art". December 28, 2018. StyleGAN tarafından 2019'da oluşturulan yüzler, deepfake'lerle karşılaştırmalar yapmıştır.BESCHIZZA, ROB (February 15, 2019). "This Person Does Not Exist". Boing-Boing. Retrieved February 16, 2019.

2017 yılından itibaren GAN teknolojisi, yeni geliştirilen ve benzersiz ve çekici soyut resimler üretebilme eşiğini aştığı söylenen ve bu nedenle yaratıcı rekabet ağ için “CAN (creative adversarial network)” olarak adlandırılan yeni bir uygulamanın ortaya çıkmasıyla güzel sanatlar arenasında varlığını hissettirmeye başlamıştır.Elgammal, Ahmed; Liu, Bingchen; Elhoseiny, Mohamed; Mazzone, Marian (2017). "CAN: Creative Adversarial Networks, Generating "Art" by Learning About Styles and Deviating from Style Norms". arXiv:1706.07068 [cs.AI].

Mayıs 2019'da Samsung araştırmacıları, konuşan bir kişinin yalnızca tek bir fotoğrafının verildiği videolarını üreten GAN tabanlı bir sistem gösterdi.Kulp, Patrick (May 23, 2019). "Samsung's AI Lab Can Create Fake Video Footage From a Single Headshot". AdWeek.

Mayıs 2020'de Nvidia araştırmacıları, Pac-Man oyununu sadece oynanışını izleyerek, oyunu yeniden yaratmak için bir yapay zeka sistemi ("GameGAN" olarak adlandırılır) kurmuştur.

 Sınıflandırma 

 Çift yönlü GAN 
Standart GAN modeli, gizli bir alandan veri dağıtımına bir eşleme öğrenirken, Çift Yönlü GAN (Bidirectional GAN; BiGAN)Pathak, Deepak; Krahenbuhl, Philipp; Donahue, Jeff; Darrell, Trevor; Efros, Alexei A. (2016-06). "Context Encoders: Feature Learning by Inpainting". 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE. doi:10.1109/cvpr.2016.278. ISBN 978-1-4673-8851-1. ve Karşıt Otomatik Kodlayıcılar gibi ters modeller de verilerden gizli alana bir eşleme öğrenmektedir. Bu ters eşleme, gerçek veya oluşturulmuş veri örneklerinin, bir değişken otomatik kodlayıcının kodlayıcısına benzer şekilde, gizli alana geri yansıtılmasına izin vermektedir. Çift yönlü modellerin uygulamaları arasında yarı denetimli öğrenme, yorumlanabilir makine öğrenimi ve sinirsel makine çevirisi yer almaktadır.Zhirui Zhang; Shujie Liu; Mu Li; Ming Zhou; Enhong Chen (October 2018). "Bidirectional Generative Adversarial Networks for Neural Machine Translation" (PDF). pp. 190–199.

 Kaynakça 

Kategori:Bilişsel bilim