Derin öğrenmede üretken çekişmeli ağlar için denetimli öğrenme yaklaşımı
A supervised learning approach for generative adversarial networks in deep learning
Yazar: ABDURRAHMAN ÖCAL
Danışman: PROF. DR. LALE ÖZBAKIR
Erciyes Üniversitesi / Fen Bilimleri Enstitüsü / Endüstri Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2020
Konu: Endüstri ve Endüstri Mühendisliği = Industrial and Industrial Engineering

Özet:
Üretken çekişmeli ağlar (GAN), derin öğrenmenin yeni ve ilgi çekici konularından biridir. Veri üretmedeki gücü, ilginç uyarlamaları ve farklı öğrenme stratejisi, GAN'ı ilgi odağı yapmaktadır. Üretken çekişmeli ağ, içeriğindeki iki derin sinir ağı modelinin eş zamanlı eğitilmesi ile gerçekçi veri temsilleri oluşturur. Modelde uygulanan eğitim yöntemi temel öğrenme yaklaşımlarına göre değerlendirildiğinde GAN ve varyantlarının kategorik olarak denetimsiz öğrenmeye sahip olduğu söylenebilir. Bunun temel nedeni, yapısındaki üretici ağa girdi olarak verilen gürültünün herhangi bir sınıf etiketine sahip olmamasıdır. Üretici ağın eğitimi ayırıcının çıktı katmanında gerçek etiketi verilerek uygulanır. Bu durum genel olarak denetimsiz öğrenme kategorisine dahil edilen takviyeli öğrenme yöntemine denk gelir. Yapısındaki ayırıcı ağın eğitimi ise gerçek ve sahte bilgi etiketleri ile gerçekleşir. Veri setine ait örnekler gerçek etiketine, üretici ağdan gelen örnekler sahte etiketine sahiptir. Bu durum ise denetimli öğrenme kategorisine uygun düşer ancak veri setine ait bir sınıflandırma varsa, sınıf etiketi bilgisi çıkış katmanında ağa gösterilemez. Dolayısıyla sınıflandırılmış bir veri seti kullanıldığında denetimli öğrenme stratejisinden faydalanılamaz.
Bu tez çalışması, GAN'ın bahsi geçen dezavantajına yönelik kolay uyarlanabilen etkili bir yöntem sunar. Yöntem, çok sınıflı veri setleri kullanıldığında üretici ağa verilen gürültünün sınıf etiketi alabilmesini, ayırıcı ağın çıktı katmanında Softmax aktivasyon fonksiyonunun kullanılabilmesini böylece denetimli öğrenme yaklaşımı ile modelin sınıflara göre eğitilebilmesini sağlar. Deney çalışması için tasarlanan üretici ağ ve ayırıcı ağ modelleri, Derin evrişimli GAN (DCGAN) temelli oluşturulmuştur. Yöntemin uygulaması dört farklı veri seti üzerinde gerçekleştirilmiştir. Bunlar; mnist, fashion mnist, cifar-10 ve celeb-A veri setleridir. Uygulama sonrası üretilen sahte örneklerin değerlendirmesi göstermiştir ki; Denetimli eğitim stratejisi ile yapılandırılmış GAN, veri setine ait gizli dağılımı sınıf bazında keşfedebilmekte ve gerçekçi örnekler üretebilmektedir.

Abstract:
Generative adversarial networks (GAN) are one of the new and interesting topics of deep learning. Its power in data generation, interesting adaptations and different learning strategy make GAN the center of attention. GAN creates realistic data representations by simultaneously training two deep neural network models. When the training method applied in the model is evaluated according to the basic learning approaches, it can be said that GAN and its variants categorically have unsupervised learning. The main reason for this is that the noise given as input to the generator network in its structure does not have any class labels. Training of the generator network is implemented by giving the true label on the output layer of the discriminator. This situation corresponds to the reinforcement learning method, which is generally included in the unsupervised learning category. The training of the discriminator network in its structure takes place with real and fake information labels. The samples of the data set have the real label, the samples from the generator network have the fake label. This situation is suitable for the supervised learning category, but if there is a classification of the data set, the class label information cannot be shown to the output layer of the network. Therefore, when a classified data set is used, supervised learning strategy cannot be used.
This thesis study provides an effective method that can be easily adapted for the mentioned disadvantage of GAN. The method enables the noise given to the generator network to receive a class label when multi-class data sets are used, and the softmax activation function can be used in the output layer of the discriminator network, so that the model can be trained according to the classes with the supervised learning approach. The generator and the discriminator networks models designed for the experimental study were created on the basis of deep convolutional GAN (DCGAN). The application of the method was carried out on four different data sets. These; mnist, fashion mnist, cifar-10 and celeb-A are data sets. The evaluation of the fake samples generated after the application showed that; Structured with a supervised training strategy, GAN is able to discover the hidden distribution of the data set on class basis and generate realistic examples.