Görüntülerdeki eksik kısmın tamamlanması amaçlı derin öğrenme temelli hibrit bir model geliştirilmesi
Development of a deep learning based hybrid model to complete the missing part in the images
Yazar: HASAN BASRİ AKÇAY
Danışman: DOÇ. DR. ÖVÜNÇ POLAT
Akdeniz Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: CNN = CNN ; Konvolüsyon kodu = Convolutional code ; Otokodlayıcılar = Autoencoders ; Uzun kısa süreli bellek = Long- short term memory ; Üretici çekişmeli ağlar = Generative adversial networks

Özet:
Bu tez çalışmasında görüntülerin eksik kısımlarının tahminlenmesi üzerine Konvolüsyonel Sinir Ağı (CNN), Uzun Kısa Süreli Bellek (LSTM) temelli hibrit bir model ve Otokodlayıcı (Autoencoder) metodu tasarlanmıştır. Görüntülerdeki eksik kısımların tahmini, gönderim işlemi yarıda kesilmiş, sinema moduna uymayan ve istenmeyen bir nesneye sahip olan görüntüler için oldukça önemlidir. Çalışma Cifar-10 veri seti üzerinde gerçekleştirilmiştir. Otokodlayıcı görüntülerin anlamlı bir şekilde sıkıştırılmasında kullanılmıştır. Sıkıştırılan görüntülerin veri dağılımlarının kontrolü için Üretken Karşıt Ağlar (GANs) metodu kullanılmış ve sıkıştırılan görüntülerin dağılımı normal dağılıma yakınsanmıştır. CNN modelinin girdileri Cifar-10 görüntüleriyken LSTM modelinin girdileri Otokodlayıcı modelinin çıktısı olan sıkıştırılmış görüntü verileridir.
Özellik çıkarma işlemi hem CNN hem LSTM modeli tarafından gerçekleştirilmiş ve çıkarılan özellikler birleştirilmiştir. Bu özellikler daha sonra yeni bir LSTM ve CNN modeline girdi olarak verilerek görüntülerin eksik kısımları tahmin edilmiştir. CNN ve LSTM iki farklı tahmin üretmektedir. Modelin eğitimleri sırasında hata metriği olarak Ortalama Karekök Sapması (RMSE), Yapısal Benzerlik İndeks Hesaplaması (SSIM), Üretken Karşıt Ağlar Kaybı ve VGG (Visual Geometry Group, önceden eğitilmiş model) kaybı kullanılmıştır. VGG kaybı daha önceden eğitilmiş VGG modelinin çıktıları arasındaki farkı ifade eder. Geliştirilen modelin sonuçları klasik yöntemler ile karşılaştırılmış ve tablo halinde paylaşılmıştır.
Literatürde görüntülerin eksik kısımlarının tahminlenmesi için sıklıkla görüntü işleme metotları kullanılırken bu çalışmada hibrit bir model oluşturulmuştur. Hibrit model çıktısı LSTM çıktısının ve CNN çıktısının ağırlıklı ortalamasından oluşmaktadır. Hibrit model çıktısı, test veri seti üzerinde RMSE, Sinyal Gürültü Oranı (PSNR), SSIM ve Frechet Başlangıç Mesafesi (FID) metriklerinde test edilen modeller içerisinde en yüksek puanları alarak bu problem için uygunluğunu kanıtlamıştır.

Abstract:
In this thesis, a hybrid model based on Convolutional Neural Network (CNN), Long Short-Term Memory (LSTM) and Autoencoder method were designed to predict missing parts of images. The estimation of missing parts in images is very important for images that have been interrupted, do not fit the cinema mode, and have an undesirable object. The study was worked on the Cifar-10 dataset. The autoencoder is used to compress the images in a meaningful way. Generative Adversarial Networks (GANs) method was used to control the data distributions of the compressed images and the distribution of the compressed images converged to the normal distribution. While the inputs of the CNN model are Cifar-10 images, the inputs of the LSTM model are compressed image data, which is the output of the Autoencoder model.
Feature extraction was performed by both the CNN and LSTM model, and the extracted features were combined. These features were then given as input to a new LSTM and CNN model, and the missing parts of the images were estimated. CNN and LSTM generate two different forecasts. Root Mean Square Deviation (RMSE), Structural Similarity Index Calculation (SSIM), Generative Adversarial Networks Loss, and VGG (Visual Geometry Group, pre-trained model) loss were used as error metrics during the training of the model. The VGG loss represents the difference between the outputs of the previously trained VGG model. The results of the developed model were compared with the classical methods and shared in a table.
While image processing methods are frequently used in the literature to predict missing parts of images, a hybrid model was created in this study. The hybrid model output consists of the weighted average of the LSTM output and the CNN output. The hybrid model output proved its suitability for this problem by getting the highest scores among the models tested on the RMSE, Signal-Noise Ratio (PSNR), SSIM and Fréchet Initial Distance (FID) metrics on the test dataset.