Derin öğrenme kullanılarak seam carving ile boyutlandırılmış görüntülerin tespiti
Detecting the resize of seam carved image with deep learning
Yazar: HAMIDULLAH NAZARI
Danışman: DOÇ. DR. DEVRİM AKGÜN
Sakarya Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar ve Bilişim Mühendisliği Ana Bilim Dalı / Bilişim Sistemleri Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
İçeriğe duyarlı görüntü yeniden boyutlandırma olarak bilenen seam carving, görüntünün içeriği koruncak şeklinde, görüntü boyutunu ayarlama yöntemlerinden biridir. Görüntüyü yeniden boyutlandırma, çeşitli aygıt ekranları ve uygulamalar gibi modüller arasındaki farklı çözünürlüklerin üstesinden gelebilmek için kullanılır. Görüntünün orijinal içeriği bozmak veya kaldırmak için de kasıtlı olarak kullanılabilir. Dolayısıyla görüntülere bu tür dış müdahaleyi tespit etmek, büyük önem arz etmektedir.

Bu tez çalışmasında görüntülere uygulanan seam carving tespiti, derin öğrenme modelleri, bilgisayar görmesinde yaygın olarak başvurulan 2 boyutlu konvolüsyonel sinir ağları (CNN – Convolutional Neural Network) ve tam bağlantılı (FC - Fully Connected) kullanılarak tespit gerçekleştirilmiştir. Önerilen model, % 0, % 10, %20 ve % 40 seam carving sınıflarından oluşan dört çıkışa sahip, çoklu sınıflandırıcı olarak geliştirilmiştir. Oluşturulan derin öğrenme ağlarının eğitiminde, ImageNet açık kaynak görüntü seti kullanılmaktadır. 

Orijinal görüntülerin yanında, dikey yönünde seam carving ile %10, %20 ve %40 boyutları azaltılmış görüntüler kullanılarak eğitim ve test veri setleri elde edilmiştir. Modelin başarımı, karmaşıklık (confusion) matrisi ve test setlerini doğru sınıflandırma oranı ile ölçeklenmiştir. Modelin doğruluk analizi, görüntüler üzerinde model test edilerek, karmaşıklık, kesinlik (precision), F1-score ve recall matrisleriyle sonuçları ve doğruluk değeri detaylı olarak gösterilmiştir.

Abstract:
Seam carving, also known as content-aware image resizing, is one of the methods for adjusting the image size such that the content of the image will be preserved. Image resizing is used to handle different resolutions between modules of various device screens and applications. It can also be used intentionally to corrupt or remove the original content of the image. Therefore, it is of great importance to detect external interference with the images.

In this thesis, we made detection of seam carving applied to images, by using deep learning models, 2-dimensional convolutional neural networks (CNN - Convolutional Neural Network), and fully connected (FC - Fully Connected) commonly used in computer vision. The proposed model was developed as a multi-classifier with four outputs consisting of 0%, 10%, 20% and 40% seam carving classes. ImageNet which is an open source image dataset is used in the training of created deep learning networks.

In addition to the original images, training and testing data sets were obtained using images with reduced dimensions of 10%, 20% and 40% by seam carving in the vertical direction. The performance of the model has been scaled with the confusion matrix and the correct classification rate of the test sets. The accuracy analysis of the model was tested on the images, and the results and accuracy value were shown in detail with confusion, precision, f1-score and recall matrices.