Derin öğrenme için kitle kaynak tabanlı etiketli veri üretimi ve çok bantlı görüntü sınıflandırma için bir 3d-2d cnn modeli
Crowdsourcing based labeled data generation for deep learning and a 3d-2d cnn model for multispectral image classification
Yazar: EKREM SARALIOĞLU
Danışman: PROF. DR. OĞUZ GÜNGÖR
Karadeniz Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Harita Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2020
Konu: Jeodezi ve Fotogrametri = Geodesy and Photogrammetry
Dizin: Kitle kaynak = Crowdsourcing ; Sınıflandırma = Classification

Özet:
Uydu görüntülerinin, derin öğrenme ile sınıflandırılmasında yaşanılan en büyük zorluk yeterince etiketli veri bulunamamasıdır. Bu sorunun çözümünde kitle kaynak yaklaşımının kullanılabilirliği araştırılmış ve uygulama ile gösterilmiştir. Kitle kaynak yöntemi, kullanıcıların dinamik yapıda veri üretebileceği şekilde hazırlanan web platformu üzerinden uygulanmıştır. Kullanıcılardan, verilen yardım dokümanı ile istenilen sınıfları içerecek şekilde etiketli veri oluşturmaları istenmiştir. Bu veri setlerinin kontrolü kullanıcılar tarafından sınıflara ait çizilmiş poligonlara verilen puan ile tespit edilmiştir. Toplamda 260262 piksel içeren veri seti hazırlanmıştır. Elde edilen veriler orijinal görüntü ile çakıştırılıp görsel olarak da incelenmiştir. Son olarak bu 40 parça görüntü, başarılı sonuçlar verdiği test edilerek üretilen spektral ve uzamsal yapıda CNN modeli ile sınıflandırılmıştır. Ortalamada genel doğruluk değerlerinin %95 üzeri sonuçlar verdiği tespit edilmiştir.  Elde edilen sonuçlar kitle kaynak ile bu problemin çözülebileceğini göstermektedir. Kitle kaynağın sınıflandırma sonrası doğruluk değerlendirmede kullanımı aynı arayüzde sunulan modül vasıtasıyla gerçekleştirilmiştir. Bu amaçla, kullanıcılardan rastgele oluşturulmuş 1000 referans noktası için sınıf değerleri girmeleri istenmiştir.  Farklı kullanıcılar tarafından 1000 referans noktasına ait girilen değerler üç kere oluşturularak çoğunluk oylaması yöntemiyle sonuç veri seti elde edilmiştir. Sonuçlar, kitle kaynak ile yüksek uzamsal çözünürlükteki multispektral görüntüler için referans noktalarının üretileceğini göstermektedir.

Abstract:
The biggest difficulty in the classification of satellite images with deep learning is the lack of sufficiently labeled data. The usability of the crowdsourcing approach to solve this problem was investigated and an application was developed to demonstrate its applicability. The crowdsourcing method was implemented through the web platform, which was prepared to enable users to generate data in a dynamic structure. Users were asked to create tagged data for the desired classes using the help document provided. The control of these datasets was determined by giving scores to the polygons drawn by the users for each class. The generated dataset contains a total of 260262 pixels. The data obtained were overlapped with the original image to examine visually. Finally, 40 pieces of images were classified with the proposed spectral and spatial CNN model, which proved to be successful after a series of tests. The fact that the average general accuracy values are above 95% indicates that this problem can be solved by crowdsourcing. The use of crowdsourcing for post-classification accuracy assessment was performed through the module presented in the same interface. For this purpose, users were asked to enter class values for 1000 randomly generated reference points. The class value of each of the 1000 points is entered three times by three different users, and the class value of each point determined by a majority voting method. The results prove that reference points for high spatial resolution multispectral images can be generated by crowdsourcing.