Farklı dalga boylu görüntülerle buğday sınıflandırılması
Wheat classification with different wavelength images
Yazar: DUYGU ZEYNEP DEMİREZ ÖRS
Danışman: DR. ÖĞR. ÜYESİ EROL SEKE
Eskişehir Osmangazi Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı / Telekomünikasyon  - Sinyal İşleme Bilim Dalı
Derece: Yüksek Lisans, 2018
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Buğday çeşitlerinin ve kalitelerinin değerlendirmesini kolaylaştırmada, başarısız olabilecek uzman görüşüne yardımcı olmak için çeşitli görüntüleme araçları ve teknikleri kullanılagelmiştir. Uzmanın kararından kaynaklanabilecek riskleri en aza indirmek için,  etkili bir sınıflandırma çerçevesi gereklidir. Bu doğrultuda hazırlanan tez çalışması, hiperspektral buğday resimlerinin derin öğrenmeye dayalı sınıflandırılması için bir makine öğrenme sistemi sunmaktadır. Çalışmada iki farklı yöntem uygulanmıştır. İlk çalışmada, Görünür Yakın Kızılötesi (VNIR) kamera ile elde edilen hiperspektral buğday görüntüleri AlexNet modeli ile sınıflandırılmaya çalışılmıştır. Kullanılan sistem önceden eğitilmiş bir Evrişimsel Sinir Ağı (CNN) olan AlexNet' in FC6 ve FC7 özelliklerine dayanmaktadır. Bu çalışmada, ince ayar yaklaşımı göz önünde bulundurulduğunda, AlexNet modelinin son başlığı çıkarılmış ve buğday çeşitlerinin etiketlerini belirlemek için Destek Vektör Makinesi (SVM) sınıflandırıcısı kullanılmıştır. Sistem performansını değerlendirmek için, VNIR buğday görüntü veri seti, numune başına 220 görüntü içeren 50 buğday türü kullanılarak oluşturulmuştur. Doğrusal SVM sınıflandırıcısı ile FC6 ve FC7 özelliklerinde, sırasıyla %99,9695 ve %99,9637'lik ortalama doğruluk oranları elde edilmiştir. 
İkinci yöntemde ise, Görünür Işık (VL), VNIR ve Kısa Dalga boyu Kızılötesi (SWIR) görüntülemelerle birlikte geleneksel ve modern özellik çıkarma algoritmaları kullanılmıştır.  BoW (Bag of Words) modeli geleneksel özellik çıkarma aracı ve CNN modeli modern özellik çıkarma aracı olarak ifade edilmiştir. Oy çokluğu kuralı, CNN ve BoW çerçevelerinin öngördüğü kararlar üzerine kurulmuştur. Oy çokluğu kuralıyla elde edilen doğruluk sonuçları, CNN ve BoW modeli için sırasıyla %99,94 ve %68,94 'tür. Deneysel sonuçlar, BoW özelliklerinin buğday taneleri gibi tekrarlanan doku modellerini temsil etmesi ve eşleştirmesi için uygun olmadığına işaret ederken, CNN özellikleri bu tür veri kümeleri için geleneksel yöntemlerden daha iyi performans sergileyebileceğini göstermektedir. 

Anahtar kelimeler: Buğday, Hiperspektral Buğday Sınıflandırması, VNIR Görüntüleme, SWIR Görüntüleme, RGB Görüntüleme, Görüntü Füzyonu, Derin Öğrenme

Abstract:
To facilitate the quality assessment of wheat cultivars, diverse imaging tools and techniques have been applied in order to reduce and eliminate errors in expert decision, which can fail both in the identification of wheat cultivar's label and its quality. To minimize the risks caused by dependency on expert's decision, a promising identification framework is required to more effectively assess the wheat type. Accordingly, this thesis presents a machine learning system for deep learning based classification of hyperspectral wheat data. Two different methods have been applied in this context. In the beginning, hyperspectral wheat images obtained with Visible Near Infrared (VNIR) camera are classified using  AlexNet model, a pre-trained Convolutional Neural Network (CNN). System relies on FC6 and FC7 features of the AlexNet. In this study, due to the fine-tuning approach considered, the last head of AlexNet model is omitted and the Support Vector Machine (SVM) classifier is employed to determine the labels of wheat kernels. In order to evaluate the system performance, a hyperspectral wheat image test dataset is constructed using VNIR of 50 wheat species with 220 images per specimen. Excellent classification results are achieved on the experiments with the newly created test dataset. Average accuracy rates of 99,9695% and 99,9637% are obtained with linear SVM classifiers, on FC6 and FC7 features, respectively. 
In the second method, conventional and modern feature extraction algorithms, namely BoW and frameworks are tested on Visible Light (VL), VNIR and Short Wave Infrared (SWIR) images. A consensus rule is established on decisions predicted by CNN and BoW frameworks for wheat cultivar detection. The obtained accuracy results by consensus rule show that the we have achieved 99,94% and 68,94% through CNN and BoW frameworks, respectively.  Experimental results suggest that the BoW features are not appropriate to represent and match texture patterns like repeated wheat kernels, whereas the CNN features always outperforms handcrafted features for all datasets.  

Keywords: Wheat Kernel, Hyperspectral Wheat Classification, VNIR Imaging, SWIR Imaging, RGB Imaging, Fusion of Hyperspectral Images, Deep Learning