Yaprak görüntülerini kullanarak derin öğrenme ile ceviz türlerinin belirlenmesi
Determination of walnut species by deep learning using leaf images
Yazar: ALPER TALHA KARADENİZ
Danışman: DOÇ. DR. YÜKSEL ÇELİK ; DR. ÖĞR. ÜYESİ ERDAL BAŞARAN
Karabük Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Ceviz = Walnut ; Derin öğrenme = Deep learning ; Görüntü sınıflandırma = Image classification ; Makine öğrenmesi = Machine learning ; Yapay zeka = Artificial intelligence

Özet:
Ceviz meyvesi cins, kalite olarak birbirinden farklılık göstermektedir ve geniş bir kullanım alanına sahiptir. İnsan sağlığı üzerine olumlu etkileri olan ceviz meyvesinin üretiminin devam etmesi için uygun ekolojik özelliğe sahip doğru ceviz çeşidinin seçilmesi oldukça önemlidir. Çünkü ceviz bahçesinin kurulması maliyetlidir ve hasat alma süresi de uzundur. Ancak birbirine renk ve doku olarak birbirine çok benzeyen ceviz yapraklarından çeşit ayrımının yapılması zordur. Uzmanlar tarafından ceviz çeşit ayrımının yapılması ciddi zaman gerektirir ve morfolojik testler yapılmalıdır. Ceviz çeşit ayrımı için literatürde yapılmış farklı çalışmalar mevcuttur. Ancak bu çalışmalar az sayıda ceviz çeşidinin sınıflandırılması veya laboratuvar deneyleri ile yapılan çalışmalardır. Günümüzde teknolojinin gelişmesi ile birlikte bilgisayar temelli derin öğrenme metotları yaprak tanımada sıklıkla kullanılmaktadır. Bu teknolojiler sayesinde zaman ve maliyet açısından kazanç sağlanmakta ayrıca hata oranı da oldukça azalmaktadır. Bu tez çalışmasında öncelikle literatüre ceviz yapraklarından ceviz türlerinin belirlenmesi için 18 farklı çeşit cevizden alınan toplam 1751 yaprak görüntüsü ile özgün bir ceviz veri seti kazandırılmıştır. Oluşturulan veri setini otomatik olarak sınıflandırabilmek için farklı derin öğrenme modelleri önerilmiştir. Sınıflandırma başarasının ölçülmesi için yapılan deneysel testler hem özgün veri seti ile hemde yapılan ön işleme ve veri arttırma yöntemleri ile oluşturulan veri setleri ile yapılmıştır. İlk deneysel testler literatürde yer alan popüler evrişimsel sinir ağları ile yapılmıştır. Sonrasında bu sonuçlar önerilen derin öğrenme modellerinin test sonuçları ile karşılaştırılmıştır.
Önerilen ilk modelde arttırılmış veri setinin Vgg16 ile Gradcam görüntüleri üretildikten sonra yine Vgg16 ESA algoritması ile sınıflandırılmıştır. Deneysel testler sonucunda  %77.11 başarı oranı elde edilmiştir. Önerilen bir sonraki modelde MobilnetV2, SequizeeNet ve GLCM ile özellik çıkarılarak bir öznitelik havuzu oluşturulmuştur. Bu özniteliklerden en iyileri Ki-Kare yöntemi ile seçilmiş ve DVM ile sınıflandırılmıştır. Deneysel testler sonucunda %84.75 başarı oranı elde edilmiştir. Önerilen bir sonraki modelde residual blok tabanlı ResNet modelleri kullanılarak yeni bir derin öğrenme mimarisi hazırlanmıştır. Bu modelde ResNet18, ResNet50 ve ResNet101 modellerinden öznitelikler çıkarılmıştır. Bu özniteliklerden en iyileri Atom Arama Optimizasyon algoritması (AAO) ile seçilmiştir. Seçilen öznitelikler DVM' nin lineer, quadratik ve cubic çekirdekleri ile sınıflandırılmıştır. Deneysel testlerin güvenliğinin sağlanması için 5- parçalı doğrulama yapılmış ve %87.42 doğruluk sonucu elde edilmiştir. Önerilen son modelde %92.59 başarı oranına ulaşılarak, tüm ESA algoritmaları ve önerilen modeller içinden en yüksek doğruluk sonucu elde edilmiştir. Bu tez çalışmasında, özgün bir ceviz veri seti literatüre kazandırılarak, yeni önerilen bir derin öğrenme modeli ile %92.59 doğruluk oranı ile sınıflandırılması sağlanmıştır.

Abstract:
Walnut fruit differs from each other in terms of genus and quality and has a wide range of uses. It is very important to choose the right walnut variety with suitable ecological characteristics in order to continue the production of walnut fruit, which has positive effects on human health. Because the establishment of a walnut garden is costly and the harvest time is long. However, it is difficult to distinguish between walnut leaves, which are very similar in color and texture. Differentiation of walnut varieties by experts requires serious time and morphological tests should be done. There are different studies in the literature for walnut variety differentiation. However, these studies are studies conducted with the classification of a small number of walnut varieties or laboratory experiments. Today, with the development of technology, computer-based deep learning methods are frequently used in leaf recognition. Thanks to these technologies, time and cost savings are achieved and the error rate is considerably reduced. In this thesis, first of all, a unique walnut dataset was brought to the literature with a total of 1751 leaf images taken from 18 different types of walnuts in order to determine the walnut types from walnut leaves. Different deep learning models have been proposed to automatically classify the generated dataset. Experimental tests to measure classification success were carried out both with the original data set and with the data sets created by the preprocessing and data augmentation methods. The first experimental tests were made with popular convolutional neural networks in the literature. Afterwards, these results were compared with the test results of the proposed deep learning models. 
In the first proposed model, Gradcam images of the augmented data set are produced with Vgg16 and classified with Vgg16 ESA algorithm. As a result of the experimental tests, the %77.11 success rate was obtained. In the next proposed model, a feature pool is created by extracting features with MobilnetV2, SequizeNet and GLCM. The best of these features were selected by Chi-Square method and classified by DVM. %84.75 success rate was obtained as a result of experimental tests. In the next proposed model, a new deep learning architecture is prepared using residual block-based ResNet models. In this model, features are extracted from ResNet18, ResNet50 and ResNet101 models. The best of these attributes were selected with the Atom Search Optimization algorithm (AAO). Selected features are classified with linear, quadratic and cubic kernels of DVM. In order to ensure the safety of the experimental tests, 5-part verification was performed and an accuracy of 87.42% was obtained. In the last model proposed, a success rate of 92.59% was achieved, and the highest accuracy result was obtained among all ESA algorithms and proposed models. In this thesis, a unique walnut data set was brought to the literature and it was classified with a newly proposed deep learning model with an accuracy rate of 92.59%.