Üretken çekişmeli ağ ile veri artırma kullanarak görüntü dönüştürücü modellerine dayalı bitki yapraklarının sınıflandırılması
Classification of plant leaves based on vision transformer models using data augmentation with generative adversarial network
Yazar: KADRİYE KARADENİZ
Danışman: DR. ÖĞR. ÜYESİ KÜRŞAT MUSTAFA KARAOĞLAN
Karabük Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Görüntü işleme = Image processing ; Makine öğrenmesi = Machine learning ; Yapay zeka = Artificial intelligence

Özet:
Bitki yapraklarının sınıflandırılması (BYS) görevi, yaprakların morfolojik, anatomik ve fizyolojik özelliklerine göre kategorize edilmesini ifade etmektedir. Geleneksel yöntemler yaprakların bu özelliklerine dayalı olarak manuel inceleme gerektirdiğinden zaman alıcı, maliyetli ve özneldir. Günümüzde, yapay zeka ve görüntü işleme teknolojileri bu süreci otomatikleştirerek daha hızlı, doğru ve ölçeklenebilir hale getirmiştir.

Bu çalışmada, veri artırma teknikleriyle desteklenen ve geleneksel evrişimli sinir ağlarından farklı olarak görüntüleri parçalara ayırarak dikkat mekanizması ile ilişkileri öğrenebilen Vision Transformer (ViT) tabanlı BYS yaklaşımları önerilmiştir. Önerilen yöntemlerin etkinliğini değerlendirmek amacıyla İsveç Yaprak ve Flavia veri setleri üzerinde deneysel çalışmalar gerçekleştirilmiştir. Deneylerde, ViT modeli olarak Saf ViT, ViT-S/16 ve önceden eğitilmiş ViT-B/16 modelleri kullanılmıştır. Veri çeşitliliğini artırmak ve modelin genelleme performansını iyileştirmek amacıyla Derin Evrişimli Üretken Çekişmeli Ağlar (DE-ÜÇA) ile sentetik görüntüler üretilmiştir. Deneysel çalışmaların sonuçlarına göre, Flavia veri setinde eğitilen Saf ViT modeli %92,1 doğruluk elde ederken, veri artırma teknikleri uygulandığında bu oran %98,5'e yükselmiştir. Benzer şekilde, ViT-S/16 modeli Flavia veri setinde %79,1 doğruluktan %99,1 doğruluğa ulaşmıştır. Önceden eğitilmiş ViT-B/16 modeli ise her iki veri setinde de %100 doğruluk sağlayarak en yüksek performansı göstermiştir. Elde edilen bulgular, ViT tabanlı modellerin DE-ÜÇA ile desteklendiğinde önemli ölçüde daha yüksek sınıflandırma başarımı sergilediğini ortaya koymaktadır. BYS, biyolojik çeşitliliğin korunması, ekosistemlerin etkin yönetimi ve tarımsal verimliliğin artırılması açısından önemli bir araştırma alanı olup, önerilen yaklaşımlar bu alanlarda geniş bir uygulama potansiyeline sahiptir.

Abstract:
The classification of plant leaves (CPL) task refers to categorizing leaves according to their morphological, anatomical, and physiological characteristics. Traditional methods require manual examination of leaves based on these characteristics, which is time-consuming, costly, and subjective. Today, artificial intelligence and image processing technologies have automated this process, making it faster, more accurate, and more scalable.

This study proposes Vision Transformer (ViT) based CPL approaches, supported by data augmentation techniques and unlike traditional convolutional neural networks, which can learn relationships with the attention mechanism by segmenting images. Experimental studies were conducted on the Swedish Leaf and Flavia datasets to evaluate the effectiveness of the proposed methods. Pure ViT, ViT-S/16, and pre-trained ViT-B/16 models were used as ViT models in the experiments. To increase data diversity and improve the model's generalization performance, synthetic images were generated with Deep Convolutional Generative Adversarial Networks (DCGAN). According to the results of the experimental studies, the Pure ViT model trained on the Flavia dataset achieved 92.1% accuracy, while this rate increased to 98.5% when data augmentation techniques were applied. Similarly, the ViT-S/16 model achieved 99.1% accuracy from 79.1% on the Flavia dataset. The pre-trained ViT-B/16 model performed best by providing 100% accuracy on both datasets. The findings show that ViT-based models exhibit significantly higher classification performance when supported by DCGAN. CPL is an important research area in terms of protecting biodiversity, effective management of ecosystems, and increasing agricultural productivity, and the proposed approaches have broad potential applications in these areas.