Görüntü işleme ve evrişimsel sinir ağları yöntemleriyle bitki tespiti için bilgisayarlı görü sistemi geliştirilmesi
Development of a computer vision system for plant detection using image processing and convolutional neural networks
Yazar: RECAİ ÖZCAN
Danışman: DOÇ. DR. KEMAL TÜTÜNCÜ
Selçuk Üniversitesi / Fen Bilimleri Enstitüsü / Mekatronik Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Mekatronik Mühendisliği = Mechatronics Engineering
Dizin: Arka plan = Background ; Evrişimli sinir ağları = Convolutional neural networks ; Görüntü işleme = Image processing ; Performans değerlendirme = Performance evaluation

Özet:
Günümüzde, mahsul verimini etkileyen yabancı otları kontrol altına almada en çok herbisit adı verilen kimyasal maddeler tercih edilmektedir. Herbisitlerin yoğun kullanımının olumsuz etkilerini azaltmak amacıyla kullanılan hassas tarım tekniklerinin geliştirilmesi için Bilgisayarlı Görü (BG) teknolojilerine dayalı yapay zekâ çözümlerine ihtiyaç duyulmaktadır. Ancak, bu görev için ideal bir aday olan Derin Öğrenme (DÖ) alanında son yıllarda kaydedilen tüm ilerlemelere rağmen, algılama başarımını etkileyen bazı zorluklar hâlen mevcuttur. Bunlardan biri, algılamanın görüntüdeki arka plandan etkilenmesidir. Bitki görüntüleri genellikle yetiştikleri ortamda alınabildiğinden, görüntüde olması istenmeyen toprak, taş ve ölü bitki kalıntılarını da içerirler. Görüntü işleme tekniklerine dayalı segmentasyon ile bitki görüntülerinden bunları içeren arka planın kaldırılması, algılama modellerinin başarımını arttırabilir. 
Bu tez çalışmasında, bir görüntüdeki canlı (fotosentetik) bitkileri otomatik olarak görüntüdeki diğer nesnelerden ayırarak segmente edebilen Bitki Görüntüleme Tekniği (BGT) geliştirilmiştir. Ayrıca arka plan kaldırmanın Evrişimsel Sinir Ağları (ESA) tabanlı algılama modellerinin başarımları üzerindeki etki araştırılmıştır. Bu bağlamda hassas tarıma uygun bir görü sisteminin geliştirilmesi amaçlanmıştır.  Önerilen yöntemin başarısını göstermek ve karşılaştırılabilir sonuçlar elde etmek amacıyla, Konya Ovası arazilerinde 15 Mayıs ile 16 Haziran 2020 tarihleri arasında ve 3 Mayıs ile 5 Haziran 2021 tarihleri arasında toplam 5000 bitki görüntüsü alınmıştır. Görüntü alımları, %100 gerçek koşullar altında, zemin seviyesinden yaklaşık 0.65 m yükseklikten, 10 ile 48 MP arasında değişen çözünürlüklere sahip çeşitli dijital kameralar ve mobil cihazlar kullanılarak gerçekleştirilmiştir. Veri seti tez kapsamında geliştirilen BGT ve Etiketleme ve Veri seti oluşturma Yazılımı (EVY) ile işlenerek 640x640 boyutlarında Ham Görüntüler (HG) ve Arka Planı Çıkarılmış Görüntüler (APÇG) oluşturulmuştur. Bu görüntüler %80 eğitim ve %20 test oranlarında alt kümelere ayrılarak model eğitimlerinde kullanılmıştır. Algılama modelleri transfer öğrenme yöntemi kullanılarak eğitilmiştir. Model değerlendirmesinde, 0.5 ten 0.95'e kadar 0.5 arttırılarak belirlenen Birleşim Üzerinde Kesişim (IoU) eşik değerleri kullanılmıştır. Değerlendirme metriği olarak, her tür için ayrı hesaplanan Ortalama Kesinlik (AP), tüm türler için AP değerinin ortalaması alınarak hesaplanan mAP kullanılmıştır. Genel değerlendirme için ise tüm IoU eşiklerinde mAP değerinin ortalaması alınarak hesaplanan ortalama mAP metriği kullanılmıştır. Ham görüntüler ile eğitilen modellerle karşılaştırıldığında, arka planı çıkarılmış görüntüler ile eğitilen Faster R-CNN ResNet-101 v1, SSD MobileNet v2 FPNLite ve EfficientDet-D1 modelleri ortalama mAP değerinde sırasıyla %13.62, %12.43 ve %11.55 oranlarında artış ile daha yüksek başarı vermiştir. Bu sonuçlar, önerilen arka plan kaldırma yöntemin ESA tabanlı DÖ modellerinin bitki algılama performansını arttırdığını ve geliştirilen görü sisteminin hassas tarım için umut verici olduğunu göstermektedir.

Abstract:
Nowadays, chemical substances called herbicides are mostly preferred in the control of weeds that affect crop yield. Artificial intelligence solutions based on Computer Vision (CV) technologies are needed to develop precision agriculture techniques to reduce the negative effects of the intensive use of herbicides. However, despite all the progress made in recent years in the field of deep learning (DL), which is an ideal candidate for this task, there are still some challenges affecting plant detection performance. One is that the detection is affected by the background in the image. As plant images are usually captured in situ, they also contain soil, rocks, and dead plant residues that are unwanted to be in the image. Removing the background containing them from the plant images by segmentation based on image processing techniques can improve the performance of detection models.
In this thesis, a Plant Imaging Technique (PIT) has been developed that can automatically segment living (photosynthetic) plants in an image by separating them from other objects in the image. Also, investigated the effect of background removal on the performance of Convolutional Neural Networks (CNN) based detection models. In this context, it is aimed to develop a vision system suitable for precision agriculture. To demonstrate the proposed method's success and obtain comparable results, a total of 5000 plant images were taken between 15 May and 16 June 2020 and between 3 May and 5 June 2021 in Konya Plain fiels. Image acquisitions were carried out under 100% real conditions, from a height of approximately 0.65 m above ground level, using various digital cameras and mobile devices with resolutions ranging from 10 to 48 MP. The dataset was processed with the PIT and Dataset Creation Software (DCS) developed within the scope of this thesis and 640x640 Raw Images (RI) and Background Subtracted Images (BSI) were created. These images were divided into subsets with 80% training and 20% test rates and used in model training. Detection models were trained using the transfer learning method. In the model evaluation, the Intersection on Intersection (IoU) threshold values, which are determined by increasing by 0.5 from 0.5 to 0.95, were used. Average Precision (AP) was calculated separately for each species and mAP calculated by averaging the AP value for all species was used as evaluation metrics. The mean mAP metric calculated by averaging the mAP value at all IoU thresholds were used for the overall evaluation. Compared to the models trained with raw images, the Faster R-CNN ResNet-101 v1, SSD MobileNet v2 FPNLite and EfficientDet-D1 models trained with background subtracted images showed higher success with 13.62%, 12.43% and 11.55% increase in the mean mAP value, respectively. These results show that the proposed background removal method improves the plant detection performance of CNN-based DI models and the developed vision system is promising for precision agriculture.