Bitki yapraklarındaki  hastalıkları yapay zeka ile tespit edebilen ve noktasal ilaçlama yapabilen otonom mobil manipülatör sisteminin geliştirilmesi
Development of an autonomous mobile manipulator system that detects diseases in plant leaves using artificial intelligence and can apply spot spraying
Yazar: BURHAN ÖK
Danışman: DR. ÖĞR. ÜYESİ KENAN IŞIK
Karabük Üniversitesi / Lisansüstü Eğitim Enstitüsü / Mekatronik Mühendisliği Ana Bilim Dalı / Mekatronik Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Mekatronik Mühendisliği = Mechatronics Engineering
Dizin: Bitki hastalıkları = Plant diseases ; Hareketli robotlar = Mobile robots ; Robotik = Robotics ; Yapay zeka = Artificial intelligence ; İlaçlama = Spraying

Özet:
Bu projenin amacı, tarımsal ilaçlama için kullanılan ilaç miktarını minimum seviyeye düşürmek ve ilaçlama işlemi yapılırken ürünlerin ilaçlardan daha az etkilenmesini sağlamaktır. Bu sayede günümüzde hızla artan ilaçlama maliyetleri azalacak ve ekonomik olarak fayda sağlayacaktır. Öte yandan, mahsuller tarım ilaçlarından daha az etkilendiği için insan sağlığına daha az zarar verecektir. Bu proje ile, bir yapay zeka algoritması kullanılarak bitki yaprakları üzerindeki hastalıklı bölümler tespit edilecek ve otonom bir robot yardımıyla noktasal olarak ilaçlama işlemleri gerçekleştirilecektir. Projede bitki yapraklarındaki hastalıkların tespiti için kullanılacak veri setine ait görseller fotoğraf çekilerek oluşturulmuştur. YOLO algoritmasında kullanılan formata uygun olarak etiketleme yapılmıştır. YOLO, nesne algılama için oluşturulmuş bir derin öğrenme algoritmadır.

YOLO algoritması, yapay zeka ile hastalık tespiti için kullanıldı. Yapay zeka modeli hastalık tespiti için eğitilirken hastalık türü ayırt edilmeden tek bir hastalık olarak eğitim süreci tamamlandı. YOLO algoritması kullanılarak eğitilen yapay zeka modeli, hem bitki yaprağındaki hastalığı tespit edebiliyor hem de hastalığın bitki üzerindeki konumunu (x, y, genişlik, yükseklik) tahmin edebiliyor.

Hastalıkların tespiti yapıldıktan sonra ilaçlama işlemi için bir mobil manipülatör kullanılmıştır. Robotik kol, üzerinde bir adet derinlik kamerasına sahiptir. Bu kamera bitkinin iki boyutlu görüntüsü alınıp hastalık tespiti yapılmaktadır. Aynı kamera bitkinin üç boyutlu görüntüsü alınarak hastalıklı bölgenin kameraya göre konumu bulunmaktadır. Bu veriler kullanılarak point cloud yöntemi ile hastalıklı bölgenin kameraya göre konum ve yönelimi tespit edilmiştir. Robotun tüm yazılımsal işlemlerinde Robot Operating System(ROS) adlı bir yazılım kullanılmıştır. Robotik kolun kinematik hesabı ve hareket planlaması gibi işlemler için Moveit! kullanılmıştır. Robotun çalışma ortamındaki bitkileri tek tek otonom ziyaret edebilmesi için iki tekerlek bir mobil robot tasarlanmıştır. Bu otonom gezinmeyi sağlamak için ise Navigation-Stack isminde bir yazılım kullanılmıştır. Bu sayede robot çalışma ortamındaki bitkileri tek tek otonom olarak ziyaret edebilir, yapay zeka ile hastalık tespiti yapabilir ve robotik kol yardımıyla noktasal olarak ilaçlama işlemlerini yapabilir hale gelmiştir.

Abstract:
This project aims to minimize the amount of pesticides used for agricultural spraying and to ensure that the products are less affected by pesticides while spraying. In this way, the amount of pesticides and thus today's rapidly increasing spraying costs will decrease. On the other hand, it will cause less harm to human health as crops are less affected by pesticides. With this project, diseased parts on plant leaves will be detected using an artificial intelligence algorithm and spraying operations will be carried out with the help of an autonomous robot. In this project, the images of the data-set to be used to detect diseases in plant leaves were created by taking photographs. Labeling was done in accordance with the format used in the YOLO algorithm. YOLO is an algorithm built for object detection. YOLO algorithm was used for disease detection with artificial intelligence. While training the artificial intelligence model for disease detection, the training process was completed as a single disease without distinguishing the disease type. The artificial intelligence model trained using the YOLO algorithm can both detect the disease in the plant leaf and predict the position (x, y, width, height) of the disease on the plant.

After the detection of the diseases, a mobile manipulator was used for the spraying process. The mobile manipulator has a depth camera on the robotic arm. This camera takes a two-dimensional image of the plant and detects the disease. The same camera takes a three-dimensional image of the plant, and the position of the diseased area relative to the camera is found. Using this data, the position and the orientation of the diseased area relative to the camera were determined by the point cloud method. A software called Robot Operating System (ROS) is used in all software operations of the robot. The Moveit! package is used for operations such as kinematic calculation and motion planning of the robotic arm. A two-wheeled mobile robot has been designed so that the robot can visit the plants in the working environment one by one autonomously. A software called Navigation-Stack was used to provide this autonomous navigation. In this way, the robot has become able to visit the plants in the working environment one by one autonomously, detect diseases with artificial intelligence, and perform spraying operations with the help of a robotic arm.