Bilgisayar görüntüsü ve yapay zeka kullanarak alma ve yerleştirme görevi için göz bakışlı robotik kol kontrolü
Eye gaze robotic arm control for pick and place task using computer vision and artificial intelligence
Yazar: FAHAD ATA
Danışman: DOÇ. DR. UĞURHAN KUTBAY
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Bu tez, ciddi hareket bozukluğu olan bireyler için özerklik ve yaşam kalitesinde anlamlı iyileştirmeler sunmak amacıyla robotik bir kolu kontrol etmek için göz bakışı izlemenin gücünden yararlanma konusunda yenilikçi bir yolculuğa çıkıyor. Amacımız, en son teknoloji ürünü bilgisayar görüşü ve yapay zekayı kullanarak fiziksel engelli insanlar için anlamlı özerklik konusunda ilerlemeler sağlamaktır. Araştırma, kontrol algoritmalarının geliştirilmesi ve test edilmesi için sağlam bir çerçeve sağlayan Robot İşletim Sisteminin (ROS) simülasyon için Gazebo ile entegrasyonuna dayanmaktadır. Metodoloji, doğru algılama ve gerçek zamanlı işleme için evrişimli sinir ağlarından (CNN'ler) yararlanarak, hassas göz bakışı takibi için bir bilgisayarlı görme sisteminin ayrıntılı tasarımını kapsar. Ek olarak, robot kolunun ters kinematiği, göz bakışı koordinatlarını uygulanabilir komutlara dönüştürmek için hesaplanır. Deneysel doğrulama, farklı düzeylerde fiziksel engeli olan katılımcıların yer aldığı bir dizi kontrollü deneme aracılığıyla gerçekleştirildi. Sonuçlar, geleneksel kontrol yöntemleriyle karşılaştırıldığında görev tamamlama sürelerinde ve doğrulukta önemli gelişmeler olduğunu gösterdi. Kullanıcı geri bildirimleri, sistemin sezgisel doğasını ve gereken fiziksel çabanın önemli ölçüde azaldığını vurguladı. Sonuç olarak, bu çalışma, yardımcı teknoloji için geçerli bir çözüm sunmakta ve engelli topluluk için kapsayıcı araçlar oluşturmada yapay zeka ve bilgisayarlı görmenin potansiyelini vurgulamaktadır. Gelecekteki çalışmalar, sistemi daha geniş uygulama senaryoları için iyileştirmeye ve farklı koşullar altında bakış izleme algoritmasının sağlamlığını artırmaya odaklanacak.

Abstract:
This thesis embarks on an innovative journey in harnessing the power of eye gaze tracking to control a robotic arm, to offer meaningful enhancements in autonomy and quality of life for individuals with severe mobility impairment. Our goal is to provide advances in meaningful autonomy for physically disabled people using state-of-the-art computer vision and artificial intelligence.The research is anchored in the integration of the Robot Operating System (ROS) with Gazebo for simulation, providing a robust framework for developing and testing the control algorithms. The methodology encompasses the detailed design of a computer vision system for precise eye gaze tracking, leveraging convolutional neural networks (CNNs) for accurate detection and real-time processing. Additionally, the inverse kinematics for the robotic arm is computed to translate eye gaze coordinates into actionable commands.Experimental validation was conducted through a series of controlled trials involving participants with varying levels of physical disability. The results demonstrated significant improvements in task completion times and accuracy compared to traditional control methods. User feedback highlighted the system's intuitive nature and the substantial reduction in physical effort required.In conclusion, this study presents a viable solution for assistive technology, emphasizing the potential of AI and computer vision in creating inclusive tools for the disabled community. Future work will focus on refining the system for broader application scenarios and enhancing the robustness of the gaze tracking algorithm under diverse conditions.