Intelligent sensing and tracking applications for human machine interaction
İnsan makine etkileşimine yönelik akıllı algılama ve takip etme uygulamaları
Yazar: MUHAMMET FATİH ASLAN
Danışman: DR. ÖĞR. ÜYESİ AKİF DURDU
Selçuk Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı / Elektrik Elektronik Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2018
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
İnsan-Makine Etkileşimi (Human Machine Interaction (HMI)), insan-makine arayüzü vasıtasıyla, insan ile makine arasındaki etkileşim ve iletişim olarak tanımlanmaktadır. HMI, 50 yıldan beri üzerinde çalışılan bir alandır. Bu alana yönelik çalışmalar, endüstriyel, robotik, ulaşım, tıbbi, askeri, ev, eğlence sistemleri vb. uygulama alanlarında birçok ürün ve hizmet için yüksek bir pazar değerine ulaşmıştır. Bilgisayarların da hızının artmasıyla HMI sistemleri günümüz ve gelecek uygulamalar için daha uygulanabilir hale gelmektedir.
Robotik alanında tasarlanan HMI'ya yönelik uygulamaların genelinde, gerçek zamanlı olarak, insanın veya insan kaynaklı bir hedefin özelliklerinin çıkarılması, sınıflandırılması, tespiti ve takip edilebilmesi üzerine çalışılmaktadır. Kullanım alanları düşünüldüğünde, son derece hassas bir algılama ve takip algoritmalarının geliştirilmesi güvenlik ve doğruluk açısından oldukça önemlidir. Ancak günümüzdeki sensör sistemleri, kameralar ya da algılayıcılar gibi cihazlar, ortamda meydana gelen değişiklikleri tam olarak algılayamazlar, yani gürültülü çıkışlar üretirler.
Bu tezin hazırlanması aşamasında, HMI alanında çalışmalar incelenmiş ve kullanılan yöntemler araştırılmıştır. Bu çalışmalardan esinlenilerek, HMI alanında, robotik sistemlere uyarlanabilecek güçlü algılama ve takip metotları ile ilgili üç adet uygulama geliştirilmiştir. Bu tez kapsamında, uzun süreli takip işlemlerinin geçekleştirilmesi ve gürültülerin sisteme dâhil edilerek verimli takibin sağlanması için Bayes teoremine dayanan istatistiksel yöntemler üzerinde durulmuştur. Bu kapsamda Kalman Filtresi (KF) ve Parçacık Filtresi (PF) teorik olarak incelenmiştir. Bu istatistiksel yöntemlerle hedefe ait konum tahmini yapılmıştır. Gerçekleştirilen uygulamalar gerçek zamanlı sistemlerde çalışabilecek niteliktedir. Uygulamaların tamamında veriler görüntü tabanlıdır. Dolayısıyla, her bir uygulama için, ilk olarak görüntü işleme teknikleri kullanılmıştır. Bu sayede, görüntü verileri analiz edilmiş ve bu veriler üzerinde algılama ve takip metotları gerçekleştirilmiştir. Birinci ve üçüncü uygulamada, güçlü algılama ve tespit yöntemleriyle insan kaynaklı bir hedefe ait özellikler çıkarılmıştır. Sonrasında makine öğrenme yöntemleri kullanılarak sınıflandırma yapılmıştır. İlk uygulamada Bayes yöntemleri kullanılarak, sınıflandırılan obje takip edilmiştir. İkinci uygulamada ise insanın robottan öğrenmesine yönelik, biçimsel diller kullanılarak, otomat teorisine dayalı bir yöntem geliştirilmiştir.

Abstract:
Human-machine interaction (HMI) is defined as interaction and communication between human and machine through human-machine interface. HMI is a field that has been working on for over 50 years. Work in this field has reached a high market value for many products and services in industrial, robotics, transportation, medical, military, home, entertainment systems, etc. With the increasing speed of computers, HMI systems are becoming more feasible for today and tomorrow's applications.
In general, applications for the HMI designed for the robotic field are carried out to feature extraction, classification, detection and tracking of a human or human-induced target. When areas of use are considered, it is clear that in such areas, an extremely sensitive detection and tracking algorithm must be developed to ensure safety and accuracy. However, devices such as today's sensor systems, cameras or sensors are not able to fully perceive changes in the environment, that is, produce noisy outputs.
In the process of preparing this thesis, the studies in the field of HMI are examined and the methods used are investigated. Inspired by these studies, three applications have been developed in the field of HMI, with strong detection and tracking methods that can be adapted to robotic systems. In this thesis, statistical methods based on Bayes theorem are emphasized in order to perform long term tracking applications and to provide efficient tracking by including noises into the system. In this context, Kalman Filter (KF) and Particle Filter (PF) have been studied theoretically. Estimates of the position of the target were made with these statistical methods. Implemented applications can work in real-time systems. All of the applications are image-based. Thus, for each application, image processing techniques were used first. So, image data were analyzed and detection and tracking methods were performed on these data. In the first and third application, features related to a human-induced target were extracted with strong recognition and detection methods. Later, classification was done using machine learning methods. In the first application, the classified object was tracked using Bayes' methods. In the second application, an interaction was carried out between human and robot, aiming learning from robots. For this, a method based on Automata Theory was developed using formal languages.