Çok bölgeli uçuş süresi sensörleri kullanılan otonom cihazlar için tinyml platformu ile nesne algılama
Tiny machine learning model for object detection with multi zone time of flight sensors
Yazar: SERGEN ERKAN ARSLAN
Danışman: DOÇ. BÜLENT BOLAT
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı / Haberleşme Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Son yıllarda, üzerinde birçok sensör barındıran otonom robotların hayatımızdaki sayısı ve önemi her geçen gün artmaktadır. Büyüyen robot pazarı ile otonom robot araştırmaları her zamankinden daha çok ön plana çıkmaktadır. Çoğu otonom robot engelleri tespit etmek ve navigasyonu gerçekleştirmek için LIDAR, uçuş süresi (ToF) sensörü, ToF kamerası, derinlik kamerası, geniş açılı kamera, IR optik sensörler ve elektromekanik anahtarlar kullanmaktadır. Kamera tabanlı sensör sistemleri büyük miktarda işlem gücü ve hafıza gerektirmektedir. Dolayısıyla bu tür sistemlerin maliyetleri daha yüksektir. Ayrıca özel hayat gizliliği konusunda kullanıcı dostu değildir. Öte yandan daha basit sensör uygulamaları yüksek hata oranlarına ve daha kötü performansa sahiptir. Tek nokta tabanlı optik sensörler, otonomun gerekliliği olan küçük engellerin tespiti için uygun değildir. Bu tür sensörler için özellikle kablolar ve oyuncaklar gibi küçük nesnelerin tespit edilmesi oldukça zordur. 

Yapılan bu çalışmada, belirtilen sorunların üstesinden gelebilmek için çok bölgeli uçuş süresi (ToF) sensörü kullanılarak ve engelin varlığı ile konumunu tespit edebilen makine öğrenmesi modeli önerilmiş olup mikro denetleyici üzerinde koşabilen sıkıştırılmış ve optimize edilmiş makine öğrenimi (Tiny-ML) kullanılmıştır.
Günümüzde hafıza ve işlem hızı olarak gelişen 32-bit ARM tabanlı mikro denetleyici sayısı günden güne artmakta ve internete bağlanabilen akıllı cihazlarda kullanımı yaygınlaşmaktadır. ARM tabanlı STM32F746NG  200 MHz saat hızına sahip mikro denetleyici kullanılarak robotun hareketi sırasında engellerin hızlı ve gerçek zamanlı olarak algılanması gerçekleştirilmiştir. Oluşturulan makine öğrenmesi modellerinin başarımları karşılaştırılmış ve sonuç olarak en yüksek başarıma sahip makine öğrenmesi modeli belirlenmiştir.

Abstract:
In recent years, the number and importance of autonomous robots with various sensors in our lives have been increasing day by day. With the growing robot market, research on autonomous robots is more prominent than ever. Most autonomous robots use LIDAR, Time-of-Flight (ToF) sensors, ToF cameras, depth cameras, wide-angle cameras, IR optical sensors, and electromechanical switches to detect obstacles and perform navigation. Camera-based sensor systems require a significant amount of processing power and memory, making the costs of such systems higher. Additionally, they are not user-friendly regarding personal privacy. On the other hand, simpler sensor applications have high error rates and less performance. Single-point optical sensors are not suitable for detecting small obstacles required for autonomy. Detecting cables and toys is particularly challenging for such sensors. To overcome these challenges, a machine learning model that can produce the position and distance output of obstacles using a multi-zone Time-of-Flight (ToF) sensor has been proposed.

In this study, compressed and optimized machine learning (Tiny-ML) running on a microcontroller has been utilized. The number of 32-bit ARM-based microcontrollers is increasing day by day, and they are used in smart devices that can connect to the internet, benefiting from their improved memory and processing speed. Using an ARM-based STM32F746NG microcontroller with a clock speed of 200 MHz, obstacle detection during the robot's movement has been achieved quickly and in real-time. The accuracies of the created machine learning models have been compared. As a result, the most suitable machine learning model and sensor have been identified.