Robot hücrelerinde kameralı güvenlik sistemlerinin optimal tasarımı
Optimal design of camera based safety systems in robotic cells
Yazar: MERDAN ÖZKAHRAMAN
Danışman: PROF. DR. HAYDAR LİVATYALI
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Mekatronik Mühendisliği Ana Bilim Dalı / Mekatronik Mühendisliği Bilim Dalı
Derece: Doktora, 2022
Konu: Mekatronik Mühendisliği = Mechatronics Engineering
Dizin: Görüntü sınıflandırma = Image classification ; Güvenlik sistemleri = Security systems ; Optimizasyon = Optimization ; Robotik = Robotics ; Yapay zeka = Artificial intelligence

Özet:
Günümüzde, üretim sistemlerinde robot kullanılan iş hücreleri vazgeçilmez hale gelmiştir. Bu sistemler için insan ve iş güvenliği en önemli unsurlardan biridir. Görüntü işlemeye dayalı güvenlik yöntemlerinde üç boyutlu (3D) kamera kullanımı ticarileşmiş bir uygulamadır. Tek 3D kameranın kullanıldığı güvenlik sistemlerinde maliyetin yüksek olması ve kör noktaların oluşması dezavantaj yaratmaktadır. Bu sebeplerle, doktora tezinde, uluslararası güvenlik standartlarıyla uyumlu, iki boyutlu (2D) birden fazla kamera kullanılan bir güvenlik sistemi tasarımı yapılmıştır. Kamera sayısı, kamera yerleşim açısı ve kamera yükseklikleri optimizasyon parametreleri olarak ele alınıp, en uygun çözüm sunulmuştur. Çözümün doğrulanması için iki kamera kullanılan bir deney düzeneği kurulmuştur. Bu düzenekte optimal ve optimal olmayan kamera yerleşimlerinden alınan görseller, derin öğrenme mimarisi olan ResNet-152 kullanılarak karşılaştırılmıştır. Kör noktaları ortadan kaldırmak için, stereo görüntüleme yöntemlerine alternatif, 2D görüntü birleştirme tekniği önerilmiştir. Doğrulama deneyleri, sekiz aydınlatma seviyesinde iki farklı grafik işlemci ve iki farklı kamera çözünürlüğü kullanılarak gerçekleştirilmiştir. Güvenlik sistemine yüksek hızlı girişlerin güvenilir bir şekilde ve 0,1 saniye yanıt süresiyle algılandığı doğrulanmıştır. Ayrıca, ticari sistemler en az 400 lux üstünde kullanılabilirken, tasarlanan sistemin 120 lux aydınlatma seviyesine kadar etkili şekilde çalıştığı kanıtlanmıştır.
Kamera görüntülerine dayalı güvenlik sistemlerinde, yapay zekâ tabanlı nesne algılama mimarilerinin kullanımı sistem esnekliğini, doğruluğunu ve kararlılığını arttırmaktadır. Doktora çalışmasında, sistem denetleyicisi, üç derin öğrenme (ResNet-152, AlexNet, SqueezeNet) ve üç makine öğrenmesi modülü (SVM, RF ve DT) ile birleştirilmiştir. Modüller, alarm bölgesine giren on farklı nesnenin farklı kalitelerdeki 550şer fotoğraf görüntüsü kullanılarak eğitilmiştir. Böylece endüstriyel ortamın değişen koşulları; Kamera titreşimleri, gölgeler, yansımalar, aydınlatma değişimleri vb. bozucu etkiler veri setine dâhil edilmiştir. SqueezeNet derin öğrenme modeli, %95 ile en iyi doğruluğu vermiştir. Ancak makine öğrenmesi tabanlı modellerden DT, yakın doğrulukta tahmini derin öğrenme tabanlı modellerden 100 kat daha hızlı sağladığı bulunmuştur. Böylece güvenlik sistemi olası her türlü değişikliğe hızla uyum sağlayabilmekte ve endüstriyel üretimde oluşabilecek zaman kayıplarının önüne geçilebilmektedir.

Abstract:
Today, work cells using robots have become indispensable for production systems. Human and occupational safety is one of the most important elements for these systems. It has been observed that three-dimensional (3D) camera technology is used in safety methods based on image processing. In safety systems where more than one camera system is used, the high cost and the inability to intervene in blind spots for the robot workstation also creates a major disadvantage. For these reasons, in this doctoral thesis, a two dimensional (2D) safety system using more than one camera was designed in compliance with international safety standards. The number of cameras, camera orientation angle and camera heights were considered as optimization parameters and the most appropriate solution was presented. An experimental setup using two cameras was set up to verify the solution. Images taken from optimal and non-optimal parameters through this setup were compared using ResNet-152, a deep learning algorithm. To eliminate blind spots, 2D image fusion technique has been proposed as an alternative to the stereo imaging methods. Validation experiments were performed using two different graphics processors and two different camera resolutions under varying lighting conditions. It has been verified that high-speed intrusions into the safety system are detected reliably and with a response time of 0.1 seconds. In addition, while commercial systems cannot operate below 400 lux, the designed system has been proven to work effectively at a minimum illumination of 120 lux. 
The use of artificial intelligence based object detection architectures in the safety system based on camera images significantly improves system flexibility, accuracy, and stability. In addition, in this thesis, the system controller is combined with three alternative deep learning (ResNet-152, AlexNet, SqueezeNet) and three machine learning modules (SVM, RF and DT). These modules were trained using photographic images of ten different foreign objects entering the alarm zone. Ten different classes were determined and a total of 5500 camera images were used as dataset. Camera vibrations, shadows, reflections, lighting changes, etc., for use in system verification in the ever-changing conditions of the industrial environment. disruptive effects are also included in the dataset. The SqueezeNet deep learning model gave the best accuracy rate of 95%. However, machine learning based models were found to have 100 times faster prediction time than deep learning-based models. Thus, the safety system can quickly adapt to any possible change, and time losses that may occur in industrial production.