İnsan - endüstriyel mobil robot etkileşiminde yeni bir yaklaşım: derin öğrenme tabanlı kriter tespit ve analizi ile güvenlik önlem boyutu belirleme
In human - industrial mobile robot interaction a new approach: safety measure size determination with deep learning based criteria detection and analysis
Yazar: TARIK ASLAN
Danışman: DR. ÖĞR. ÜYESİ MUSTAFA YAĞIMLI
İstanbul Gedik Üniversitesi / Lisansüstü Eğitim Enstitüsü / İş Sağlığı ve Güvenliği Ana Bilim Dalı / İş Sağlığı ve Güvenliği Bilim Dalı
Derece: Doktora, 2023
Konu: Mühendislik Bilimleri = Engineering Sciences ; Çalışma Ekonomisi ve Endüstri İlişkileri = Labour Economics and Industrial Relations

Özet:
İnsan-robot etkileşiminde, standartlaşan temel güvenlik önlemleri; güvenlik dereceli izlenen durdurma, elle yönlendirme, hız/mesafe izleme ve güç/kuvvet sınırlaması olmak üzere, dört ana teknik ile tanımlanmaktadır. Bu teknikler genellikle yakınlık sensörlerinden elde edilen verilere dayanarak, mobil robotlar tarafından etkileşimde olduğu insanlara, yetki, davranış veya güvenlik kriterini değerlendirmeden, standart veya tek boyutlu olarak uygulanır. İş sağlığı ve güvenliğinde kaynakların doğru kullanılması, aşırı güvenlik önlemlerin çalışma hızını düşürmemesi ve verimliliğin sağlanması için güvenlik önlemleri tek düze uygulanmak yerine derecelendirilir. Risk yüksekse önlemler daha katı ve sıkı, düşükse daha esnek veya hafif olabilir. Aynı prensibin insan-mobil robot etkileşiminde de geçerli olması beklenir ancak mobil robotların insanlarla etkileşiminde uygulanacak güvenlik önlemleri, etkileşimde bulunduğu çalışan türüne veya yetkisine göre değişmemektedir. Bu durumda belirlenecek güvenlik önlemi katı olması durumunda aşırı güvenlik önlemleri mobil robotların verimliliğini düşürecek, esnek ya da hafif olması durumunda ise kaza riskini artıracaktır. Mobil robotun değişen durumlara göre kriter belirlemesi gerekir. Belirlediği kritere göre gerektiğinde katı güvenlik önlemlerinin sağlanması ile güvenliğe odaklanmalı, gerektiğinde esnek ya da hafif güvenlik önlemlerine geçerek verimi arttırabilmelidir. Kısacası, bu çalışmanın amacı; insan-mobil robot etkileşiminde hem güvenliği hem de verimliliği daha üst seviyeye taşıyacak yeni bir yaklaşım geliştirmektir.
Günümüzde bu yaklaşımın uygulanmamasının ve insan mobil robot etkileşiminde, standart tek boyutlu önlemlerin uygulanmasının birkaç sebebi bulunmaktadır. Bu sebeplerinden biri, otonom mobil robotların çalışanlara zarar verme potansiyelinin tüm boyutları ile keşfedilememiş olması, dolayısıyla hala güvenlik konusunda esnetilebilir veya hafifletilebilir bir güven verememesidir. Bu da kriter ve koşullardan bağımsız güvenlik önlemlerinin standart ve katı bir şekilde uygulanmasını getirmiştir. Diğer bir sebep ise teknolojik olarak mobil robotların insanlarla ilgili kriterleri tespit etmesinin masraflı, doğruluk seviyesinin düşük ve güvenlik durumu için kriter belirleme hızının yavaş kalmasıydı. Ancak mobil robotların daha fazla üretime girmesi, literatürde daha fazla insan robot iş birliğine, yakın çalışmasına, hatta fiziksel temas kurmasına dair çalışmaların görülmesi, derin öğrenme teknolojisindeki gelişmeler, nesne tespitinde yüksek doğruluk seviyelerine ulaşılması, GPU'lu sistemlerin kullanılması ile nesne tespit sürelerini önemli ölçüde kısaltılması, insan mobil robot etkileşimindeki katı güvenlik önlemlerinin yeniden değerlendirilmesi gerektiğini göstermektedir.
İnsan mobil robotun etkileşimde tespit edebilecek kriterlerin başında kişisel koruyucu ekipman kullanımı ve yetki seviyesi gelmektedir. Bu çalışmada, bu iki kriter ön planda tutularak, YOLO ailesinin en hızlı çıkarım yapabilen modellerinden olan YOLOv5n ve en son sürümü olan YOLOv8n kullanılmıştır. Özellikle yetkililerin belirlenmesinde hangi yaklaşımın daha etkili olabileceğini belirlemek amacıyla iki farklı veri seti üzerinde iki ayrı model oluşturulmuştur. Veri setine bağlı olarak modellerden biri çalışanların baret renginden, diğeri ise giydikleri yelek tipinden yetkili kişiyi tespit etmeyi hedeflenmiştir. Böylece iki ayrı model ve iki ayrı veri seti kullanılarak toplam dört model çalışmada karşılaştırılarak hangi modelin daha geçerli olduğu incelenmiştir.
Eğitimin sonucunda, tüm modellerin genel ortalama hassasiyeti (mAP'si) metrik değerinin %98'dan daha yüksek olduğu ve GPU kullanımıyla 500 FPS daha hızlı çıkarım yaptıkları görülmüştür. Bu sonuç derin öğrenmenin insan- mobil robot etkileşiminde güvenlik önlemi uygulanmadan önce kriter tespit edilebileceğini böylece insan-mobil robot etkileşimin daha güvenli hale getirilebileceğini ve aynı zamanda mobil robotların daha verimli çalışabileceğini göstermektedir.

Abstract:
In human-robot interaction, the main standardized safety measures are defined by four main techniques: safety-rated monitored stop, hand-guiding, speed and separation monitoring and power and force limiting. These techniques are usually applied in a standard or one-dimensional manner based on the data obtained from proximity sensors, without evaluating the authority, behavior, or safety criteria of people interacting with mobile robots. In occupational health and safety, safety measures are graded instead of being applied uniformly to ensure that resources are used correctly, and excessive safety measures do not reduce the speed of work and ensure efficiency. If the risk is high, the measures can be stricter, and if the risk is low, they can be more flexible or lighter. The same principle is expected to be applied in human-mobile robot interaction, but the safety measures to be applied in the interaction of mobile robots with humans do not change according to the type or authority of the employee they interact with. In this case, if the safety measure to be determined is strict, excessive safety measures will reduce the efficiency of mobile robots, and if it is flexible or lightweight, it will increase the risk of accidents. The mobile robot must set criteria according to changing situations. According to the set criteria, it should focus on safety by providing strict safety measures when necessary, and it should be able to increase efficiency by switching to flexible or light safety measures when necessary. In short, this study aims to develop a new approach that will maximize both safety and efficiency in human-mobile robot interaction.
Currently, there are several reasons why this approach is not practiced, and standard one-dimensional measures are applied in human-mobile robot interactions. One of these reasons is that the potential of autonomous mobile robots to harm workers has not been fully explored, and thus, they still cannot provide flexible or mitigated confidence in safety. This has led to the standardized and rigid application of safety measures, regardless of the criteria and conditions. Another reason was that technologically, mobile robots' detection of human-related criteria was costly, the level of accuracy was low, and the speed of determining the criteria for safety status was slow. However, the introduction of mobile robots into more production, more studies in the literature on human–robot cooperation, close work, and even physical contact, advances in deep learning technology, achieving high levels of accuracy in object detection, and significantly shortening object detection times with the use of GPU systems, all of which show that strict security measures in human–mobile robot interaction need to be re-evaluated.
The use of personal protective equipment and the level of authorization are the main criteria that can determine human–mobile robot interactions. In this study, YOLOv5n, one of the fastest inference models in the YOLO family, and YOLOv8n, the latest version, were used with these two criteria in mind. Two different models were created on two different datasets to determine which approach would be more effective in determining the authorities. Depending on the dataset, one of the models aims to identify the authorized person from the color of the hard hat of the employees and the other from the type of vest they wear. Thus, a total of four models were compared in the study using two different models and two different datasets, and we examined which model was more valid.
At the end of the training, it was observed that the overall average precision (mAP) metric value of all models was higher than 98%, and they inferred 500 FPS faster with the use of the GPU. This result shows that deep learning can detect criteria in human-mobile robot interaction before applying security measures, thus making human-mobile robot interaction safer and moreover, mobile robots can work more efficiently.