Gerçek zamanlı videolardan kalabalık ve sosyal mesafe tespiti için yolo algoritmalarının performans analizi: Covıd-19 uygulaması
Performance analysis of yolo algorithms for crowd and social distance detection from real-time videos: A Covid-19 implementation
Yazar: MEHMET ŞİRİN GÜNDÜZ
Danışman: DR. ÖĞR. ÜYESİ GÜLTEKİN IŞIK
Iğdır Üniversitesi / Lisansüstü Eğitim Enstitüsü / Mekatronik Mühendisliği Ana Bilim Dalı / Mekatronik Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Mekatronik Mühendisliği = Mechatronics Engineering

Özet:
COVID-19 salgınında görüldüğü üzere insandan insana geçen virüslerde en önemli tedbirlerden birisinin fiziksel mesafe olduğu görülmüştür. Dünya Sağlık Örgütü'ne (DSÖ) göre kapalı alanlarda sınırlı sayıda insanın olması ve 1 metrelik fiziksel mesafe kuralına uyulması gerekmektedir. Kapalı alanın alabileceği insan kapasitesi değişmektedir. O halde kapalı alanın büyüklüğünün ölçülmesi ve buna göre insan kapasitesinin hesaplanması gerekir. Kameralarla izlenen kapalı bir alanda kapasite kuralının doğru uygulanmasını sağlamak için bilgisayarlar kullanılabilir. Bilgisayarlı görü ve derin öğrenme yöntemleri nesne tespit problemine başarıyla uygulanmıştır. Özellikle evrişimsel sinir ağları (CNN) tabanlı YOLO (You Only Look Once) modelleri nesne tespitinde oldukça popülerdir. Bu çalışmada 2 yöntem önerilmektedir. 1. yöntemde videoda sınırları önceden belirlenmiş bir bölgenin büyüklüğünü ölçmek, bu bölgede bulunan insanları gerçek zamanlı saymak ve bu bölgenin içerisine yerleşebilecek maksimum insan sayısını bulmak hedeflenmiştir. 2. yöntemde ise yine sınırları önceden belirlenmiş bölgenin içerisinde tespit edilen insanlar arasındaki fiziksel mesafenin gerçek zamanlı tahmin edilmesi amaçlanmaktadır. Bu 2 yönteme göre: 1) Video üzerinde bir bölgenin sınırlarının önceden belirlenmesi, 2) sınırlı bölgedeki insanların tespit edilmesi ve sayılması, 3) tespit edilen insanlar arasındaki fiziksel mesafenin gerçek zamanlı tahmin edilmesi 4) sınırlı bölgenin büyüklüğünün tahmin edilmesi ve alabileceği maksimum insan kapasitesinin bulunması hedeflenmiştir. Bu amaçla, YOLO nesne algılama modeli kullanılmıştır. Ayrıca insanların tespit edilmesi ve etiketlenmesi için Microsoft COCO veri kümesi ağırlıkları kullanılmıştır. YOLO modelleri (YOLO v3, YOLO v4, YOLO v5s, YOLO v3-Tiny ve YOLO v4-Tiny) önerilen yöntemin 2, 3 ve 4 numaralı adımları için ayrı ayrı test edilmiş ve performansları analiz edilmiştir. Önerilen yöntemin ortalama kesinlik değerlerinin ortalaması (mean average precision, mAP), saniyedeki çerçeve sayısı (frame per second, Fps) ve doğruluk oranı (accuracy rate, Acc) metrikleri bulunmuştur. Sınırlı bölgenin içindeki insanların tespitinde doğruluk oranı ve mAP metriklerinde en yüksek değere YOLO v3 modeli ulaşırken YOLO v5s modeli en yüksek fps oranını elde etmiştir. Belirlenen sınırlı bölgenin içinde fiziksel mesafe kuralına uyan insanların tespitinde YOLO v3 modeli %87,07 doğruluk oranı ve %89,91 mAP(0,5) değerine ulaşarak en yüksek performansı elde etmiştir. YOLO v5s modeli ise 18,71 ile en yüksek fps oranını elde etmiştir. Kapalı alanda sınırlı bir bölge içindeki toplam insan sayısını mAP(0,5) metriklerine göre YOLO v3 modeli %98,8 YOLO v5s %98,5 ve YOLO v4 %96,1 değerlerine ulaşarak başarılı sonuçlar vermiştir.

Abstract:
As seen in the COVID-19 epidemic, it has been seen that one of the most important measures in viruses transmitted from person to person is physical distance. According to the World Health Organization (WHO), there must be a limited number of people indoors and the 1 meter physical distance rule must be followed. The human capacity it can take varies according to the size of the closed area. Then the size of the closed area should be measured and the human capacity should be calculated accordingly. Computers can be used to ensure the correct application of the capacity rule in a confined space monitored by cameras. Computer vision and deep learning methods have been successfully applied to the object detection problem. Especially convolutional neural networks (CNN) based YOLO (You Only Look Once) models are very popular in object detection. In this study, a method is proposed to measure the size of a predetermined region in the video and count the people there in real time. Two methods are suggested in this study. In the first method, it is aimed to measure the size of a region with predetermined borders in the video, to count the people in this region in real time and to find the maximum number of people who can settle in this region. In the second method, it is aimed to estimate the physical distance between people detected in the predetermined region in real time. According to these 2 methods:1) Predetermination of the borders of a region on the video, 2) identification and counting of people in the restricted area, 3) real-time estimation of physical distance between detected people 4) it is aimed to estimate the size of the limited area and to find the maximum human capacity that this area can take. For this purpose, YOLO object detection model was used. In addition, Microsoft COCO dataset weights were used to identify and label people. YOLO models (YOLO v3, YOLO v4, YOLO v5s, YOLO v3-Tiny and YOLO v4-Tiny) were tested separately for steps 2, 3 and 4 of the proposed method and their performances were analyzed. Mean average precision (mAP), frame per second (Fps) and accuracy rate metrics of the proposed method were found. While the YOLO v3 model achieved the highest value in the accuracy rate and mAP metrics in detecting people inside the restricted area, the YOLO v5s model achieved the highest fps rate. The YOLO v3 model achieved the highest performance, reaching 87.07% accuracy and 89.91% mAP(0.5) in detecting people who comply with the physical distance rule within the specified limited area. The YOLO v5s model, on the other hand, achieved the highest fps rate with 18.71.According to the mAP(0.5) metrics of the total number of people in a confined area indoors, the YOLO v3 model achieved successful results by reaching 98.8%, YOLO v5s 98.5% and YOLO v4 96.1%.