Sağlık uygulamaları için görüntü
video işleme ile sahne sınıflandırması / Scene classification with image / video processing for healthcare applications
Yazar: HASAN ALİ ERİŞ
Danışman: DOÇ. DR. MUHAMMED ALİ AYDIN ; DR. ÖĞR. ÜYESİ MEHMET ALİ ERTÜRK
İstanbul Üniversitesi-Cerrahpaşa / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: CNN = CNN ; Görüntü işleme = Image processing ; Nesne tespiti = Object detection ; İlaçlar = Drugs

Özet:
Bu yüzyılda, videodan insan aktivitesi tespiti (Human Activity Recognition - HAR) metotları, 
çok geniş bir alanda kullanılıyor. Çoğu gözetleme sistemi, HAR desteği ile otomatikleşmiş 
durumda. Kameralardan soygun, kavga, kaza gibi anomali içeren eylemler belirli ölçüde 
otomatik olarak tespit edilebilmektedir. Ayrıca birçok istatistik verileri de, videolar analiz 
edilerek çıkarılabilmektedir. Örneğin; bir spor müsabakasında, sporcuya ait istatistikler, kaç 
pas, kaç şut atılmış vb. HAR kullanım alanı oldukça geniş olup, gün geçtikçe önemi de 
artmaktadır. Bu konuda en yeni yöntemler, evrişimli sinir ağları (Convolutional neural 
networks - CNN) üzerine inşa edilmiştir. CNN metodu, resim karesi üzerine uygulanan bir 
yöntem. Fakat, HAR alanındaki uygulamalarda, CNN, sıralı video kareleri üzerinde işlem 
gerçekleştirmektedir. CNN kullanan en yeni HAR metotları şunlardır; Yinelemeli Sinir Ağları 
(Recurrent Neural Networks - RNN), gene bir RNN türü olan Uzun Kısa Süreli Bellekli 
Ağlar (Long Short Term Memory - LSTM) ve 3 boyut evrişimli sinir ağları (3D CNN). Bu tez 
çalışmasında, sağlık alanında video görüntüleri üzerinden aktivite tespiti yapılarak, ilgili 
eylemin tanımlanması hedeflenmiştir. Yürütülen çalışmalarda nesne algılama (object 
detection - OD) vasıtası ile geliştirdiğimiz yöntemler ile HAR' a ait doğruluk performansı 
(accuracy performance) arttırılmaya çalışılmıştır. OD, nesnelerin ismini ve yerini resim karesi 
üzerinde bulan bir yöntemdir. En modern OD algoritmaları; R-CNN, Fast R-CNN, Faster RCNN, YOLO ve SSD modelleridir. Bu tez çalışmasında, OD' den yararlanan iki yeni HAR 
algoritması geliştirilmiştir. Bu metotların performansının diğer metotlara üstünlüğü 
uygulamalarla ispatlanarak ve daha sonra bu yeni metotlardan biri seçilerek, sağlık alanında 
hastalara yardımcı olmak amacıyla, ilaç alımı aktivitesi tespiti uygulamalarında test edilmiştir.
Önermiş olduğumuz metotlar, tek bir bireyin aktivite tespitine odaklandığından, bu modeller 
genel olarak "Bireysel insan aktivitesi tespiti" (Personalized Human Activity Recognition -
PHAR), olarak adlandırılmıştır.

Abstract:
In this century, Human Activity Recognition (HAR) from Video methods are used in very 
wide range of area. Most of Surveillance systems are automated by the help of HAR. 
Surveillance systems can automatically detect anomalies like robbery, fighting, accidents 
vs… And again lots of statistics are computed according to the videos by the help of HAR. 
For example; football player statistics like shoot and pass stats can be computed according to 
video streams. There are lots of state of arts methods for HAR. Modern and the newest 
methods are about Convolutional neural networks (CNN) . CNN is used on an image frame. 
But in vidoes for HAR, it is used for each frame ordered in time. Most used HAR methods 
which uses CNN are; Recurrent Neural Networks (RNN), Long Short Term Memory (LSTM) 
which is a type of RNN and 3D Convolution. In this thesis study, the accuracy performance of 
HAR is increased by getting help of object detection (OD). Object detection is determining 
the object location with its name in an image frame. State of Art OD models are; R-CNN, 
Fast R-CNN, Faster R-CNN, YOLO and SSD. In this thesis study, two different models are 
offered to get accuracy performance boost via OD. Accuracy performance superiority of these 
two offered models over state of the arts methods will be proven. After that, one of these 
methods will be used medicine intake activity recognition for the scope of Health Care 
Monitoring Systems. To understand these two methods, first state of arts HAR and OD 
methods are explained in this thesis. Then the two offered models are explained. Because we 
focus on one person activity, we named these models "Personalized Human Activity 
Recognition" (PHAR).