Pasif wi-fi radar verileri ile aktivite sınıflandırma ve uçta uygulaması
Activity recognition using passive wi-fi radar data and edge implementation
Yazar: SABİT GÖLCÜK
Danışman: DOÇ. DR. NİHAN KAHRAMAN
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı / Haberleşme Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Aktivite sınıflandırma günümüzde, akıllı ev sistemleri, bakım gerektiren kişilerin hareketlerinin otomatik olarak takip edilmesi, davranış analizi gibi birçok uygulama için oldukça önemlidir. Geliştirilen bir uygulamanın, doğrudan yerel cihazlar üzerinde çalıştırılmasına olanak tanıyan uçta uygulama (edge computing), aktivite sınıflandırma projelerinde de oldukça önemli bir rol oynar. Bunun nedeni gerçek zamanlı uygulamalarda hız ve verimlilik sağlamasının yanı sıra,  gizlilik ve veri güvenliği konularında bulut tabanlı sistemlere göre avantajlar sağlamasıdır. Bu çalışmada, düzenli olarak iletilen Wi-Fi sinyallerinin, pasif Wi-Fi radar (PWR) sistemleri ile yakalanarak frekans kaymalarının zaman içinde nasıl değiştiğini gösteren spektrogram görüntüleri ile aktivite sınıflandırma modeli önerilmiştir. Sonrasında geliştirilen uygulamanın Raspberry Pi üzerindeki performansı incelenmiş ve önerilen sistemin hem hızlı hem de yüksek doğruluk oranında çalışabildiği gösterilmiştir. Literatürden farklı olarak, önerilen veri iyileştirme ve kapsamlı ön işleme teknikleri ile eğitim veri setinin kalitesi iyileştirilerek model tarafından daha etkin bir şekilde işlenmesi sağlanmıştır. Böylece sınıflandırma doğruluğu arttırılarak, ilgili veri tabanında en yüksek başarıma ulaşan bir model oluşturulmuştur.
Çalışmada, farklı karmaşıklıktaki sınıflandırıcılar kullanılarak uçtan uca eğitim yapılmış ve önerilen veri iyileştirme tekniklerinin farklı mimarilerdeki performansı karşılaştırılmıştır. Eğitim ve test verisi olarak 6 farklı aktivite sınıfı (oturma, kalkma, yürüme, yere uzanma, dönme, yerden kalkma) ve 1 aktivite olmama durumunu içeren OperaNet  veri seti kullanılmıştır. Önerilen model eğitimleri Google Colab ile NVIDIA T4 GPU kullanarak gerçeklenmiştir. Uçta uygulama için test aşamasında  Raspberry Pi 5 platformu kullanılmıştır.
Sonuçlar, önerilen veri işleme ve iyileştirme teknikleri ile, referans yönteme kıyasla sınıflandırma performansının \%8 oranında iyileştirdiğini göstermektedir. Raspberry Pi üzerinde gerçekleştirilen testlerde ise, AlexNet 15 fps, VGG16 1.2 fps, ResNet18 8 fps, ResNet34 5 fps hız ile çalıştığı raporlanmıştır. Bu tez kapsamında kullanılan tüm sınıflandırıcılara ait model dosyaları \url{https://github.com/sgolcuk/Activity-Recognation-With-PWR} adresinde açık erişime sunulmuştur.

Abstract:
Nowadays, activity classification is very important for many applications such as smart home systems, automatic tracking of the movements of people requiring care, behavior analysis. Edge computing, which allows an application to be run directly on local devices, plays an important role in activity classification projects. This is because it provides speed and efficiency in real-time applications as well as advantages over cloud-based systems in terms of privacy and data security. In this study, an activity classification model is proposed by capturing regularly transmitted Wi-Fi signals with passive Wi-Fi radar (PWR) systems and using spectrogram images that show how frequency shifts change over time. Then, the performance of the developed application on Raspberry Pi is analyzed and it is shown that the proposed system is both fast and highly accurate. Unlike the literature, the quality of the training dataset is improved, with the proposed data augmentation and extensive preprocessing techniques , in that way processed more efficiently by the model. Thus, a model that achieves the highest performance on the relevant database has been created by increasing the classification accuracy.
In this study, end-to-end training is performed using classifiers of different complexity and the performance of the proposed data enhancement techniques on different architectures is compared. OperaNet dataset containing 6 different activity classes(sit, stand, walk, lie-down, body-rotate, stand-from-lie) and 1 non-activity case is used as training and test data. The proposed model trainings were implemented with Google Colab using NVIDIA T4 GPU. Raspberry Pi 5 platform was used in the testing phase for the application at the edge.
The results show that the proposed data processing techniques improve the classification performance by 8\% compared to the reference method. The tests performed on the Raspberry Pi were reported to run at AlexNet 15 fps, VGG16 1.2f ps, ResNet18 8 fps, and ResNet34 5 fps. The model files of all classifiers used in this thesis are available for open access at \url{https://github.com/sgolcuk/Activity-Recognation-With-PWR}.