Çok modlu yaşam alanı gözetleme sistemleri
Multi-modal living area surveillance systems
Yazar: FATİH ERDEN
Danışman: DOÇ. DR. ALİ ZİYA ALKAR
Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2015
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Hedef izleme algoritmaları = Target tracking algorithms ; Kızılötesi algılayıcılar = Infrared sensors

Özet:
Günümüzde konfor ve hayat kalitesinin artırılması ve belirli işleri daha zahmetsiz ve eğlenceli bir şekilde yapma isteği, yaşam alanlarının akıllı aletlerle donatılmasını vazgeçilmez bir ihtiyaç haline getirmiştir. Bu akıllı ortamların inşa edilmesi ile günlük hayatta sıkça kullandığımız elektrikli aletler, işlevlerini uzaktan ve temassız yönetilerek yürütebilir ve çalıştıkları ortamı bir şekilde gözetleyerek daha etkili ve verimli faaliyet gösterebilirler. Yaşam alanlarının akıllı hale getirilmesi ihtiyacını doğuran bir başka sebep de hasta, yaşlı ve özürlü insanların hayat kalitesini artırmak ve sağlık durumlarını gösteren verilerinin bir şekilde izlenmesiyle olası problemlerin önünü almaktır.
Yukarıda ifade edilen amaçlar doğrultusunda tasarlanmak istenen akıllı aletler, insanların hareketleri ve konumlarına bağlı olarak tanımlanmış tepkileri üretebilmek için gelişmiş gömülü "çevresel zeka" (ambient intelligence-AmI) ve "çevresel destekli yaşam" (ambient assisted living-AAL) teknolojilerine ihtiyaç duyar. Bu çalışmada AmI ve AAL alanlarına yönelik farklı yenilikçi uygulamalar ve yöntemler sunulmaktadır. 
Çalışmada ilk olarak piro-elektrik kızılberisi (PIR) algılayıcılar ve kamera yardımıyla elektrikli aletleri uzaktan yönetmeye yarayan el hareketleri tanıma ve algılama sistemi tanıtılmıştır. İzlenen alanda kamera ile el varlığı tespit edildikten sonra, diferansiyel PIR algılayıcı dizisi ile basit el hareketleri tanınmıştır. Geliştirilen devre yardımıyla PIR algılayıcılara ait sinyaller sayısallaştırılarak, dalgacık tabanında (wavelet domain) işlenmiş ve yeniden tasarlanmış winner-take-all (WTA) imza algoritması ile sınıflandırılmıştır. İki resim arasındaki benzerliği ölçmek için tasarlanan WTA imza algoritması, ilk defa tek boyutlu sinyallerin sınıflandırılmasında kullanılmıştır.
Çalışmanın ikinci aşamasında yine diferansiyel PIR algılayıcı ve kameranın birlikte kullanımıyla belirli bir alandaki insan sayısını hassas bir şekilde kestirebilen bir sistem sunulmuştur. İzlenen alanda görüntü işlemeye dayalı insan yüzleri tespiti üzerinden yapılan insan sayma işleminde karşılaşılan hatalar, PIR algılayıcı verilerinin de işlenmesiyle elde edilen ilave bilgiler sayesinde azaltılmıştır. PIR algılayıcı sinyalleri dalgacık tabanında işlenmiş ve Markov modellere dayalı bir sınıflandırma yöntemiyle insanın sıradan hareketleri ve izlenen alana giriş/çıkış hareketleri %3'ün altında bir hata oranıyla ayırt edilmiştir. Bu sonuç insan sayısı kestiriminde sadece kamera kullanılan duruma göre %8'lik bir iyileşmeyi netice vermiştir. 
AAL alanında yapılan bir diğer çalışma, titreşim ve PIR algılayıcıları kullanarak insana ait solunum hareketleri izleme sistemidir. Farklı tipteki algılayıcılardan elde edilen sinyaller, görgül kip ayrıştırma (EMD) ve dalgacık dönüşümü yöntemleriyle işlenmiştir. İşlenen farklı algılayıcı sinyalleri yeni bir çok modlu ortalama büyüklük fark fonksiyonunda (AMDF) tümleştirilerek, solunum aktivitesinin varlığı ve solunum hızına karar verilmiştir. EMD ve dalgacık dönüşümü yöntemlerinin ürettiği sonuçlar karşılaştırılmıştır. Önerilen çok modlu sistem solunum hızını, her iki yöntem için de en fazla 2 solunum/dakika sapmayla belirleyebilmiştir. Ayrıca çok modlu bu sistem ile uyku apnesi tespitinin de yapılabileceği gösterilmiştir. Tercih edilen algılayıcı çeşitleri sebebiyle sistem, alanında ilktir. 
Çalışmada son olarak insan algılama ve izlemeye yönelik yeni bir yöntem sunulmuştur. Resim karesinde hareketli olduğu belirlenen bölgelere ait öznitelikler, bölgesel ortak değişinti (regional covariance) ve bölgesel ortak fark (regional co-difference) yöntemleriyle çıkarılmıştır. Bu öznitelikler destek vektör makinelerine (SVM) beslenerek ilgili bölgedeki insan varlığına karar verilmiştir ve belirtilen öznitelik çıkarımı yöntemlerinin performansları karşılaştırılmıştır. Daha sonra bilinen ve genellenmiş özdeğerlere (generalized eigenvalues) dayalı olarak izleme yapan yönteme alternatif olarak, WTA kodlarına dayalı bir izleme metodu önerilmiştir. Bu iki metoda ait izleme sonuçları karşılaştırılmış ve önerilen metodun işlem yükünü azaltırken, izleme hassasiyetini kabul edilebilir ölçüde koruduğu gösterilmiştir.

Abstract:
Today, the desire to increase the quality of life and comfort level and to do the daily jobs effortlessly and entertainingly has led the living areas to be equipped by intelligent devices. By building these intelligent environments the electrical devices, which we use very often in our daily lives, can be controlled contactless and remotely by the users. They can also function more efficiently and effectively by surveilling the environment they operate in. Another reason that makes intelligent living areas a necessity is to prevent potential health problems of elderly, disabled and already sick people.
The electrical devices, which is designed to serve the aims mentioned above, needs advanced embedded ambient intelligence (AmI) and ambient assisted living (AAL) technologies to react accordingly with the actions and locations of people in the living areas. In this study different novel applications and methods related to AmI and AAL fields are proposed. 
First, a hand gesture detection and recognition system that uses a differential pyro-electric infrared (PIR) sensor array and a camera to control the electrical devices remotely is introduced. Having detected the hand presence in the surveillance area by using the camera, simple hand gestures are recognized by the differential PIR sensor array. PIR sensors' signals are digitized with the help of a special circuit and transferred to a general purpose computer. The signals are then processed in the wavelet domain and classified by a modified winner-take-all (WTA) hash method. The WTA hash algorithm designed to measure the similarity between two images is used first in this study to classify 1-D signals.
In the second stage of this study a system consisting of a differential PIR sensor and a camera to estimate the number of people robustly in a definite area is proposed. Some errors have occurred while estimating the number of people from faces in the surveillance area by using only the image analysis. These errors are reduced by utilizing the additional information obtained from the PIR sensor signal analysis. The sensor signals are processed in the wavelet domain and then used to distinguish the entrance to/exit from the surveillance area and ordinary activities of people in that area. A Markov model based approach is employed for the classification of these two types of actions and as a result an error below 3% is achieved. The multi-modal system provides an improvement of about 8% in the accuracy success.
Another study in the AAL field is the respiratory activity tracking system which consists of a vibration and a differential PIR sensor. The signals acquired from different types of sensors are processed using wavelet transform and empirical mode decomposition (EMD).  Processed sensor data are fused by using a new average magnitude difference function (AMDF) to detect respiratory movements and estimate the respiratory rate. The results produced by the wavelet and EMD methods are compared. The proposed multi-modal system can estimate the respiratory rate with a maximum of 2 breathings/minute deviation from the ground truth for both methods. The system is capable of detecting the sleep apnea as well. The study is first in its field to fuse the PIR and the vibration sensor data. 
In the final stage of the study, a new human detection and tracking method is presented. The features corresponding to the moving regions in the video frame are extracted by using regional covariance and co-difference methods. These features are then fed to support vector machines (SVMs) to detect human and the detection results of the two methods are compared. A new tracking method which replaces the generalized eigenvalues with WTA hash codes in the well-known tracking technique is proposed. The tracking performances of the two methods are compared. The new method achieves an acceptable performance while reducing the computational complexity significantly.