Derin öğrenme yöntemleri kullanılarak giyilebilir sensörlerden kişi tanıma
Using deep learning in wearable sensors for person recognition
Yazar: ŞAFAK KILIÇ
Danışman: PROF. DR. İMAN ASKERBEYLİ ; DOÇ. DR. YILMAZ KAYA
Ankara Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Görüntü işleme-bilgisayarlı = Image processing-computer assisted ; Sayısal görüntü işleme = Digital image processing ; Yapay sinir ağları = Artificial neural networks ; İnsan-bilgisayar etkileşimi = Human-computer interaction

Özet:
Son yıllarda kişi tanıma problemi ile ilgili araştırmacılar tarafından yoğun çalışmalar yapılmaktadır. Araştırmacılar kişi tanıma işlemi için bilgisayar ile görü ve sinyal işleme sistemlerini sıklıkla kullanmaktadır. Yapılan çalışmalar detaylı incelendiğinde, sensör sinyallerinden elde edilen veriler kullanarak kişi tanıma işleminin gerçekleştirildiği ancak kişinin fiziksel hareketlerinden meydana gelen sinyallerden kişi tanıma işlemi yapılmadığı görülmüştür. Bu çalışmada giyilebilir sensörlerden elde edilen veriler yardımı ile kişi tanıma işlemi gerçekleştirilmiştir.

KT işleminin en önemli aşaması elde edilen sinyallerden başarı oranı yüksek olabilecek öznitelikler çıkarmaktır. Bu çalışma kapsamında, 1D-LBP ve 1D-FbLBp yöntemleri kullanılıp öznitelikler çıkarılırmıştır. Çıkarılan öznitelikler makine öğrenmesi yöntemleri ile test edilmiştir. Çıkan sonuçlara göre, sensör sinyallerinden elde edilen veriler aracılığı ile KT işleminin başarılı olarak gerçekleştiği anlaşılmaktadır.

Çalışmamızın temellini oluşturan kısım, sinyaller elde edildikten sonra ön işlemden geçirerek derin transfer öğrenme yöntemlerinin uygulanması olmuştur. VGG, ResNet, MobileNet, DenseNet gibi sıklıkla kullanılan derin transfer öğrenme yöntemleri problemimiz doğrultusunda yeniden tasarlanmıştır. Çalışmamız daha önce yapılan çalışmalar ile kıyaslandığında, derin transfer öğrenme yöntemlerinin KT işleminde etkili olduğu anlaşılmıştır.

Çalışmamızda ek olarak, sensörlerden elde edilen veriler sayesinde, bireylerin sergilemiş olduğu fiziksel aktivitelerinden tespiti hem makine öğrenmesi hem de derin transfer öğrenme yöntemleri ile yapılmış ve başarılı sonuçlar elde edilmiştir. Sensörlerin kullanıldığı bölgeye ve sensör türlerine göre de, kişi tanıma ve hareketlerin tanıması işlemleri gerçekleştirilmiştir. Bu işlemler de elde edilen sonuçlar da daha önceden yapılan çalışmalar ile kıyaslandığında başarılı olduğu görülmüştür.

Abstract:
In recent years, a large number of studies have been carried out by researchers on the person recognition (PR) problem. Researchers often use computer vision and signal processing systems for person recognition. When the previous studies were examined in detail, it was seen that the person recognition process was carried out using the data obtained from the sensor signals, but the PR process was not performed from the signals formed by the physical activities of the person. In this study, person recognition process was carried out with the help of data obtained from wearable sensors.

The most important step of the PR process is to extract features that can have a high success rate from the obtained signals. In this study, features were extracted by using 1D-LBP and 1D-FbLBp methods. Extracted features were tested with machine learning methods. According to the results, it is understood that the PR process was successful through the data obtained from the sensor signals.

After obtaining the signals, which form the basis of our study, deep transfer learning methods were applied by pre-processing. Frequently used deep transfer learning methods such as VGG, ResNet, MobileNet, DenseNet have been reconstructed in line with our problem. When our study was compared with previous studies, it was understood that deep transfer learning methods were effective in the PR process. In addition, in our study, thanks to the data obtained from the sensors, the determination of the physical activities of the individuals was made with both machine learning and deep transfer learning methods and successful results were obtained. According to the region where the sensors are used and the sensor types, person recognition and physical activities of the person are recognized. The results obtained in these procedures were also found to be successful when compared with previous studies.