Daha hızlı bölgesel evrişimsel sinir ağları ile köpek davranışlarının tanınması ve takibi
Dog Behavior Recognition and Tracking based on Faster R-CNN
Yazar: Dandıl, Emre; Polattimur, Rukiye
Dergi: Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, Vol. 35 No. 2, 2019
Anahtar kelimeler: Engineering ; Mühendislik ; Computer Vision,Deep Learning,Faster Regional-Convolutional Neural Networks (Faster R-CNN),Animal Behavior Analysis,Dog Behavior Recognition ; Bilgisayarlı Görü,Derin Öğrenme,Daha Hızlı Bölgesel-Evrişimsel Sinir Ağları,Hayvan Davranış Analizi,Köpek Davranışı Tanıma

Hayvan yüzlerinin, vücut duruşlarının,davranışlarının ve fiziksel hareketlerinin tespiti ve tanınması son zamanlardadisiplinlerarası bir alan olarak ön plana çıkmıştır. Bilgisayarlı görü yöntemiile hayvanların davranışlarının tespitine, sonraki davranışların öngörülmesineve hayvanların evcilleştirilmesine katkı sunabilir. Bu çalışmada, köpeklerindavranışlarının tespit edilmesi ve sınıflandırılması için derin öğrenmeyedayalı bir sistem önerilmiştir. Çalışmada öncelikle, insanlar ile temastankaçınmayan köpeklerindavranışlarını içeren videolar toplanarak bir veri seti oluşturulmuştur. Eldeedilen videolar üzerinde gerekli analizler yapıldıktan sonra belirlenendavranışlar videolardan çıkarılarak, daha anlamlı bölümlerden oluşanözelleştirilmiş bir veri seti geliştirilmiştir. Bu anlamlı video bölümlerinden anahtar çerçeveler seçilerek Daha HızlıBölgesel-Evrişimsel Sinir Ağları (DH B-ESA) ile davranışlar tanınmıştır. Son aşamada ise, köpeğin davranışı tanındıktan sonra, videoüzerinde ilgili davranışlar takipçi ile izlenmiştir. Yapılan deneyselçalışmalar sonucunda, köpeklerin ağızaçma, dil çıkarma, koklama, kulak dikme, kuyruk sallama ve oyun oynama davranışları incelenmiş ve bu davranışlariçin sırasıyla %94.00, %98.00, %99.33, %99.33, %98.00, %98.67 doğruluk oranıelde edilmiştir.Çalışmada elde edilen sonuçlar ile anahtar çerçeve seçimi ve ilgi bölgelerinbelirlenmesine dayalı önerilen yöntemin, köpeklerin davranışlarını tanımadabaşarılı olduğu görülmüştür.

Recently, detection and recognition of animalfaces, body postures, behaviors, and physical movements is became aninterdisciplinary field. Computer vision methods can contribute to determinebehaviors of animals and predict the following behavior of animals. Moreover, thesemethods would contribute to domesticate animals. In this study, a deep learningbased system is proposed for the detection and classification of dog’sbehaviour. In the study, firstly, a dataset is created by collecting videoscontaining the behavior of dogs which don’t avoid contact with people. After thenecessary analysis on the obtained videos, a customized data set consisting ofmore meaningful sections is developed by extracting determined behaviors invideos. It is recognized the behavior with the Faster R-CNN (Faster Regional-ConvolutionalNeural Networks) by selecting key frames from these customized video sections.In the last stage, the related behaviors in videos are followed by video trackerafter the behavior of the dog is recognized. As a result of experimentalstudies, the behaviors of dog such as opening the mouth, sticking out the tongue,sniffing, rearing the ear, swinging the tail and playing are examined and accuracy rates 94.00%, 98.00%,99.33%, 99.33%, 98.00% and 98.67% are obtained for these behaviors,respectively. With the results obtained in the study, it is seen that our proposedmethod based on key frame selection and determination of regions of interest aresuccessful in recognition the behavior of dogs.