Silah seslerinin konvolüsyonel yapay sinir ağları ile sınıflandırılması ve atıcı konum tespitinin yapılması
Classification of weapon sounds with convolutional neural networks and detection of shooter location
Yazar: İLYAS ÖZER
Danışman: DOÇ. DR. OĞUZ FINDIK
Karabük Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2018
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Günümüz savaş alanında ve yasadışı silah kullanımın yaygın olduğu yerleşim yerlerinde atıcı konumunu tespit edebilen sistemler giderek kritik hale gelmektedir. Bir silah ateşlendiğinde konumu hakkında bilgi veren parlama, şok dalgası ve namlu ucundan yayılan ses dalgaları gibi birçok fiziksel imza oluşur. Bu çalışmada silah sesine ait akustik olaylar kullanılarak, örüntü tanıma yaklaşımı ile silah türünü belirleyen ve atıcı konumunu tespit edebilen bir sistem gerçekleştirilmiştir.

Atıcı konumunun tespit edilmesinde kalibre ve mermi boyu gibi parametrelere ihtiyaç duyulmaktadır. Fakat sadece genlik ve dalga boyu ölçülebilmektedir. Pek çok durumda eksik parametreler bazı ön kabuller ile şok dalgası modeli üzerinden belirlenmektedir. Bu tez çalışmasında ön kabullere bağlı kalmadan mermi boyu ve çapına ait parametreler tespit edilmektedir. Ayrıca bu sayede ortam gürültüsü, ekolar, çoklu atış durumları ve aynı kalibredeki silahların belirlenmesinde karşılaşılan hataların etkisi azaltılmaktadır.

Bu kapsamda yapılan çalışmaları üç ana başlık altında toplamak mümkündür. İlk aşama yüksek derecede örtüşen spektrogram resim özelliklerini ve konvolusyonel sinir ağlarını bir arada kullanarak yüksek gürültü altında namlu ucu patlaması, şok dalgası (ŞD) ve yansıma olmak üzere silah sesine ait üç farklı akustik olayı tespit edebilen bir sistemin geliştirilmesidir. Bu yaklaşım ile özellikle uzun mesafeden yapılan atışlarda sinyal gürültü oranının düşmesine bağlı olarak yaşanılan hatalı tespit problemleri büyük ölçüde azaltılmıştır. Ayrıca bu aşamada sesin hangi silaha ait olduğu tespit edilerek, ateşlenen silaha ilişkin parametreler tespit edilmektedir.

Bu doğrultuda öncelikli olarak darbesel ses olaylarını tespit edebilen bir otomatik ses tanıma yaklaşımı önerilmiştir. Önerilen model standart bir ses olayı kıyaslama görevi üzerinde test edilerek başarımı literatürdeki güncel teknikler ile kıyaslanmıştır. Önerilen yaklaşım ile uyuşmayan durumlarda yapılan testlerde sınıflandırma başarımında %63,4'lük bir bağıl hata azaltma oranına eşdeğer %4,5'lik bir artış sağlanmıştır. Çoklu durum testlerinde ise %98,63'lük bir sınıflandırma başarımı ile çok daha iyi bir skor elde edilmiştir.

Atıcı konumunun belirlenmesi üzerine literatürden yapılan birçok çalışmada silah seslerine ait namlu patlamalarının (NP) tutarlı bir şekilde tespit edilemediği görülmektedir. Bu doğrultuda önerilen darbesel ses olayı tanıma yaklaşımı silah sesine ait akustik olayların tespit edilmesi görevine uyarlanmış ve gerçek silah atışlarına ait kayıtlarla hazırlanan veri seti üzerinde test edilmiştir. Önerilen yaklaşım tüm gürültü ve mesafe koşullarında şok dalgasını %100 başarı ile tespit etmiş ve %99,4'lük bir sınıflandırma başarımı ile mermiye ilişkin parametreleri tespit etmiştir. Ayrıca çok daha zorlu bir görev olan NP tespitinde %98,5'lik tespit oranı ve %96'lık bir sınıflandırma başarımı ile çok iyi performans sergilemiştir.

İkinci aşamada ise çapraz ilinti tabanlı algoritmalar kullanılarak sinyal varış zaman farkı hesabına dayalı olarak atıcı konumu hesabı yapılmaktadır. Bu kapsamda varış zaman farkı kullanılarak şok dalgasına ve namlu patlamasına ait varış doğrultuları tespit edilerek, tek bir sensör dizisi ile atıcı konumu hesaplanmaktadır.

Son olarak sistemin donanım tasarımı, yüksek miktarda paralel işlem yapabilme kabiliyetleri nedeniyle alanda programlanabilir kapı dizileri (FPGA) kullanılarak çok yüksek hızlı entegre devre tanımlama dili (VHDL) ile gerçekleştirilmiştir.

Önerilen sistem iki farklı silah ile 40 farklı atış yapılarak test edilmiş ve algılayıcı dzin üzerindeki tüm mikrofonlar ses olaylarını doğru bir şekilde tespit edip sınıflandırmıştır. Sistemin yanca konum tespit hatası 〖2,1〗^o ve mesafe hatası %7,9 olarak gerçekleşmiştir. Ayrıca literatürdeki birçok çalışmada 100 m ve üzerindeki mesafelerde NP'lerin tespit edilmesinde problem yaşanması sebebiyle 200 m mesafeden 2 farklı silah ile 5'er atış yapılarak NP'lerin sistem tarafından tespit edilebilirliği kontrol edilmiştir. Tüm atışlarda algılayıcı dizin üzerindeki tüm mikrofonlar NP'yi doğru bir biçimde tespit edip sınıflandırmıştır.

Abstract:
Systems are now increasingly critical in today's battlefield and in places where illegal weapons use is widespread.Many physical signatures, such as flare, shockwave and sound waves emitted from the barrel tip, provide information about the position when a gun is fired.In this study, a system which can determine the weapon type and determine the position of the shooter by using the acoustic phenomena of the gun sound, has been realized.

In determining the position of the shooter, parameters such as caliber and bullet length are needed. But only amplitude and wavelength can be measured. In many cases, the missing parameters are determined by some preliminary assumptions and the shock wave model. In this thesis, the parameters related to the length and diameter of the bullets are determined without being dependent on the preliminary assumptions. In addition, the effect of errors in the determination of ambient noise, echoes, multiple firing situations and weapons of the same caliber is reduced.

In this context, it is possible to group the studies under three main headings. The first stage is the development of a system that can detect three different acoustic events of gun sound, including muzzle blast, shock wave (SW) and reflection under high noise, using a combination of highly overlapping spectrogram picture features and convective neural networks. With this approach, 
faulty detection problems experienced due to the decrease of signal noise ratio in long shot shots have been greatly reduced. Also, the parameters of the firing weapon are determined by determining which weapon belongs to the sound at this stage.

In this respect, an automatic sound recognition approach has been proposed which can primarily detect impulsive sound events. The proposed model was tested on a standard sound event evalution task and its performance was compared with the state-of-the-art techniques in the literature. 
In the tests performed in cases which mismatch with the proposed approach, an increase of 4.5% was achieved in the classification performance, which is equivalent to a relative error reduction rate of 63.4%. In multi-condition tests, a better score was obtained with a classification performance of 98.63%.

In the second stage, the position of the shooter is calculated based on the signal arrival time difference by using cross-correlation based algorithms.In this context, by using the  time difference of arrival, the direction of arrival of the shock wave and the barrel explosion is determined and a single sensor sequence and the shooter position are calculated.

Finally, the system design of the system was carried out with a very high speed integrated circuit identification language (VHDL) using field programmable gate arrays (FPGAs) due to the high capacity of parallel processing.

The proposed system was tested with 40 different shots with two different weapons, and all microphones on the sensor range accurately identified and classified sound events.
Azimuth angle of the system was ve 2,1^o and the distance error was 7,9%. In addition, due to problems in detecting NPs at distances of 100 m and over in many studies in the literature,
the detectability of NPs by the system was checked by taking 5 shots with 2 different weapons at a distance of 200 m. All the microphones on the sensor array accurately detect and classify the MB.