Aras kuş türlerinin ses özellikleri bakımından derin öğrenme yöntemleriyle kimliklendirilmesi
Identification of aras bird species with deep learning methods in terms of voice characteristics
Yazar: SEDA BAYAT
Danışman: DR. ÖĞR. ÜYESİ GÜLTEKİN IŞIK
Iğdır Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı / Elektrik Elektronik Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Mühendislik Bilimleri = Engineering Sciences

Özet:
Günlük yaşantımızda sıkça kullanılan elektronik tabanlı bilgisayar ortamlarının algılama kabiliyetlerinde, veri depolama ve hesaplama gücünde büyük ilerlemeler gözlemlenmektedir. Son yıllarda ise bu teknolojik gelişmelerin ışığı altında bilgisayar ortamları kullanarak biyolojik çeşitliliği tespit etmek ve tanımlamak eşsiz bir fırsat olarak karşımıza çıkmaktadır. Bu çalışmada az gürültülü ve fazlaca örneği bulunabilen kayıtlara sahip türler seçilmiştir. Seçilen kuş türlerine ait sesler xeno-canto veritabanından alınmıştır. Python dilinde, Keras ve Librosa kütüphaneleri kullanılarak seslerin öznitelikleri çıkartılıp yapay sinir ağları ile eğitimden geçirilmiştir. Derin öğrenme açısından çok faydalı olan bu iki kütüphane ile seslerin spektrogram görüntüleri 10 ve 30 saniye olacak şekilde çıkartılarak mümkün olduğunca her tür için en belirgin ve spesifik görüntüler elde edilmiştir. Daha sonra ise elde edilen görüntüler eğitim ve test verileri olarak ayrılmış ve yapay sinir ağı modellerine hazır hale getirilmiştir. Yapay sinir ağı mimarisi olarak Evrişimli Sinir Ağları (Convolutional Neural Network- CNN) ve Uzun Kısa-Dönem Bellekli Sinir Ağları (Long Short-Term Memory Neural Networks- LSTM) kullanılmıştır. Akustik gözetleme yapılırken pasif dinleyici/kaydediciler kullanılmaktadır. Genelde bu kaydedicilerle toplanan ham ses kayıtları üzerinde analizler gerçekleştirilir. Bu çalışmada ham ses kayıtları yerine işlenmiş sesler kullanılarak kuş türleri sınıflandırılmıştır. Aradaki farkı görmek için ham ve işlenmiş verilerle temelde iki deney yapılmıştır. Bu deneylerle iki farklı mimari test edilerek sonuçları rapor edilmiştir. Bunun için ilk olarak 10 tür daha sonra 22 türe ait ham ve işlenmiş ses kayıtlarından mel-spektrogramlar oluşturulmuştur. Ham seslerden elde edilen 10 ve 30 s'lik mel-spektrogram üzerinde eğitilen CNN modelinin ürettiği doğruluk oranı sırasıyla %77,05 ve %88,33 olmuştur. İşlenmiş ses kayıtlarında ise bu oranlar sırasıyla %81,47 ve %92,08 değerlerine yükselmiştir. Seslerin işlenmesiyle model başarımı yaklaşık olarak %4 arttırılmıştır. Yine 22 tür için aynı işlemler gerçekleştirildiğinde 10 s'lik mel-spektogram üzerinde eğitilen CNN modelinin ürettiği doğruluk oranı ham ve işlenmiş sesler için sırasıyla; %82,81 ve %85,11 olurken, 30 s'lik doğruluk oranları ham ve işlenmiş sesler için sırasıyla; %81,25 ve %83,13 olmuştur. Daha sonraki süreçte 22 tür bu kez ".wav" formatıyla CNN ve LSTM ortak ağına girdi olarak verilmiştir. Önce CNN modelinden geçirilerek sonra LSTM modeline tabi tutulan girdiler için %67,17 doğruluk oranı elde edilmiştir.

Abstract:
Significant progress has been observed in the perception capabilities, data storage and computing power of electronic-based computer environments, which are frequently used in our daily lives. In recent years, under the light of these technological developments, it is a unique opportunity to identify and define biological diversity using computer environments. In this study, species with low noise and large number of samples were selected. The sounds of selected bird species were taken from the xeno-canto database. In Python, the attributes of sounds are extracted using Keras and Librosa libraries and trained with artificial neural networks. With these two libraries, which are very useful in terms of deep learning, spectrogram images of sounds are extracted in 10 and 30 seconds, and the most distinctive and specific images for each species are obtained as much as possible. Then, the images obtained were separated as training and test data and made ready for artificial neural network models. Convolutional Neural Networks (CNN) and Long Short-Term Memory Neural Networks (LSTM) are used as artificial neural network architecture. Passive listeners / recorders are used while performing acoustic surveillance. Generally, analysis is performed on the raw sound recordings collected with these recorders. In this study, bird species were classified using processed sounds instead of raw sound recordings. Basically two experiments were done with raw and processed data to see the difference. With these experiments, two different architectures were tested and the results were reported. For this, firstly, mel-spectrograms were created from raw and processed sound recordings of 10 species and then 22 species. The accuracy rate produced by the CNN model trained on a 10 and 30 s mel-spectrogram obtained from raw sounds was 77.05% and 88.33%, respectively. In the processed sound recordings, these rates increased to 81.47% and 92.08%, respectively. By processing the sounds, the performance of the model has been increased by approximately 4%. Again, when the same operations are performed for 22 species, the accuracy rate produced by the CNN model trained on a 10 s mel-spectrogram for raw and processed sounds, respectively; While 82.81% and 85.11% were, the accuracy rates of 30 s for raw and processed sounds, respectively; 81.25% and 83.13%. In the following process, 22 species were given as input to CNN and LSTM common network, this time in ".wav" format. An accuracy rate of 67.17% was achieved for the inputs that were first passed through the CNN model and then subjected to the LSTM model.