Solunum seslerinin evrişimsel sinir ağlarıyla sınıflandırılması
Classification of lung sounds with convolutional neural networks
Yazar: FUNDA CİNYOL
Danışman: PROF. DR. UĞUR BAYSAL
Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı / Elektrik Elektronik Mühendisliği Bilim Dalı
Derece: Doktora, 2022
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Destek vektör makineleri = Support vector machines ; Evrişimli sinir ağları = Convolutional neural networks ; Solunum sesleri = Respiratory sounds ; Sınıflandırma = Classification

Özet:
Hekimler klinik muayenede hem non-invaziv olmasından hem de kolay erişilebilir aynı zamanda ucuz bir teşhis ve tespit aracı olmasından dolayı stetoskop kullanmaktadırlar. Ancak bu aşamada ortam gürültüsü, hekimin işitme kabiliyeti, yaşı vs gibi bir çok olumsuz neden teşhisi zorlaştırmaktadır. Ayrıca solunum sesleri insan işitme kabiliyetinin alt sınırlarına yakın frekanslarda önemli bilgiler içermektedir.  Daha niceliksel bir yaklaşım sunulabilmesi açısından elektronik stetoskopla bu seslerin kayıt edilmesi önem taşımaktadır. Bu tez çalışmasıyla tamamen klinik ortamda toplanmış 294 adet solunum sesi 3 farklı ses grubu (Normal, Ral, Ronküs) için sınıflandırılmıştır.
Solunum seslerinin yapay zeka yöntemleriyle sınıflandırılması ile ilgili birçok çalışma yapılsa da kullanılan veri sayılarındaki yetersizlik sağlam bir mimari oluşturulmasına engel olmuştur. Bu eksiklikle baş etmek amacıyla ICBHI 2017 veri kümesi oluşturulmuş ve solunum seslerinin sınıflandırılması çalışmaları hız kazanmıştır.
Evrişimsel Sinir Ağları (ESA); görüntü ve video tanıma, görüntü sınıflandırma, doğal dil işleme ve tıbbi görüntü analizi gibi birçok alanda kullanılan Derin Sinir Ağlarına ait solunum ses sınıflandırmada da sıklıkla kullanılan bir yöntemdir. ESA'larda genellikle son katmanda sınıflandırma amacıyla softmax fonksiyonu kullanılmaktadır. Ancak sadece softmax fonksiyonunun kullanılması yerine Destek Vektör Makinelerinin (DVM) kullanımı da literatürde yer almaktadır. Bu tez çalışmasında hem ESA'nın son katmanda Softmax kullanmasıyla oluşturulan mimariler (ESA-Softmax), hem de ESA'nın son katmanda DVM ile birlikte kullanıldığı (ESA-DVM) mimariler oluşturulmuştur. Ayrıca aktarmalı öğrenme yardımıyla VGG16 modeli ile birlikte oluşturulan ESA-Softmax, ESA-DVM modelleri birleştirilerek VGG16-ESA-Softmax ve VGG16-ESA-DVM mimarileri oluşturulmuştur. Bu mimariler literatürde başarısı kanıtlanmış öğrenme aktarımı yöntemleri ile (VGG16, DenseNet201, InceptionV3 ve ResNet101) de kıyaslanmıştır. Eğitim ve test verilerinin %80- %20 oranında ayrılarak 10 kat çapraz doğrulama uygulanması sonucunda elde edilen en yüksek sınıflandırma doğruluğu VGG16-ESA-DVM modeli ile gerçekleştirilmiştir. Önerilen yöntemin sınıflandırma başarı metrikleri sırasıyla ; ROC AUC Skoru: %88.4, Maksimum Doğruluk: %83, kesinlik = %82, duyarlılık= %83, F1 skoru = %82 olarak elde edilmiştir. Ayrıca üç grup ses verisi için sırasıyla Normal %84, Ral %80 ve Ronküs ise %86 doğrulukla sınıflandırılmıştır.

Abstract:
Physicians use stethoscope in clinical examination because it is both non-invasive and easily accessible and inexpensive diagnostic and detection tool. However, at this stage, many negative reasons such as ambient noise, hearing ability of the physician, age, etc. make the diagnosis difficult. In addition, respiratory sounds contain important information at frequencies close to the lower limits of human hearing ability. It is important to record these sounds with an electronic stethoscope in order to present a more quantitative approach. In this thesis, 294 lung sounds collected in a clinical setting were classified for 3 different sound groups (Normal, Crackle, Rhonchi).
Although many studies have been carried out on the classification of respiratory sounds with artificial intelligence methods, the inadequacy of the data used has prevented the creation of a solid architecture. In order to cope with this shortcoming, the ICBHI 2017 dataset was created and the classification studies of lung sounds gained momentum.
Convolutional Neural Networks (CNNs); It is a method frequently used in breathing sound classification of Deep Neural Networks, which is used in many areas such as image and video recognition, image classification, natural language processing and medical image analysis. In CNNs, softmax function is generally used for classification in the last layer. However, instead of using only the softmax function, the use of Support Vector Machines (SVM) is also included in the literature. In this thesis, both the architectures created by using Softmax in the last layer of CNN (CNN-Softmax) and the architectures in which CNN is used together with SVM in the last layer (CNN-SVM) were created. In addition, VGG16-CNN-Softmax and VGG16-CNN-SVM architectures were created by combining the CNN-Softmax, CNN-SVM models created with the VGG16 model with the help of transfer learning. These architectures have also been compared with proven learning transfer methods in the literature (VGG16, DenseNet201, InceptionV3 and ResNet101). These architectures have also been compared with proven learning transfer methods in the literature (VGG16, DenseNet201, InceptionV3 and ResNet101). The highest classification accuracy obtained as a result of 10-fold cross validation by separating the training and test data by 80%- 20 % was achieved with the VGG16-CNN-SVM model.
The classification success metrics of the proposed method are obtained as respectively; ROC AUC Score: 88.4 %, Maximum Accuracy: 83%, precision = 82%, recall= 83% and F1 score = 82%. 
In addition, for three groups of voice data, Normal 84%, Crackle 80%  and Rhonchi were classified with 86% accuracy, respectively.