Yüksek boyut düşük örneklem genişliği durumunda sınıflama algoritmalarının performanslarının karşılaştırılması
A comparison of performances of classification algorithms in high dimension low sample size settings
Yazar: ÜLGER AYDOĞAN CULHA
Danışman: DOÇ. DR. ERDEM KARABULUT
Hacettepe Üniversitesi / Sağlık Bilimleri Enstitüsü / Biyoistatistik Ana Bilim Dalı
Derece: Doktora, 2015
Konu: Biyoistatistik = Biostatistics
Dizin: Biyoinformatik = Bioinformatics ; Biyoistatistik = Bioistatistics ; Makine öğrenmesi yöntemleri = Machine learning methods ; Veri madenciliği = Data mining

Özet:
Günümüzde özellikle genetik, biyoinformatik, tıbbi görüntüleme gibi alanlarda her bir gözleme ait binlerce özelliğin/niteliğin aynı anda ölçülmesine imkan veren teknolojiler oldukça popülerdir. Bu ise "Yüksek Boyut Düşük Örneklem Genişlikli (YBDÖG) Düzenler" olarak adlandırılan farklı bir veri yapısını karşımıza çıkarmakta olup, klasik istatistiksel yöntemlerle bu verilerin analizinde bir takım zorluklar yaşanmaktadır. Yüksek boyutlu verilerin sınıflandırılmasında farklı üstünlüklere sahip farklı makine öğrenmesi yöntemlerinin düşük örneklem genişliği söz konusu olduğunda performanslarındaki değişim ya da yanlılık eğilimleri ise dikkate alınmamaktadır. Bu çalışma ile YBDÖG veri setlerinde Destek Vektör Makineleri (DVM), Uzaklık Ağırlıklı Ayırma (UAA), Random Forest (RForest), Random Ferns (RFerns) ve Naive Bayes (NB) algoritmalarının sınıflama performanslarının karşılaştırılması amaçlanmıştır. Benzetim teknikleri kullanılarak boyut, örneklem genişliği, korelasyon yapısı, gürültü oranı ve prevalans açısından farklı karakteristiklere sahip yapay veri setleri üretilmiştir. Her bir senaryonun 1000 kez tekrarı ile sınıflama performanslarına ilişkin ortalama değerler hesaplanmıştır. Çalışma sonucunda dengeli dağılım durumunda UAA yönteminin diğerlerinden daha iyi performansa sahip olduğu görülmüştür. Diğer taraftan RFerns yöntemi düşük gözlem sayısında diğer yöntemlere göre daha başarılı sonuçlar ortaya koymuştur. Tüm yöntemlerin dengesiz dağılım durumunda klasik veri yapılarında olduğu kadar yüksek başarı sağlamadığı da görülmüştür.

Abstract:
Nowadays, technologies that enable measuring thousands of features for each observation are very popular in many areas such as genetic, bioinformatics, medical imaging etc. This leads to different data settings which are called "High Dimension Low Sample Size (HDLSS) Settings". There are some problems to analyze these settings with classical statistical methods. Performances and bias tendencies of various machine learning algorithms which have different advantages on high dimension are often ignored in case of small sample size. With this thesis, it is aimed to compare classification performances of Support Vector Machine (SVM), Distance Weighted Discrimination (DWD), Random Forest (RForest), Random Ferns (RFerns) and Naive Bayes (NB) algorithms in HDLSS settings. By simulation studies, artificial data sets that have different characteristics in terms of dimension, sample size, correlation structure, noise ratio and prevalance were generated. Each scenario was iterated for 1000 times and mean values for classification performances were calculated. In case of balanced distribution it was seen that DWD show better performance rather than other methods. On the other hand, for low sample size, RFerns revealed good performance. In case of imbalanced distribution, and for all methods, it was also seen that high success as was seen in classical data structure cannot be achieved.