K-en yakın komşu algoritmasında ağırlıklı Öklid mesafesi ölçümüne yenilikçi bir yaklaşım
An innovative approach to weighted Euclidean distance measurement in the K-nearest neighbor algorithm
Yazar: ALİ İHSAN ÇETİN
Danışman: PROF. DR. ALİ HAKAN BÜYÜKLÜ
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / İstatistik Ana Bilim Dalı / İstatistik Bilim Dalı
Derece: Doktora, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; İstatistik = Statistics
Dizin: Yapay zeka = Artificial intelligence

Özet:
Makine öğrenimi teknolojileri arasında popüler algoritmalardan biri k-En Yakın Komşular (kNN)'dır. Bu çalışmada kNN'in geliştirilmiş bir versiyonu olan Özellik Önemi Aşılanmış k-En Yakın Komşular (FIIkNN) algoritması önerilmiştir. Çalışma, özellikle finans sektöründen alınan altı farklı veri seti üzerinde yürütülmüş olup, bu veri setleri çeşitli öznitelik sayılarına ve yeniden örnekleme tekniklerine tabi tutularak detaylı bir şekilde analiz edilmiştir. Analizler FIIkNN ve kNN algoritmalarının sonuçlarını karşılaştırmaktadır. Araştırmanın amacı, FIIkNN modelinin, geleneksel kNN algoritmasına kıyasla sınıflandırma doğruluğunu artırma potansiyelini değerlendirmek ve özellikle çeşitli veri kümelerindeki performansını incelemektir. Bu bağlamda, modeller 3, 5 ve 7 olmak üzere farklı 'k' değerlerinde ve 2, 4, 6, 10, 18 öznitelik sayılarında 500, 700 ve 1000 kez yeniden örnekleme yapılarak test edilmiştir. Bulgular, özellikle öznitelik sayısı düşükken FIIkNN algoritmasının kNN'ye göre daha yüksek doğruluk oranlarına ulaştığını göstermiştir. Özellikle düşük öznitelik sayılarında FIIkNN, varsayılan parametreli kNN algoritmasından belirgin şekilde daha iyi performans sergilemiştir. Ayrıca, artan 'k' değerleriyle her iki modelin stabilitesi ve doğruluk oranı iyileşmiş, bu da daha fazla komşunun dikkate alınmasının etkinliğini vurgulamıştır. Sonuç olarak, bu tez çalışması önerilen FIIkNN modelinin, özellik önemini dikkate alarak daha etkin sınıflandırmalar yapabildiğini hem yüksek hem de düşük boyutlu veri setlerinde özellik seçimini optimize ederek verimli bir şekilde çalışabildiğini ortaya koymaktadır.

Abstract:
Among machine learning technologies, the k-Nearest Neighbors (kNN) algorithm is one of the popular methods. This study introduces an enhanced version of kNN, known as Feature Importance Infused k-Nearest Neighbors (FIIkNN). The research has been conducted using six different datasets from the finance sector, which were subjected to various feature counts and resampling techniques for in-depth analysis. The analyses compare the results of the FIIkNN and traditional kNN algorithms. The aim of the research is to assess the potential of the FIIkNN model to improve classification accuracy compared to the conventional kNN algorithm, especially in various datasets. In this context, the models were tested using 3, 5, and 7 as 'k' values and 2, 4, 6, 10, and 18 feature counts across 500, 700, and 1000 resamplings. Findings indicate that FIIkNN achieves higher accuracy rates than kNN as the number of features decreases. Particularly in models with fewer features, FIIkNN significantly outperforms the classical kNN algorithm with default parameters. Additionally, as the 'k' values increase, both models show improved stability and accuracy rates, highlighting the effectiveness of considering more neighbors. In conclusion, this thesis study demonstrates that the proposed FIIkNN model can perform more effective classifications by taking into account the importance of features, and it operates efficiently by optimizing feature selection in both high and low-dimensional datasets.