Makine öğrenmesine dayalı eksik veri tamamlama yöntemlerinin istatistiksel performanslarının karşılaştırılması üzerine bir araştırma
A research on comparison of statistical performance of missing data imputation methods based on machine learning
Yazar: ŞEMSETTİN ERKEN
Danışman: PROF. DR. RABİA ECE OMAY
Dokuz Eylül Üniversitesi / Sosyal Bilimler Enstitüsü / Ekonometri Ana Bilim Dalı / Ekonometri Bilim Dalı
Derece: Doktora, 2024
Konu: Ekonometri = Econometrics ; İstatistik = Statistics

Özet:
Veri kavramı, insanlık tarihi boyunca yaşam için gerekli olan ihtiyaçlar kadar önemli olan bir kavramdır. İnsanlar, topladığı veriler aracılığıyla bilgi elde ederek içinde bulundukları zaman dilimindeki problemlerini çözmek amacı taşımışlardır. Aynı zamanda insanlar, verilerin arasındaki örüntü ve ilişkileri tespit ederek geleceğe yönelik çıkarımlar yapma amacı taşımaktadır. Bu noktada, bilgiye erişim sürecinde veriler, verilerin nitelikleri ve verilerin sahip olduğu özellikler anahtar niteliktedir.
Veri topluluklarından direkt olarak bilgi elde etmek çok zordur. Bilginin elde edilmesi için kullanılacak olan verilerin gerekli analize hazır olması gerekmektedir. Veri setlerinde, eksik değerlerin olması sık rastlanan problemlerden bir tanesidir. Bu problemin çözülmesi, yapılacak analizden anlamlı bilgiler ve sonuçlar üretebilmek için oldukça önemlidir. Eksik değerlerin göz ardı edildiği analizlerin sonucunda elde edilen bilgiler, gerçeği yansıtmayan ve sağlıksız bilgiler olacağından, eksik değerler uygun şartlar çerçevesinde tamamlanmalıdır. Eksik değerlerin, veri setinin istatistiksel özelliklerini yansıtan ve bu şartlara uygun bir yöntemle veya yöntemlerle tamamlanması özellikle dikkat edilmesi gereken bir durumdur.
Makine öğrenmesi, verilerden eğitim yoluyla elde edilen modeller yoluyla gelecekte karşılaşılabilecek olan durumlara yönelik tahminler üreten bilgisayar teknolojisi ve yapay zekâya dayalı bir disiplindir. Makine öğrenmesi algoritmaları kullanılarak sınıflandırma, regresyon ve kümeleme gibi problemlere çözüm bulunmaktadır.
Tez çalışmasında, Hitters veri setindeki veriler, manipüle edilerek %5, %10 ve %15 oranlarında rastgele eksiltilmiştir. Eksiltilen değerler, temel eksik eksik veri tamamlama yöntemleri ve makine öğrenmesi algoritmaları ile tamamlanmıştır. Temel eksik veri tamamlama yöntemi olarak Liste Boyunca Silme, Son Gözlemi İleri Taşıma ve Ortalama İle Tamamlama yöntemleri tercih edilmiştir. Diğer taraftan, makine öğrenmesi algoritmalarından En Yakın k-Komşu algoritması, Rassal Orman algoritması, Stokastik Regresyon ve Amelia algoritması kullanılmıştır. Böylece, Hitters veri setinden, bir anlamda kullanılan yöntem sayısı kadar yeni veri seti türetilmiştir. Bu yeni veri setlerinin ve verinin orijinal halinin, Naive Bayes algoritması ile sınıflandırılmasının ardından sınıflandırma sonuçları,  performans değerlendirme ölçütlerine göre karşılaştırılmıştır.
Belirtilen şekilde gerçekleştirilen uygulama sonucunda, makine öğrenmesi algoritmalarının temel eksik veri tamamlamam yöntemlerine göre üstün bir eksik veri tamamlama ve sınıflandırma performansı gösterdiği sonucu elde edilmiştir. Özellikle, En Yakın k-Komşu algoritması ve Rassal Orman algoritmalarının dikkat çekici performanslar gösterdiği tespit edilmiştir.

Anahtar Kelimeler: Eksik Veri, Eksik Veri Tamamlama, Makine Öğrenmesi, Sınıflandırma, Veri Analizi.

Abstract:
The concept of data has been as important as the necessities of life throughout human history. People have used data to solve problems and make inferences about the future by identifying patterns and relationships. At this point, data, data qualities, and characteristics are key in the information access process.
Obtaining information directly from data can be challenging. The data must be properly prepared to perform the required analysis in order to obtain information. A common problem with data sets is missing values, which must be addressed in order to produce meaningful results. It is crucial to solve this problem in order to obtain accurate information and results from the analysis. Missing values should be imputed under appropriate conditions, since the information obtained as a result of analyses in which missing values are ignored will be unrealistic and unhealthy information. It is important to pay particular attention to imputing missing values using a method or methods that reflect the statistical characteristics of the data set and are appropriate for these conditions.
Machine learning is a discipline of computer technology and artificial intelligence that uses models trained on data to make predictions about future situations. It offers solutions to problems such as classification, regression, and clustering by using machine learning algorithms.
In this thesis, the data in the Hitters dataset were manipulated and randomly removed by 5%, 10% and 15% of its data. Missing values are imputed using basic missing data imputation methods and machine learning algorithms. Listwise Deletion, Last Observation Carried Forward, and Mean Imputation are the preferred basic missing data imputation methods. On the other hand, various machine learning algorithms were employed, including the k-Nearest Neighbor, Random Forest, Stochastic Regression, and Amelia algorithms. Thus, new datasets were derived from the Hitters dataset, in a sense, as many as the number of methods used. After classifying these new datasets and the original data by Naive Bayes algorithm, the classification results were compared and evaluated based on performance criterias.
As a result of the application, it was concluded that machine learning algorithms outperformed basic missing data imputation methods in terms of missing data imputation and classification performance. In particular, the k-Nearest Neighbor and Random Forest algorithms have shown noteworthy performance.

Keywords: Missing Data, Missing Data Imputation, Machine Learning, Classification, Data Analysis.