Makine öğrenmesi yöntemlerine dayalı veri yönetim sistemi
Data management system based on machine learning methods
Yazar: ÜLGEN AYDIN
Danışman: DOÇ. DR. GÖKAY AKKAYA
Atatürk Üniversitesi / Fen Bilimleri Enstitüsü / Endüstri Mühendisliği Ana Bilim Dalı / Endüstri Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Endüstri ve Endüstri Mühendisliği = Industrial and Industrial Engineering

Özet:
Amaç: Bu çalışmada eksik verilerin tahmini için makine öğrenmesi yöntemlerine dayalı eksik veri yönetim sistemi geliştirilmiştir. Veri setlerindeki eksik veri kavramını ele alıp eksik veri problemini silme, ortalama alma gibi yanlılığa neden olan klasik süreçlerden kurtararak alanlarında uzman olmasalar bile rahatlıkla kullanabilecekleri bir arayüz oluşturup, veri setlerindeki eksik nümerik verileri tamamlayan bir sistem geliştirmektir.
Yöntem: Bu çalışmada belirtilen amaç doğrultusunda python programlama dili kullanılarak eksik veri tamamlama sistemi geliştirilmiştir. Geliştirilen sistem masaüstü uygulaması haline dönüştürülmüştür. Eksik verilerin tahminini yapmak için iterative imputer ve tahminci olarak da random forest regressor algoritması kullanılmıştır. En iyi iterasyon sayısını bulmak için çapraz doğrulama kullanılan sistemde, kullanıcı tarafından girilen eksik veri setinin raporlaması, eksik veri türleri ve ısı haritası olarak kullanıcıya sunulmuştur.
Bulgular: Geliştirilen algoritma 4 farklı veri setinde %5, %10 ve %15 olmak üzere 3 farklı eksiklik oranında tamamen rastgele eksik olarak azaltılmış ve test edilmiştir. Azaltılan nümerik veriler geliştirilen algoritma tarafından tamamlanmış ve sonuç olarak %57 ile %79 arasında değişen bir doğruluk oranıyla tahminler yapılmıştır. 
Sonuç: Eksik veri problemine çözüm yaklaşımı sunan bu çalışmada amaçlanan hedefler doğrultusunda kullanıcılara kolay ve anlaşılabilir bir arayüz sunularak veri setlerindeki eksik nümerik verilerin tamamlanması sağlanmış, klasik olarak yapılan silme veya ortalama alma gibi işlemlerde meydana gelen yanlılık problemini aşmak için bir çözüm sunulmuştur. Ayrıca sözel verilerin tahmini ve kompakt bir sistem içinde literatüre farklı bir bakış kazandırılmıştır.

Abstract:
Purpose: In this study, a missing data management system based on machine learning methods has been developed for predicting missing values. Addressing the concept of missing data in datasets and aiming to eliminate biases introduced by classical processes such as deletion or mean imputation, the goal is to create a user-friendly interface that can be easily utilized by individuals, even if they are not experts in the field. The system is designed to complete missing numerical data in datasets.
Method: In pursuit of the stated objective in this study, a missing data completion system has been developed using the Python programming language. The developed system has been transformed into a desktop application. For predicting missing data, the iterative imputer has been employed, with the random forest regressor algorithm serving as the predictor. Cross-validation has been utilized to determine the optimal number of iterations in the system. The system provides users with a report on the entered missing data set, including information on missing data types presented as a heatmap.
Findings: The developed algorithm was tested on four different datasets with three different missingness rates: 5%, 10%, and 15%, where the missing values were completely randomly reduced. The reduced numerical data were imputed by the developed algorithm, resulting in prediction accuracy ranging from 57% to 79%.
Results: In this study, which presents a solution approach to the missing data problem, the aim was to provide users with an easy and understandable interface to complete missing numerical data in datasets. A solution was offered to overcome the bias problem that arises in classical processes such as deletion or mean imputation. Additionally, the prediction of categorical data was addressed, contributing a novel perspective to the literature within a compact system.