Veri kesikleştirme için optimizasyon temelli yeni bir yaklaşım
A new optimization-based approach to data discretization
Yazar: HATİCE ŞENOZAN
Danışman: PROF. DR. BANU SOYLU
Erciyes Üniversitesi / Fen Bilimleri Enstitüsü / Endüstri Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2024
Konu: Endüstri ve Endüstri Mühendisliği = Industrial and Industrial Engineering

Özet:
Veriyi anlamak makine öğrenimi biliminden başarılı bir şekilde faydalanabilmeyi sağlar. Verinin anlaşılabilir olmasını kolaylaştırmak için veri ön işleme teknikleri vardır. Bu tekniklerden biri de veri kesikleştirmedir. Kesikleştirme belirlenen aralık sayılarına göre verileri kesikli değerlere dönüştürme işlemidir. Denetimli sınıflandırma problemleri için önem arz etmektedir. Çünkü kesikleştirme aşamaları sayesinde veride bulunan karmaşıklık daha anlaşılır hale, alakasız özellikler ise daha görünür hale gelir. Verilerin basitleşmesiyle veriden çıkarılması gereken bilgi daha iyi temsil edilir. Böylelikle sınıflandırma algoritmalarının performansını artırmaya yardımcı olabilir. Fakat kesikleştirme sürecinde bilgi kaybını en az seviyede tutmak için verilerin özelliklerini dikkate alarak dönüştürme işlemi gerçekleşmelidir. Literatürde yer alan çoğu yaklaşım kesikleştirme aşaması için monoton özelliğe sahip veri kümelerine odaklanmıştır. Ancak gerçek dünya veri kümelerinde hem monoton hem de monoton olmayan özellikler bir arada bulunur. Monoton özellik değerleri ile sınıf değerleri arasında doğru orantı bulunur. Monoton olmayan özellik değerleri ile sınıf değerleri arasında ise daha karmaşık oranlamalar mevcuttur. Bu çalışmada özelliklerin monoton olup olmadığına otomatik olarak karar verebilen entropi tabanlı esnek kesikleştirme stratejileri sunulmaktadır. Stratejiler özelliklerin durumuna göre kesme noktası değerlerini ve sayısını kendi ayarlayabilmektedir. Önerilen stratejiler hem sentetik hem de gerçek dünya veri kümeleri üzerinde denenmiştir ve stratejilerin başarısı çeşitli performans ölçütleri ve istatistiksel değerlendirmelerle ispatlanmıştır.

Anahtar Kelimeler: Makine öğrenmesi, ön işleme, ikilileştirme, monotonluk, sınıflandırma

Abstract:
Understanding the data enables successful utilization of machine learning science. There are data preprocessing techniques to make data easier to understand. One of these techniques is data discretization. Discretization is the process of converting data into discrete values according to specified interval numbers. It is important for supervised classification problems. Because thanks to the discretization stages, the complexity in the data becomes more understandable and irrelevant features become more visible. By simplifying the data, the information that needs to be extracted from the data is better represented. This can help improve the performance of classification algorithms. However, in order to minimize the loss of information in the discretization process, the transformation process should take into account the characteristics of the data. Most approaches in the literature have focused on datasets with monotonic attributes for the discretization phase. However, in real-world datasets, both monotonic and non-monotonic attributes coexist. There is a direct proportionality between monotonic feature values and class values. There are more complex proportions between non-monotonic attribute values and class values. This paper presents entropy-based flexible discretization strategies that can automatically decide whether attributes are monotonic or not. The strategies can adjust the values and number of breakpoints according to the state of the attributes. The proposed strategies are tested on both synthetic and real-world datasets, and the success of the strategies is demonstrated by various performance metrics and statistical evaluations.

Keywords: Machine learning, pre-processing, binarization, monotonicity, classification