Makine öğrenmesi algoritmaları kullanılarak modem verisi üzerinden müşteri memnuniyetinin tahmini
Estimation of customer satisfaction using machine learning algorithms over modem
Yazar: YASİN SARI
Danışman: DR. ÖĞR. ÜYESİ İBRAHİM ZOR
Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / İstatistik Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: İstatistik = Statistics
Dizin: Büyük veri = Big data ; Makine öğrenmesi = Machine learning ; Müşteri tatmini = Customer satisfaction ; Sınıflandırma = Classification

Özet:
Verinin aktarılması, ayrıştırılması ve algoritmaların test edilmesi gibi tüm süreçlerde KNIME Analitik Platformu kullanılmıştır. Modem verileri haftalık bazda ele alınmış ve indirme-yükleme verileri kategorize edilerek 6 farklı saat diliminde değerlendirilmiştir. Sınıflandırma analizinde ise AutoML üzerinden çalışmalar yapılmıştır. Burada değerlendirilen algoritmalar; Sade Bayes, Lojistik Regresyon, Sinir Ağları, Gradyan Artırma Ağaçları, Karar Ağacı, Rastgele Orman ve XGBoost'dur. Kullanılan kütüphane ve platformlar ise; Genelleştirilmiş Doğrusal Modeller için H2O yazılımı, Derin Öğrenme için Keras Kütüphanesi ve diğer birçok algoritma için H2O AutoML (Otomatik Edilmiş Makine Öğrenmesi) çatısıdır.

Bu çalışmada amaç memnuniyetsiz müşterileri belirlemektir. Dengesiz bir veri kümesi ile çalışma yapıldığından dolayı farklı veri çoklama teknikleri kullanılmıştır. Memnuniyetsiz müşterileri bulmak için modemlere ait sorunlu sinyal bilgisi ve arıza kaydı bırakan abonelere ait veriler üzerinden işaretleme yapılmıştır. Uygulama sonucunda, veriye Temel Bileşenler Analizi yöntemi ile 4 Temel Bileşen indirgemesi yapılması ve sonrasında verinin rastgele seçilerek SMOTE (Synthetic Minority Over-sampling) tekniği ile verinin zenginleştirilmesi modeli iyileştirmiştir. Genel olarak ağaç algoritmaları dengesiz veri üzerinden sınıflandırma problemini çözmede daha iyi sonuçlar vermiştir. Algoritmalar arasında seçim yapmak için Duyarlılık (TPR) ve Seçicilik (TNR) değerlerinin geometrik ortalaması (GBA), ağırlıklı ortalaması (WPN) ve Bookmaker Informedness (BM) kriterleri kullanılmıştır. Bu ölçütlerdeki sonuçların birbirine yakın olmasından dolayı, FP (False Positive – Yanlış Pozitif) oranı daha düşük üzerinden değerlendirme yapılmıştır. Bunun seçilmesinin nedeni memnuniyetsiz müşteriye yapılacak olan yatırım maliyetini düşürmektir. Burada uygulanan 10 adet algoritma ve kütüphane içerisinden en iyi sonuçları XGBoost algoritmasının verdiği görülmüştür.

Abstract:
The KNIME Analytics Platform was used throughout all processes, including data transfer, parsing, and algorithm testing. Modem data was analyzed weekly, and download-upload data was categorized and evaluated across six different time slots. For classification analysis, AutoML was utilized, assessing algorithms such as Naive Bayes, Logistic Regression, Neural Networks, Gradient Boosted Trees, Decision Trees, Random Forest, and XGBoost. The libraries and platforms used include H2O software for Generalized Linear Models, the Keras library for Deep Learning, and H2O AutoML for various other algorithms.

The aim of this study is to identify dissatisfied customers. Different sampling methods were used due to working with an unbalanced dataset. Data from modems with faulty signal information and data from subscribers who left a service complaint were used for labeling. The model was improved by reducing the data to four Principal Components using Principal Component Analysis (PCA) and then enriching it with the SMOTE (Synthetic Minority Over-sampling) technique. Tree-based algorithms yielded better results in solving the classification problem on imbalanced data. Algorithms were evaluated based on the geometric mean of Sensitivity (TPR) and Specificity (TNR), weighted average (WPN), and Bookmaker Informedness (BM) criteria. Due to the closeness of the results, the False Positive (FP) rate was chosen as the final criterion to minimize the investment cost in dissatisfied customers. XGBoost provided the best results among the ten algorithms applied.