Cezalandırılmış lojistik regresyon yöntemlerinin karşılaştırılması
Comparison of penalized logistic regression methods
Yazar: PINAR KILINÇ ÖZARSLAN
Danışman: PROF. DR. HÜLYA OLMUŞ
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / İstatistik Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: İstatistik = Statistics
Dizin: Lojistik = Logistics ; Ridge regresyon = Ridge regression

Özet:
İstatistiksel çalışmalarda değişkenler arasındaki matematiksel ilişkiyi modellemek için kullanılan yöntemlerden biri çoklu doğrusal regresyon analizidir. Bağımlı değişkenin iki kategorili olduğu durumlarda ise ikili lojistik regresyon analizi kullanılır. Bağımsız değişkenler arasında yüksek derecede korelasyon olması durumunda çoklu bağlantı sorunu ortaya çıkabilir. Bu sorunun üstesinden gelebilmek ve tutarlı değişken seçimi yapabilmek için L1 ve L2 düzenleme tekniklerini kullanarak elde edilen cezalandırılmış yöntemler geliştirilmiştir. Bu yöntemlerin lojistik regresyon modeline uyarlanmasıyla cezalandırılmış lojistik regresyon yöntemleri elde edilir. Bu çalışmada cezalandırılmış lojistik regresyon yöntemlerinden Ridge, Lasso, Elastik-Ağ, Uyarlanabilir Lasso (ϒ=1), Uyarlanabilir Lasso (ϒ=2), Uyarlanabilir Elastik-Ağ (ϒ=1), Uyarlanabilir Elastik-Ağ (ϒ=2), Esnek Uyarlanabilir Lasso yöntemleri ele alınmıştır. Bu tez çalışmasının amacı, literatürde yer alan Esnek Uyarlanabilir Lasso Regresyon yönteminin lojistik regresyon yöntemine uyarlanması ve değişken seçimi yapabilen en iyi cezalandırılmış lojistik regresyon yöntemini bulmaktır. Bu amaçla, ele alınan cezalandırılmış lojistik regresyon yöntemlerinde farklı örneklem çapları ve değişken sayıları ele alınarak, farklı korelasyon yapıları için bir simülasyon çalışması dizayn edilmiştir. Tüm yöntemlerin performanslarını değerlendirmek amacıyla yöntemlere ilişin ortalama doğru sınıflandırma oranına, standart sapma değerine, tahmin edilen regresyon katsayısının sıfırdan farklı olanlarının sayısına ve R-Studio'da geçirdikleri süreye bakılmıştır. Ayrıca bu yöntemlerin performanslarını karşılaştırmak amacıyla iki farklı gerçek veri seti de ele alınmıştır. Çalışma sonucunda küçük gözlem sayısına veya küçük değişken sayısına sahip olan gerçek veri seti ve simülasyon çalışmasında ortak olarak görülen çoklu bağlantı sorunu varlığında Elastik-Ağ Lojistik regresyon yöntemi en yüksek ortalama doğru sınıflandırma oranını vererek en iyi yöntem olarak kabul edilmiştir. Gözlem sayısı ve değişken sayısı arttıkça Esnek Uyarlanabilir Lasso Lojistik regresyon yöntemi en yüksek ortalama doğru sınıflandırma oranını vererek en iyi yöntemler arasında yer almıştır.

Abstract:
One of the methods used to model the mathematical relationship between variables in statistical studies is multiple linear regression analysis. When the dependent variable has two categories, binary logistic regression analysis is used. If there is a high degree of correlation between independent variables, multicollinearity problems may arise. To overcome this problem and make consistent variable selection, penalized methods using L1 and L2 editing techniques have been developed. Penalized logistic regression methods are obtained by adapting these methods to the logistic regression model. In this study, penalized logistic regression methods are Ridge, Lasso, Elastic-Net, Adaptive Lasso (ϒ=1), Adaptive Lasso (ϒ=2), Adaptive Elastic-Net (ϒ=1), Adaptive Elastic-Net (ϒ=2), Relaxed Adaptive Lasso methods are discussed. The aim of this thesis is to adapt the Relaxed Adaptive Lasso Regression method in the literature to the logistic regression method and to find the best penalized logistic regression method that can perform variable selection. For this purpose, a simulation study was designed for different correlation structures by considering different sample sizes and variable numbers with the penalized logistic regression methods. In order to evaluate the performance of all methods, the average correct classification rate of the methods, the standard deviation value, the number of non-zero predicted regression coefficients and the time spent in R-Studio were examined. In addition, two different real data sets were considered to compare the performances of these methods. As a result of the study, in the presence of a real data set with a small number of observations or a small number of variables and multicollinearity problems,  which are common in simulation studies  by giving the highest average correct classification rate, the Elastic-Net Logistic Regression method was accepted as the best method.As the number of observations and the number of variables increased, the Relaxed Adaptive Lasso Logistic Regression method became one of the best methods by giving the highest average correct classification rate.