Ridge regresyonda ridge parametresi için önerilen tarama yöntemine dayalı yeni bir tahmin edici
A new estimator based on the search method proposed for the ridge parameter in ridge regression
Yazar: SELMAN MERMİ
Danışman: PROF. DR. ÖZGE AKKUŞ
Muğla Sıtkı Koçman Üniversitesi / Fen Bilimleri Enstitüsü / İstatistik Ana Bilim Dalı / İstatistik Bilim Dalı
Derece: Doktora, 2024
Konu: İstatistik = Statistics
Dizin: Ridge regresyon = Ridge regression

Özet:
Çoklu doğrusal bağlantı, çoklu doğrusal regresyon modelinde iki veya daha fazla bağımsız değişken arasında doğrusal bir ilişkinin bulunduğu durumu ifade eder. Çoklu doğrusal bağlantı durumunda, sıradan en küçük kareler yöntemi genellikle etkili ve güvenilir olmayan parametre tahminleri üretir. Ridge regresyon yöntemi, çoklu doğrusal bağlantının çözümü için yaygın olarak kullanılan yanlı bir tahmin yöntemidir. Bu yöntemde, ridge parametresinin doğru tahmin edilmesi kritik öneme sahiptir. 
Bu çalışmada, "tarama yöntemi" kullanılarak literatürde bugüne kadar önerilen 366 farklı ridge parametre tahmin edicisinden daha etkin, sağlam bir ridge parametre tahmin edicisi geliştirilmiştir. Geliştirilen sağlam ridge parametre tahmin edicisi ve 366 tahmin edicinin performansları, literatürde yapılan çalışmalardan farklı olarak Hata Kareler Ortalaması (HKO) kriterinin yanı sıra, tahmin edicilerin aykırılığı ve normalliği bakımından değerlendirilmiştir. Bunun yanında, ridge parametre tahmin edicilerinin ürettiği aykırı değerlerin ve normallikten sapmaların HKO kriteri üzerindeki etkisi Spearman'ın sıra korelasyon analizi ile ortaya konmuştur. 
Bu bağlamda, bağımsız değişken sayısı (p), örneklem büyüklüğü (n), bağımsız değişkenler arasındaki ilişki derecesi (ρ) ve hataların standart sapması (σ) bakımından geniş bir ölçekte değişkenlik gösteren parametre değerlerine karşılık gelen toplam 6050 farklı durum için Monte Carlo simülasyonu tasarlanmıştır. HKO, aykırılık ve normallik kriterleri arasında anlamlı doğrusal ilişkiler tespit edilmiştir. 
N=50000 tekrara sahip simülasyon çalışmasından elde edilen sonuçlar, bağımsız değişken sayısı, örneklem büyüklüğü, çoklu doğrusal bağlantı düzeyi ve hataların standart sapması ne olursa olsun, geliştirilen sağlam ridge parametre tahmin edicisinin, ele alınan 6050 farklı durumun çoğunda diğer 366 tahmin ediciden söz konusu üç kriter bakımından en etkin performansa sahip tahmin edici olduğunu ortaya koymuştur. Elde edilen sonuçlar, 2 adet gerçek veri uygulaması ile desteklenmiştir.

Abstract:
Multicollinearity refers to the situation in a multiple linear regression model where two or more independent variables exhibit a linear relationship. In case of multicollinearity, the ordinary least squares method often generates parameter estimates that are not effective and reliable. Ridge regression is a commonly used biased estimation method to address multicollinearity. In this method, the accurate estimation of the ridge parameter is of critical importance. 
In this study, a more efficient robust ridge parameter estimator than 366 different ridge parameter estimators proposed in the literature to date has been developed using the "search method". Unlike the studies in the literature, both the 366 estimators and the developed robust ridge parameter estimator have been assessed in terms of outliers and normality of estimators in addition to the Mean Square Error (MSE) criterion. Additionally, the impact of outliers generated by the ridge parameter estimators and deviations from normality on the MSE criterion was revealed by Spearman's rank correlation analysis.
In this context, a Monte Carlo simulation was designed for a total of 6050 different cases corresponding to a wide range of parameter values in terms of the number of independent variables (p), sample size (n), correlation level between independent variables (ρ), and standard deviation of errors (σ). Significant inter linear associations among the MSE, outlier detection and normality criteria were found.
Results from the conducted simulation study with N=50000 iteration revealed that the developed robust ridge parameter estimator was the most effective one in terms of these three criteria among the other 366 estimators in most of the 6050 different cases considered, regardless of the number of regressors, sample size, multicollinearity level, and standard deviation of errors. The results are supported by 2 real data applications.