Ridge ve liu regresyonda tavlama benzetimi optimizasyonu kullanılarak yanlılık parametrelerinin elde edilmesi ve bazı yanlılık parametreleri ile karşılaştırılması
Obtaining the biasing parameters using simulated annealing optimization in ridge and liu regression and comparing them with some biasing parameters
Yazar: GİZEM İKLİL KOCASOY
Danışman: PROF. DR. MERAL EBEGİL
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / İstatistik Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: İstatistik = Statistics

Özet:
Çoklu doğrusal regresyon analizinde en temel problemlerden biri çoklu bağlantıdır. Modelde çoklu bağlantının var olması durumunda, En Küçük Kareler tahmin edicisi yansız olmasına karşın varyansı aşırı büyür. Bu nedenle En Küçük Kareler tahmin edicisiyle elde edilen parametre tahmin değeri parametrenin gerçek değerinden uzaklaşır. Çoklu bağlantı problemini ortadan kaldırmak için yanlı tahmin yöntemlerini kullanmak bir çözüm olarak önerilmiştir. Bu yanlı tahmin edicilerden sıklıkla tercih edileni Ridge regresyon tahmin edicisidir. Daha sonra bu tahmin ediciye alternatif olarak Liu tahmin edicisi önerilmiştir. Bu çalışmada Ridge ve Liu regresyon tahmin edicileri için optimal yanlılık parametresini bulmak amacıyla daha önce önerilen Parçacık Sürü Optimizasyonu yöntemine kıyasla belirli şartlarda daha iyi performans gösteren Tavlama Benzetimi Optimizasyonu algoritması önerilmiştir. Parçacık Sürü Optimizasyonu ve Tavlama Benzetimi Optimizasyonu algoritmaları ile önerilen yanlılık parametreleri literatürde daha önce farklı araştırmacılar tarafından önerilen yanlılık parametreleri ile; farklı bağımlılık yapıları, farklı varyans değerleri, farklı açıklayıcı değişken sayıları ve farklı örnek çaplarına sahip simülasyon verileri kullanılarak Hata Kare Ortalaması kriteri bakımından karşılaştırılmıştır. Bu çalışmada iki optimizasyon yönteminin de literatürde önerilen klasik yöntemlere kıyasla daha iyi performans gösterdiği sonucuna varılmıştır. Ayrıca Tavlama Benzetimi Optimizasyonu algoritması ve Parçacık Sürü Optimizasyonu algoritması kendi aralarında kıyaslandığında Tavlama Benzetimi Optimizasyonu algoritmasının Liu tahmin edicisi için; Parçacık Sürü Optimizasyonu algoritmasının ise Ridge tahmin edicisi için Hata Kare Ortalaması kriteri bakımından daha iyi sonuçlar verdiği görülmüştür. Çalışma gerçek hayat verisi üzerinden bir uygulama ile desteklenmiş ve uygulama sonucunda hem Hata Kare Ortalaması hem de Varyans Şişirme Faktörü kriterine göre, önerilen Tavlama Benzetimi Optimizasyonu algoritması ile elde edilen sonuçlar Liu tahmin edicisi için diğer yöntemlere kıyasla daha iyi performans göstermiştir.

Abstract:
One of the most fundamental problems in multiple linear regression analysis is the multicollinearity problem. In the case of multicollinearity in the model, the Ordinary Least Squares estimator is unbiased, but its variance is overgrown. Therefore, the parameter estimation value obtained from the Ordinary Least Squares estimator deviates from the actual value of the parameter. Using biased estimators to eliminate the problem of multicollinearity has been proposed as a solution. The Ridge Regression estimator is frequently preferred among these biased estimators. The Liu estimator was proposed as an alternative to the Ridge estimator. In this study, the Simulated Annealing algorithm, which performed better for certain conditions than the previously proposed Particle Swarm Optimization method, was proposed to find the optimal bias parameter for Ridge and Liu regression estimators. The bias parameters proposed with Particle Swarm Optimization and Simulated Annealing algorithms were compared with the bias parameters previously proposed by different researchers in the literature in terms of the Mean Square Error criteria with a simulation study by using different correlations, different variance values, different explanatory variable numbers, and different sample sizes. In this study Particle Swarm Optimization and Simulated Annealing optimization methods perform better than the classical methods proposed in the literature. In addition, when the Simulated Annealing Optimization algorithm and the Particle Swarm Optimization algorithm are compared among themselves, for the Liu estimator the Simulated Annealing Optimization algorithm and for Ridge estimator Particle Swarm Optimization gives better results in terms of the Mean Squared Error criterion. This study was supported by an application based on real-life data and as a result of the application, it was shown that Simulated Annealing algorithm gives better performance according to the Variance Inflation Factor criteria.