Çoklu bağlantı durumunda tutarlı değişen varyans kovaryans matrisine dayalı tahmin ediciler
Estimators based on varying variance covarience matrix in case of multicollinearity
Yazar: TUBA GÜZEY
Danışman: PROF. DR. MELTEM EKİZ
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / İstatistik Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: İstatistik = Statistics
Dizin: Ridge regresyon = Ridge regression

Özet:
Regresyon analizinde, regresyon katsayılarının tahmininde kullanılan en yaygın yöntem en küçük kareler (EKK) yöntemidir. Bu yöntem, sabit varyans varsayımı ve bağımsız değişkenler arasında ilişki olmaması gibi önemli varsayımlara dayanır. Hata teriminin varyansının farklı olması durumunda değişen varyans söz konusudur. Çoklu regresyon modellerinde bağımsız değişkenler arasında lineer bir ilişki bulunması ise çoklu bağlantı olarak ifade edilir. Çoklu bağlantı varlığında EKK tahmin edicisi sapmasızdır. Ridge tahmin edicisi ise sapmalı olmasına rağmen EKK tahmin edicisinden daha küçük hata kareler ortalamasına sahiptir. Varyansı EKK'nın varyansına göre daha küçük olmaktadır. Bu tez çalışmasında, çoklu regresyon modellerinde değişen varyans ve çoklu bağlantı problemi olması durumunda tutarlı değişen varyans kovaryans matrisine (TDVKM) dayalı EKK ve ridge regresyona ilişkin tahmin ediciler üzerinden elde edilen varyans tahminleri ve hata kareler ortalaması (HKO) sonuçları farklı varyans desenleri altında incelenmiştir. Farklı örnek çapları için TDVKM'ye dayalı, EKK yöntemiyle elde edilen TDV1, TDV2 ve TDV3 varyans tahminleri ile ridge regresyona ilişkin RTDV1, RTDV2 ve RTDV3 varyans tahminleri üzerine Matlab programı kullanılarak simülasyon çalışması yapılmıştır. TDVKM'ye dayalı ridge regresyon üzerinden elde edilen varyans tahmin edicisi RTDV3 sonuçlarının, EKK yöntemi üzerinden elde edilen varyans tahmin edicisi TDV3 sonuçlarına göre daha iyi olduğu gözlenmiştir. Ayrıca, sabit varyans ve değişen varyans durumlarında örnek çapı arttıkça tahmin edicilere ilişkin HKO değerlerinin düştüğü ve ridge tahmin edicisine ilişkin HKO sonuçlarının EKK tahmin edicisine ilişkin HKO sonuçlarına göre daha düşük olduğu sonucuna varılmıştır.

Abstract:
The most commonly used method in estimating the regression coefficients in regression analysis is the least squares (LS) method, which relies on assumptions such as constant variance and independence among independent variables. In the case of different variances of the error term, heteroscedasticity is present. The presence of a linear relationship among independent variables in multivariate regression models is defined as multicollinearity. The presence of multicollinearity, LS estimator is unbiased. The ridge estimator has a smaller mean squared error than the LS estimator, although it is biased. Its variance is smaller than the variance of LS. This thesis study aims to analyze variance estimations and mean square error (MSE) results obtained from estimators of LS and ridge regression based on the consistent varying variance-covariance matrix (CVCM) in the case of varying variance and multicollinearity problem in multiple regression models, under different variance patterns. The simulation was run on Matlab, which is based on the CVCM estimators for different sample sizes, the variance estimators CV1, CV2, and CV3 related to LS method, and the variance estimators RCV1, RCV2, and RCV3 related to ridge regression. RCV3 results observed from the ridge regression based on CVCM were lower than the CV3 results obtained from the LS method. In addition, it was concluded that in cases of constant and varying variance, the MSE results for estimators were lower as the sample size increased, and the MSE results for ridge estimators were lower than the MSE results for LS estimators.