Kısmi en küçük kareler yönteminin simülasyon verileri ile diğer yöntemlerle karşılaştırılması
Comparison of partial least squares prediction and other prediction methods with simulated data
Yazar: İSMAİL BAĞCI
Danışman: DOÇ. DR. ATİLA GÖKTAŞ
Muğla Sıtkı Koçman Üniversitesi / Fen Bilimleri Enstitüsü / İstatistik Ana Bilim Dalı
Derece: Yüksek Lisans, 2017
Konu: İstatistik = Statistics

Özet:
Çoklu bağlantı mevcut olduğunda tahmin edilen doğrusal regresyon modelinin anlamlı bağımsız değişkenlere ilişkin katsayıların testinde kullanılan t istatistikleri anlamsız olmaktadır. Bu sorunun giderilmesinde kullanılan çok sayıda tahmin yöntemi bulunmaktadır. Çalışmamızda, bağımsız değişkenler arasında çoklu bağlantıya sahip çok değişkenli normal dağılımdan üretilen verilere uygulanan "Kısmi En Küçük Kareler Tahmin Yöntemi (KEKK)", "Ridge Regresyon (RR)" ve "Temel Bileşenler Regresyonu (TBR)" yöntemleri karşılaştırılmıştır. Simülasyon çalışmasında veriler, farklı ilişki düzeylerinde ( 0.0, 0.3, 0.5, 0.7, 0.9), örneklem büyüklükleri 30, 50, 100, 200 ve 500 birimlik örneklemler için farklı değişken sayılarda çalışma 5000 kere tekrarlanmıştır. Elde edilen bu veriler kullanılarak üç farklı yöntem ile tahmin edilen regresyon modeli için Hata Kareler Ortalamaları (HKO) hesaplanmış, düşük olan HKO değerleri dikkate alınarak, hangi yöntemin hangi durumda daha verimli ve daha iyi sonuçlar verdiği araştırılmıştır.
Simülasyon verileriyle elde edilen bulgulara göre örneklem büyüklüğünün azalması veya artması, tahmin yöntemleri üzerinde önemli bir etki yaratmaktadır. Her örneklem büyüklüğü veya her değişken sayısında anlamlı üstünlük sağlayan bir tahmin yöntemi yoktur. Her tahmin yöntemi örneklem büyüklüğü, bağımsız değişken sayısı veya çoklu bağlantının derecesinden etkilenmektedir. Ancak süper çoklu bağlantı sorununda, bağımsız değişken sayısı ne olursa olsun literatürün aksine (n<=200 için) TBR yönteminin diğer iki tahmin yöntemine göre daha iyi sonuçlar verdiği gözlenmiştir.

Anahtar Kelimeler: Kısmi En Küçük Kareler, Ridge Regresyon, Temel Bileşenler Regresyon, Çoklu Bağlantı

Abstract:
When there is multicollinearity, using t test statistics for testing the coefficients related to meaningful independent variable of predicted linear regression is meaningless.   To eliminate this problem there are great number of prediction methods used. In our study Partial Least Squares Prediction method (PLS), Ridge Regression (RR) and Principal Components Regression (PCR), which are applied to generated data with multicollinearity among independent variables existing in multiple independent variables from standard normal distribution, are compared. The study was repeated 5000 times in simulation for data in different degree of multicollinearity levels (0.0, 0.3, 0.5, 0.7, 0.9) and for different sample sizes 30, 50, 100, 200 and 500 unit samples. Three prediction regression methods were applied by the help of the gathered data and Error Mean Squares (EMS) of regression parameters were calculated. The lowest EMS was taken into consideration to determine which method was the most fructiferous and had the best results under different circumstances. 
According to findings gathered through the Simulated data, increase and decrease in the sample size creates important effect on the predicting methods.  There is not a prediction method that has a meaningful superiority to the others in every sample size or every variable number.  Each prediction method is affected by the size of the sample, number of independent variables or the degree of the multicollinearity. However in super multi connection problem, whatever the number of dependent variable is, in contrast to literature (for n<=200), it is observed that PCR method had better results compared to the other two prediction methods. 
 
Key Words: Least Squares, Ridge Regression, Principal Components Regression, Multicollinearity