Sağlam kısmi en küçük kareler regresyon analizinde yeni yaklaşımlar
New approaches in robust partial least squares regression analysis
Yazar: ESRA POLAT
Danışman: PROF. DR. SÜLEYMAN GÜNAY
Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / İstatistik Ana Bilim Dalı
Derece: Doktora, 2014
Konu: İstatistik = Statistics

Özet:
Kısmi En Küçük Kareler Regresyon (Partial Least Squares Regression/PLSR), bir gizli değişkenler (Latent Variables/LV) regresyon yöntemidir. Bu yöntemde, ilkin ilişkisiz LV'lerin bir kümesi kestirilir ve daha sonra, bu LV'lerin bağımlı değişken ile olan ilişkisi modellenir. PLSR modelini elde etmek için literatürde en sık kullanılan algoritmalar, NIPALS ve SIMPLS algoritmalarıdır. NIPALS algoritması tek bir bağımlı değişken olduğunda PLS1 ve çoklu Y değişkeni için kullanıldığında ise PLS2 adını alır. Ancak, NIPALS algoritmasında yüklerin, bileşenlerin ve regresyon katsayılarının hesaplanmasında klasik En Küçük Kareler (Least Squares/LS) regresyon adımları kullandığından ve SIMPLS algoritması bağımlı ile bağımsız değişkenler arasındaki varyans-kovaryans matrisine ve LS regresyonuna dayalı olduğundan, veri kümesinde aykırı değerler olduğunda her iki algoritma ile elde edilen sonuçlar da etkilenir. Bu nedenle, literatürde PLS1, PLS2 ve SIMPLS algoritmalarının bazı sağlamlaştırılmış biçimleri olan sağlam PLSR yöntemleri önerilmiştir. Doktora tez çalışmamızda, modelde tek bir bağımlı değişken olması durumunda PLSR modelindeki regresyon katsayılarını kestirmek için kullanılan klasik PLS1 algoritmasının, seçenek tanımındaki kovaryans matrisini sağlam bir şekilde kestirerek literatürde önerilen sağlam PLSR yöntemlerinden yola çıkılarak, üç yeni sağlam PLSR yöntemi önerilmiştir. PLS-ARWMCD, PLS-Smult ve       PLS-MMmult olarak adlandırılan bu üç yeni sağlam PLSR yöntemi, PLS1 algoritmasındaki kovaryans matrisini sırasıyla, ' ilk adımda konum ve kovaryansın sağlam başlangıç kestiricileri olarak En Küçük Kovaryans Determinantı kestiricilerini kullanan, uyarlanabilir yeniden ağırlıklandırılmış bir kovaryans kestiricisi ', ' S-kestiricileri ' ve ' MM-kestiricileri ' kullanılarak sağlam bir şekilde kestirerek bulunmuştur. Bu üç yeni sağlam PLSR yöntemi, literatürde var olan klasik PLSR yöntemi ve sağlam PLSR yöntemleri RSIMPLS, Kısmi Sağlam         M-Regresyon (PRM), Stahel-Donoho kestiricisine dayalı sağlam PLSR yöntemi (PLS-SD), yansımaların basıklık katsayısına ve Stahel-Donoho kestiricisine dayalı sağlam PLSR yöntemi (PLS-KurSD) ile etkinlik, veriye uyum ve kestirimdeki başarıları açısından benzetim çalışmaları ve gerçek bir veri kümesi üzerinde uygulama ile karşılaştırılmıştır. Yeni önerilen üç sağlam PLSR yöntemi de, küçük boyutlu ve makul düzeyde aykırı değerler tarafından bozulan veri kümelerine uygulandığında özellikle klasik PLSR yönteminden ve bazı aykırı değer türlerinde sağlam PRM, PLS-SD ve PLS-KurSD yöntemlerinden daha sağlam ve etkin sonuçlar verir.

Abstract:
Partial Least Squares Regression (PLSR) method is a Latent Variables (LVs) regression method. Therefore, in this method, firstly, a set of unrelated LVs is predicted and then, the relationship of these LVs with dependent variable is modeled. The most popular algorithms used in literature for obtaining PLSR model are NIPALS and SIMPLS algorithms. NIPALS algorithm called PLS1, when it is used for one dependent variable and called PLS2, when it is used for multiple Y variables. However, classic Least Squares (LS) steps are used in NIPALS algorithm for obtaining loadings, components and regression coefficients and SIMPLS algorithm depends on the covariance matrix between independent and dependent variables and LS regression. Therefore, if there are outliers in the data set, the results obtained with both of the these two algorithms are affected. Hence, the robust PLSR methods, which are the robust versions of PLS1, PLS2 and SIMPLS algorithms, suggested in literature. In our doctoral thesis study, three new robust PLSR methods were suggested based on robust PLSR methods existing in literature that robustly predicts the covariance matrix in the alternative definition of classical PLS1 algorithm used for predicting regression coefficients in PLSR model in case of being one dependent variable in the model. These three new PLSR methods, called as PLS-ARWMCD, PLS-Smult and PLS-MMmult, found by robustly predicting the covariance matrix in the PLS1 algorithm by using                 ' an adaptive reweighted estimator of covariance using Minimum Covariance Determinant estimators in the first step as robust initial estimators of location and covariance ', ' S-estimators ' and ' MM-estimators ', respectively. These three new suggested PLSR methods were compared in terms of efficiency, model fit and success in predictions, with classic PLSR method and robust PLSR methods RSIMPLS, Partial Robust M-Regression (PRM), the robust PLSR method based on Stahel-Donoho estimator (PLS-SD) and the robust PLSR method based on kurtosis coefficient of projections and Stahel-Donoho estimator (PLS-KurSD) existing in literature, by using simulation studies and applications on a real data. Three of the new suggested robust PLSR methods, when applied on data sets in low dimensions and contaminated by reasonable level of outliers, give more robust and efficient results than especially classical PLSR method and in some types of outliers than robust PRM, PLS-SD and PLS-KurSD methods.