רגרסיה אורדינלית

רגרסיה אורדינלית היא מודל רגרסיה סטטיסטי בו המשתנה המוסבר נמדד בסולם מדידה סודר. מודלים כאלה שימושיים במיוחד במדעי החברה, שם נעשה שימוש נרחב במשתנים הנמדדים בסולם לייקרט, מדידה המשתמשת באמרות שליליות או חיוביות עם מידה משתנה של עוצמה המתייחסות לאובייקט מסוים (לדוגמה: סולם הנע מ-1 עד 5, כאשר 5 מייצג 'מסכים במידה רבה', ו-1 מייצג 'מסכים במידה מועטה'). יהיה Y {\displaystyle Y} משתנה הנמדד בסולם מדידה סודר, שיכול לקבל C {\displaystyle C} ערכים שונים. נסמן את הערכים ש- Y {\displaystyle Y} מקבל ב- y 1 {\displaystyle y_{1}} עד y C {\displaystyle y_{C}} , כאשר y 1 ≤ y 2 ≤ . . . ≤ y C {\displaystyle y_{1}\leq y_{2}\leq ...\leq y_{C}} . ללא הגבלת הכלליות נניח כי y 1 = 1 , y 2 = 2 , . . . , y C = C {\displaystyle y_{1}=1,y_{2}=2,...,y_{C}=C} . כן יהיו X 1 , . . . X p {\displaystyle X_{1},...X_{p}} משתנים מסבירים, β 1 , . . . , β p {\displaystyle \beta _{1},...,\beta _{p}} פרמטרים ממשיים, ו- α 1 , . . . , α C − 1 {\displaystyle \alpha _{1},...,\alpha _{C-1}} פרמטרים ממשיים המקיימים α 1 ≤ α 2 ≤ . . . ≤ α C − 1 {\displaystyle \alpha _{1}\leq \alpha _{2}\leq ...\leq \alpha _{C-1}} . נסמן X β = β 1 X 1 + . . . + β p X p {\displaystyle X\beta =\beta _{1}X_{1}+...+\beta _{p}X_{p}} . כן נסמן ב- x {\displaystyle x} את הערך הנצפה של המשתנה X {\displaystyle X} . הערכים α 1 , . . . , α C − 1 {\displaystyle \alpha _{1},...,\alpha _{C-1}} מגדירים מעין "מדרגות" שמפרידות בין הערכים השונים של Y {\displaystyle Y} , ויוצרים באופן מסוים הכללה למודל הרגרסיה הלוגיסטית, שם יש מדרגה אחת המפרידה בין שני הערכים האפשריים של המשתנה המוסבר, וגובהה נקבע שרירותית להיות שווה לאפס, וזאת באינטרפרטציה שבה ערכו של Y {\displaystyle Y} נקבע על ידי ערכו של משתנה נסתר Y ∗ {\displaystyle Y^{*}} . מודל ליניארי עבור Y {\displaystyle Y} הוא P ( Y ≤ j | X 1 , . . . , X p ) = g − 1 ( α j + X β ) {\displaystyle P(Y\leq j|X_{1},...,X_{p})=g^{-1}(\alpha _{j}+X\beta )} , כאשר g {\displaystyle g} היא פונקציית קישור. ניתן להסתכל על המודל, כסט משוואות ליניאריות: P ( Y ≤ 1 | X 1 , . . . , X p ) = g − 1 ( α 1 + X β ) {\displaystyle P(Y\leq 1|X_{1},...,X_{p})=g^{-1}(\alpha _{1}+X\beta )} P ( Y ≤ 2 | X 1 , . . . , X p ) = g − 1 ( α 2 + X β ) {\displaystyle P(Y\leq 2|X_{1},...,X_{p})=g^{-1}(\alpha _{2}+X\beta )} ⋮ {\displaystyle \vdots } P ( Y ≤ j | X 1 , . . . , X p ) = g − 1 ( α j + X β ) {\displaystyle P(Y\leq j|X_{1},...,X_{p})=g^{-1}(\alpha _{j}+X\beta )} המודל הנאמד פותר עבור כל המשוואות, כאשר הבטאות הנאמדות זהות עבור כל משוואה ומשוואה, ומקדם החיתוך, α, משתנה בין המשוואות. בחירות שונות של g {\displaystyle g} מובילות למודלים שונים ממשפחת מודלים זו. במובן מסוים ניתן לראות מודל זה כמודל ליניארי מוכלל. יש להניח את כל ההנחות הסטנדרטיות שמודל רגרסיה אמור לקיים. יש לשים לב כי בניסוח זה, ערך חיובי של β {\displaystyle \beta } משמעותו אפקט שלילי, במובן שאם β {\displaystyle \beta } גבוה יותר, ההסתברות כי Y {\displaystyle Y} יקבל ערך נמוך תגדל. מסיבה זו, יש הנוהגים להגדיר את המודל כפונקציה של α j − X β {\displaystyle \alpha _{j}-X\beta } . מבחינה מעשית ההבדל היחיד הוא שאומדני הפרמטרים של המודל יהיו בסימנים הפוכים. לכן, כאשר משתמשים בתוכנה, יש לשים לב איך המודל מוגדר על ידי התוכנה, וזאת כדי לאפשר אינטרפרטציה נכונה של האומדנים. אם g {\displaystyle g} היא פונקציית הלוגיט: g ( s ) = log ⁡ ( s 1 − s ) {\displaystyle g(s)=\log({\frac {s}{1-s}})} , המודל המתקבל נקרא מודל לוגיסטי מצטבר. כפי שצוין מעלה, ניתן לגזור מודל זה מהנחת קיום משתנה נסתר, בדומה לגזירת מודל הרגרסיה הלוגיסטית. על פי מודל זה P ( Y ≤ j | x 1 , . . . , x j ) = e α j + x β 1 + e α j + x β {\displaystyle P(Y\leq j|x_{1},...,x_{j})={\frac {e^{\alpha _{j}+x\beta }}{1+e^{\alpha _{j}+x\beta }}}} בדומה למודל רגרסיה הלוגיסטית, גם במודל זה יש לפרמטרים β {\displaystyle \beta } פירוש של לוג יחס סיכויים: log ⁡ P ( Y ≤ j | x 1 ) / P ( Y > j | x 1 ) P ( Y ≤ j | x 2 ) / P ( Y > j | x 2 ) = β ( x 1 − x 2 ) {\displaystyle \log {\frac {P(Y\leq j|x_{1})/P(Y>j|x_{1})}{P(Y\leq j|x_{2})/P(Y>j|x_{2})}}=\beta (x_{1}-x_{2})} יש לשים כי כאן הלוגריתם של יחס הסיכויים אינו קבוע לכל ערכי X {\displaystyle X} אלא פרופורציונלי להפרש בין שני ערכים ספציפיים של X {\displaystyle X} . נסמן ב- Φ ( s ) {\displaystyle \Phi (s)} את פונקציית ההתפלגות המצטברת של משתנה מקרי נורמלי סטנדרטי, ונגדיר את פונקציית הקישור להיות g ( s ) = Φ − 1 ( s ) {\displaystyle g(s)=\Phi ^{-1}(s)} . המודל המתקבל הוא נקרא מודל פרוביט מצטבר. ניתן לגזור מודל זה מהנחת קיום משתנה נסתר שהתפלגותו נורמלית. מודל זה שימושי פחות ממודל הלוגיט, מכיוון שאין לפרמטרים שלו אינטרפרטציה ברורה. כמו כן, בדרך כלל מודל הלוגיט ומודל הפרוביט מניבים תוצאות דומות. פונקציות הקישור לוגיט ופרוביט סימטריות במובן ש- P ( Y ≤ j ) {\displaystyle P(Y\leq j)} מתקרב ל-0 באותו הקצב שבו הוא מתקרב ל-1. באינטרפרטציה על פיה ערכו של Y נקבע על ידי משתנה נסתר Y ∗ {\displaystyle Y^{*}} , השימוש בפונקציות קישור אלה ודומותיהן מניח כי Y ∗ {\displaystyle Y^{*}} הוא בעל התפלגות סימטרית. עם זאת, על אף ומודל מבוסס פונקציית קישור פרוביט חסין יחסית לסטיות של המשתנה החבוי, לעיתים עולה הצורך להשתמש בהתפלגות משתנה חבוי שאינה סימטרית אלא מצודדת (skewed). בהתפלגות מצודדת ימנית (right skewed), כלומר התפלגות עם "זנב" של ערכים גבוהים, P ( Y ≤ j ) {\displaystyle P(Y\leq j)} מתקרב ל-1 בקצב יותר מהיר מאשר ל-0, ובאופן דומה, בהתפלגות מצודדת שמאלית (left skewed), כלומר התפלגות עם "זנב" של ערכים נמוכים, P ( Y ≤ j ) {\displaystyle P(Y\leq j)} מתקרב ל-0 בקצב יותר מהיר מאשר ל-1. תחת הנחות אלה, מתאים יותר לבחור פונקציית קישור לא סימטרית. למקרה של משתנה נסתר בעל התפלגות מצודדת ימנית מומלץ לבחור כפונקציית הקישור את פונקציית הלוג-לוג המשלימה (complementary log-log): g − 1 ( s ) = log ⁡ [ − log ⁡ ( 1 − s ) ] {\displaystyle g^{-1}(s)=\log[-\log(1-s)]} . באופן דומה, כאשר מניחים שלמשתנה הנסתר הוא התפלגות מצודדת שמאלית, מתאימה יותר פונקציית הקישור לוג-לוג: g − 1 ( s ) = log ⁡ [ − log ⁡ ( s ) ] {\displaystyle g^{-1}(s)=\log[-\log(s)]} . קיים מגוון רחב של מודלים אחרים לרגרסיה אורדינלית. שלבי הברמן הציע ליישם את המודל הלוג ליניארי לניתוח משתנה סודר בהינתן משתנים מסבירים. ליאו גודמן הציע מודלים מכפלתיים, וכן משפחת מודלים המהווה הרחבה של המודל הלוג ליניארי שכוללת בתוכה איבר לא ליניארי (אחד המודלים הנפוצים ממשפחת מודלים זו ידוע בשם מודל RC). מודלים לא ליניאריים המתקבלים על ידי השמטת הנחות לגבי השונות של המשתנה הנסתר הוצגו על ידי פיטר מק-קאלאך. כן יש מגוון רב של מודלים בייסיאניים ומודלים של למידת מכונה. Bürkner, P. C., & Vuorre, M. (2019). Ordinal regression models in psychology: A tutorial. Advances in Methods and Practices in Psychological Science, 2(1), 77-101. Liddell, T. M., & Kruschke, J. K. (2018). Analyzing ordinal data with metric models: What could possibly go wrong?. Journal of Experimental Social Psychology, 79, 328-348. Models for Ordinal Response Data - Coure notes by Germán Rodríguez, Princeton University Modeling Ordinal Categorical Data - Tutorial by Alan Agresti, University of Florida Taylor, J. E., Rousselet, G. A., Scheepers, C., & Sereno, S. C. (2023). Rating norms should be calculated from cumulative link mixed effects models. Behavior Research Methods, 55(5), 2175-2196. Haberman, Shelby J., Log-linear models for frequency tables with ordered classifications, Biometrics, 1974, עמ' 589-600 Goodman, Leo A., Multiplicative models for square contingency tables with ordered categories, Biometrika, 3 66, 1979, עמ' 413-418 Goodman, Leo A., Simple models for the analysis of association in cross-classifications having ordered categories, Journal of the American Statistical Association, 367 74, 1979, עמ' 537-552(הקישור אינו פעיל) McCullagh, Peter., Regression models for ordinal data, Journal of the royal statistical society, Series B (Methodological), 1980, עמ' 109-142