רגרסיה (אנליזה)

בסטטיסטיקה, ניתוח רגרסיה הוא שם כולל למשפחה של מודלים סטטיסטיים להערכת הקשרים בין משתנים. המשותף לכל המודלים הוא קיומם של משתנה מוסבר (המכונה לעיתים בשם המשתנה התלוי) ומשתנה מסביר אחד או יותר (המכונים לעיתים בשם המשתנים הבלתי תלויים או המשתנים המנבאים). (יש לשים לב כי המשתנים הבלתי תלויים אינם בהכרח בלתי תלויים סטטיסטית). בעזרת מודל רגרסיה ניתן ללמוד כיצד ערכו של המשתנה המוסבר משתנה כאשר חל שינוי בערכו של אחד המשתנים המסבירים, וערכי שאר המשתנים המסבירים נשארים קבועים. עם זאת, אין בכך די כדי להסיק סיבתיות: השינוי בערכו של המשתנה המסביר לא בהכרח גורם לשינוי בערכו של המשתנה המוסבר.
מבחינה הסתברותית, מודל הרגרסיה אומד בדרך כלל את התוחלת המותנית של המשתנה המוסבר בהינתן המשתנים המסבירים. עם זאת קיימים מודלים האומדים פרמטרי מיקום אחרים של המשתנה המוסבר, או פונקציה של התוחלת, מותנה במשתנים מסבירים.
מודלים של רגרסיה משמשים לעיתים קרובות לצורך חיזוי ערכים של המשתנה המוסבר במצבים שונים הנקבעים על ידי ערכי המשתנים המסבירים. ישנם מודלים שמאפשרים סיווג של המשתנה המוסבר למספר קבוצות (למשל, בהינתן תוצאות של בדיקות רפואיות, תוצאת המודל היא קביעה האם האדם הוא בריא או חולה). כאן יש חפיפה רבה בין המודלים הסטטיסטיים ובין התחום של למידת מכונה. שימוש נפוץ נוסף למודלים של רגרסיה הוא לבחון את מהות הקשרים בין המשתנים המסבירים (או חלקם) ובין המשתנה המוסבר. במקרים מסוימים ניתן להשתמש במודלים של רגרסיה לצורך הסקה סיבתית מהמשתנים המסבירים אל המשתנה המוסבר, אך יש לבחון היטב את ההנחות עליהן מתבססת הסקת הסיבתיות.
כמו מודלים סטטיסטיים אחרים, גם מודלים של רגרסיה מבוססים על התהליך שבו נוצרו הנתונים של המשתנה המוסבר. מאחר שבדרך כלל פרטי התהליך אינם ידועים, המודלים נשענים על הנחות, שלא כולן בהכרח ניתנות לבדיקה. הרגישות של המודל להפרת ההנחות שונה ממודל למודל, ואף תלויה בתכלית שלשמה המודל מיועד (למשל, כאשר רמת הדיוק הנדרשת מהתחזיות אינה גבוהה מאוד).

היסטוריה

מודל הרגרסיה המוקדם ביותר היה מודל הריבועים הפחותים, שפורסם על ידי לז'נדר בשנת1805 ועל ידי גאוס ב-1809. עם זאת, ידוע כי גאוס פיתח את המודל כבר ב-1801 או לפני כן, וזאת מתוך החישובים שערך לגבי מסלולו של האסטרואיד קרס. ב-1821 פרסם גאוס תאוריה מורחבת של מודל הריבועים הפחותים, שכללה את הגרסה המוקדמת למשפט גאוס-מרקוב.
המושג "רגרסיה" נטבע על ידי פרנסיס גאלטון בהקשר של תופעות ביולוגיות. תצפיותיו של גאלטון העלו כי בנים לאנשים גבוהים אמנם היו גבוהים יחסית אך בדרך כלל פחות גבוהים מהוריהם. גאלטון כינה תופעה זו בשם "רגרסיה לממוצע". מודל הרגרסיה של גאלטון היה ויזואלי, וכלל שרטוט של ערכי המשתנה המוסבר והמשתנה המסביר (היחיד) על מערכת צירים, והתאמת קו ישר המתאר את הקשר בין המשתנים.
המודל של גאלטון הורחב על ידי אדני יול וקרל פירסון, שהניחו במפורש כי למשתנה המסביר ולמשתנה המוסבר יש התפלגות משותפת דו נורמלית. רונלד פישר הראה ב-1922 וב-1925 כי ניתן להחליף את ההנחה הזו בהנחה יותר חלשה, לפיה ההתפלגות המותנה של המשתנה המוסבר בהינתן המשתנה המסביר היא נורמלית, אך ההתפלגות המשותפת של שני המשתנים אינה חייבת להיות דו נורמלית. במובן זה, המודל של פישר דומה לפורמולציה של גאוס מ-1821. פישר הראה גם כיצד ניתן להכליל את מודל הריבועים הפחותים למודלים של ניתוח שונות בספרו מ-1925.
במשך השנים פותחו מודלים נוספים המרחיבים את המודלים שפותחו בסוף המאה ה-19 ובתחילת המאה ה-20. כך למשל הוחלפה ההנחה כי למשתנה המוסבר יש התפלגות מותנה נורמלית בהנחות אחרות. כך למשל, כאשר מניחים כי ההתפלגות היא מולטינומית מתקבלים מודלים כגון הרגרסיה הלוגיסטית ורגרסיית הפרוביט, וכאשר המשתנה המוסבר נמדד בסולם סדר מתקבל מודל של רגרסיה אורדינלית. קיימים מודלים גם למקרים אחרים בהן הנחות היסוד של הרגרסיה הקלאסית (אחת או יותר) אינן מתקיימות.

הגדרת המודל

יהיו  המשתנה המוסבר,  המשתנים המסבירים,  פרמטרים ממשיים בלתי ידועים,  פונקציה כלשהי.
כן מסמנים ב- את טעות המדידה של המשתנה המוסבר , ומניחים כי זהו משתנה מקרי בעל תוחלת 0.
מודל הרגרסיה הוא . ניסוח שקול למודל הוא .
כדי לבצע ניתוח רגרסיה יש לציין במפורש מהי הפונקציה . לעיתים ניתן לקבוע מהי פונקציה זו על סמך ידע קיים (כגון מודל פיזיקלי או ביולוגי). כאשר אין מידע כזה על  יש צורך להניח הנחה כלשהי לגבי הפונקציה. במקרים רבים נהוג להשתמש בפונקציה ליניארית, לפחות בניתוח הראשוני.

המודל הליניארי הכללי

במודל הליניארי הכללי חלק מהמשתנים המסבירים (או אפילו כולם) יכולים להיות משתנים איכותיים הנמדדים סולם מדידה שמי. המודל בו יש משתנה מסביר קטגורי יחיד מכונה בשם מודל ניתוח שונות, ומודל בו יש מספר משתנים מסבירים קטגוריים נקרא מודל ניתוח שונות רב כיווני. אם חלק מהמשתנים המסבירים הם משתנים קטגוריים וחלקם משתנים כמותיים המודל מכונה בשם ניתוח שונות משותפת. שמות אלה מקורם בהיסטוריה של פיתוח המודלים, אך הם גם משקפים את התכונות של האמדים לפרמטרים. אמידת הפרמטרים נעשית באותו האופן כמו ברגרסיה הליניארית הקלאסית.

רגרסיה לא ליניארית

אם הפונקציה  אינה פונקציה ליניארית של , הרי שמדובר ברגרסיה לא-ליניארית.
בתחום הביולוגיה, למשל, מקובל להשתמש ב-"מודל ארבעת הפרמטרים" המתאר תגובה  למשתנה כלשהו , כגון מינון או זמן. המודל הוא: . אמידת הפרמטרים של מודל כזה עדיין מתבצעת על ידי מזעור ריבועי השגיאות.

ניתוח השרדות

שני מודלים מקובלים לניתוח נתוני הישרדות הם מודל רגרסיית ההשרדות הפרמטרית ומודל הסיכונים הפרופרציונליים המכונה גם בשם "רגרסיית קוקס" על שם סיר דויד קוקס.

מודלים נוספים

בין המודלים הנוספים ניתן למנות את רגרסיית האחוזונים, רגרסיה קטגורית, רגרסיה אורדינלית והרגרסיה הבייסיאנית.