בסטטיסטיקה, ניתוח רגרסיה הוא שם כולל למשפחה של מודלים סטטיסטיים להערכת הקשרים בין משתנים. המשותף לכל המודלים הוא קיומם של משתנה מוסבר (המכונה לעיתים בשם המשתנה התלוי) ומשתנה מסביר אחד או יותר (המכונים לעיתים בשם המשתנים הבלתי תלויים או המשתנים המנבאים). בעזרת מודל רגרסיה ניתן ללמוד כיצד ערכו של המשתנה המוסבר משתנה כאשר חל שינוי בערכו של אחד המשתנים המסבירים, וערכי שאר המשתנים המסבירים נשארים קבועים. עם זאת, אין בכך די כדי להסיק סיבתיות: השינוי בערכו של המשתנה המסביר לא בהכרח גורם לשינוי בערכו של המשתנה המוסבר.
מבחינה הסתברותית, מודל הרגרסיה אומד בדרך כלל את התוחלת המותנית של המשתנה המוסבר בהינתן המשתנים המסבירים. עם זאת קיימים מודלים האומדים פרמטרי מיקום אחרים של המשתנה המוסבר, או פונקציה של התוחלת, מותנה במשתנים מסבירים.
מודלים של רגרסיה משמשים לעיתים קרובות לצורך חיזוי ערכים של המשתנה המוסבר במצבים שונים הנקבעים על ידי ערכי המשתנים המסבירים. ישנם מודלים שמאפשרים סיווג של המשתנה המוסבר למספר קבוצות (למשל, בהינתן תוצאות של בדיקות רפואיות, תוצאת המודל היא קביעה האם האדם הוא בריא או חולה). כאן יש חפיפה רבה בין המודלים הסטטיסטיים ובין התחום של למידת מכונה. שימוש נפוץ נוסף למודלים של רגרסיה הוא לבחון את מהות הקשרים בין המשתנים המסבירים (או חלקם) ובין המשתנה המוסבר. במקרים מסוימים ניתן להשתמש במודלים של רגרסיה לצורך הסקה סיבתית מהמשתנים המסבירים אל המשתנה המוסבר, אך יש לבחון היטב את ההנחות עליהן מתבססת הסקת הסיבתיות.
כמו מודלים סטטיסטיים אחרים, גם מודלים של רגרסיה מבוססים על התהליך שבו נוצרו הנתונים של המשתנה המוסבר. מאחר שבדרך כלל פרטי התהליך אינם ידועים, המודלים נשענים על הנחות, שלא כולן בהכרח ניתנות לבדיקה. הרגישות של המודל להפרת ההנחות שונה ממודל למודל, ואף תלויה בתכלית שלשמה המודל מיועד (למשל, כאשר רמת הדיוק הנדרשת מהתחזיות אינה גבוהה מאוד).
היסטוריה.
מודל הרגרסיה המוקדם ביותר היה מודל הריבועים הפחותים, שפורסם על ידי לז'נדר בשנת 1805 ועל ידי גאוס ב-1809. עם זאת, ידוע כי גאוס פיתח את המודל כבר ב-1801 או לפני כן, וזאת מתוך החישובים שערך לגבי מסלולו של האסטרואיד קרס. ב-1821 פרסם גאוס תאוריה מורחבת של מודל הריבועים הפחותים, שכללה את הגרסה המוקדמת למשפט גאוס-מרקוב.
המושג "רגרסיה" נטבע על ידי פרנסיס גולטון (Francis Galton) בהקשר של תופעות ביולוגיות. תצפיותיו של גולטון העלו כי בנים לאנשים גבוהים אמנם היו גבוהים יחסית אך בדרך כלל פחות גבוהים מהוריהם. גולטון כינה תופעה זו בשם "רגרסיה לממוצע". מודל הרגרסיה של גולטון היה ויזואלי, וכלל שרטוט של ערכי המשתנה המוסבר והמשתנה המסביר (היחיד) על מערכת צירים, והתאמת קו ישר המתאר את הקשר בין המשתנים.
המודל של גולטון הורחב על ידי אדני יול וקרל פירסון, שהניחו במפורש כי למשתנה המסביר ולמשתנה המוסבר יש התפלגות משותפת דו נורמלית. רונלד פישר הראה ב-1922 וב-1925 כי ניתן להחליף את ההנחה הזו בהנחה יותר חלשה, לפיה ההתפלגות המותנה של המשתנה המוסבר בהינתן המשתנה המסביר היא נורמלית, אך ההתפלגות המשותפת של שני המשתנים אינה חייבת להיות דו נורמלית. במובן זה, המודל של פישר דומה לפורמולציה של גאוס מ-1821. פישר הראה גם כיצד ניתן להכליל את מודל הריבועים הפחותים למודלים של ניתוח שונות בספרו מ-1925.
במשך השנים פותחו מודלים נוספים המרחיבים את המודלים שפותחו בסוף המאה ה-19 ובתחילת המאה ה-20. כך למשל הוחלפה ההנחה כי למשתנה המוסבר יש התפלגות מותנה נורמלית בהנחות אחרות. כך למשל, כאשר מניחים כי ההתפלגות היא מולטינומית מתקבלים מודלים כגון הרגרסיה הלוגיסטית ורגרסיית הפרוביט, וכאשר המשתנה המוסבר נמדד בסולם סדר מתקבל מודל של רגרסיה אורדינלית. קיימים מודלים גם למקרים אחרים בהן הנחות היסוד של הרגרסיה הקלאסית (אחת או יותר) אינן מתקיימות.
מודל הרגרסיה הכללי.
הגדרת המודל.
יהיו formula_1 המשתנה המוסבר, formula_2 המשתנים המסבירים, formula_3 פרמטרים ממשיים בלתי ידועים, formula_4 פונקציה כלשהי.
כן מסמנים ב-formula_5 את טעות המדידה של המשתנה המוסבר formula_1, ומניחים כי זהו משתנה מקרי בעל תוחלת 0.
מודל הרגרסיה הוא formula_7. ניסוח שקול למודל הוא formula_8.
כדי לבצע ניתוח רגרסיה יש לציין במפורש מהי הפונקציה formula_4. לעיתים ניתן לקבוע מהי פונקציה זו על סמך ידע קיים (כגון מודל פיזיקלי או ביולוגי). כאשר אין מידע כזה על formula_4 יש צורך להניח הנחה כלשהי לגבי הפונקציה. במקרים רבים נהוג להשתמש בפונקציה ליניארית, לפחות בניתוח הראשוני.
אמידת הפרמטרים.
כדי לאמוד את ערכי הפרמטרים formula_11 יש צורך בנתונים, שהם בדרך כלל תצפיות הנדגמות מתוך אוכלוסייה.
נסמן ב-formula_12 את מספר התצפיות.
התצפיות של המשתנה המוסבר הן לכן formula_13 התצפיות של המשתנה המסביר הראשון formula_14 הן formula_15 וכן הלאה. ניתן לכתוב את כל נתונים המשתנים המסבירים במטריצה formula_16 שעמודותיה הן formula_17.
שימו לב לכך שבעוד שאותיות לטיניות גדולות מסמנות משתנים מקריים, אותיות לטיניות גדולות ומודגשות מסמנות נתונים.
במונחים הנתונים ניתן לכן לנסח את המודל באופן הבא:
formula_18
לכל formula_19.
בניסוח זה מודל הרגרסיה מיתרגם ל-formula_12 משוואות עם formula_21 נעלמים.
הגודל formula_29 מכונה בשם מספר דרגות החופש של המודל.
הנחות המודל.
בבסיס מודל הרגרסיה עומדות ההנחות הבאות:
אם כל ההנחות האלה מתקיימות, אמדני הנראות המקסימלית ל-formula_11 יהיו חסרי הטיה, עקיבים ויעילים סטטיסטית (מבין כל האמדים חסרי ההטיה ל-formula_11).
ההנחות האלה בדרך כלל אינן מתקיימות במציאות. לכן, בעת יישום/אמידה של מודל רגרסיה יש לבדוק עד כמה הנתונים משקפים את ההנחות. סטייה גדולה מדי מן ההנחות מעמידה בסימן שאלה את התכונות הסטטיסטיות של האמדים.
מודלים עיקריים.
רגרסיה ליניארית קלאסית.
במודל זה מניחים כי הפונקציה formula_4 היא פונקציה ליניארית בפרמטרים formula_11, וכי לשגיאה formula_5 יש התפלגות נורמלית עם תוחלת 0 ושונות חיובית formula_40. כן מניחים כי המשתנים המסבירים הם משתנים כמותיים (כלומר סולם המדידה שלהם הוא סולם רווח או סולם מנה) ורציפים.
במונחי הנתונים המודל הוא formula_41 או formula_42.
בפרט, מודל רגרסיה המתאר קשר ליניארי (כלומר קשר המבוטא באופן גרפי על ידי קו ישר) בין שני משתנים הוא formula_43. כאן מניחים כי formula_44 לכל formula_45.
דוגמה נוספת למודל רגרסיה ליניארית קלאסי מובאת מתחום הפיזיקה: כאשר מטילים חפץ קטן (כדור למשל) אנכית כלפי מעלה, ובהנחה שהבגובה ממנו נזרק הכדור הוא 0, אזי גובה הכדור formula_46, לאחר שעבר זמן formula_47 הוא formula_48 כאשר formula_49 היא המהירות ההתחלתית בה נזרק הכדור ו-formula_50 הוא קבוע הכבידה.
אם יש בידינו נתונים על הגבהים formula_51 שבהם היה הכדור בנקודות הזמן formula_52, נוכל לכתוב את מודל הרגרסיה formula_53, ואז נוכל לאמוד את המהירות ההתחלתית של הכדור ואת ערכו של קבוע הכבידה מתוך הנתונים).
אף על פי שבמודל מופיע הערך formula_54 זהו בכל זאת מודל רגרסיה ליניארית, מכיוון שכאמור הפונקציה formula_4 היא פונקציה ליניארית של הפרמטרים formula_56 ו-formula_57.
אמידת הפרמטרים של מודל הרגרסיה הליניארית הקלאסי מתבצעת על ידי מינימיזציה של סכום ריבועי השגיאות (ומכאן השם "שיטת הריבועים הפחותים"). נסמן ב-formula_58 את האמדים ל-formula_59. שגיאת האמידה היא לכן formula_60. מכאן מקבלים כי סכום ריבועי שגיאות האמידה הואformula_61
ולכן formula_62.
בפועל אין צורך בביצוע תהליך של חישוב המינימום על ידי גזירה, מכיוון שגאוס ולז'נדר הראו כי formula_63.
על פי משפט גאוס-מרקוב, formula_64 הוא האמד הליניארי חסר ההטיה הטוב ביותר עבור formula_11 במובן ששונותו של formula_64 היא מינימלית. עם זאת ייתכנו אמדים ליניאריים ל-formula_11 ששונותם נמוכה מהשונות של formula_64 (כגון אמד ג'יימס-שטיין), אך אלה אינם אמדים חסרי הטיה.
בנוסף לאמידת formula_11 יש צורך לאמוד את השונות של השגיאות formula_40. על פי משפט גאוס מרקוב formula_71 הוא אמד חסר הטיה עבור formula_40.
המודל הליניארי הכללי.
במודל הליניארי הכללי חלק מהמשתנים המסבירים (או אפילו כולם) יכולים להיות משתנים איכותיים הנמדדים סולם מדידה שמי. המודל בו יש משתנה מסביר קטגורי יחיד מכונה בשם מודל ניתוח שונות, ומודל בו יש מספר משתנים מסבירים קטגוריים נקרא מודל ניתוח שונות רב כיווני. אם חלק מהמשתנים המסבירים הם משתנים קטגוריים וחלקם משתנים כמותיים המודל מכונה בשם ניתוח שונות משותפת. שמות אלה מקורם בהיסטוריה של פיתוח המודלים, אך הם גם משקפים את התכונות של האמדים לפרמטרים. אמידת הפרמטרים נעשית באותו האופן כמו ברגרסיה הליניארית הקלאסית.
המודל הליניארי המוכלל.
מודלים ליניאריים מוכללים מניחים כי תהליך יצירת הנתונים של המשתנה המוסבר נובע מהתפלגות כלשהי ממשפחת ההתפלגויות המעריכיות (הכוללת, בין השאר, את ההתפלגות הנורמלית, ההתפלגות המולטינומית, התפלגות פואסון, התפלגות גמא והתפלגויות נוספות).
נסמן את התוחלת של formula_1 על ידי formula_74, כלומר formula_75. ותהי formula_50 פונקציה מונוטונית כלשהי. כן נסמן formula_77.
בסימונים אלה, המודל הליניארי המוכלל הוא formula_78
הפונקציה formula_50 מכונה בשם פונקציית הקישור.
אמידת הפרמטרים מתבצעת בדרך כלל בשיטת הנראות המקסימלית, וחישוב האמדנים הוא נומרי.