רגרסיה ליניארית

רגרסיה ליניארית היא שיטה מתמטית למציאת הפרמטרים של הקשר בין משתנה בלתי תלוי X למשתנה תלוי Y, בהנחה שהקשר ביניהם ליניארי, כלומר מהצורה Y=aX+b. השיטה משמשת לניתוח מדגמים סטטיסטיים. נוסחת הרגרסיה הליניארית מחשבת את הקו הישר שעובר דרך הנקודות שבמדגם. במצב של קשר ישיר מדויק כל הנקודות במדגם יימצאו על הקו עצמו. במציאות גורמים נוספים משפיעים על המדגם והנקודות לרוב מפוזרות מסביב לקו. הקו מחושב בצורה כזאת שסכום ריבועי המרחקים של הנקודות מהקו הוא הקטן ביותר. רגרסיה ליניארית מרובה מחשבת קשר בין מספר משתנים בלתי תלויים יחד, למשתנה תלוי אחד.

רגרסיה ליניארית עם משתנה מסביר יחיד

המקרה הפשוט ביותר הוא זה שבו קיימים שני משתנים: משתנה בלתי תלוי X שהוא המשתנה המסביר, ומשתנה תלוי Y שהוא המשתנה המוסבר. לדוגמה, אפשר לנסות להסביר ולנבא באמצעות המודל את גובהו של עץ תפוחים (Y, במטרים), על פי משקלו של הזרע שממנו הוא צומח (X, בגרמים).
בבסיס השיטה עומדת ההנחה כי המודל המסביר את הקשר בין המשתנים הוא מודל ליניארי, כלומר, שמשוואה מסוג  תתאר נכונה את הקשר. ליתר דיוק, מניחים שבמדגם הכולל n דגימות , מתקיים הקשר , כאשר a ו-b הם פרמטרים קבועים (שאינם ידועים), ואילו גורמי השגיאה  הם משתנים בלתי תלויים שווי התפלגות, שהתוחלת שלה 0, והשונות שלה, , קבועה (אבל אולי בלתי ידועה). לעיתים רבות מניחים גם כי ההתפלגות של גורמי השגיאה היא נורמלית.
המטרה הראשונה של הרגרסיה הליניארית היא לסייע באמידת Y, כאשר X ידוע. לדוגמה, אם ידוע שגובהם הממוצע של עצי תפוח הוא 6 מטרים, אז ההערכה הטובה ביותר שאפשר לתת לגובהו העתידי של עץ שטרם צמח, היא (מן הסתם) 6 מטרים. לעומת זאת, אם אכן קיים קשר ליניארי בין משקל הזרע לבין גובה העץ, אפשר לנסות להעריך את מקדמי הקשר באמצעות מדגם גדול מספיק. אם שיטת הרגרסיה מנבאת את הקשר , פירושו של דבר שהשתיל שנבט מזרע במשקל 1.5 גרם יצמח לגובה 7 מטרים - ההערכה משתפרת, באמצעות ניצול המידע הנוסף שבמשתנה המסביר X.
את ערכי הפרמטרים a ו-b אומדים, מתוך המדגם, באמצעות שיטת הריבועים הפחותים: מחפשים את המספרים  שעבורם סכום הריבועים  הוא הקטן ביותר. (מן ההנחה שהשגיאה מתפלגת נורמלית, נובע שמספרים אלה מהווים אומד נראות מקסימלית של  ו-). לקו המתקבל מן האומדים יש תכונה שימושית - הוא תמיד עובר דרך נקודת הממוצעים , כלומר, .
חישוב הפרמטרים היסודיים של המדגם (לרבות סטיות התקן של X ושל Y) מאפשר גם לבדוק השערות סטטיסטיות על a ו-b. לדוגמה, אפשר לבדוק את ההשערה , שממנה נובע כי Y אינו תלוי (ליניארית) ב-X. אמנם בכל מדגם מעשי יופיע קשר מסוים בין X ל-Y, אך התורה של בדיקת השערות מאפשרת לזהות מתי קשר זה הוא מקרי בלבד, ומתי הוא מובהק ואינו מקרי.

רגרסיה מרובה

במקרים רבים מבקשים להסביר משתנה יחיד, Y, באמצעות מספר משתנים מסבירים, . לדוגמה, ייתכן שכדי להסביר את גובהו של עץ תפוח, יש להתחשב לא רק במשקל הזרע, אלא גם בכמות המשקעים השנתית במקום שבו הוא גדל, בגובהו של העץ שממנו הגיע הזרע, ובמליחות הקרקע. אם ההשפעה של משתנים אלה על Y היא ליניארית, מודל הרגרסיה יוכל למצוא (כמקודם), את הפרמטרים המגדירים את הקשר הליניארי, ובכך יסייע לשפר את ההערכה של Y עוד יותר.
המודל הבסיסי של הרגרסיה הליניארית גמיש מספיק כדי לאפשר תלות בין המשתנים המסבירים, וניתן לכלול בו גם גורמים שאינם ליניאריים (כמו במודל ). אחד השימושים העיקריים של המודל הוא במדידת הרלוונטיות של משתנה מסביר, באמצעות השוואת המודל הכולל אותו, למודל המסביר את אותה תופעה בלעדיו. הוספת משתנים משפרת את יכולת ההערכה כמעט ללא יוצא מן הכלל, אבל במקרים רבים השיפור הוא אקראי, ואינו נובע מקשר אמיתי בין המשתנים. גורם עיקרי במענה על שאלות מסוג זה מהווה מקדם המתאם המרובה, המסומן , ומתפלג (לאחר תיקון) התפלגות F.

משוואת המודל הליניארי

בהינתן מערכת המשוואות הליניארית: , וקטור פתרונות המערכת, , נגדיר העתקה:  באופן הבא:
.
ברדוקציה על הגדרה זו, אנו למעשה מייצרים פולינום - משתני ממעלה 1, שמקדמיו הם פתרונות המערכת, בתוספת גורם קבוע:
פולינום זה מאפשר לנו לקבל אומדן לכל ערך של משתנה  בטווח הדגימה, דהיינו: , בהינתן כל  ערכים שנבחר למשתנים: .

משוואת הניבוי של המודל הליניארי

המודל המוצג לעיל הוא תאורטי בלבד, ומניח למעשה כי דגמנו מאוכלוסייה בת  פרטים, את כלל הפרטים. במציאות, דגימה של כלל האוכלוסייה לרוב אינה אפשרית, ועל כן נהוג לבנות את משוואת הניבוי באמצעות אומדים למודל הליניארי של האוכלוסייה. במקרה זה, נחפש וקטור פתרונות , עבור המשוואה: .

שימושים של רגרסיה ליניארית

לרגרסיה ליניארית שימוש נרחב במדעי החיים, מדעי החברה ומדעי ההתנהגות לתיאור קשרים אפשריים בין משתנים. היא נחשבת כאחד מהכלים החשובים שנעשה בהם שימוש בדיסציפלינות הללו.

קו מגמה

קו זה מייצג מגמה, תנועה לטווח ארוך לאורך נתונים על ציר הזמן לאחר התחשבות בגורמים אחרים. הוא אומר לנו האם אוסף נתונים מסוים (לדוגמה תמ"ג, מחירי נפט או מחירי מניה) עלה או ירד לאורך תקופת זמן מסוימת. ניתן לצייר קו מגמה בצורה פשוטה יחסית על ידי מבט בתצפיות, אך ליתר דיוק יש לחשב את מיקום הנקודה והשיפוע על ידי כלים סטטיסטיים כמו רגרסיה ליניארית. בדרך כלל קווי מגמה הם קווים ישרים אולם יש וריאציות המשתמשות בפולינומים מדרגה גבוהה התלויים ברמת הקעירות הרצויה.
לעיתים משמשים קווי מגמה בניתוחים עסקיים כדי להראות שינויים במידע לאורך זמן. יש לכך יתרון של פשטות. קווי מגמה משמשים לרוב כדי לטעון שפעולה או אירוע (כמו אימון או מסע פרסום) גרמו לשינויים שניתנים להבחנה בנקודת זמן. זו טכניקה פשוטה שאינה דורשת קבוצת בקרה, תכנון ניסויי או אנליזה מתוחכמת. למרות זאת, הם סובלים מחוסר אמינות מדעית במקרה ששינויים אחרים יכולים להשפיע על הנתונים.

פיננסים

מודל לתמחור נכסי הון (CAPM) משתמש ברגרסיה ליניארית, כמו גם במושג בטא, לניתוח וכימות שיטתיים של הסיכון בהשקעה. הקשר נובע ישירות ממקדם בטא של מודל הרגרסיה הליניארית, שמקשר את תשואת ההשקעה לתשואה מכל הנכסים עם אופי סיכון גבוה.

מדעי הסביבה

ברגרסיה ליניארית נעשה שימוש במגוון רחב של יישומים במדעי הסביבה. בקנדה, "תוכנית הבקרה על ההשפעות הסביבתיות" משתמשת בניתוח סטטיסטי של מחקרים של דגים ושל קרקעית הים למדידת ההשפעות של שפכי עיסה טחונה או מתכות על המערכת הימית האקולוגית.