רגרסיה מקומית

הגדרה של מודל LOESS

שיטת LOESS אשר הוצעה במקור על ידי מדען המחשב האמריקני ויליאם קליבלנד (1979) ופותחה בהרחבה בהמשך על ידי קליבלנד ודבלין (1988), מציינת במיוחד שיטה הידועה גם כרגרסית פולינומים מקומית משוקללת. בכל נקודה בנתונים, מותאם פולינום מדרגה נמוכה לקבוצת משנה של נתונים המכיל ערכים של משתנים מסבירים סביב הנקודה אשר תגובתה מוערכת. הפולינום המותאם, המשתמש בשקלול הריבועים הפחותים, נותן משקל גבוה יותר לנקודות סביב אותה נקודה מגיבה ומוערכת ומשקל מופחת לנקודות הרחוקות ממנה. הערך של פונקציית הרגרסיה עבור אותה נקודה מושג על ידי הערכה של הפולינום המקומי ומשתמש בערכי המשתנים המסבירים עבור אותה נקודה בנתונים.
התאמת ה- LOESS מסתיימת לאחר שערכי פונקציית הרגרסיה חושבו עבור כל אחת מה-N נקודות נתונים. הרבה מהפרטים של שיטה זו, כמו מעלות של המודל הפולינומי והמשקלים הם גמישים. טווח האפשרויות עבור כל חלק של השיטה.

תתי נתונים מקומיים

תתי הנתונים הבאים לידי שימוש בכל התאמה של הריבועים הפחותים המשוקללים למודל LOESS נקבעים על ידי אלגוריתם השכן הקרוב. קלט המשתמש לתהליך נקרא "רוחב פס" או "פרמטר החלקה" וקובע את כמות הנתונים הנמצאים בשימוש כדי להתאים לכל פולינום מקומי. פרמטר ההחלקה, α, הוא מספר בין 1 ל- (λ+1)/n כאשר λ מסמן את מידת הפולינום המקומי. הערך α מציין את החלק של הנתונים המשמשים בכל התאמה. תתי הנתונים הבאים לידי שימוש בכל התאמת ריבועים מופחתים משוקללים כוללים את ה- n×α הנקודות (מעוגלות למספר השלם הגדול הבא אחרי) של ערכי המשתנים המסבירים הקרובים ביותר לנקודה בה התגובה מוערכת.
α נקרא מקדם החלקה מכיוון שהוא שולט בגמישות של פונקציית רגרסיית LOESS. ערכים גבוהים של α יוצרים פונקציית החלקה בעלת תנודתיות נמוכה בתגובה לתנודתיות בנתונים. ה- α הקטן, מסמל את ההתאמה הקרובה ביותר של פונקציית הרגרסיה לנתונים. שימוש בערך קטן מדי של פרמטר החלקה אינו רצוי, עם זאת, שכן פונקציית הרגרסיה בסופו של דבר תתחיל ללכוד את השגיאה האקראית בנתונים. ערכים שימושיים של פונקציית החלקה בדרך כלל משקרים בטווח של 0.25-0.5 עבור מרבית יישומי ה-LOESS.

דרגות של פולינומים מקומיים

הפולינומים המקומיים המתאימים לכל סט של תתי נתונים הם כמעט תמיד מדרגה ראשונה או שנייה, כלומר, ליניארי (במובן של קו ישר) או ריבועי. שימוש בפולינום מדרגה אפס הופך את LOESS לממוצע נע משוקלל.
מודל פשוט מסוג זה יכול לעבוד טוב במצבים מסוימים אבל לא תמיד לאמוד את הפונקציה הבסיסית בצורה מספיק טובה. פולינומים מדרגות גבוהות יותר יעבדו בתאוריה, אבל יניבו מודלים שהם לא באמת ברוח מודל LOESS. LOESS מבוססת על הרעיון שכל פונקציה יכולה להיאמד היטב על ידי פולינום מרמה נמוכה ומודלים פשוטים כאלה יכולים להתאים לנתונים בקלות. פולינומים מדרגה גבוהה יהיו בעלי נטייה להתאמת יתר של הנתונים בכל סט ולאי יציבות מספרית מה שהופך את החישובים המדויקים למסובכים.

פונקציית משקל

כמוזכר לעיל, פונקציית המשקל מחלקת את רוב המשקל לנקודות סביב הנקודה הנאמדת ונותנת פחות משקל לנקודות הרחוקות ממנה. השימוש במשקלים מבוסס על הרעיון שהנקודות הקרובות אחת לשנייה בחלל המשתנים המסבירים נוטות להיות קשורות זו לזו בצורה קלה יותר מאשר הנקודות שרחוקות מחלל זה. בעקבות הגיון זה, נקודות אשר סביר להניח שיעקבו אחרי המודל המקומי בצורה הטובה ביותר ישפיעו על הפרמטר האומד את המודל המקומי בצורה הטובה ביותר. נקודות שסביר להניח שפחות יתאימו למודל המקומי, פחות ישפיעו על הפרמטר האומד של המודל המקומי.
פונקציית המשקל המסורתית בה משתמש מודל LOESS היא פונקציית משקל תלת קובייה:
עם זאת, ניתן להשתמש בכל פונקציית משקל אחרת העונה על המאפיינים שהציג קליבלנד (1979) . המשקל עבור נקודה ספציפית בכל מרחב מקומי של תתי נתונים שהוא, מושג על ידי הערכה של פונקציית המשקל במרחק בין הנקודה הספציפית לנקודת האמידה, לאחר דירוג המרחק כך שהמרחק המקסימלי המוחלט של הנקודות על פני תתי הנתונים הוא בדיוק אחד (1).

יתרונותיו של LOESS

היתרון הגדול של LOESS על פני שיטות אחרות, הוא שלא נדרש מפרט של פונקציה כדי להתאים את המודל לכל הנתונים במדגם. במקום זאת, האנליסט רק נדרש לספק ערך של פרמטר החלקה ואת הדרגה של הפולינום המקומי. בנוסף, LOESS הוא מאוד גמיש, מה שהופך אותו לאידיאלי למידול תהליכים מורכבים שאין עבורם מודלים תאורטיים קיימים. שני יתרונות אלה, בשילוב עם הפשטות של השיטה, הופכים את LOESS לאחת משיטות הרגרסיה המודרניות האטרקטיביות ביותר ליישומים המתאימים למסגרת הכללית של רגרסיית הריבועים הפחותים ובעלי מבנה דטרמיניסטי מורכב.
אף על פי שזה פחות ברור עבור חלק מהשיטות האחרות הקשורות לרגרסיית ריבועים פחותים ליניארית, LOESS גם צובר את רוב ההטבות המשותפות בדרך כלל על ידי תהליכים אלה. החשוב ביותר מאלה זה התאוריה לחישוב אי ודאות לתחזית וכיול. בדיקות רבות אחרות ונהלים המשמשים לתיקוף מודלים ריבועים פחותים יכולות להיות מורחבות למודל LOESS.

חסרונותיו של LOESS

LOESS עושה שימוש פחות יעיל בנתונים מאשר שיטות ריבועים פחותים אחרות. הוא דורש מדגמים של נתונים די גדולים כדי לייצר מודלים טובים, זאת מכיוון ש- LOESS מסתמך על מבנה נתונים מקומי בעת ביצוע ההתאמה המקומית. לפיכך LOESS מספק ניתוח נתונים פחות מורכב בתמורה לעלויות נסיוניות יותר.
חיסרון נוסף של LOESS הוא עצם העובדה שאיננו מספק פונקציית רגרסיה שמיוצגת בקלות על ידי מודל מתמטי, דבר המקשה על העברת תוצאות הניתוחים לאנשים אחרים. כדי להעביר את פונקציית הרגרסיה לאדם אחר, יידרש להעביר לו גם את ערכת הנתונים והתוכנה לחישוב LOESS. ברגרסיה לא ליניארית, מצד שני, יש צורך לרשום את הצורה הפונקציונלית בלבד כדי לספק הערכות של הפרמטרים הלא ידועים והאי ודאות המוערכת.
LOESS היא שיטה עתירת חישובים. LOESS נוטה להשפעות של חריגים על הנתונים הנמדדים, כמו בשיטות ריבועים פחותים אחרות. 
קיימת גם גרסה רובסטית (חזקה) איטרטיבית ל- LOESS ‏(Cleveland 1979) אשר מיועדת לשימוש והפחתת רגישות לחריגים, אך יחד עם זאת, עדיין הרבה מאוד חריגים קיצוניים מסוגלים לבוא לידי ביטוי, על אף השיטה הרובסטית.