מודל לוג-ליניארי

מודל לוג ליניארי משמש בסטטיסטיקה לבחינת מבנה הקשר בין מספר משתנים איכותיים. המודל הוצג לראשונה בשנות ה-60 של המאה העשרים על ידי איבון בישופ.

== מוטיבציה ומודל ללוח שכיחות דו־ממדי==
יהיו <math>X</math> ו-<math>Y</math> שני משתנים מקריים איכותיים כאשר ללא הגבלת הכלליות המשתנה <math>X</math> יכול לקבל את הערכים <math>1,2,...,I</math> והמשתנה <math>Y</math> יכול לקבל את הערכים <math>1,2,...,J</math>.

נתבונן במדגם בגודל <math>n</math> מתוך אוכלוסייה כלשהי, ונסמן ב-<math>n_{ij}</math> את מספר הפרטים במדגם עבורם <math>X=i</math> ו-<math>Y=j</math>. נאמר כי <math>n_{ij}</math> היא השכיחות של התצפיות במדגם עבורן <math>X=i</math> ו-<math>Y=j</math>. הטבלה שבה יש <math>I</math> שורות ו-<math>J</math> עמודות, ובהצטלבות השורה ה-<math>i</math> והעמודה ה-<math>j</math> נמצא המספר <math>n_{ij}</math> נקראת לוח השכיחות של המשתנים <math>X</math> ו-<math>Y</math>. מכיוון שלטבלה יש שני ממדים (אורך ורוחב) לוח השכיחות הוא דו-ממדי. לוח השכיחות הוא למעשה הנתונים שיש לנתח.

כן נסמן ב-<math>n_{i.}</math> את מספר הפרטים במדגם עבורם <math>X=i</math>, וב-<math>n_{.j}</math> נסמן את מספר הפרטים במדגם עבורם <math>Y=j</math>.

אם אין לנו שום ידיעה על ההתפלגות המשותפת של <math>X</math> ושל -<math>Y</math>, אז <math>m_{ij}</math>, תוחלת מספר הפרטים במדגם שעבורם <math>X=1</math> ו- <math>Y=2</math> היא <math>m_{ij}=n \cdot P(x=i, Y=j)</math>.

אם לעומת זאת נניח כי <math>X</math> ו-<math>Y</math> הם משתנים מקריים בלתי תלויים, אז <math>P(X=i,Y=j)=P(X=i) \cdot P(Y=j)</math> לכל <math>i</math> ולכל <math>j</math>, ולכן <math>m_{ij}=n \cdot P(X=i)\cdot P(Y=j)</math>.

אמדים להסתברויות אלה הם <math>\hat{P}(X=i)=\frac{n_{i.}}{n}</math> ו-<math>\hat{P}(Y=j)=\frac{n_{.j}}{n}</math>, ולכן, תחת הנחת אי התלות:
<math display="block">\hat{m}_{ij}=n \cdot \hat{P}(X=i) \cdot \hat{P}(Y=j)=n \cdot \frac {n_{i.}}{n} \cdot \frac {n_{.j}}{n} = \frac{n_{i.} \cdot n_{.j}}{n}</math>

על ידי הפעלת פונקציית הלוגריתם נקבל כי <math>\log \hat{m}_{ij} = \log n_{i.} + \log n_{.j} - \log n</math>.

באגף ימין יש שלושה מחוברים, אחד מהם תלוי ב-<math>X</math> וב-<math>i</math>, השני תלוי ב-<math>Y</math> וב-<math>j</math>, והשלישי אינו תלוי במשתנים או בערכים אלא רק בגודל המדגם.

לכן, מודל מתקבל על הדעת עבור אי התלות בין <math>X</math> ו-<math>Y</math> (בהנחה כי היא מתקיימת) הוא:
<math>\log m_{ij}=\lambda+\lambda^X_i + \lambda^Y_j</math> לכל <math>i</math> ולכל <math>j</math>.

אם לעומת זאת המשתנים אינם בלתי תלויים אז השוויון האחרון אינו נכון, והמודל המתאים הוא
<math>\log m_{ij}=\lambda+\lambda^X_i + \lambda^Y_j + \lambda^{XY}_{ij}</math>כאשר <math>\lambda^{XY}_{ij} \ne 0</math> לפחות עבור זוג <math>ij</math> אחד. מודל זה מכונה "המודל הרווי", מכיוון שהוא תמיד מתאים לנתונים התאמה מלאה. הביטוי <math>\lambda^{XY}_{ij}</math>מבטא את האינטראקציה (יחסי הגומלין) בין <math>X</math> ו-<math>Y</math>.

מכאן ש-<math>X</math> ו-<math>Y</math> הם בלתי תלויים אם ורק אם <math>\lambda^{XY}_{ij}=0</math> לכל <math>i</math> ולכל <math>j</math>.

==אמידת הפרמטרים וטיב ההתאמה==
קל לראות כי כפי שהמודל הרווי הוגדר עבור לוח השכיחות הדו־ממדי, מספר הפרמטרים <math>\lambda</math> גדול באופן משמעותי ממספר הנתונים. יתרה מזו, הערכים הנאמדים של <math>\lambda</math> אינם יכולים לקבל כל ערך אפשרי מכיוון שניתן לבטא בעזרתם את ההסתברויות <math>P(X=i, Y=j)</math> והסתברויות אלה חייבות להסתכם ל-1. גם ההסתברויות <math>P(X=i)</math> חייבות להסתכם ל-1 וכן ההסתברויות <math>P(Y=j)</math>.

לכן יש להשית אילוצים מתאימים על הערכים של ה-<math>\lambda</math>-ות.

מערכת אילוצים אפשרית עבור מודל אי תלות ללוח שכיחות דו־ממדי היא: <math>\sum_i \lambda^X_i=0</math> ו- <math>\sum_j \lambda^Y_j=0</math>. אילוצים אלה הם אנלוגיים לאילוצים <math>\sum_i P(X=i)=1</math> ו-<math>\sum_j P(Y=j)=1</math>. בהינתן אילוצים אלו, למודל יש <math>(I-1)(J-1)</math> דרגות חופש.

כדי לאמוד את הפרמטרים של המודל הרווי יש צורף באילוצים נוספים: <math>\sum_i \lambda^{XY}_{ij}=0</math> לכל <math>j</math>
ו-<math>\sum_j \lambda^{XY}_{ij}=0</math> לכל <math>i</math>. בהינתן אילוצים אלה, למודל הרווי יש 0 דרגות חופש. מאילוצים אלה נובע כי השערת אי התלות בין המשתנים ניתנת לניסוח כ-<math>H_0 \! : \;\; \lambda^{XY}_{11}=0</math>.

אמידת הפרמטרים נעשית בשיטת הנראות המרבית. לאחר מכן ניתן לבחון את טיב ההתאמה של המודל לנתונים בעזרת מבחן חי בריבוע.

בתוכנת R ניתן לאמוד את הפרמטרים של המודלים הלוג ליניאריים בעזרת הפונקציה loglin הזמינה בחבילת הבסיס של התוכנה.

==מודלים ללוח שכיחות תלת־ממדי==
באופן דומה להגדרת לוח השכיחות הדו־ממדי, נוכל להגדיר את לוח השכיחות התלת־ממדי על ידי האוסף <math>n_{ijk}</math>, כאשר זהו מספר התצפיות במדגם עבורן <math>Z=k</math> <math>Y=j</math>, <math>X=i</math>, וכאשר <math>X,Y,Z</math> הם משתנים מקריים המקבלים <math>I,J,K</math>ערכים בהתאמה.

המודל הרווי ללוח שכיחות תלת־ממדי הוא:

ניתן לגזור מודלים שונים עבור ההתפלגות המשותפת של <math>Y</math>, <math>X</math> ו-<math>Z</math> על ידי איפוס גורמי אינטראקציה.

===מודל אי תלות===
מודל אי תלות מתקבל על ידי איפוס כל האינטראקציות:

===מודל אי תלות בין Y ו-Z בהינתן X===
מודל זה מתקבל על ידי איפוס האינטראקציה מסדר 3 <math>\lambda^{XYZ}_{ijk}</math>, וכן על ידי איפוס <math>\lambda^{YZ}_{jk}</math>, האינטראקציה בין <math>Y</math> ו-<math>Z</math>.

המודל הוא

===מודל בו X בלתי תלוי ב-(Y,Z)===
מודל זה מתקבל על ידי איפוס האינטראקציה מסדר 3 <math>\lambda^{XYZ}_{ijk}</math>, וכן על ידי איפוס האינטראקציה בין <math>X</math> ל-<math>Y</math> - <math>\lambda^{XY}_{ij}</math> והאינטראקציה בין <math>X</math> ל-<math>Z</math> - <math>\lambda^{XZ}_{ik}</math>.

המודל הוא

=== אי תלות בזוגות===
על פי מודל זה <math>X</math> ו-<math>Y</math> בלתי תלויים, <math>X</math> ו-<math>Z</math> בלתי תלויים, וגם <math>Y</math> ו-<math>Z</math> בלתי תלויים, אבל <math>Y</math>, <math>X</math> ו-<math>Z</math> יחדיו אינם בלתי תלויים.

מודל זה מתקבל על ידי איפוס האינטראקציות מסדר 2 אך מותיר את האינטראקציה מסדר 3.
המודל הוא

===מודל עם כל האינטראקציות מסדר 2===
מודל זה מתקבל על ידי איפוס האינטראקציה מסדר 3. למודל אין אינטרפרטציה הסתברותית ברורה.
המודל הוא

==הקשר בין המודל הלוג ליניארי ומודל הרגרסיה הלוגיסטית==
קיימת חפיפה בין המודל הלוג ליניארי ומודל הרגרסיה הלוגיסטית במובן שבמקרים מסוימים שני המודלים שקולים. נדגים זאת בעזרת לוח שכיחות דו־ממדי מסדר <math>2 \times J</math>, כלומר המשתנה <math>X</math> מקבל שני ערכים והמשתנה <math>Y</math> מקבל <math>J</math> ערכים.

בהנחה כי <math>X</math> ו-<math>Y</math> בלתי תלויים, מתקיים כי <math>P(X=i|Y=j)=P(X=i)</math> לכל <math>i</math> ולכל <math>j</math>, ובפרט יחס הסיכויים של <math>X</math> בהינתן <math>Y</math> הוא קבוע, כלומר <math>\log \frac {P(X=2|Y=j)} {P(X=1|Y=j)} = \beta_0</math>.

על פי המודל הלוג ליניארי לאי תלות:
{p_{1j}} \\

&= \log \frac{m_{2j}}{m_{1j}} \\

&= \log m_{2j} - \log m_{1j} \\

&= (\lambda + \lambda^X_2 + \lambda^Y_j) - (\lambda + \lambda^X_1 + \lambda^Y_j) \\

&= \lambda^X_2 - \lambda^X_1

\end{align}
</math>
}}

ואכן, קיבלנו כי לוג יחס הסיכויים אינו תלוי ב-<math>Y</math>. יתרה מזאת, מצאנו כי ניתן לבטא את פרמטר הרגרסיה הלוגיסטית <math>\beta_0</math> בעזרת הפרמטרים של המודל הלוג ליניארי: <math>\beta_0 = \lambda^X_2 - \lambda^X_1</math>.

כאשר <math>X</math> ו-<math>Y</math> אינם בלתי תלויים, מודל הרגרסיה הלוגיסטית הוא <math>log \frac{P(X=2|Y)}{P(X=1|Y)} = \beta_0 + \beta_1 Y</math> כלומר לוג יחס הסיכויים תלוי ב-<math>Y</math>.

באופן דומה לפיתוח שנעשה עבור מודל אי התלות, נוכל למצוא כי עבור המודל הרווי:

כלומר לוג יחס הסיכויים הוא סכום של שני מחוברים, אחד מהם אינו תלוי ב-<math>Y</math> והשני תלוי ב-<math>Y</math>.

==לקריאה נוספת==

==הערות שוליים==

קטגוריה:מודלים סטטיסטיים
קטגוריה:ניתוח נתונים איכותיים