מודל spiked covariance

מודל ה   ** spike covariance** הוא מודל סטטיסטי המשמש בהקשר של ניתוח נתונים בממד גבוה. המודל פותח על ידי Iain M. Johnstone בשנת 2001
ובוחן כיצד מספר הערכים עצמיים הגדולים - המכונים "spikes"- במטריצת השונות המשותפת  משפיעים על הערכים העצמיים של מטריצת השונות המשותפת של המדגם. (באנגלית: sample covariance matrix). 

בבעיות מידול רבות נהוג לחשוב שהנתונים מושפעים ממספר רב של גורמים בלתי תלויים וכתוצאה מכך נוצרת מטריצת שונות משותפת בעלת ערכים עצמיים קרובים לאפס המעידים על חוסר תלות של המשתנים האקראים שמרכיבים את הנתונים. עם זאת, נתונים בפועל כוללים לעיתים קרובות כמה אותות או רכיבים דומיננטיים - אלה הם ה"spikes" שגורמים לערכים עצמיים מסוימים להיות גדולים יותר באופן משמעותי מאחרים. 

שאלת המפתח שעליה מבקש **מודל ה- spike covariance** לענות היא: כיצד משפיעים הערכים העצמיים הגדולים הללו (spikes) על המבנה וההתפלגות של הערכים העצמיים של הדגימה כאשר מדובר בניתוח נתונים בממדים גבוהים. הבנה זו חיונית למשימות כגון ניתוח רכיבים עיקריים (PCA), קביעת הממד של הנתונים וזיהוי דפוסים או אותות בתוך מערכי נתונים מורכבים. 
## רקע תאורטי

### מטריצת שונות משותפת של האוכלוסייה
(באנגלית: population covariance matrix)

בסטטיסטיקה רב משתנית   מטריצת השונות המשותפת של האוכלוסייה \Sigma_m מתארת את השונות בין משתנים מרובים על פני האוכלוסייה.
בדרך כלל כאשר מספר התצפיות (n) גדול בהרבה ממספר המשתנים (m), מטריצת השונות של המדגם (באנגלית: sample covariance matrix) מעריכה בצורה מהימנה את מטריצת השונות המשותפת של האוכלוסייה. עם זאת כאשר מספר המשתנים מתקרב למספר התצפיות, כלומר היחס בניהם מקיים : \frac{m}{n} \to \gamma,  n \to \infty הערכה זו לא אמינה.
**מודל ה- spike covariance** פותח כדי לחקור תופעה זו על ידי הכנסת ערכים עצמיים גדולים- spikes.

### הגדרת המודל

**במודל ה- spike covariance** מניחים שלמטריצת השונות המשותפת של האוכלוסייה \Sigma_m יש ערכים עצמיים גדולים l_1, l_2, \dots, l_r המכונים - spikes. יתר הערכים העצמיים שווים זה לזה, לרוב מנורמלים ל-1. באופן מתמטי מטריצת השונות המשותפת של האוכלוסייה \Sigma_m יכולה להכתב כ:

\Sigma_m = U \, \text{diag}(l_1, \dots, l_r, 1, \dots, 1) \, U^\top 

כאשר  l_1 > l_2 > \dots > l_r ו-U מטריצה אוניטרית. 

מטעמי נוחות נוכל להניח ש\Sigma_m אלכסונית. הנחה זו מפשטת את המודל ושומרת על מאפייניו. 

כלומר נוכל להניח:

\Sigma_m = \begin{bmatrix}
l_1 & 0 & \cdots & 0 & 0 & \cdots & 0 \\
0 & l_2 & \cdots & 0 & 0 & \cdots & 0 \\
\vdots & \vdots & \ddots & \vdots & \vdots & \ddots & \vdots \\
0 & 0 & \cdots & l_r & 0 & \cdots & 0 \\
0 & 0 & \cdots & 0 & 1 & \cdots & 0 \\
\vdots & \vdots & \ddots & \vdots & \vdots & \ddots & \vdots \\
0 & 0 & \cdots & 0 & 0 & \cdots & 1
\end{bmatrix}

## ייצוג הנתונים ומטריצת השונות המשותפת של המדגם

### המטריצת הנתונים X

**במודל ה- spike covariance** הדגימות X_1, X_2, \dots, X_n יכולות להיות מוצגות כצירוף ליניארי של אותות הבסיס s_1, s_2, \dots, s_r ורעש. 

כל דגימה X_i יכולה להיות מיוצגת באופן הבא:

X_i = \alpha_i^1 s_1 + \alpha_i^2 s_2 + \dots + \alpha_i^r s_r + \xi_i

כאשר \alpha_i^j מקדמים שנדגמו מהתפלגות נורמלית \alpha_i^j \sim N(0, \sigma^2) ו\xi_i הוא רעש מתוך ה**[[התפלגות נורמלית|ההתפלגות הנורמלית הסטנדרטית]]** \xi_i \sim N(0, I).  

הסיגנלים s_1, s_2, \dots, s_r הם וקטורים ב -\mathbb{R}^m שמייצגים את המבנה הבסיסי בנתונים. 

מטריצת הנתונים  X נוצרת מלקיחת וקטורי הדגימות X_1, X_2, \dots, X_n כעמודות המטריצה:                                                               X = [X_1, X_2, \dots, X_n] = \begin{bmatrix} 
X_{11} & X_{12} & \cdots & X_{1n} \\
X_{21} & X_{22} & \cdots & X_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
X_{m1} & X_{m2} & \cdots & X_{mn}
\end{bmatrix} 

מטריצת הנתונים X ממשמשת לחישוב מטריצת השונות המשותפת של המדגם.

### מטריצת השונות המשותפת של המדגם

מטריצת השונות המשותפת של המדגם (באנגלית : sample covariance matrix) \Sigma_n היא הערכה אמפירית של מטריצת השונות המשותפת של האוכלוסייה \Sigma_m והיא מחושבת באופן הבא: 

\Sigma_n = \frac{1}{n} XX^\top

למטריצה זו תפקיד מרכזי ב**מודל ה- spike covariance** שכן הערכים עצמיים והווקטורים העצמיים שלה מספקים תובנות לגבי זיהוי וניתוח הערכים עצמיים הגדולים של מטריצת השונות המשותפת של האוכלוסייה \Sigma_m.  

נרצה לדעת האם ניתן לזהות את הממד של הסיגנל, r את הערכים העצמיים והווקטורים העצמיים של מטריצת השונות משותפת של האוכלוסייה \Sigma_m מתוך  מטריצת השונות המשותפת של המדגם \Sigma_n.

## ערכים עצמיים של מטריצת השונות המשותפת של המדגם

### התפלגות הערכים העצמיים של מטריצת השונות המשותפת של המדגם <math>\Sigma_n</math>

בממדים גבוהים כאשר מספר הפרמטרים m ומספר הדגימות n שואפים יחד לאינסוף ומתקיים:
\frac{m}{n} \to \gamma,  n \to \infty

0 

הערכים העצמיים של מטריצת השונות משותפת של המדגם \Sigma_n לא בהכרח מתכנסים לאלו של מטריצת השונות משותפת של האוכלוסייה \Sigma_m. נחלק למקרים לפי ממד הסיגנל r: 
* r = 0 : כאשר אין spikes כלומר \Sigma_m היא מטריצת היחידה, הערכים עצמיים של \Sigma_n מתפלגים לפי התפלגות  התפלגות מרצ'נקו פסטור 

* r > 0:  קיימים ערכים עצמיים גדולים הסוטים מההתפלגות של מרצ'נקו פסטור. 
מקרה זה נדון בהרחבה בפרק של מעבר פאזה של ערכים עצמיים.

## מעבר פאזה של ערכים עצמיים

ב**מודל ה- spike covariance** קיים סף שבו מתרחש מעבר פאזה של הערכים העצמיים של מטריצת השונות משותפת של המדגם \Sigma_n. מעבר הפאזה מתרחש כאשר הערכים העצמיים l_j של מטריצת השונות המשותפת של האוכלוסייה \Sigma_m עוברים סף ספציפי שנתון על ידי 1 + \sqrt{\gamma}, כאשר \gamma מייצגת את היחס בין מספר המשתנים m לבין מספר הדגימות n. מעבר הפאזה מציין את הנקודה שבה ההשפעה של הערכים העצמיים הגדולים המכונים- spikes הופכת למשמעותית מספיק כדי לגרום לשינוי בר הבחנה בערך העצמי התואם במטריצת השונות המשותפת של המדגם \Sigma_n. 

הערכים העצמיים של מטריצת המדגם \lambda_i מתנהגים באופן הבא : 

* מתחת לסף (l_i \leq 1 + \sqrt{\gamma}): כאשר הערך העצמי  l_i של המטריצה \Sigma_m הוא בסף או מתחתיו, הערך העצמי התואם לו ב\Sigma_n  -\lambda_i נשאר עם ההתפלגות המרכזית שמתוארת לפי התפלגות מרצ'נקו פסטור כך שאינו בולט ואינו ניתן להבחנה ושיערוך. ערך עצמי זה מתכנס כמעט בוודאות ל: \lambda_i \approx (1 + \sqrt{\gamma})^2

* מעל הסף (l_i > 1 + \sqrt{\gamma}): כאשר הערך העצמי  l_i של המטריצה \Sigma_m הוא מעל הסף, הערך העצמי התואם לו במטריצת המדגם \lambda_i חורג מההתפלגות הראשות ומופיע בנפרד כך שניתן להבחין בו בקלות. הערך העצמי מתכנס כמעט בוודאות ל- \lambda_i \approx l_i + \gamma \frac{l_i}{l_i - 1} .כלומר במקרה זה נקבל ערך עצמי שגדול יותר מערך המקורי. תוצאה זו מצביעה על כך שהערך העצמי בולט החוצה מההתפלגות וזה משקף גורמים בסיסיים מהותיים בנתונים. 

במקרה שמעל הסף (l_i > 1 + \sqrt{\gamma}):  אם נרצה לקבל משערך חסר הטיה ל\ell_i נוכל לחלץ אותו באמצעות פתרון משוואה ריבועית מהמקרה הראשון ולקבל: 

l_i(\lambda_i) = \frac{\lambda_i + 1 - \gamma + \sqrt{(\lambda_i + 1 - \gamma)^2 - 4 \lambda_i}}{2}

לסיכום נקבל התכנסות כמעט בוודאות של הערכים בעצמיים של מטריצת המדגם \lambda_i באופן הבא: 

\lambda_i \overset{a.s.}{\longrightarrow} \begin{cases}
    l_i + \gamma \frac{l_i}{l_i - 1} & \text{if } l_i \geq 1 + \sqrt{\gamma} \\
    (1 + \sqrt{\gamma})^2 & \text{if } l_i \leq 1 + \sqrt{\gamma}
\end{cases} 

מעבר פאזה הוא תכונה מרכזית של המודל שכן הוא מאפשר להבחין בין ערכים עצמיים המשקפים מבנה משמעותי בנתונים ובין אלו שלא. הדבר חשוב במיוחד בניתוח בממדים גבוהים כגון ניותח רכיבים עיקריים שבו זיהוי הרכיבים המשמעותיים הוא חיוני.

## מציאת הווקטורים העצמיים

נרצה להבין האם ניתן לחלץ את הסיגנל s עצמו מתוך \Sigma_n.

כאשר הערך העצמי גדול מ (1 + \sqrt{\gamma}) נוכל לקבל קירוב של s. נקבל אותו עם זווית לפי הקשר הבא: 

 \to \delta_{ij} \sqrt{\frac{1 - \gamma (l_i - 1)^2}{1 + \gamma (l_i - 1)^2}}

כאשר v^{(n)}_1, \ldots, v^{(n)}_m הם הווקטורים העצמיים של  \Sigma_n. כלומר לא נתכנס לסיגנל אלא נקבל שיערוך שלו עם זווית זו. 

כאשר הערך העצמי קטן מ (1 + \sqrt{\gamma}) לא נוכל לקבל מידע רלוונטי על s_j המתאים.

## שימושים

מודל ה spiked covariance הוא כלי יסודי בסטטיסטיקה של ממדים גבוהים ובתורת המטריצות האקראיות, במיוחד עבור ניתוח נתונים שבהם מספר המשתנים גדול בהשוואה למספר התצפיות. למודל זה יש מגוון רחב של יישומים בתחומים שונים.

### ניתוח רכיבים עיקריים
ניתוח רכיבים עיקריים (PCA-ראשי תיבות באנגלית של: Principal Components Analysis) היא שיטה נפוצה לצורך מציאת ייצוג מממד נמוך למידע מממד גבוה (תהליך הנקרא הורדת ממד) ולחילוץ תכונות בניתוח נתונים סטטיסטי. בממדים גבוהים - כאשר מספר המשתנים גדול ביחס למספר התצפיות - PCA הקלאסי מתמודד עם אתגרים בשל הדומיננטיות של הרעש, שיכול לטשטש את המבנה הבסיסי האמיתי של הנתונים. 

כדי להתגבר על האתגרים הללו, מודל ה-spike covariance מייצג את מטריצת השונות המשותפת של האוכלוסייה כסכום של מטריצת זהות (אשר מייצגת את הרעש) והפרעה מדרגה נמוכה (ה-"spike"). גישה זו מספקת הבנה מדויקת יותר של האופן שבו הערכים העצמיים והווקטורים העצמיים של מטריצת השונות המשותפת של המדגם מתנהגים בממדים גבוהים.

היבטים עיקריים של יישום המודל בניתוח רכיבים עיקריים:

* ערכים עצמיים ווקטורים עצמיים: המודל מספק תובנות לגבי ההתפלגות האסימפטוטית של הערכים העצמיים הגדולים ביותר והווקטורים העצמיים התואמים להם של מטריצת השונות המשותפת של המדגם. תובנות אלו חיוניות להבחנה בין רכיבים עיקריים משמעותיים (אותות) לבין אלו הנובעים מרעש.

*קביעת מספר הרכיבים העיקריים: באמצעות ניתוח הספקטרום של הערכים העצמיים במודל הspike covariance, סטטיסטיקאים יכולים לקבוע בצורה מהימנה את המספר האמיתי של הגורמים הבסיסיים או הרכיבים העיקריים בנתונים. 

*הערכה משופרת: המודל מוביל לפיתוח של אומדנים עקביים הן עבור ערכים עצמיים והן עבור וקטורים עצמיים, מה שמשפר את המהימנות של תוצאות ניתוח רכיבים עיקריים בממדים גבוהים. 

*הפחתת ממדיות: על ידי זיהוי מדויק של הרכיבים המשמעותיים, המודל מסייע בהפחתת ממדיות יעילה אשר חיונית להדמיה, דחיסת נתונים והפחתת מורכבות חישובית. 

תרומות רבות בתחום זה כוללות:

*עבודתו של ג'ונסטון (באנגלית :Iain M. Johnstone) אשר היה חלוץ במחקר הערכים העצמיים הגדולים ב-PCA תחת מודל הsike covariance. הוא פיתח את ההתפלגות האסימפטוטית של הערך העצמי הגדול ביותר והראה שהוא מתכנס להתפלגות טרייסי-וידום תחת הנחות מסוימות.

* הניתוח האסימפטוטי של דביש פול (באנגלית: Debashis Paul) : פול הרחיב את ההבנה של הערכים העצמיים והווקטורים העצמיים של מטריצת השונות המשותפת של המדגם בממדים גדולים. עבודתו סיפקה תנאים שבהם הרכיבים העיקריים של מטריצת השונות הצשותפת של המדגם אומדים באופן עקבי את הרכיבים העיקריים של מטריצת השונות המשותפת של האוכלוסה.

*עקביות ודלילות- ג'ונסטון ולו חקרו את העקביות והדלילות של PCA בממדים גבוהים. עבודתם עזרה לשפר את הבהירות והקלות שבה ניתן לפרש את הרכיבים העיקריים.

### עיבוד אותות ותקשורת אלחוטית

בתחום עיבוד אותות ותקשורת אלחוטית, מודל ה-spike covariance משמש ככלי מרכזי לזיהוי והערכת אותות הטמונים ברעש בממדים גבוהים. באמצעות מודל יעיל של קורלציות בין ערוצים, הוא משפר את ניתוח הביצועים במערכות כגון MIMO (תקשורת) . המודל גם משפר אלגוריתמים לעיצוב אלומה (beamforming) והערכת כיוון הגעה (DOA), מה שמוביל לטכניקות עיבוד אותות מדויקות ויעילות יותר.

### פיננסים

בתחום הפיננסים, מודל ה-spike covariance משמש ככלי לשיפור ההערכה של מטריצות שונות משותפת גדולות, שהן חיוניות לאופטימיזציה של תיקי השקעות ולניהול סיכונים. המודל מאפשר זיהוי מדויק יותר של גורמי שוק מרכזיים המשפיעים על תשואות הנכסים, ובכך תורם להערכת סיכונים מערכתיים באופן יעיל יותר. באמצעות התייחסות לקוצים במטריצת השונות, ניתן לשפר את הבנת המבנה הפנימי של התנודות בשוק ולהתאים את האסטרטגיות הפיננסיות בהתאם.

### גנומיקה וביואינפורמטיקה
בתחום הגנומיקה וביואינפורמטיקה, מודל ה-spiked covariance  משמש ככלי חשוב לניתוח נתונים גנטיים בממדים גבוהים, כגון פרופילי ביטוי גנים. המודל מסייע בזיהוי וריאציות גנטיות משמעותיות ובהבנת מבני אוכלוסייה מורכבים. בנוסף, הוא משפר שיטות של ניתוח אשכולות וסיווג במחקרים גנומיים, בכך שהוא מאפשר זיהוי מדויק יותר של דפוסים ותתי-קבוצות בתוך הנתונים.

### למידת מכונה
בתחום למידת המכונה, מודל ה-spiked covariance ממלא תפקיד מרכזי בהבנת אלגוריתמים בממדים גבוהים. המודל מסייע בפיתוח שיטות אשכולות (clustering) אשר מותאמות לממדים גבוהים, על ידי מתן תובנות לגבי המבנה הפנימי של הנתונים. בנוסף, הוא מאפשר ניתוח מעמיק של בעיות כמו התאמת יתר (overfitting) ויכולת הכללה (generalization) של מודלים, ובכך משפר את הביצועים והאמינות של אלגוריתמים בלמידת מכונה.

## ראו גם
מונחים קשורים למודל זה:
* התפלגות מרצ'נקו-פסטור
*מטריצת שונות משותפת 
*מטריצה אקראית  
*ניתוח רכיבים עיקריים 
* ערכים עצמיים ווקטורים עצמיים 

## הערות שוליים

קטגוריה:סטטיסטיקה