וקטור מקרי

בתורת ההסתברות, ובסטטיסטיקה, וקטור מקרי הוא וקטור של משתנים מקריים. לדוגמה, ניתן להתייחס לגיל, לגובה ולמשקל של אדם שנבחר באופן אקראי, כאל וקטור מקרי עם שלושה משתנים מקריים.

== הגדרה תאורטית ==
בהינתן מרחב הסתברות, <math>(\Omega, \mathcal{F}, \Pr)</math>, כאשר <math>\Omega</math> הוא מרחב המדגם, <math>\mathcal{F}</math> היא הסיגמה-אלגברה (קבוצת כל האירועים), ו-<math>\Pr</math> היא מידת ההסתברות (פונקציה המחזירה את ההסתברות עבור כל אירוע). וקטור מקרי הוא פונקציה מדידה המוגדרת על מרחב המדגם ותמונתה נמצאת ב-<math>\mathbb{R}^n</math>,
<math>\operatorname{X}:\Omega\mapsto\R^n</math>, ולכן ניתן לסמנו כוקטור עמודה
<math display="block">\mathbf{X} = \begin{bmatrix} X_{1} \\ \vdots \\ X_{n} \end{bmatrix}</math>
 או כוקטור שורה <math> \mathbf{X} = [X_1,\dots,X_n] </math>, שמרכיביו הם משתנים מקריים, כלומר פונקציות מדידות, <math>X_i:\Omega\mapsto\R</math>, <math>1\leq i \leq n</math>, המוגדרות על אותו מרחב הסתברות, <math>(\Omega, \mathcal{F}, \Pr)</math>.<ref>Billingsley, P. (2017). "Probability and measure". p.183, John Wiley & Sons.</ref>

הווקטור המקרי <math>\operatorname{X}</math> מגדיר את פונקציית מידת ההתפלגות מהסיגמא-אלגברת בורל של המרחב האוקלידי ה-<math>n</math>-י למספר ממשי בין 0 ל-1 <math> \nu : \mathcal{R}^n \mapsto [0,1]</math> באופן הבא:

לכל קבוצת בורל <math>B\in \mathcal{R}^n</math> מתקיים <math display="inline">\nu(B )=\Pr(X^{-1}( B) )</math> (או באופן שקול, <math display="inline">\nu(B)=\Pr(X\in B)</math>.)

במקרה כזה, אם קיימת פונקציה לא שלילית <math>f_X:R^n \mapsto [0,\infty]</math> המקיימת <math>\nu(B)=\int_B f_X \text{d}\lambda_n= \int_B f_X \text{d}x</math>, כאשר האינטגרל הוא אינטגרל לבג
<ref>Billingsley, P. (2017). "Probability and measure". p.213, John Wiley & Sons.</ref> ו-<math>\lambda_n</math> היא מידת לבג, אז <math>f_X</math> היא פונקציית צפיפות של הווקטור המקרי <math>\operatorname{X}</math>.
<ref>Billingsley, P. (2017). "Probability and measure". p.225, John Wiley & Sons.</ref>

== פונקציית ההתפלגות ==
ההתפלגויות של כל אחד מהמשתנים המקריים המרכיבים <math>X_i</math> נקראות התפלגויות שוליות. ההתפלגות המותנית של <math>X_i</math> בהינתן <math>X_j</math>, היא ההתפלגות של <math>X_i</math> כאשר ידוע ערכו של <math>X_j</math>.

פונקציית ההתפלגות המצטברת <math>F_{\mathbf{X}} : \R^n \mapsto [0,1]</math> של וקטור מקרי <math>\mathbf{X}=(X_1,\dots,X_n)^\mathsf{T} </math> מוגדרת על ידי:<ref>Gallager, Robert G. (2013). Stochastic Processes Theory for Applications. p.15, Cambridge University Press. . </ref>

<math>F_X(\mathbf{x})=\Pr(X_1 \leq x_1,...,X_n \leq x_n)</math> כאשר <math>\mathbf{x} = (x_1, \dots, x_n)^\mathsf{T}</math>.

== פעולות על וקטורים מקריים ==
ניתן לבצע עם וקטורים מקריים את אותן פעולות אלגבריות כמו וקטורים לא מקריים: חיבור, חיסור, כפל בסקלר ומכפלות פנימיות.

=== העתקות אפיניות ===
באופן דומה, וקטור מקרי חדש <math>\mathbf{Y}</math> ניתן להגדיר על ידי החלת העתקה אפינית <math>g\colon \mathbb{R}^n \to \mathbb{R}^n</math> על וקטור אקראי <math>\mathbf{X}</math>:

: <math>\mathbf{Y}=\mathbf{A}\mathbf{X}+b</math>, כאשר <math>\mathbf{A}</math> היא מטריצה <math>n \times n</math> ו-<math>b</math> הוא וקטור עמודה <math>n \times 1</math>.

אם <math>\mathbf{A}</math> היא מטריצה הפיכה ו-<math>\textstyle\mathbf{X}</math> משתנה מקרי עם פונקציית צפיפות <math>f_{\mathbf{X}}</math>, אז פונקציית הצפיפות של <math>\mathbf{Y}</math> היא

: <math>f_{\mathbf{Y}}(y)=\frac{f_{\mathbf{X}}(\mathbf{A}^{-1}(y-b))}{|\det\mathbf{A}|}</math>.

=== העתקות הפיכות ===
אם נתונה <math>g</math> העתקה חד-חד ערכית מתת-קבוצה פתוחה <math>\mathcal{D}</math> שֶׁל <math>\mathbb{R}^n</math> על תת-קבוצה <math>\mathcal{R}</math> שֶׁל <math>\mathbb{R}^n</math>, ונניח שלהעתקה <math>g</math> יש נגזרות חלקיות רציפות ב-<math>\mathcal{D}</math> כמו כן, נניח שהיעקוביאן של <math>g</math> לא מתאפס ב - <math>\mathcal{D}</math>. בנוסף נניח כי לווקטור מקרי ממשי <math>\mathbf{X}</math> יש פונקציית צפיפות <math>f_{\mathbf{X}}(\mathbf{x})</math> המקיימת <math> \Pr(\mathbf{X} \in \mathcal{D}) = 1</math>. במקרה כזה, לווקטור המקרי <math>\mathbf{Y}=g(\mathbf{X})</math> יש פונקציית צפיפות

: <math>\left. f_{\mathbf{Y}}(\mathbf{y})=\frac{f_{\mathbf{Z}}(\mathbf{z})}{\left |\det\frac{\partial \mathbf{z}}{\partial \mathbf{y}}\right |} \right |_{\mathbf{z}=g^{-1}(\mathbf{y})} \mathbf{1}(\mathbf{y} \in R_\mathbf{Y})</math>

כאשר <math>\mathbf{1}</math> היא פונקציה מציינת ו-<math>R_\mathbf{Y} = \{ \mathbf{y} = g(\mathbf{x}): f_{\mathbf{X}}(\mathbf{x}) > 0 \} \subseteq \mathcal{R} </math> הוא התומך של <math>\mathbf{Y}</math>.<ref>Lapidoth, Amos (2009). A Foundation in Digital Communication. Cambridge University Press. p. 290-291 .</ref>

== התוחלת ==
התוחלת של וקטור מקרי הוא וקטור <math>\operatorname{E}[\mathbf{X}]</math> שרכיביו הם התוחלות של המשתנים המקריים, רכיביו של <math>\mathbf{X}</math>.<ref>Gubner, John A. (2006). Probability and Random Processes for Electrical and Computer Engineers. Cambridge University Press. p.333 .</ref>
<math display="block">\operatorname{E}[\mathbf{X}] = \begin{bmatrix} \operatorname{E}[X_{1}] \\ \vdots \\\operatorname{E} [X_{n}] \end{bmatrix}</math>
== שונות ושונות משותפת ==
=== הגדרות ===
מטריצת השונות של הווקטור המקרי <math>\mathbf{X}</math>, שנסמנה ב-<math>\operatorname{Var}(\mathbf{X})</math> (נקראת גם מומנט מרכזי שני) היא מטריצה <math>n \times n</math> שרכיבה ה-(i,j) הוא <math>\operatorname{Cov}(X_i, X_j)</math> שהיא השונות המשותפת בין המשתנים המקריים <math>X_i</math> ו-<math>X_j</math> (שימו לב <math>\operatorname{Cov}(X_i,X_i)=\operatorname{Var}(X_i)</math>.)
<math display="block"> \boldsymbol \operatorname{Var}(\operatorname{X})= \begin{bmatrix}
{\operatorname{Var} \left (X_{1} \right)} & \operatorname{Cov} \left (X_{1},X_{2} \right) & \operatorname{Cov} \left (X_{1},X_{3} \right) & \cdots & \operatorname{Cov} \left (X_{1},X_{n)} \right) \\
\operatorname{Cov} \left (X_{2},X_{1} \right) & \operatorname{Var} \left(X_{2} \right) & \operatorname{Cov} \left(X_{2},X_{3} \right) & \cdots & \operatorname{Cov} \left(X_{2},X_{n} \right) \\
\operatorname{Cov}\left (X_{3},X_{1} \right) & \operatorname{Cov} \left (X_{3},X_{2} \right) & \operatorname{Var} \left (X_{3} \right) & \cdots & \operatorname{Cov} \left (X_{3},X_{n} \right) \\
\vdots & \vdots & \vdots & \ddots & \vdots \\
\operatorname{Cov} \left (X_{n},X_{1} \right) & \operatorname{Cov} \left (X_{n},X_{2} \right) & \operatorname{Cov} \left (X_{n},X_{3} \right) & \cdots & \operatorname{Var} \left (X_{n} \right) \\
\end{bmatrix}~.</math>
 מטריצת השונות היא <math>\operatorname{Var}(\mathbf{X})=\operatorname{E}\mathbf{X}-\operatorname{E}[\mathbf{X}
 [\mathbf{X}-\operatorname{E}[ \mathbf{X}]]^T ]</math>. לאחר פיתוח של הביטוי ניתן לקבל שמתקיים, <math>\operatorname{Var}(\mathbf{X})=
 \operatorname{E}[\mathbf{X}\mathbf{X}^T ]-
 \operatorname{E}[\mathbf{X}]\operatorname{E}[\mathbf{X}]^T</math>.

מטריצת השונות המשותפת בין שני וקטורים מקריים <math>\mathbf{X}</math> ו-<math>\mathbf{Y}</math> (ל-<math>\mathbf{X}</math> שיש <math>n</math> רכיבים ול-<math>\mathbf{Y}</math> יש <math>p</math> רכיבים) שנסמנה <math>\operatorname{Cov}(\mathbf{X},\mathbf{Y})</math> היא מטריצה <math>n \times p</math> כאשר הרכיב ה-<math>(i,j)</math> הוא <math>\operatorname{Cov}(X_i,X_j)</math>, שהיא השונות המשותפת בין <math>X_i</math> ל-<math>X_j</math>:

<math display="block"> \boldsymbol \operatorname{Cov}(\operatorname{X},\operatorname{Y})= \begin{bmatrix}
{\operatorname{Cov} \left (X_{1},Y_{1} \right)} & \operatorname{Cov} \left (X_{1},Y_{2} \right) & \operatorname{Cov} \left (X_{1},Y_{3} \right) & \cdots & \operatorname{Cov} \left (X_{1},Y_{p)} \right) \\
\operatorname{Cov} \left (X_{2},Y_{1} \right) & \operatorname{Cov} \left(X_{2},Y_{2} \right) & \operatorname{Cov} \left(X_{2},Y_{3} \right) & \cdots & \operatorname{Cov} \left(X_{2},Y_{p}\right) \\
\vdots & \vdots & \vdots & \ddots & \vdots \\
\operatorname{Cov} \left (X_{n},X_{1} \right) & \operatorname{Cov} \left (X_{n},X_{2} \right) & \operatorname{Cov} \left (X_{n},X_{3} \right) & \cdots & \operatorname{Cov} \left (X_{n},Y_{p} \right) \\
\end{bmatrix}~.</math>

מתקיים: <math display="inline">\operatorname{Cov}(\mathbf{X},\mathbf{Y})=
\operatorname{E}\mathbf{X}-\operatorname{E}[\mathbf{X}] ] [\mathbf{Y}-\operatorname{E}[\mathbf{Y}^T]
=\operatorname{E}[\mathbf{X}\mathbf{Y}^T]-\operatorname{E}[\mathbf{X}]\operatorname{E}[\mathbf{Y}]^T</math>.
=== תכונות ===
* מטריצת השונות היא מטריצה סימטרית, <math display="inline">\operatorname{Var}(\mathbf{X})^T =\operatorname{Var}(\mathbf{X})</math>.
* מטריצת השונות היא מטריצה חיובית למחצה, כלומר, לכל <math>\mathbf{a} \in \mathbb{R}^n</math> מתקיים, <math display="inline">\mathbf{a}^T \operatorname{Var}(\mathbf{X})\mathbf{a} \ge 0</math>.
* מטריצת השונות המשותפת <math>\operatorname{Cov}(\mathbf{Y},\mathbf{X})</math> היא המטריצה המשוחלפת של המטריצה <math>\operatorname{Cov}(\mathbf{X},\mathbf{Y})</math>, כלומר, <math display="inline">\operatorname{Cov}(\mathbf{Y},\mathbf{X}) = \operatorname{Cov}(\mathbf{X},\mathbf{Y})^T</math>.

=== וקטורים מקריים לא מתואמים ===
שני וקטורים מקריים <math>\mathbf{X}=(X_1,...,X_m)^T </math> ו - <math>\mathbf{Y}=(Y_1,...,Y_n)^T </math> נקראים לא מתואמים אם <math display="inline">\operatorname{E}[\mathbf{X} \mathbf{Y}^T] = \operatorname{E}[\mathbf{X}]\operatorname{E}[\mathbf{Y}]^T</math>.

הם אינם מתואמים אם ורק אם מטריצת השונות המשותפת שלהם <math>\operatorname{Cov}(\mathbf{X},\mathbf{Y})</math> היא מטריצת האפס.

== אורתוגונליות ==
שני וקטורים מקריים <math>\mathbf{X}=(X_1,...,X_n)^T </math> ו-<math>\mathbf{Y}=(Y_1,...,Y_n)^T </math> נקראים אורתוגונליים אם, <math display="inline">\operatorname{E}[\mathbf{X}^T \mathbf{Y}] = 0</math>.

== אי-תלות ==
שני וקטורים אקראיים <math>\mathbf{X}</math> ו-<math>\mathbf{Y}</math> נקראים בלתי-תלויים אם לכל <math>\mathbf{x}</math> ו-<math>\mathbf{y}</math> מתקיים, <math display="inline">F_{\mathbf{X,Y}}(\mathbf{x,y}) = F_{\mathbf{X}}(\mathbf{x}) \cdot F_{\mathbf{Y}}(\mathbf{y})</math>, כאשר <math>F_{\mathbf{X}}(\mathbf{x})</math> ו-<math>F_{\mathbf{Y}}(\mathbf{y})</math> הן פונקציות ההתפלגות המצטברות של <math>\mathbf{X}</math> ו-<math>\mathbf{Y}</math> ו-<math>F_{\mathbf{X,Y}}(\mathbf{x,y})</math> מציין את פונקציית ההתפלגות המצטברת המשותפת שלהם. אי-תלות של <math>\mathbf{X}</math> ו-<math>\mathbf{Y}</math> ניתנת לסימון על ידי <math>\mathbf{X} \perp\!\!\!\perp \mathbf{Y}</math>.

== פונקציה אופיינית ==
הפונקציה האופיינית של וקטור מקרי <math> \mathbf{X} </math> עם <math> n </math> רכיבים היא פונקציה <math>\mathbb{R}^n \to \mathbb{C}</math> שממפה כל וקטור <math>\mathbf{\omega} = (\omega_1,\ldots,\omega_n)^T</math> למספר מרוכב<ref>Lapidoth, Amos (2009). A Foundation in Digital Communication. Cambridge University Press. p.468. .</ref>:

: <math> \varphi_{\mathbf{X}}(\mathbf{\omega}) = \operatorname{E} \left [ e^{i(\mathbf{\omega}^T \mathbf{X})} \right ] = \operatorname{E} \left [ e^{i(\omega_1 X_1 + \ldots + \omega_n X_n)} \right ]</math>.

== יישומים ==
=== התאוריה של תיקי השקעות ===
בתאוריה של תיקי השקעות, המטרה היא לרוב לבחור בתיק עם מגוון נכסים כך שלתשואה של התיק יש את מאפיינים הרצויים. לדוגמה, ייתכן שתרצה לבחור בתיק עם תשואה בעלת השונות הנמוכה ביותר. כאן הווקטור המקרי הוא הווקטור <math>\mathbf{r}</math> של התשואות על רשימה של נכסים, ותשואת התיק p (סקלר מקרי) היא המכפלה הפנימית של וקטור התשואות עם וקטור משקלים w- לפי החלוקת העלות של של הנכסים השונים. במקרה כזה, <math>p=w^T \mathbf{r}</math>, היא תשואת התיק. תוחלת התשואה היא <math>w^T\operatorname{E} (\mathbf{r})</math> וניתן להראות שהשונות של תשואת התיק היא <math>w^TC w</math>, כאשר <math>C </math> היא מטריצת השונות של <math>\mathbf{r}</math>.

=== רגרסיה ליניארית ===
ברגרסיה הליניארית, יש לנו נתונים על n תצפיות על משתנה תלוי y ו-n תצפיות על כל אחד מ-k משתנים בלתי תלויים. התצפיות על המשתנה התלוי הן הרכיבים של ווקטור y ; התצפיות על כל משתנה בלתי תלוי מהוות את הרכיבים של וקטורי עמודות, שמהווים את העמודות למטריצה X (לא מציינת וקטור מקרי בהקשר זה) של התצפיות על המשתנים הבלתי תלויים. משוואת הרגרסיה הבאה היא מודל עבור התהליך שייצר את הנתונים:

: <math display="block">,y = X \beta + e</math>

כאשר β הוא וקטור קבוע אך לא ידוע של <math>k</math> מקדמים, ו-<math>e</math> הוא וקטור מקרי לא ידוע המשקף טעויות אקראיות בערכי המשתנה התלוי. ישנן מגוון של שיטות (למשל: שיטת הריבועים הפחותים) לאמוד את הווקטור β באמצעות וקטור <math>\hat \beta</math>, ואת הווקטור <math>e</math> באמצעות <math>\hat e</math>, המקיימים <math display="inline">.\hat e = y - X \hat \beta</math>לאחר מכן סטטיסטיקאים מנתחים את המאפיינים של <math>\hat \beta</math> ו-<math>\hat e</math>, שהם ווקטורים מקריים שכן הם פונקציה של התצפיות שמהוות את הווקטור y.

=== סדרות עתיות וקטוריות ===
את ההשתנות של וקטור מקרי <math>\mathbf{X}</math> לאורך זמן ניתן לעיתים לתאר באמצעות מודל של אוטורגרסיה וקטורית באופן הבא:

: <math>\mathbf{X}_t = c + A_1 \mathbf{X}_{t-1} + A_2 \mathbf{X}_{t-2} + \cdots + A_p \mathbf{X}_{t-p} + \mathbf{e}_t, \, </math>

<math>\mathbf{X}_{t-i}</math> הוא וקטור מקרי המבטא תצפית שקרתה <math>i</math> יחידות זמן לפני זמן <math>t</math>, <math>c</math> הוא וקטור של קבועים, A <sub>i</sub> היא מטריצה קבועה בזמן ו-<math>\mathbf{e}_t</math> הוא וקטור מקרי של שגיאות.

==קישורים חיצוניים==
* 

==הערות שוליים==

קטגוריה:סטטיסטיקה
קטגוריה:תורת ההסתברות