וקטור מקרי

בתורת ההסתברות, ובסטטיסטיקה, וקטור מקרי הוא וקטור של משתנים מקריים. לדוגמה, ניתן להתייחס לגיל, לגובה ולמשקל של אדם שנבחר באופן אקראי, כאל וקטור מקרי עם שלושה משתנים מקריים. בהינתן מרחב הסתברות, ( Ω , F , Pr ) {\displaystyle (\Omega ,{\mathcal {F}},\Pr )} , כאשר Ω {\displaystyle \Omega } הוא מרחב המדגם, F {\displaystyle {\mathcal {F}}} היא הסיגמה-אלגברה (קבוצת כל האירועים), ו- Pr {\displaystyle \Pr } היא מידת ההסתברות (פונקציה המחזירה את ההסתברות עבור כל אירוע). וקטור מקרי הוא פונקציה מדידה המוגדרת על מרחב המדגם ותמונתה נמצאת ב- R n {\displaystyle \mathbb {R} ^{n}} , X : Ω ↦ R n {\displaystyle \operatorname {X} :\Omega \mapsto \mathbb {R} ^{n}} , ולכן ניתן לסמנו כוקטור עמודה X = [ X 1 ⋮ X n ] {\displaystyle \mathbf {X} ={\begin{bmatrix}X_{1}\\\vdots \\X_{n}\end{bmatrix}}} או כוקטור שורה X = [ X 1 , … , X n ] {\displaystyle \mathbf {X} =[X_{1},\dots ,X_{n}]} , שמרכיביו הם משתנים מקריים, כלומר פונקציות מדידות, X i : Ω ↦ R {\displaystyle X_{i}:\Omega \mapsto \mathbb {R} } , 1 ≤ i ≤ n {\displaystyle 1\leq i\leq n} , המוגדרות על אותו מרחב הסתברות, ( Ω , F , Pr ) {\displaystyle (\Omega ,{\mathcal {F}},\Pr )} . הווקטור המקרי X {\displaystyle \operatorname {X} } מגדיר את פונקציית מידת ההתפלגות מהסיגמא-אלגברת בורל של המרחב האוקלידי ה- n {\displaystyle n} -י למספר ממשי בין 0 ל-1 ν : R n ↦ [ 0 , 1 ] {\displaystyle \nu :{\mathcal {R}}^{n}\mapsto [0,1]} באופן הבא: לכל קבוצת בורל B ∈ R n {\displaystyle B\in {\mathcal {R}}^{n}} מתקיים ν ( B ) = Pr ( X − 1 ( B ) ) {\textstyle \nu (B)=\Pr(X^{-1}(B))} (או באופן שקול, ν ( B ) = Pr ( X ∈ B ) {\textstyle \nu (B)=\Pr(X\in B)} .) במקרה כזה, אם קיימת פונקציה לא שלילית f X : R n ↦ [ 0 , ∞ ] {\displaystyle f_{X}:R^{n}\mapsto [0,\infty ]} המקיימת ν ( B ) = ∫ B f X d λ n = ∫ B f X d x {\displaystyle \nu (B)=\int _{B}f_{X}{\text{d}}\lambda _{n}=\int _{B}f_{X}{\text{d}}x} , כאשר האינטגרל הוא אינטגרל לבג ו- λ n {\displaystyle \lambda _{n}} היא מידת לבג, אז f X {\displaystyle f_{X}} היא פונקציית צפיפות של הווקטור המקרי X {\displaystyle \operatorname {X} } . ההתפלגויות של כל אחד מהמשתנים המקריים המרכיבים X i {\displaystyle X_{i}} נקראות התפלגויות שוליות. ההתפלגות המותנית של X i {\displaystyle X_{i}} בהינתן X j {\displaystyle X_{j}} , היא ההתפלגות של X i {\displaystyle X_{i}} כאשר ידוע ערכו של X j {\displaystyle X_{j}} . פונקציית ההתפלגות המצטברת F X : R n ↦ [ 0 , 1 ] {\displaystyle F_{\mathbf {X} }:\mathbb {R} ^{n}\mapsto [0,1]} של וקטור מקרי X = ( X 1 , … , X n ) T {\displaystyle \mathbf {X} =(X_{1},\dots ,X_{n})^{\mathsf {T}}} מוגדרת על ידי: F X ( x ) = Pr ( X 1 ≤ x 1 , . . . , X n ≤ x n ) {\displaystyle F_{X}(\mathbf {x} )=\Pr(X_{1}\leq x_{1},...,X_{n}\leq x_{n})} כאשר x = ( x 1 , … , x n ) T {\displaystyle \mathbf {x} =(x_{1},\dots ,x_{n})^{\mathsf {T}}} . ניתן לבצע עם וקטורים מקריים את אותן פעולות אלגבריות כמו וקטורים לא מקריים: חיבור, חיסור, כפל בסקלר ומכפלות פנימיות. באופן דומה, וקטור מקרי חדש Y {\displaystyle \mathbf {Y} } ניתן להגדיר על ידי החלת העתקה אפינית g : R n → R n {\displaystyle g\colon \mathbb {R} ^{n}\to \mathbb {R} ^{n}} על וקטור אקראי X {\displaystyle \mathbf {X} } : Y = A X + b {\displaystyle \mathbf {Y} =\mathbf {A} \mathbf {X} +b} , כאשר A {\displaystyle \mathbf {A} } היא מטריצה n × n {\displaystyle n\times n} ו- b {\displaystyle b} הוא וקטור עמודה n × 1 {\displaystyle n\times 1} . אם A {\displaystyle \mathbf {A} } היא מטריצה הפיכה ו- X {\displaystyle \textstyle \mathbf {X} } משתנה מקרי עם פונקציית צפיפות f X {\displaystyle f_{\mathbf {X} }} , אז פונקציית הצפיפות של Y {\displaystyle \mathbf {Y} } היא f Y ( y ) = f X ( A − 1 ( y − b ) ) | det A | {\displaystyle f_{\mathbf {Y} }(y)={\frac {f_{\mathbf {X} }(\mathbf {A} ^{-1}(y-b))}{|\det \mathbf {A} |}}} . אם נתונה g {\displaystyle g} העתקה חד-חד ערכית מתת-קבוצה פתוחה D {\displaystyle {\mathcal {D}}} שֶׁל R n {\displaystyle \mathbb {R} ^{n}} על תת-קבוצה R {\displaystyle {\mathcal {R}}} שֶׁל R n {\displaystyle \mathbb {R} ^{n}} , ונניח שלהעתקה g {\displaystyle g} יש נגזרות חלקיות רציפות ב- D {\displaystyle {\mathcal {D}}} כמו כן, נניח שהיעקוביאן של g {\displaystyle g} לא מתאפס ב - D {\displaystyle {\mathcal {D}}} . בנוסף נניח כי לווקטור מקרי ממשי X {\displaystyle \mathbf {X} } יש פונקציית צפיפות f X ( x ) {\displaystyle f_{\mathbf {X} }(\mathbf {x} )} המקיימת Pr ( X ∈ D ) = 1 {\displaystyle \Pr(\mathbf {X} \in {\mathcal {D}})=1} . במקרה כזה, לווקטור המקרי Y = g ( X ) {\displaystyle \mathbf {Y} =g(\mathbf {X} )} יש פונקציית צפיפות f Y ( y ) = f Z ( z ) | det ∂ z ∂ y | | z = g − 1 ( y ) 1 ( y ∈ R Y ) {\displaystyle \left.f_{\mathbf {Y} }(\mathbf {y} )={\frac {f_{\mathbf {Z} }(\mathbf {z} )}{\left|\det {\frac {\partial \mathbf {z} }{\partial \mathbf {y} }}\right|}}\right|_{\mathbf {z} =g^{-1}(\mathbf {y} )}\mathbf {1} (\mathbf {y} \in R_{\mathbf {Y} })} כאשר 1 {\displaystyle \mathbf {1} } היא פונקציה מציינת ו- R Y = { y = g ( x ) : f X ( x ) > 0 } ⊆ R {\displaystyle R_{\mathbf {Y} }=\{\mathbf {y} =g(\mathbf {x} ):f_{\mathbf {X} }(\mathbf {x} )>0\}\subseteq {\mathcal {R}}} הוא התומך של Y {\displaystyle \mathbf {Y} } . התוחלת של וקטור מקרי הוא וקטור E ⁡ [ X ] {\displaystyle \operatorname {E} [\mathbf {X} ]} שרכיביו הם התוחלות של המשתנים המקריים, רכיביו של X {\displaystyle \mathbf {X} } . E ⁡ [ X ] = [ E ⁡ [ X 1 ] ⋮ E ⁡ [ X n ] ] {\displaystyle \operatorname {E} [\mathbf {X} ]={\begin{bmatrix}\operatorname {E} [X_{1}]\\\vdots \\\operatorname {E} [X_{n}]\end{bmatrix}}} מטריצת השונות של הווקטור המקרי X {\displaystyle \mathbf {X} } , שנסמנה ב- Var ⁡ ( X ) {\displaystyle \operatorname {Var} (\mathbf {X} )} (נקראת גם מומנט מרכזי שני) היא מטריצה n × n {\displaystyle n\times n} שרכיבה ה-(i,j) הוא Cov ⁡ ( X i , X j ) {\displaystyle \operatorname {Cov} (X_{i},X_{j})} שהיא השונות המשותפת בין המשתנים המקריים X i {\displaystyle X_{i}} ו- X j {\displaystyle X_{j}} (שימו לב Cov ⁡ ( X i , X i ) = Var ⁡ ( X i ) {\displaystyle \operatorname {Cov} (X_{i},X_{i})=\operatorname {Var} (X_{i})} .) Var ( X ) = [ Var ⁡ ( X 1 ) Cov ⁡ ( X 1 , X 2 ) Cov ⁡ ( X 1 , X 3 ) ⋯ Cov ⁡ ( X 1 , X n ) ) Cov ⁡ ( X 2 , X 1 ) Var ⁡ ( X 2 ) Cov ⁡ ( X 2 , X 3 ) ⋯ Cov ⁡ ( X 2 , X n ) Cov ⁡ ( X 3 , X 1 ) Cov ⁡ ( X 3 , X 2 ) Var ⁡ ( X 3 ) ⋯ Cov ⁡ ( X 3 , X n ) ⋮ ⋮ ⋮ ⋱ ⋮ Cov ⁡ ( X n , X 1 ) Cov ⁡ ( X n , X 2 ) Cov ⁡ ( X n , X 3 ) ⋯ Var ⁡ ( X n ) ]   . {\displaystyle {\boldsymbol {\operatorname {Var} }}(\operatorname {X} )={\begin{bmatrix}{\operatorname {Var} \left(X_{1}\right)}&\operatorname {Cov} \left(X_{1},X_{2}\right)&\operatorname {Cov} \left(X_{1},X_{3}\right)&\cdots &\operatorname {Cov} \left(X_{1},X_{n)}\right)\\\operatorname {Cov} \left(X_{2},X_{1}\right)&\operatorname {Var} \left(X_{2}\right)&\operatorname {Cov} \left(X_{2},X_{3}\right)&\cdots &\operatorname {Cov} \left(X_{2},X_{n}\right)\\\operatorname {Cov} \left(X_{3},X_{1}\right)&\operatorname {Cov} \left(X_{3},X_{2}\right)&\operatorname {Var} \left(X_{3}\right)&\cdots &\operatorname {Cov} \left(X_{3},X_{n}\right)\\\vdots &\vdots &\vdots &\ddots &\vdots \\\operatorname {Cov} \left(X_{n},X_{1}\right)&\operatorname {Cov} \left(X_{n},X_{2}\right)&\operatorname {Cov} \left(X_{n},X_{3}\right)&\cdots &\operatorname {Var} \left(X_{n}\right)\\\end{bmatrix}}~.} מטריצת השונות היא Var ⁡ ( X ) = E ⁡ [ [ X − E ⁡ [ X ] ] [ X − E ⁡ [ X ] ] T ] {\displaystyle \operatorname {Var} (\mathbf {X} )=\operatorname {E} [[\mathbf {X} -\operatorname {E} [\mathbf {X} ]][\mathbf {X} -\operatorname {E} [\mathbf {X} ]]^{T}]} . לאחר פיתוח של הביטוי ניתן לקבל שמתקיים, Var ⁡ ( X ) = E ⁡ [ X X T ] − E ⁡ [ X ] E ⁡ [ X ] T {\displaystyle \operatorname {Var} (\mathbf {X} )=\operatorname {E} [\mathbf {X} \mathbf {X} ^{T}]-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{T}} . מטריצת השונות המשותפת בין שני וקטורים מקריים X {\displaystyle \mathbf {X} } ו- Y {\displaystyle \mathbf {Y} } (ל- X {\displaystyle \mathbf {X} } שיש n {\displaystyle n} רכיבים ול- Y {\displaystyle \mathbf {Y} } יש p {\displaystyle p} רכיבים) שנסמנה Cov ⁡ ( X , Y ) {\displaystyle \operatorname {Cov} (\mathbf {X} ,\mathbf {Y} )} היא מטריצה n × p {\displaystyle n\times p} כאשר הרכיב ה- ( i , j ) {\displaystyle (i,j)} הוא Cov ⁡ ( X i , X j ) {\displaystyle \operatorname {Cov} (X_{i},X_{j})} , שהיא השונות המשותפת בין X i {\displaystyle X_{i}} ל- X j {\displaystyle X_{j}} : Cov ( X , Y ) = [ Cov ⁡ ( X 1 , Y 1 ) Cov ⁡ ( X 1 , Y 2 ) Cov ⁡ ( X 1 , Y 3 ) ⋯ Cov ⁡ ( X 1 , Y p ) ) Cov ⁡ ( X 2 , Y 1 ) Cov ⁡ ( X 2 , Y 2 ) Cov ⁡ ( X 2 , Y 3 ) ⋯ Cov ⁡ ( X 2 , Y p ) ⋮ ⋮ ⋮ ⋱ ⋮ Cov ⁡ ( X n , X 1 ) Cov ⁡ ( X n , X 2 ) Cov ⁡ ( X n , X 3 ) ⋯ Cov ⁡ ( X n , Y p ) ]   . {\displaystyle {\boldsymbol {\operatorname {Cov} }}(\operatorname {X} ,\operatorname {Y} )={\begin{bmatrix}{\operatorname {Cov} \left(X_{1},Y_{1}\right)}&\operatorname {Cov} \left(X_{1},Y_{2}\right)&\operatorname {Cov} \left(X_{1},Y_{3}\right)&\cdots &\operatorname {Cov} \left(X_{1},Y_{p)}\right)\\\operatorname {Cov} \left(X_{2},Y_{1}\right)&\operatorname {Cov} \left(X_{2},Y_{2}\right)&\operatorname {Cov} \left(X_{2},Y_{3}\right)&\cdots &\operatorname {Cov} \left(X_{2},Y_{p}\right)\\\vdots &\vdots &\vdots &\ddots &\vdots \\\operatorname {Cov} \left(X_{n},X_{1}\right)&\operatorname {Cov} \left(X_{n},X_{2}\right)&\operatorname {Cov} \left(X_{n},X_{3}\right)&\cdots &\operatorname {Cov} \left(X_{n},Y_{p}\right)\\\end{bmatrix}}~.} מתקיים: Cov ⁡ ( X , Y ) = E ⁡ [ [ X − E ⁡ [ X ] ] [ Y − E ⁡ [ Y ] ] T ] = E ⁡ [ X Y T ] − E ⁡ [ X ] E ⁡ [ Y ] T {\textstyle \operatorname {Cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {E} [[\mathbf {X} -\operatorname {E} [\mathbf {X} ]][\mathbf {Y} -\operatorname {E} [\mathbf {Y} ]]^{T}]=\operatorname {E} [\mathbf {X} \mathbf {Y} ^{T}]-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {Y} ]^{T}} . מטריצת השונות היא מטריצה סימטרית, Var ⁡ ( X ) T = Var ⁡ ( X ) {\textstyle \operatorname {Var} (\mathbf {X} )^{T}=\operatorname {Var} (\mathbf {X} )} . מטריצת השונות היא מטריצה חיובית למחצה, כלומר, לכל a ∈ R n {\displaystyle \mathbf {a} \in \mathbb {R} ^{n}} מתקיים, a T Var ⁡ ( X ) a ≥ 0 {\textstyle \mathbf {a} ^{T}\operatorname {Var} (\mathbf {X} )\mathbf {a} \geq 0} . מטריצת השונות המשותפת Cov ⁡ ( Y , X ) {\displaystyle \operatorname {Cov} (\mathbf {Y} ,\mathbf {X} )} היא המטריצה המשוחלפת של המטריצה Cov ⁡ ( X , Y ) {\displaystyle \operatorname {Cov} (\mathbf {X} ,\mathbf {Y} )} , כלומר, Cov ⁡ ( Y , X ) = Cov ⁡ ( X , Y ) T {\textstyle \operatorname {Cov} (\mathbf {Y} ,\mathbf {X} )=\operatorname {Cov} (\mathbf {X} ,\mathbf {Y} )^{T}} . שני וקטורים מקריים X = ( X 1 , . . . , X m ) T {\displaystyle \mathbf {X} =(X_{1},...,X_{m})^{T}} ו - Y = ( Y 1 , . . . , Y n ) T {\displaystyle \mathbf {Y} =(Y_{1},...,Y_{n})^{T}} נקראים לא מתואמים אם E ⁡ [ X Y T ] = E ⁡ [ X ] E ⁡ [ Y ] T {\textstyle \operatorname {E} [\mathbf {X} \mathbf {Y} ^{T}]=\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {Y} ]^{T}} . הם אינם מתואמים אם ורק אם מטריצת השונות המשותפת שלהם Cov ⁡ ( X , Y ) {\displaystyle \operatorname {Cov} (\mathbf {X} ,\mathbf {Y} )} היא מטריצת האפס. שני וקטורים מקריים X = ( X 1 , . . . , X n ) T {\displaystyle \mathbf {X} =(X_{1},...,X_{n})^{T}} ו- Y = ( Y 1 , . . . , Y n ) T {\displaystyle \mathbf {Y} =(Y_{1},...,Y_{n})^{T}} נקראים אורתוגונליים אם, E ⁡ [ X T Y ] = 0 {\textstyle \operatorname {E} [\mathbf {X} ^{T}\mathbf {Y} ]=0} . שני וקטורים אקראיים X {\displaystyle \mathbf {X} } ו- Y {\displaystyle \mathbf {Y} } נקראים בלתי-תלויים אם לכל x {\displaystyle \mathbf {x} } ו- y {\displaystyle \mathbf {y} } מתקיים, F X , Y ( x , y ) = F X ( x ) ⋅ F Y ( y ) {\textstyle F_{\mathbf {X,Y} }(\mathbf {x,y} )=F_{\mathbf {X} }(\mathbf {x} )\cdot F_{\mathbf {Y} }(\mathbf {y} )} , כאשר F X ( x ) {\displaystyle F_{\mathbf {X} }(\mathbf {x} )} ו- F Y ( y ) {\displaystyle F_{\mathbf {Y} }(\mathbf {y} )} הן פונקציות ההתפלגות המצטברות של X {\displaystyle \mathbf {X} } ו- Y {\displaystyle \mathbf {Y} } ו- F X , Y ( x , y ) {\displaystyle F_{\mathbf {X,Y} }(\mathbf {x,y} )} מציין את פונקציית ההתפלגות המצטברת המשותפת שלהם. אי-תלות של X {\displaystyle \mathbf {X} } ו- Y {\displaystyle \mathbf {Y} } ניתנת לסימון על ידי X ⊥ ⊥ Y {\displaystyle \mathbf {X} \perp \!\!\!\perp \mathbf {Y} } . הפונקציה האופיינית של וקטור מקרי X {\displaystyle \mathbf {X} } עם n {\displaystyle n} רכיבים היא פונקציה R n → C {\displaystyle \mathbb {R} ^{n}\to \mathbb {C} } שממפה כל וקטור ω = ( ω 1 , … , ω n ) T {\displaystyle \mathbf {\omega } =(\omega _{1},\ldots ,\omega _{n})^{T}} למספר מרוכב: φ X ( ω ) = E ⁡ [ e i ( ω T X ) ] = E ⁡ [ e i ( ω 1 X 1 + … + ω n X n ) ] {\displaystyle \varphi _{\mathbf {X} }(\mathbf {\omega } )=\operatorname {E} \left[e^{i(\mathbf {\omega } ^{T}\mathbf {X} )}\right]=\operatorname {E} \left[e^{i(\omega _{1}X_{1}+\ldots +\omega _{n}X_{n})}\right]} . בתאוריה של תיקי השקעות, המטרה היא לרוב לבחור בתיק עם מגוון נכסים כך שלתשואה של התיק יש את מאפיינים הרצויים. לדוגמה, ייתכן שתרצה לבחור בתיק עם תשואה בעלת השונות הנמוכה ביותר. כאן הווקטור המקרי הוא הווקטור r {\displaystyle \mathbf {r} } של התשואות על רשימה של נכסים, ותשואת התיק p (סקלר מקרי) היא המכפלה הפנימית של וקטור התשואות עם וקטור משקלים w- לפי החלוקת העלות של של הנכסים השונים. במקרה כזה, p = w T r {\displaystyle p=w^{T}\mathbf {r} } , היא תשואת התיק. תוחלת התשואה היא w T E ⁡ ( r ) {\displaystyle w^{T}\operatorname {E} (\mathbf {r} )} וניתן להראות שהשונות של תשואת התיק היא w T C w {\displaystyle w^{T}Cw} , כאשר C {\displaystyle C} היא מטריצת השונות של r {\displaystyle \mathbf {r} } . ברגרסיה הליניארית, יש לנו נתונים על n תצפיות על משתנה תלוי y ו-n תצפיות על כל אחד מ-k משתנים בלתי תלויים. התצפיות על המשתנה התלוי הן הרכיבים של ווקטור y ; התצפיות על כל משתנה בלתי תלוי מהוות את הרכיבים של וקטורי עמודות, שמהווים את העמודות למטריצה X (לא מציינת וקטור מקרי בהקשר זה) של התצפיות על המשתנים הבלתי תלויים. משוואת הרגרסיה הבאה היא מודל עבור התהליך שייצר את הנתונים: , y = X β + e {\displaystyle ,y=X\beta +e} כאשר β הוא וקטור קבוע אך לא ידוע של k {\displaystyle k} מקדמים, ו- e {\displaystyle e} הוא וקטור מקרי לא ידוע המשקף טעויות אקראיות בערכי המשתנה התלוי. ישנן מגוון של שיטות (למשל: שיטת הריבועים הפחותים) לאמוד את הווקטור β באמצעות וקטור β ^ {\displaystyle {\hat {\beta }}} , ואת הווקטור e {\displaystyle e} באמצעות e ^ {\displaystyle {\hat {e}}} , המקיימים . e ^ = y − X β ^ {\textstyle .{\hat {e}}=y-X{\hat {\beta }}} לאחר מכן סטטיסטיקאים מנתחים את המאפיינים של β ^ {\displaystyle {\hat {\beta }}} ו- e ^ {\displaystyle {\hat {e}}} , שהם ווקטורים מקריים שכן הם פונקציה של התצפיות שמהוות את הווקטור y. את ההשתנות של וקטור מקרי X {\displaystyle \mathbf {X} } לאורך זמן ניתן לעיתים לתאר באמצעות מודל של אוטורגרסיה וקטורית באופן הבא: X t = c + A 1 X t − 1 + A 2 X t − 2 + ⋯ + A p X t − p + e t , {\displaystyle \mathbf {X} _{t}=c+A_{1}\mathbf {X} _{t-1}+A_{2}\mathbf {X} _{t-2}+\cdots +A_{p}\mathbf {X} _{t-p}+\mathbf {e} _{t},\,} X t − i {\displaystyle \mathbf {X} _{t-i}} הוא וקטור מקרי המבטא תצפית שקרתה i {\displaystyle i} יחידות זמן לפני זמן t {\displaystyle t} , c {\displaystyle c} הוא וקטור של קבועים, A i היא מטריצה קבועה בזמן ו- e t {\displaystyle \mathbf {e} _{t}} הוא וקטור מקרי של שגיאות. וקטור מקרי, באתר MathWorld (באנגלית) Billingsley, P. (2017). "Probability and measure". p.183, John Wiley & Sons. Billingsley, P. (2017). "Probability and measure". p.213, John Wiley & Sons. Billingsley, P. (2017). "Probability and measure". p.225, John Wiley & Sons. Gallager, Robert G. (2013). Stochastic Processes Theory for Applications. p.15, Cambridge University Press. ISBN 978-1-107-03975-9. Lapidoth, Amos (2009). A Foundation in Digital Communication. Cambridge University Press. p. 290-291 ISBN 978-0-521-19395-5. Gubner, John A. (2006). Probability and Random Processes for Electrical and Computer Engineers. Cambridge University Press. p.333 ISBN 978-0-521-86470-1. Lapidoth, Amos (2009). A Foundation in Digital Communication. Cambridge University Press. p.468. ISBN 978-0-521-19395-5.