תהליך גאוסי

בתורת ההסתברות וסטטיסטיקה, תהליך גאוסי הוא תהליך סטוכסטי (רנדומלי) - אוסף של משתנים מקריים בעלי אינדקס t ,לציון זמן או מרחב, כך שכל אוסף סופי מתוכם מתפלג לפי התפלגות רב-נורמלית.
התפלגותו של תהליך גאוסי מתארת את ההתפלגות המשותפת של כל המשתנים הללו (אינסוף משתנים מקריים), ולכן מדובר בהתפלגות על פונקציות המוגדרות על תחום רציף, כגון זמן או מרחב.    

המושג נקרא על שם קרל פרידריך גאוס מאחר שהוא מבוסס על התפלגות גאוסית  אך אופיין ע״י נורברט וינר ו-אנדריי קולמוגורוב בשנות ה-40.

## הגדרה
תהליך סטוכסטי רציף \left\{X_t ; t\in T\right\}  הוא תהליך גאוסי אם ורק אם לכל קבוצה סופית של אינדקסים t_1,\ldots,t_k\in T 

 \mathbf{X}_{t_1, \ldots, t_k} = (X_{t_1}, \ldots, X_{t_k}) 

הוא משתנה מקרי מתפלג רב-נורמלית. כלומר, אם לכל צירוף ליניארי ,a_1,\dots,a_k \in \mathbb{R}, \langle \bar{a}, \bar{X} \rangle=a_1 X_{t_1} + \dots +a_k X_{t_k} המשתנה המקרי (החד־ממדי) מתפלג נורמלי.

קיימת עוד הגדרה לתהליך גאוסי, אם לכל קבוצת סופית של אינדקסים  t_1,\ldots,t_k\in T, קיימים \sigma_{\ell j} , \mu_\ell \in \mathbb{R} עם \sigma_{jj} > 0 כך שכל a_1,\dots,a_k \in \mathbb{R}, מתקיים כי עבור הפונקציה האופיינית של \mathbf{X}_{t_1,\ldots,t_k}\varphi_{\mathbf{X}_{t_1,\ldots,t_k}}(t)=\operatorname{E}[\,e^{it\mathbf{X}_{t_1,\ldots,t_k}}\,] = { \mathbb E }\left[\exp\left(i \sum_{\ell=1}^k s_\ell \, \mathbf{X}_{t_\ell}\right)\right] = \exp \left(-\tfrac{1}{2} \sum_{\ell, j} \sigma_{\ell j} a_\ell a_j + i \sum_\ell \mu_\ell a_\ell\right), 

:בכתיבה וקטורית   { \mathbb E } \left[ {\mathrm e}^{ i\, \mathbf{s}\, (\mathbf{X}_t - \mathbf{\mu}) } \right] = {\mathrm e}^{  - \mathbf{s}\, \sigma\, \mathbf{s}/2 } .ניתן להראות כי  \sigma_{\ell j} ו\mu_\ell הם השונות המשותפת והתוחלת של המשתנים של התהליך.

## שונות
לכל  t \in T , השונות של תהליך גאוסי היא קיימת וסופית. באופן פורמלי מתקיים :
Var[\mathbf{X_t}]= \mathbb{E}[|\mathbf{X_t}-\mathbb{E}[\mathbf{X_t}] |^2]
לכל   
 t \in T 
## סטציונריות
תהליך גאוסי הוא סטציונרי במובן הצר אם ורק אם הוא סטציונרי במובן הרחב.

עבור תהליך סטוכסטי כללי, המשפט הקודם אינו בהכרח נכון, תהליך יכול להיות סטציונרי במובן הרחב אך לא מובן הצר. 

### דוגמה
לכל תהליך גאוסי סטציונרי, קיים ייצוג מפורש,  לדוגמה:
 X_t = \cos(at)\, \xi_1 + \sin(at)\, \xi_2
אשר  \xi_1 , \xi_2  הם משתנים מקריים בלתי תלויים בעלי התפלגות נורמלית סטנדרטית.

## פונקציית השונות המשותפת
פונקציית השונות המשותפת מהווה מרכיב מרכזי בתיאור תהליכים גאוסיים. 

ההתפלגות המשותפת, מעל קבוצה סופית של אינדקסים של תהליך גאוסי, נקבעת ביחידות ע״י התוחלת והשונות המשותפת שלה. אם מניחים כי התוחלת היא אפס, אז ההתפלגות המשותפת מוגדת ע״י השונות המשותפת בלבד. לכן פונקציית השונות המשותפת מאפשרת לנתח תכונות חשובות של התהליך גאוסי כמו סטציונריות, איזוטרופיות, חלקות ו-מחזוריות.
### סטציונריות
תהליך גאוסי הוא **סטציונרי** אם ורק אם לכל t', t  פונקציית השונות המשותפת תלויה רק ב t'-  t.

### איזוטרופיות
תהליך גאוסי הוא **איזוטורפי** אם קיימת פונקציה K כך ש 
Cov(X_i,X_j)=K(d(X_i,X_j)) עבור K פונקציה שממפה מרחק לשונות המשותפת ו-d  פונקציית מרחק. 
תהליך גאוסי **סטציונרי** ו**איזוטרופי** נקרא גם **הומוגני**, כלומר התנהגות של התהליך אינה תלויה בלוקליזציה ובכיוון של הצופה. 

### חלקות
עבור תהליך גאוסי **סטציונרי**, **הנגזרת מסדר <math>n</math>  ** רק אם **הנגזרת מסדר <math>2n</math>** של פונקציית השונות קיימת ו-מתכנסת ל-0 בממוצע ריבוע.

### מחזוריות
אם פונקציית השונות המשותפת היא **מחזורית** אז פונקציית הדגימה אשר מתוארת ע״י התהליך הגאוסי גם מחזורית כמעט תמיד.
### דוגמאות לפונקציות השונות המשותפת נפוצות

* קבועה:   K_\operatorname{C}(x,x') = C 
* ליניארית:  K_\operatorname{L}(x,x') =  x^\mathsf{T} x'
* רעש לבן גאוסי:  K_\operatorname{GN}(x,x') = \sigma^2 \delta_{x,x'}
*אקספוננציאל ריבועי:  K_\operatorname{SE}(x,x') = \exp \left(-\tfrac{d^2}{2\ell^2} \right)
* Ornstein–Uhlenbeck: K_{\text{OU}}(x, x') = \exp\left(-\frac{d}{\ell}\right)
*Matérn:  K_\operatorname{Matern}(x,x') = \tfrac{2^{1-\nu}}{\Gamma(\nu)} \left(\tfrac{\sqrt{2\nu}d}{\ell} \right)^\nu K_\nu \left(\tfrac{\sqrt{2\nu}d}{\ell} \right)
*מחזורית:  K_\operatorname{P}(x,x') = \exp\left(-\tfrac{2}{\ell^2} \sin^2 (d/2) \right) 
*ריבועי רציונלי:   K_\operatorname{RQ}(x,x') =  \left(1+d^2\right)^{-\alpha}, \quad \alpha \geq 0
עבור d = |x- x'| , \ell הוא האורך האופייני של התהליך(באופן אינטואיטיבי \ell מודד כמה קרוב צריכות להיות שתי נקודות שונות כדי להשפיע אחת על השנייה), \delta הוא הדלתא של קרונקר ו- \sigma סטיית התקן של הרעש. בנוסף, K_\nu היא פונקציות בסל המותאמות מסדר \nu ו \Gamma(\nu) היא 
פונקציית גמא בנקודת \nu. 

ניתן לתאר פונקציה שונות משותפת יותר מורכבות על ידי צירוף ליניארי של פונקציות שונות משותפות במטרה להוסיף גם יותר תובנות על הנתונים.

## רציפות
תהליך גאוסי רציף ממוצע ריבוע  בזמן t אם ורק אם הוא רציף בהסתברות. בנוסף מספיק לבדוק אם פונקציית התוחלת ו-פונקציית השונות המשותפת רציפות בt כדי לקבוע אם התהליך **רציף בהסתברות**.  

תהליך גאוסי רציף לדגימה אם לכל t\in T, מתקיים כי:  
:\mathbf{P} \left( \left\{ \omega \in \Omega \left| \lim_{s \to t} \big| X_{s} (\omega) - X_{t} (\omega) \big| = 0 \right. \right\} \right) = 1.

באופק שקול, תהליך גאוסי \left\{X_t ; t\in T\right\} הוא רציף לדגימה אם קיים \left\{Y_t ; t\in T\right\} כך שלכל t\in T , P([X_t = Y_t]) = 1  (במקרה הזה נאמר שY  הור **הגרסה** של X) ואם לכל t\in T, מתקיים כי Y_t פונקציה רציפה.  

עבור תהליך סטוכסטי כללי, ניתן להשתמש במשפט הרציפות של קולמוגורוב, ביחד עם משפט ההרחבה של קולמוגורוב למציאת גרסה לתהליך סטוכסט.  אך שימוש במשפטים הנ״ל אינו טריוולי, למקרה הגאוסי קיימים משפטים נוספים. 

### משפט פרניק למקרה הסטציונרי (1974)
תהליך גאוסי **סטציונרי** הוא רציף לדגימות אם ורק אם מתקיים (1):

\int_0^1 \sqrt{\log N(x)} \, dx 

כאשר N(\varepsilon) הוא מספר הכיסויים של הקטע [0,1],הגודל מינימלי של אפסילון רשת, תחת הפסאודו-מטריקה

d(s, t) = \sqrt{\mathbb{E}[(X_s - X_t)^2]}.

באופן פורמלי, 

N(\varepsilon) = \inf \left\{ n \in \mathbb{N} : \exists A_1, \dots, A_n , T \subseteq \bigcup_{j=1}^n 
A_j \ s.t \ \sup_{s, t \in A_j} d(s, t) \leq 2\varepsilon \right\}


\sqrt{\log N(x)}  נקראת המטריקה האנטרופית של (T,d).
נשים לב כי אם X רציף לדגימה אזי התנאי (1) גם חייב להתקיים לכל התליך גאוסי.
### משפט  דדלי-פרניק לתהליך גאוסי כללי

יהי X תהליך גאוסי ו-T קבוצה חסומה ב־\mathbb{R}^k. נניח שקיימת פונקציה ממשית אי-שלילית q(u) כך ש:
*  \mathbb{E}[|X_s - X_t|^2] \leq q(\|s -t\|)^2 לכל s,t \in T
* q(u) מונוטונית עולה עבור 0  כלשהי.
* \int_0^M q(e^{-x^2})\, d\varepsilon  עבור M 
אזי X רציף לדגימה.

## קשר בין תהליך גאוסי לפונקציות קרנל (גרעין)
יהי X \ne \emptyset , k : X \times X \to \mathbb{R}   פונקציית גרעין **חיובית לחלוטין**, ו־m : X \to \mathbb{R} פונקציה ממשית כלשהי. נאמר כי פונקציה אקראית f : X \to \mathbb{R} היא **תהליך גאוסי** עם פונקציית תוחלת m וגרעין k:

f \sim \mathrm{GP}(m, k)

אם ורק אם לכל קבוצה סופית (x_1, \dots, x_n) \subset X בגודל n \in \mathbb{N}, וקטור הערכים האקראיים f_X = (f(x_1), \dots, f(x_n))^\top \in \mathbb{R}^n מתפלג נורמלית רב-ממדית עם תוחלת m_X = (m(x_1), \dots, m(x_n))^\top

ומטריצת השונות המשותפת:k_{XX} = (k(x_i, x_j))_{i,j=1}^n \in \mathbb{R}^{n \times n} כלומר f_X \sim \mathcal{N}(m_X, k_{XX})

השימוש בפונקציית קרנל ופונקציית תוחלת ספציפיות כדי לבנות תהליך גאוסי הוא כלי שימושי מאחר שהתכונות של תהליך גאוסי נובעות מפונקציית קרנל ופונקציית תוחלת.

נניח שיש ברשותנו פונקציה דו־ממדית  
f(\mathbf{x}) : \mathbb{R}^2 \rightarrow \mathbb{R}^2,  
שעליה אנו מוסיפים קדימות של תהליך גאוסי:  
f(\mathbf{x}) \sim \mathrm{GP}(\mu(\mathbf{x}), K(\mathbf{x}, \mathbf{x'})).

בנוסף, יש לנו ידע קדם על  הפונקציה f(\mathbf{x}) צריכה לקיים את משוואת הדיפרנציאל הבאה:  
\frac{\partial f_1}{\partial x_1} + \frac{\partial f_2}{\partial x_2} = 0.

ניתן לשנות את K(\mathbf{x}, \mathbf{x'}) ואת \mu(\mathbf{x}) כך שכל דגימה מהתהליך גאוסי החדש תקיים בהכרח את האילוצים. 

 

נשים לב כי עבור פונקציית קרנל k ו- f(\mathbf{x}) \sim \mathrm{GP}(\mu(\mathbf{x}), K(\mathbf{x}, \mathbf{x'})) המתאים, מתקיים כי **כמעט תמיד** כי מסילות הדגימות של התהליך **לא** שייכות ל  \mathcal{H_k}, אכן   \mathcal{H_k} איזומטרי למרחב **למרחב קמרון-מרטין** של התהליך(מרחב הפונקציות שהתהליך מייצר). 

## שימושיים

### רגרסיה באמצעות תהליך גאוסי
ידוע גם בשם קרינגינג, או וינר ו-קולמוגורוב, היא טכניקה מבוססת על רגרסיה בייסיאנית א-פארמטרית, אשר גרסייה באמצעות תהליך גאוסי מביא התפלגות **אפוסטריורית** על הפונקציה  f מנסים לחזות. 
יהי X \ne \emptyset , f : X \to \mathbb{R}. בהינתן 
\{(x_i, y_i)\}_{i=1}^{n} \subset X \times \mathbb{R}, נתונים עליהם נתאמן 
כך ש:


y_i = f(x_i) + \xi_i, \quad i = 1, \ldots, n \quad \text{such that} \quad \xi_i \sim \mathcal{N}(0, \sigma^2)


ההתפלגות **אפריורי** \Pi_0 מוגדר כתהליך גאוסי GP(m, k) עם פונקציית התוחלת m: X \to \mathbb{R} וגרעין k: X \times X \to \mathbb{R}, כלומר, f \sim \text{GP}(m, k).

ניתן להראות ע״י חוק בייס כי ההתפלות **אפוסטריורית** \Pi_n(f \mid X, Y) גם תהליך גאוסי \text{GP}(\bar{m}, \bar{k}) כך ש:

 \bar{m}(x) = m(x) + k_{xX}(k_{XX} + \sigma^2 I_n)^{-1}(Y - m_X), \quad x \in X .  

 \bar{k}(x, x') = k(x, x') - k_{xX}(k_{XX} + \sigma^2 I_n)^{-1} k_{Xx'}, \quad x, x' \in X 

עבור  
 k_{Xx} = \left( k(x_1, x), \ldots, k(x_n, x) \right)^\top 


ה-\bar{m} ו-\bar{k} תלויות בבחירה של פונקציית התוחלת הקודמת m, הגרעין k ושונות הרעש \sigma^2. אלו הם ההיפר-פרמטרים של רגרסיה באמצעות תהליך גאוסי.
 

### רשתות נוירונים בייסיאנית באמצעות תהליך גאוסי
רשתות נוירונים בייסיאניות הן מקרה פרטי של רשתות בייסיאניות, בהן נעשה שימוש בלמידה עמוקה תוך ייצוג הסתברותי של הפרמטרים. במילים אחרות, כל פרמטר ברשת מקבל התפלגות פריור, ולא ערך נקודתי, ומתבצעת הסקה על התפלגות פוסטריור של הפרמטרים לאור הנתונים הנצפים באימון
החישוב ברשתות אלו מתבצע לרוב באמצעות שכבות עוקבות של פרמטרים המייצגים נוירונים מלאכותיים. מקובל להתייחס למספר הנוירונים בכל שכבה כאל רוחב השכבה. כאשר מרחיבים את רוחב השכבות (כלומר, מגדילים את מספר הנוירונים בכל שכבה), ניתן להראות כי במקרים רבים רשת נוירונים בייסיאנית מתכנסת לתהליך גאוסי עם גרעין אנליטי. תהליך זה נקרא התהליך הגאוסי של רשת נוירונים (Neural Network Gaussian Process – NNGP).

## ראו גם
* תהליך וינר
* הילוך מקרי
*שרשרת מרקוב
*התפלגות t
*סטטיסטיקת גאוס-מרקוב
*השוואת תהליכים גאוסיים

## הערות שוליים

קטגוריה:תהליכים סטוכסטיים