תהליך גאוסי

בתורת ההסתברות וסטטיסטיקה, תהליך גאוסי הוא תהליך סטוכסטי (רנדומלי) - אוסף של משתנים מקריים בעלי אינדקס  ,לציון זמן או מרחב, כך שכל אוסף סופי מתוכם מתפלג לפי התפלגות רב-נורמלית.
התפלגותו של תהליך גאוסי מתארת את ההתפלגות המשותפת של כל המשתנים הללו (אינסוף משתנים מקריים), ולכן מדובר בהתפלגות על פונקציות המוגדרות על תחום רציף, כגון זמן או מרחב.    

המושג נקרא על שם קרל פרידריך גאוס מאחר שהוא מבוסס על התפלגות גאוסית  אך אופיין ע״י נורברט וינר ו-אנדריי קולמוגורוב בשנות ה-40.

הגדרה
תהליך תהליך סטוכסטי רציף   הוא תהליך גאוסי אם ורק אם לכל קבוצה סופית של אינדקסים  

הוא משתנה מקרי מתפלג רב-נורמלית. כלומר, אם לכל צירוף ליניארי ,,  המשתנה המקרי (החד־ממדי) מתפלג נורמלי.

קיימת עוד הגדרה לתהליך גאוסי, אם לכל קבוצת סופית של אינדקסים  , קיימים  עם  כך שכל , מתקיים כי עבור הפונקציה האופיינית של

בכתיבה וקטורית   .ניתן להראות כי   ו הם השונות המשותפת והתוחלת של המשתנים של התהליך.

שונות
לכל , השונות של תהליך גאוסי היא קיימת וסופית. באופן פורמלי מתקיים Amos Lapidoth (8 February 2017). A Foundation in Digital Communication. Cambridge University Press. . p. 566.:

לכל   

 סטציונריות
תהליך גאוסי הוא סטציונרי במובן הצר אם ורק אם הוא סטציונרי במובן הרחב.

עבור תהליך סטוכסטי כללי, המשפט הקודם אינו בהכרח נכון, תהליך יכול להיות סטציונרי במובן הרחב אך לא מובן הצר. 

דוגמה
לכל תהליך גאוסי סטציונרי, קיים ייצוג מפורש,  לדוגמה:

אשר  הם משתנים מקריים בלתי תלויים בעלי התפלגות נורמלית סטנדרטית.

פונקציית השונות המשותפת
פונקציית השונות המשותפת מהווה מרכיב מרכזי בתיאור תהליכים גאוסיים. 

ההתפלגות המשותפת, מעל קבוצה סופית של אינדקסים של תהליך גאוסי, נקבעת ביחידות ע״י התוחלת והשונות המשותפת שלה. אם מניחים כי התוחלת היא אפס, אז ההתפלגות המשותפת מוגדת ע״י השונות המשותפת בלבד. לכן פונקציית השונות המשותפת מאפשרת לנתח תכונות חשובות של התהליך גאוסי כמו סטציונריות, איזוטרופיות, חלקות ו-מחזוריות.
סטציונריות
תהליך גאוסי הוא סטציונרי אם ורק אם לכל   פונקציית השונות המשותפת תלויה רק ב .

איזוטרופיות
תהליך גאוסי הוא איזוטורפי אם קיימת פונקציה  כך ש 
 עבור K פונקציה שממפה מרחק לשונות המשותפת ו-  פונקציית מרחק. 
תהליך גאוסי סטציונרי ואיזוטרופי נקרא גם הומוגני, כלומר התנהגות של התהליך אינה תלויה בלוקליזציה ובכיוון של הצופה. 

חלקות
עבור תהליך גאוסי סטציונרי, הנגזרת מסדר    רק אם הנגזרת מסדר  של פונקציית השונות קיימת ו-מתכנסת ל-0 בממוצע ריבוע.C. E. Rasmussen and C. K. I. Williams, Gaussian Processes for Machine Learning, MIT Press, 2006. .

מחזוריות
אם פונקציית השונות המשותפת היא מחזורית אז פונקציית הדגימה אשר מתוארת ע״י התהליך הגאוסי גם מחזורית כמעט תמיד.François Bachoc, Lionel Lenôtre, Adrien Saumard. Random processes and their applications. INRIA, 2018. קישור לקובץ PDF
דוגמאות לפונקציות השונות המשותפת נפוצות 

 קבועה:  
 ליניארית: 
 רעש לבן גאוסי: 
אקספוננציאל ריבועי: 
 Ornstein–Uhlenbeck: 
Matérn: 
מחזורית:  
ריבועי רציונלי:  
עבור ,  הוא האורך האופייני של התהליך(באופן אינטואיטיבי  מודד כמה קרוב צריכות להיות שתי נקודות שונות כדי להשפיע אחת על השנייה),  הוא הדלתא של קרונקר ו-  סטיית התקן של הרעש. בנוסף,  היא פונקציות בסל המותאמות מסדר  ו  היא 
פונקציית גמא בנקודת . 

ניתן לתאר פונקציה שונות משותפת יותר מורכבות על ידי צירוף ליניארי של פונקציות שונות משותפות במטרה להוסיף גם יותר תובנות על הנתונים.

 רציפות 
תהליך גאוסי רציף ממוצע ריבוע  בזמן  אם ורק אם הוא רציף בהסתברות. בנוסף מספיק לבדוק אם פונקציית התוחלת ו-פונקציית השונות המשותפת רציפות ב כדי לקבוע אם התהליך רציף בהסתברות.  

תהליך גאוסי רציף לדגימה אם לכל , מתקיים כי:  

באופק שקול, תהליך גאוסי  הוא רציף לדגימה אם קיים  כך שלכל  (במקרה הזה נאמר ש  הור הגרסה של ) ואם לכל , מתקיים כי  פונקציה רציפה.  

עבור תהליך סטוכסטי כללי, ניתן להשתמש במשפט הרציפות של קולמוגורוב, ביחד עם משפט ההרחבה של קולמוגורוב למציאת גרסה לתהליך סטוכסט.  אך שימוש במשפטים הנ״ל אינו טריוולי, למקרה הגאוסי קיימים משפטים נוספים. 

 משפט פרניק למקרה הסטציונרי (1974) 
תהליך גאוסי סטציונרי הוא רציף לדגימות אם ורק אם מתקיים (1):

כאשר  הוא מספר הכיסויים של הקטע ,הגודל מינימלי של אפסילון רשת, תחת הפסאודו-מטריקה

באופן פורמלי, 

 נקראת המטריקה האנטרופית של .
נשים לב כי אם  רציף לדגימה אזי התנאי (1) גם חייב להתקיים לכל התליך גאוסי.
 משפט  דדלי-פרניק לתהליך גאוסי כלליDudley, R.M. (1967). *The Sizes of Compact Subsets of Hilbert Space and Continuity of Gaussian Processes*. Journal of Functional Analysis.

יהי  תהליך גאוסי ו- קבוצה חסומה ב־. נניח שקיימת פונקציה ממשית אי-שלילית  כך ש:
   לכל 
  מונוטונית עולה עבור  כלשהי.
  עבור 
אזי  רציף לדגימה.

 קשר בין תהליך גאוסי לפונקציות קרנל (גרעין)
יהי ,    פונקציית גרעין חיובית לחלוטין, ו־ פונקציה ממשית כלשהי. נאמר כי פונקציה אקראית  היא תהליך גאוסי עם פונקציית תוחלת  וגרעין :

אם ורק אם לכל קבוצה סופית  בגודל , וקטור הערכים האקראיים  מתפלג נורמלית רב-ממדית עם תוחלת 

ומטריצת השונות המשותפת: כלומר 

השימוש בפונקציית קרנל ופונקציית תוחלת ספציפיות כדי לבנות תהליך גאוסי הוא כלי שימושי מאחר שהתכונות של תהליך גאוסי נובעות מפונקציית קרנל ופונקציית תוחלת.

נניח שיש ברשותנו פונקציה דו־ממדית  
,  
שעליה אנו מוסיפים קדימות של תהליך גאוסי:  
.

בנוסף, יש לנו ידע קדם על  הפונקציה  צריכה לקיים את משוואת הדיפרנציאל הבאה:  
.

ניתן לשנות את  ואת  כך שכל דגימה מהתהליך גאוסי החדש תקיים בהכרח את האילוצים. Carl Jidling, Niklas Wahlström, Adrian Wills, and Thomas B. Schön. Linearly Constrained Gaussian Processes. Advances in Neural Information Processing Systems (NIPS), Long Beach, CA, USA, December 2017.



נשים לב כי עבור פונקציית קרנל  ו-  המתאים, מתקיים כי כמעט תמיד כי מסילות הדגימות של התהליך לא שייכות ל, אכן  איזומטרי למרחב למרחב קמרון-מרטין של התהליך(מרחב הפונקציות שהתהליך מייצר). 

שימושיים

 רגרסיה באמצעות תהליך גאוסי 
ידוע גם בשם קרינגינג, או וינר ו-קולמוגורוב, היא טכניקה מבוססת על רגרסיה בייסיאנית א-פארמטרית, אשר גרסייה באמצעות תהליך גאוסי מביא התפלגות אפוסטריורית על הפונקציה   מנסים לחזות. 
יהי , . בהינתן 
, נתונים עליהם נתאמן 
כך ש:

ההתפלגות אפריורי  מוגדר כתהליך גאוסי  עם פונקציית התוחלת  וגרעין , כלומר, .

ניתן להראות ע״י חוק בייס כי ההתפלות אפוסטריורית  גם תהליך גאוסי  כך ש:

.  

עבור  

ה- ו- תלויות בבחירה של פונקציית התוחלת הקודמת , הגרעין  ושונות הרעש . אלו הם ההיפר-פרמטרים של רגרסיה באמצעות תהליך גאוסי.

 רשתות נוירונים בייסיאנית באמצעות תהליך גאוסי 
רשתות נוירונים בייסיאניות הן מקרה פרטי של רשתות בייסיאניות, בהן נעשה שימוש בלמידה עמוקה תוך ייצוג הסתברותי של הפרמטרים. במילים אחרות, כל פרמטר ברשת מקבל התפלגות פריור, ולא ערך נקודתי, ומתבצעת הסקה על התפלגות פוסטריור של הפרמטרים לאור הנתונים הנצפים באימון
החישוב ברשתות אלו מתבצע לרוב באמצעות שכבות עוקבות של פרמטרים המייצגים נוירונים מלאכותיים. מקובל להתייחס למספר הנוירונים בכל שכבה כאל רוחב השכבה. כאשר מרחיבים את רוחב השכבות (כלומר, מגדילים את מספר הנוירונים בכל שכבה), ניתן להראות כי במקרים רבים רשת נוירונים בייסיאנית מתכנסת לתהליך גאוסי עם גרעין אנליטי. תהליך זה נקרא התהליך הגאוסי של רשת נוירונים (Neural Network Gaussian Process – NNGP).

 ראו גם 
 תהליך וינר
 הילוך מקרי
שרשרת מרקוב
התפלגות t
סטטיסטיקת גאוס-מרקוב
השוואת תהליכים גאוסיים

 הערות שוליים 

קטגוריה:תהליכים סטוכסטיים