התפלגות תת-מעריכית

ממוזער|השוואה בין זנבות של התפלגות תת-מעריכית ללא תת-מעריכית
בתורת ההסתברות, **התפלגות תת-מעריכית** (או תת-אקספוננציאלית) היא התפלגות שזנבותיה דועכים בקצב החסום על ידי פונקציה מעריכית.
פורמלית, התפלגות של משתנה מקרי X  תיקרא תת-מעריכית אם קיים K_1>0  כך שלכל t \ge 0 מתקיים: 
\Pr(|X| \geq t) \leq 2 \exp{(-t/K_1)}
.

במילים: הסיכוי ש |X|  גדול מ-t  חסום בפונקציה מעריכית דועכת ביחס ל-t .

התפלגות תת-מעריכית היא גם התפלגות זנב דק כיוון שהיא עונה על ההגדרה שקיים t \ge 0 כך ש-:
:
\lim_{x \to \infty} e^{t x}\overline{F}(x) = 0
, כאשר \overline{F}(x)\,  היא פונקציית התפלגות של X  ,\overline{F}(x) \equiv \Pr(X>x) \, 

## הגדרות
ההתפלגות התת-מעריכית ניתנת להגדרה במספר דרכים שקולות, עבור קבועים K_2,..,K_5 ממשיים:
# תוחלת האקספוננט של הערך המוחלט של המשתנה המקרי כפול פרמטר חסום בשתיים: \operatorname{E}[e^] \leq e^{K_3 \lambda}.
# לכל p \geq 1, מתקיים: \operatorname{E}[|X|^p] \leq K_4 p.
# במידה ש-E[X] = 0, עבור כל \lambda כאשר |\lambda| , מתקיים: E[e^{\lambda X}] \leq e^{K_5^2 \lambda^2}.
# אם \sqrt{X} תת-גאוסי.

## תכונות
* **סכום משתנים תת-מעריכיים**: אם X ו-Y הם משתנים מקריים תת-מעריכיים בלתי תלויים, אז גם הסכום שלהם X+Y הוא תת-מעריכי.
* **יציבות תחת מקסימום**: התפלגויות תת-מעריכיות הן יציבות תחת מקסימום. כלומר, אם X_1, X_2, \ldots, X_n הם משתנים מקריים תת-מעריכיים בלתי תלויים, אז גם \max(X_1, X_2, \ldots, X_n) הוא תת-מעריכי.
** **הוכחה**: ניתן להוכיח זאת באמצעות חסם האיחוד וההגדרה הראשונה של התפלגות תת-מעריכית:
\mathbb{P}(\max(X_1, \ldots, X_n) > t) \leq \sum_{i=1}^n \mathbb{P}(X_i > t) \leq 2n e^{-\frac{t}{\max(K_1, \ldots, K_n)}},
כאשר K_i הם פרמטרי התת-מעריכיות של המשתנים.

## נורמות
### נורמת אורליץ
פונקציה \Psi המוגדרת על המספרים האי-שליליים נקראת **פונקציית אורליץ** אם:
* \Psi פונקציה קמורה
* \Psi פונקציה מונוטונית לא יורדת
* \Psi(0) = 0, lim_{x \to \infty} \Psi(x) = \infty

כל פונקציית אורליץ מגדירה נורמת אורליץ  של משתנים מקריים, לפי הנוסחה:
:\|X\|_{\Psi} \triangleq \inf \{K > 0 \mid \mathbb{E}[\Psi(|X|/K)] \leq 1\}.

עבור הפונקציה \Psi_1(x) = \exp(x) - 1, אפשר לראות שלמשתנה מקרי יש נורמת אורליץ \Psi_1 סופית אם ורק אם הוא תת-מעריכי. באופן כללי, עבור הפונקציות \Psi_q(x) = \exp(x^q) - 1 (לכל q \geq 1), נקבל משפחה מעריכית של פונקציות אורליץ. גם המקרה q =2 הוא מיוחד מפני שלמשתנה מקרי יש נורמת \Psi_2 סופית אם ורק אם הוא משתנה תת-גאוסי.

קבוצה נוספת של נורמות אורליץ מתקבלת עבור \Psi(x) = x^p, כאשר הנורמה התקבלת היא נורמת L_p של המשתנה המקרי.

### נורמה תת-מעריכית
הנורמה התת-מעריכית היא דוגמה לנורמת אורליץ כאשר \Psi_1(x) = \exp(x) - 1, מסומנת כ-\|\cdot\|_{\psi_1}, של משתנה מקרי מוגדרת על ידי:\|X\|_{\psi_1} := \inf \{K > 0 \mid \mathbb{E}(e^{|X|/K}) \leq 2\},

על סמך ההגדרה השקולה הראשונה, אם הנורמה סופית המשתנה הוא תת-מעריכי.

### נורמה תת-גאוסית
הנורמה התת-גאוסית היא דוגמה לנורמת אורליץ כאשר \Psi_2(x) = \exp(x^2) - 1, מסומנת כ-\|\cdot\|_{\psi_2}, של משתנה מקרי מוגדרת על ידי:\|X\|_{\psi_2} := \inf \{K > 0 \mid \mathbb{E}(e^{X^2/K^2}) \leq 2\}.

## הקשר בין משתנה מקרי תת-גאוסי למשתנה מקרי תת-מעריכי
* כל משתנה X שהוא תת-גאוסי הוא גם משתנה מקרי תת-מעריכי.
* אם X הוא משתנה מקרי תת-מעריכי, אז המשתנה X^2 הוא משתנה מקרי תת-גאוסי, ומתקיים \|X^2\|_{\psi_1} = \|X\|^2_{\psi_2}.
** טענה זאת נובעת ישירות מהגדרת הנורמות.
* אם X ו-Y הם משתנים מקריים תת-גאוסיים, אז המכפלה שלהם, XY, היא משתנה מקרי תת-מעריכי, ומתקיים \|XY\|_{\psi_1} \leq \|X\|_{\psi_2} \cdot \|Y\|_{\psi_2}.

## משפטים
### אי שוויון ברנשטיין
אי שוויון ברנשטיין מספק חסם על הזנב של סכום של משתנים מקריים תת-מעריכיים בלתי תלויים עם תוחלת אפס.

נניח ש-X_1, X_2, ..., X_N הם משתנים מקריים תת-מעריכיים בלתי תלויים עם תוחלת אפס. אזי, לכל t \geq 0, מתקיים:
:\Pr\left(\sum_{i=1}^N X_i \geq t\right) \leq 2 \exp \left(-c \min\left(\frac{t^2}{\sum_{i=1}^N \|X_i\|_{\psi_1}^2}, \frac{t}{\max_{i} \|X_i\|_{\psi_1}}\right)\right),
כאשר c > 0.

### אי-שוויון ברנשטיין עבור התפלגויות חסומות
נניח ש-X_1, X_2, ..., X_N הם משתנים מקריים תת-מעריכיים בלתי תלויים עם תוחלת אפס. נניח גם כי המשתנים חסומים, כלומר |X_i| \leq K לכל i, עבור קבוע K > 0. אז עבור כל t \geq 0, אי-שוויון ברנשטיין קובע כי:


\mathbb{P}\left(\sum_{i=1}^{N} X_i \geq t \right) \leq 2 \exp \left( -\frac{t^2}{2\sigma^2 + \frac{2Kt}{3}} \right),


כאשר \sigma^2 = \sum_{i=1}^{N} \mathbb{E}[X_i^2] היא סכום השונויות.

## התפלגויות מוכרות
* ההתפלגות מעריכית היא התפלגות תת-מעריכית.
* התפלגות וייבול כאשר k \geq 1:
** פונקציית ההסתברות המצטברת שלה היא:
 F(x; k, \lambda) = \begin{cases}
 1 - \exp\left(-\left(\frac{x}{\lambda}\right)^k\right) & x \geq 0, \\
 0 & x 
** זנב ההתפלגות מקיים: 
 \mathbb{P}(|X| > x) = \mathbb{P}(X > x) = 1 - F(x) = \exp\left(-\left(\frac{x}{\lambda}\right)^k\right)
 
** עבור k = 1: 
 \mathbb{P}(|X| > x) = \exp\left(-\frac{x}{\lambda}\right)
  כלומר, מדובר בקצב דעיכה מעריכי בדיוק, כאשר הקבוע הוא הפרמטר \lambda. לכן, כאשר k = 1, התפלגות וייבול היא תת-מעריכית (זהה להתפלגות מעריכית).
** עבור k > 1, מתקיים:
 \mathbb{P}(|X| > x) = \exp\left(-\left(\frac{x}{\lambda}\right)^k\right)
  ביטוי זה דועך מהר יותר מאקספוננט שלילי פשוט, כלומר גם במקרה זה ההתפלגות היא תת-מעריכית.
** עבור k , תנאי זה לא מתקיים, ולכן התפלגות וייבול אינה תת-מעריכית במקרים אלו.
* כל התפלגות תת-גאוסית

## ראו גם
* התפלגות תת-גאוסית
* התפלגות מעריכית
* נורמת אורליץ 
* אי-שוויונות ברנשטיין

## קישורים חיצוניים

* Roman Vershynin, ''High-Dimensional Probability: An Introduction with Applications in Data Science'', University of California, Irvine, June 9, 2020


## הערות שוליים

תת-מעריכית