משתנים מקריים בלתי-תלויים ושווי-התפלגות

בתורת ההסתברות ובסטטיסטיקה, משתנים אקראיים הם בלתי-תלויים ושווי-התפלגות (independent and identically distributed ובקיצור - iid) אם לכל המשתנים המקריים אותה התפלגות הסתברות והם בלתי תלויים הדדית. המושג הוגדר לראשונה בסטטיסטיקה ויש לו חשיבות רבה בתחומים שונים כגון כריית מידע, למידת מכונה ועיבוד אותות. סטטיסטיקה עוסקת בדרך כלל במדגמים אקראיים. ניתן להתייחס למדגם אקראי כאל קבוצה של אובייקטים שנבחרים באופן מקרי. באופן רשמי יותר, זהו רצף דגימות מקריות בלתי תלויות, שוות התפלגות (iid). שווה התפלגות - הפריטים נדגמו מאותה התפלגות הסתברות. בלתי תלויות - דגימת הפריטים הם אירועים בלתי תלויים. במילים אחרות, הם אינם קשורים זה לזה; ערכו של משתנה אחד שנדגם אינה מספק מידע על ערכו של כל משתנה אחר. הנחה נפוצה במודלים סטטיסטיים היא שמשתנים מקריים הם בלתי-תלויים ושווי-התפלגות. הנחה זו מקלה על ניתוח המתמטי, אך לעיתים אינה מציאותית.. הנחה זו משמשת גם במשפט הגבול המרכזי, הקובע שהתפלגות ההסתברות של הסכום (או הממוצע) של משתנים מקריים בלתי-תלויים ושווי-התפלגות בעלי שונות סופית שואפת להתפלגות נורמלית. ההנחה משמשת גם בהקשר של סדרות של משתנים מקריים. ואז, "בלתי-תלויים ושווי-התפלגות" מרמז על כך שמשתנה מקרי בסדרה אינו תלוי במשתנים המקריים שבאו לפניו. באופן זה, סדרה של משתנים בלתי-תלויים ושווי-התפלגות שונה מסדרה מרקובית, שבה התפלגות ההסתברות עבור המשתנה המקרי ה- n היא פונקציה של המשתנה המקרי הקודם ברצף (עבור שרשרת מרקוב מסדר ראשון). רצף משתנים מקריים בלתי-תלויים ושווי-התפלגות אינו מרמז על כך שההסתברויות של כל האלמנטים במרחב המדגם חייבים להיות זהים. לדוגמה, זריקות סדרת הטלות של קובייה מוטה תהווה סדרה של משתנים בלתי-תלויים ושווי-התפלגות למרות שהתוצאות מוטות. יהיו X {\displaystyle X} ו Y {\displaystyle Y} משתנים מקריים מהתפלגות שהתומך שלה, I, הוא תת-קבוצה של הממשיים, I ⊆ R {\displaystyle I\subseteq \mathbb {R} } . יהיו F X ( x ) = P ⁡ ( X ≤ x ) {\displaystyle F_{X}(x)=\operatorname {P} (X\leq x)} ו F Y ( y ) = P ⁡ ( Y ≤ y ) {\displaystyle F_{Y}(y)=\operatorname {P} (Y\leq y)} פונקציות ההתפלגות המצטברות של X {\displaystyle X} ו Y {\displaystyle Y} , בהתאמה. נסמן ב F X , Y ( x , y ) = P ⁡ ( X ≤ x ∧ Y ≤ y ) {\displaystyle F_{X,Y}(x,y)=\operatorname {P} (X\leq x\land Y\leq y)} את פונקציית ההתפלגות המצטברת המשותפת שלהם. שני משתנים אקראיים X {\displaystyle X} ו Y {\displaystyle Y} הם שוויי התפלגות אם ורק אם F X ( x ) = F Y ( x ) ∀ x ∈ I {\displaystyle F_{X}(x)=F_{Y}(x)\quad \forall x\in I} . שני משתנים אקראיים X {\displaystyle X} ו Y {\displaystyle Y} הם בלתי תלויים אם ורק אם F X , Y ( x , y ) = F X ( x ) ⋅ F Y ( y ) ∀ x , y ∈ I {\displaystyle F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)\quad \forall x,y\in I} . (וראה גם אי-תלות (הסתברות) § שני משתנים מקריים). שני משתנים אקראיים X {\displaystyle X} ו Y {\displaystyle Y} הם בלתי־תלויים ושווי־התפלגות אם הם בלתי תלויים וגם שוויי התפלגות, כלומר אם ורק אם F X ( x ) = F Y ( x ) ∀ x ∈ I F X , Y ( x , y ) = F X ( x ) ⋅ F Y ( y ) ∀ x , y ∈ I {\displaystyle {\begin{aligned}&F_{X}(x)=F_{Y}(x)&\forall x\in I\\&F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)&\forall x,y\in I\\\end{aligned}}} ניתן להרחיב את ההגדרה באופן טבעי ליותר משני משתנים מקריים. נאמר כי n {\displaystyle n} משתנים אקראיים X 1 , … , X n {\displaystyle X_{1},\ldots ,X_{n}} הם בלתי־תלויים ושווי־התפלגות אם הם בלתי־תלויים (וראה אי-תלות (הסתברות) § יותר משני משתנים מקריים) ושווי-התפלגות, כלומר אם ורק אם F X 1 ( x ) = F X k ( x ) ∀ k ∈ { 1 , … , n }  and  ∀ x ∈ I F X 1 , … , X n ( x 1 , … , x n ) = F X 1 ( x 1 ) ⋅ … ⋅ F X n ( x n ) ∀ x 1 , … , x n ∈ I {\displaystyle {\begin{aligned}&F_{X_{1}}(x)=F_{X_{k}}(x)\,&\forall k\in \{1,\ldots ,n\}{\text{ and }}\forall x\in I\\&F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=F_{X_{1}}(x_{1})\cdot \ldots \cdot F_{X_{n}}(x_{n})\,&\forall x_{1},\ldots ,x_{n}\in I\end{aligned}}} כאשר F X 1 , … , X n ( x 1 , … , x n ) = P ⁡ ( X 1 ≤ x 1 ∧ … ∧ X n ≤ x n ) {\displaystyle F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=\operatorname {P} (X_{1}\leq x_{1}\land \ldots \land X_{n}\leq x_{n})} מציין את פונקציית ההתפלגות המצטברת המשותפת של X 1 , … , X n {\displaystyle X_{1},\ldots ,X_{n}} . רצף של תוצאות סיבוב של גלגל רולטה הוגן (או לא הוגן) הן בלתי־תלויות ושוות־התפלגות. אחת ההשלכות של זה היא שאם כדור הרולטה נוחת על "אדום", למשל, 20 פעמים ברציפות, הסיכוי שהתוצאה הבאה תהיה "שחור" אינה גדולה או קטנה מאשר בכל סיבוב אחר (ראה כשל המהמר) . מטילים מטבע 10 פעמים בלתי-תלויות - תוצאה של כל הטלה לא תשפיע על תוצאה אחרת, כלומר 10 התוצאות אינן תלויות זו בזו. שוות-התפלגות - לא משנה אם המטבע הוא הוגן (הסתברות 1/2 ל"עץ" ו1/2 ל "פלי") או לא הוגן, כל עוד נעשה שימוש באותו מטבע עבור כל הטלה, לכל הטלה תהיה אותה התפלגות. סדרה כזה של שתי תוצאות בלתי־תלויות ושוות־התפלגות נקרא גם תהליך ברנולי . שולפים קלף אקראי מחפיסת קלפים רגילה המכילה 52 קלפים, ולאחר מכן מחזירים את הקלף לחפיסה. חוזרים על פעולה זו 52 פעמים. בלתי תלויות - תוצאה של שליפת קלף לא תשפיע על השליפה הבאה, כלומר 52 התוצאות אינן תלויות זו בזו. (לעומת זאת, אם כל קלף שנשלף אינו מוחזר לחפיסה, השליפות הבאות יושפעו ממנו, והתוצאות לא יהיו שוות-התפלגות. למשל אם הקלף הראשון שנשלף הוא מלך, ההסתברות לשליפת מלך בשליפה הבאה קטנה. שוות-התפלגות - לאחר הוצאת קלף אחד ממנו, בכל פעם ההסתברות למלך היא 4/52, מה שאומר שההסתברות זהה בכל פעם. למידת מכונה משתמשת בכמויות גדולות של נתונים. כדי לאמן מודלים של למידת מכונה בצורה יעילה, חיוני להשתמש בנתונים היסטוריים הניתנים להכללה. אם נתוני האימון אינם מייצגים את התפלגות הנתונים הכללית, ביצועי המודל על נתונים חדשים עלולים להיות לא מדויקים. ההנחה כי הדוגמאות בלתי־תלויות ושוות־התפלגות מאפשרת הפחתה משמעותית במספר המקרים הנדרשים בקבוצת האימון בבעיות אופטימיזציה, ההנחה של התפלגות בלתי־תלויות ושוות־התפלגות מפשטת את חישוב פונקציית הנראות. בשל הנחת אי-התלות, ניתן לבטא את פונקציית הנראות כמכפלה של ההסתברויות של הדוגמאות בהינתן המודל: l ( θ ) = P ( x 1 , x 2 , x 3 , . . . , x n | θ ) = P ( x 1 | θ ) P ( x 2 | θ ) P ( x 3 | θ ) . . . P ( x n | θ ) {\displaystyle l(\theta )=P(x_{1},x_{2},x_{3},...,x_{n}|\theta )=P(x_{1}|\theta )P(x_{2}|\theta )P(x_{3}|\theta )...P(x_{n}|\theta )} , כאשר θ {\displaystyle \theta } מייצגת את הפרמטרים של המודל. אומדן הנראות המקסימלית θ ^ {\displaystyle {\widehat {\theta }}} מתקבל על ידי מקסום הלוגריתם של פונקציית הנראות ולא של פונקציית הנראות עצמה. שינוי זה נובע משיקולים נומריים, כגון הפיכת הכפל לחיבור והצורך להתמודד עם ערכים קטנים מאוד. כלומר θ ^ = a r g m a x θ ⁡ log ⁡ ( l ( θ ) ) {\displaystyle {\widehat {\theta }}=\mathop {\rm {argmax}} \limits _{\theta }\log(l(\theta ))} כאשר log ⁡ ( l ( θ ) ) = log ⁡ ( P ( x 1 | θ ) ) + log ⁡ ( P ( x 2 | θ ) ) + log ⁡ ( P ( x 3 | θ ) ) + . . . + log ⁡ ( P ( x n | θ ) ) {\displaystyle \log(l(\theta ))=\log(P(x_{1}|\theta ))+\log(P(x_{2}|\theta ))+\log(P(x_{3}|\theta ))+...+\log(P(x_{n}|\theta ))} . משתנים בלתי תלויים משפט הגבול המרכזי Clauset, Aaron (2011). "A brief primer on probability distributions" (PDF). Santa Fe Institute. אורכב מ-המקור (PDF) ב-2012-01-20. נבדק ב-2011-11-29. Stephanie (2016-05-11). "IID Statistics: Independent and Identically Distributed Definition and Examples". Statistics How To (באנגלית אמריקאית). נבדק ב-2021-12-09. Hampel, Frank (1998), "Is statistics too difficult?", Canadian Journal of Statistics, 26 (3): 497–513, doi:10.2307/3315772, JSTOR 3315772 (§8). Blum, J. R.; Chernoff, H.; Rosenblatt, M.; Teicher, H. (1958). "Central Limit Theorems for Interchangeable Processes". Canadian Journal of Mathematics. 10: 222–229. doi:10.4153/CJM-1958-026-0. Cover, T. M.; Thomas, J. A. (2006). Elements Of Information Theory. Wiley-Interscience. pp. 57–58. ISBN 978-0-471-24195-9. Casella & Berger 2002, Theorem 1.5.10 "What is Machine Learning? A Definition". Expert.ai (באנגלית אמריקאית). 2020-05-05. נבדק ב-2021-12-16.