דגימה מהעתקה הופכית

דגימה מהעתקה הופכית או דגימה מטרנספורמציה הופכית (באנגלית: Inverse transform sampling, או בקיצור: ITS) היא שיטה לדגימה ממוחשבת של מספרים אקראיים מהתפלגות ידועה כלשהי, בהינתן שאנו יודעים את פונקציית ההתפלגות המצטברת שלה, ובהינתן שאנו יודעים לדגום מהתפלגות אחידה רציפה. תהי F {\displaystyle F} פונקציית ההתפלגות המצטברת (פה"מ) של ההתפלגות D {\displaystyle D} ממנה אנו רוצים לדגום. נגדיר את "הפונקציה ההופכית המוכללת" של F {\displaystyle F} , אותה נסמן ב F − {\displaystyle F^{-}} , באופן הבא: F − ( p ) = i n f { x : F ( x ) ≥ p } {\displaystyle F^{-}(p)=inf\{x:F(x)\geq p\}} או במילים: הערך של F − {\displaystyle F^{-}} עבור p הוא ה-x הקטן ביותר (אינפימום) עבורו F ( x ) {\displaystyle F(x)} גדול-שווה ל-p. אם D {\displaystyle D} היא התפלגות רציפה, אז ההופכית המוכללת F − {\displaystyle F^{-}} היא בדיוק הפונקציה ההופכית של F {\displaystyle F} , כלומר: F − ( p ) = F − 1 ( p ) = { x : F ( x ) = p } {\displaystyle F^{-}(p)=F^{-1}(p)=\{x:F(x)=p\}} ההגדרה ה"מסובכת" יותר שהופיעה בהתחלה נועדה "לתפוס" גם התפלגויות בדידות, שעבורן לא קיימת התפלגות הופכית F − 1 {\displaystyle F^{-1}} . בהינתן משתנה מקרי U {\displaystyle U} בעל התפלגות אחידה רציפה בקטע (0,1), אז F − ( U ) {\displaystyle F^{-}(U)} הוא בעל התפלגות D {\displaystyle D} . כלומר, על מנת לקבל מספר אקראי מהתפלגות D {\displaystyle D} , כל שעלינו לעשות הוא לדגום מספר מהתפלגות אחידה בקטע (0,1), ואז להפעיל עליו את הפונקציה F − ( U ) {\displaystyle F^{-}(U)} . הקושי העיקרי הקיים בשיטה, הוא שלעיתים קשה למצוא את ההופכית המוכללת F − {\displaystyle F^{-}} , גם כש- F {\displaystyle F} ידועה לנו. נניח שאנו רוצים לדגום מספר מהתפלגות מעריכית עם פרמטר λ {\displaystyle \lambda } . הפה"מ הוא: F ( x ) =   1 − e − λ x {\displaystyle F(x)=\ 1-e^{-\lambda x}} נמצא את הפונקציה ההופכית: F ( x ) =   1 − e − λ x = u {\displaystyle F(x)=\ 1-e^{-\lambda x}=u} e − λ x = 1 − u {\displaystyle e^{-\lambda x}=1-u} − λ x = l n ( 1 − u ) {\displaystyle -\lambda x=ln(1-u)} F − 1 ( u ) = x = − l n ( 1 − u ) λ {\displaystyle F^{-1}(u)=x=-{\frac {ln(1-u)}{\lambda }}} כלומר, נדגום מספר u מהתפלגות אחידה בקטע (0,1), ואז − l n ( 1 − u ) λ {\displaystyle -{\frac {ln(1-u)}{\lambda }}} יהיה מספר אקראי מהתפלגות מעריכית עם פרמטר λ {\displaystyle \lambda } . נניח שאנו רוצים לדגום מספר מהתפלגות אחידה בדידה בין a ל-b. הפה"מ הוא: F ( x ) = ⌊ x ⌋ − a + 1 b − a + 1 {\displaystyle F(x)={\frac {\lfloor x\rfloor -a+1}{b-a+1}}} לכל x בקטע [a,b]. נמצא את הפונקציה ההופכית המוכללת, עבור x בקטע [a,b]: F ( x ) = ⌊ x ⌋ − a + 1 b − a + 1 ≥ u {\displaystyle F(x)={\frac {\lfloor x\rfloor -a+1}{b-a+1}}\geq u} ⌊ x ⌋ − a + 1 ≥ u ( b − a + 1 ) {\displaystyle \lfloor x\rfloor -a+1\geq u(b-a+1)} ⌊ x ⌋ ≥ u ( b − a + 1 ) + a − 1 {\displaystyle \lfloor x\rfloor \geq u(b-a+1)+a-1} ה- x {\displaystyle x} הקטן ביותר (האינפימום) המקיים אי-שוויון זה, הוא המספר השלם הקטן ביותר שאינו-קטן מ- u ( b − a + 1 ) + a − 1 {\displaystyle u(b-a+1)+a-1} , כלומר: F − ( u ) = x = ⌈ u ( b − a + 1 ) + a − 1 ⌉ {\displaystyle F^{-}(u)=x=\lceil u(b-a+1)+a-1\rceil } כלומר, נדגום מספר u מהתפלגות אחידה בקטע (0,1), ואז ⌈ u ( b − a + 1 ) + a − 1 ⌉ {\displaystyle \lceil u(b-a+1)+a-1\rceil } יהיה מספר אקראי מהתפלגות אחידה בדידה בין a ל-b. ניתן לראות שהתוצאה שקיבלנו היא הגיונית, שכן עבור u קרוב מאוד ל-1 נקבל F − ( 1 − ) = b {\displaystyle F^{-}(1^{-})=b} ועבור u קרוב מאוד ל-0 נקבל F − ( 0 + ) = a {\displaystyle F^{-}(0^{+})=a} . על מנת להוכיח את נכונות השיטה, יש להוכיח שבהינתן התפלגות D {\displaystyle D} בעלת פונקציית התפלגות F {\displaystyle F} , ובהינתן משתנה מקרי U {\displaystyle U} בעל התפלגות אחידה רציפה בקטע (0,1), מתקיים: F − ( U ) {\displaystyle F^{-}(U)} הוא משתנה מקרי בעל התפלגות D {\displaystyle D} . אם D {\displaystyle D} היא התפלגות רציפה, אז ההופכית המוכללת F − {\displaystyle F^{-}} היא בדיוק הפונקציה ההופכית של F {\displaystyle F} , כלומר: F − ( p ) = F − 1 ( p ) = { x : F ( x ) = p } {\displaystyle F^{-}(p)=F^{-1}(p)=\{x:F(x)=p\}} ההוכחה במקרה זה היא יחסית פשוטה; פונקציית ההתפלגות של F − 1 ( U ) {\displaystyle F^{-1}(U)} (נסמן אותה ב- G {\displaystyle G} ) היא: G ( x ) = P r ( F − 1 ( U ) ≤ x ) {\displaystyle G(x)=Pr\left(F^{-1}(U)\leq x\right)} נפעיל את F {\displaystyle F} (שהיא פונקציה מונוטונית-עולה) על שני צידי האי-שוויון בתוך נוסחת ההסתברות, ונקבל: P r ( F − 1 ( U ) ≤ x ) = P r ( F ( F − 1 ( U ) ) ≤ F ( x ) ) = P r ( U ≤ F ( x ) ) {\displaystyle Pr\left(F^{-1}(U)\leq x\right)=Pr\left(F\left(F^{-1}(U)\right)\leq F(x)\right)=Pr\left(U\leq F(x)\right)} וכיוון ש- U {\displaystyle U} הוא משתנה אחיד סטנדרטי: P r ( U ≤ F ( x ) ) = F ( x ) {\displaystyle Pr\left(U\leq F(x)\right)=F(x)} משלושת השוויונות נובע: G ( x ) = F ( x ) {\displaystyle G(x)=F(x)} כלומר אכן הפה"מ של התפלגות של F − 1 ( U ) {\displaystyle F^{-1}(U)} זהה ל- F {\displaystyle F} , ולכן התפלגות F − 1 ( U ) {\displaystyle F^{-1}(U)} זהה להתפלגות D {\displaystyle D} . לכל p ∈ ( 0 , 1 ) {\displaystyle p\in (0,1)} ולכל x ∈ F − ( 0 , 1 ) {\displaystyle x\in F^{-}(0,1)} הפונקציה ההופכית המוכללת מקיימת את 2 אי-השוויונות הבאים: מכיוון ש- F − {\displaystyle F^{-}} מחזירה בהכרח ערך x המקיים F ( x ) ≥ p {\displaystyle F(x)\geq p} , מתקיים בהכרח: 1.     F ( F − ( p ) ) ≥ p {\displaystyle F\left(F^{-}(p)\right)\geq p} שכן אחרת F ( x ) < p {\displaystyle F(x)<p} . מכיוון ש- F − {\displaystyle F^{-}} מחזירה את האינפימום על פני כל ערכי x המקיימים F ( x ) ≥ p {\displaystyle F(x)\geq p} , מתקיים בהכרח: 2.     F − ( F ( x ) ) ≤ x {\displaystyle F^{-}\left(F(x)\right)\leq x} שכן אחרת: F − ( F ( x ) ) > x {\displaystyle F^{-}\left(F(x)\right)>x} כלומר F − ( F ( x ) ) {\displaystyle F^{-}\left(F(x)\right)} היה גדול-ממש מ-x, וזה לא ייתכן כי הוא אינפימום על פני קבוצה המכילה את x. משני האי-שוויונים לעיל נובע שקבוצת ה-x-ים וה-p-ים המקיימים F − ( p ) ≤ x {\displaystyle F^{-}(p)\leq x} זהה לקבוצת ה-x-ים וה-p-ים המקיימים F ( x ) ≥ p {\displaystyle F(x)\geq p} , כלומר: { ( p , x ) | F ( x ) ≥ p } = { ( p , x ) | F − ( p ) ≤ x } {\displaystyle \left\{(p,x)|F(x)\geq p\right\}=\left\{(p,x)|F^{-}(p)\leq x\right\}} הוכחה: אם יש (x,p) השייך לקבוצה הראשונה, כלומר מקיים F − ( p ) ≤ x {\displaystyle F^{-}(p)\leq x} , אז נפעיל את הפונקציה F {\displaystyle F} (שהיא פונקציה מונוטונית-עולה) על שני הצדדים ונקבל: F ( F − ( p ) ) ≤ F ( x ) {\displaystyle F\left(F^{-}(p)\right)\leq F(x)} , ולפי מה שהוכחנו למעלה: p ≤ F ( F − ( p ) ) ≤ F ( x ) {\displaystyle p\leq F\left(F^{-}(p)\right)\leq F(x)} , כלומר: p ≤ F ( x ) {\displaystyle p\leq F(x)} , כלומר (x,p) שייך גם לקבוצה השנייה. אם יש (x,p) השייך לקבוצה השנייה, כלומר מקיים F ( x ) ≥ p {\displaystyle F(x)\geq p} , אז נפעיל את הפונקציה F − {\displaystyle F^{-}} (שהיא פונקציה מונוטונית-עולה) על שני הצדדים ונקבל: F − ( F ( x ) ) ≥ F − ( p ) {\displaystyle F^{-}\left(F(x)\right)\geq F^{-}(p)} , ולפי מה שהוכחנו למעלה: x ≥ F − ( F ( x ) ) ≥ F − ( p ) {\displaystyle x\geq F^{-}\left(F(x)\right)\geq F^{-}(p)} , כלומר: x ≥ F − ( p ) {\displaystyle x\geq F^{-}(p)} , כלומר (x,p) שייך גם לקבוצה הראשונה. המטרה שלנו היא להוכיח שפונקציית ההתפלגות של F − ( U ) {\displaystyle F^{-}(U)} זהה לפונקציית ההתפלגות F {\displaystyle F} . פונקציית ההתפלגות של F − ( U ) {\displaystyle F^{-}(U)} (נסמן אותה ב- G {\displaystyle G} ) היא: G ( x ) = P r ( F − ( U ) ≤ x ) {\displaystyle G(x)=Pr\left(F^{-}(U)\leq x\right)} לפי מה שהוכחנו בשלב הקודם, מתקיים בהכרח (נציב את U במקום p): P r ( F − ( U ) ≤ x ) = P r ( U ≤ F ( x ) ) {\displaystyle Pr\left(F^{-}(U)\leq x\right)=Pr\left(U\leq F(x)\right)} וכיוון ש- U {\displaystyle U} הוא משתנה אחיד סטנדרטי: P r ( U ≤ F ( x ) ) = F ( x ) {\displaystyle Pr\left(U\leq F(x)\right)=F(x)} משלושת השוויונות נובע: G ( x ) = F ( x ) {\displaystyle G(x)=F(x)} כלומר אכן הפה"מ של התפלגות של F − ( U ) {\displaystyle F^{-}(U)} זהה ל- F {\displaystyle F} , ולכן התפלגות F − ( U ) {\displaystyle F^{-}(U)} זהה להתפלגות D {\displaystyle D} . The Inverse Transform Method, באתר אוניברסיטת קיימברידג'