התפלגות פארטו

התפלגות פארטו, הנקראת על שם המהנדס האזרחי, הכלכלן והסוציולוג האיטלקי וילפרדו פארטו, היא התפלגות הסתברות המשמשת לתיאור של תופעות מתחומים מגוונים: חברתיות, בקרת איכות, מדעיות, גיאופיזיות, אקטואריות ועוד. העיקרון, שיושם במקור לתיאור של חלוקת העושר בחברה, מתאים לתופעה לפיה חלק גדול מהעושר מוחזק על ידי חלק קטן מהאוכלוסייה. עקרון פארטו או "כלל 80-20", הקובע ש-80% מהתוצאות נובעות מ-20% מהסיבות, נקרא על שם פארטו, אך רק התפלגויות פארטו עם פרמטר צורה α שערכו log 4 ⁡ 5 ≈ 1.16 {\displaystyle \log _{4}5\approx 1.16} ישקפו במדויק את עיקרון פארטו. תצפיות אמפיריות הראו שהתפלגות 80-20 זו מתאימה למגוון רחב של תופעות טבע והתנהגות אנושיות. אם X הוא משתנה מקרי עם התפלגות פארטו (סוג I), אזי ההסתברות ש- X גדול ממספר כלשהו x, כלומר, פונקציית ההישרדות (נקראת גם פונקציית זנב), נתונה על ידי F ¯ ( x ) = Pr ( X > x ) = { ( x m x ) α x ≥ x m , 1 x < x m , {\displaystyle {\overline {F}}(x)=\Pr(X>x)={\begin{cases}\left({\frac {x_{\mathrm {m} }}{x}}\right)^{\alpha }&x\geq x_{\mathrm {m} },\\1&x<x_{\mathrm {m} },\end{cases}}} כאשר xm הוא הערך המינימלי האפשרי (חיובי בהכרח) של X, ו- α הוא פרמטר חיובי. התפלגות פארטו מסוג I מאופיינת בפרמטר קנה-המידה xm ובפרמטר צורה α, הידוע כמדד הזנב. אם התפלגות זו משמשת למודל של התפלגות העושר, אז הפרמטר α נקרא אינדקס פארטו(אנ'). מההגדרה, פונקציית ההתפלגות המצטברת של משתנה מקרי שמתפלג פארטו עם הפרמטרים α ו- xm היא F X ( x ) = { 1 − ( x m x ) α x ≥ x m , 0 x < x m . {\displaystyle F_{X}(x)={\begin{cases}1-\left({\frac {x_{\mathrm {m} }}{x}}\right)^{\alpha }&x\geq x_{\mathrm {m} },\\0&x<x_{\mathrm {m} }.\end{cases}}} על ידי גזירה מקבלים שפונקציית צפיפות ההסתברות היא f X ( x ) = { α x m α x α + 1 x ≥ x m , 0 x < x m . {\displaystyle f_{X}(x)={\begin{cases}{\frac {\alpha x_{\mathrm {m} }^{\alpha }}{x^{\alpha +1}}}&x\geq x_{\mathrm {m} },\\0&x<x_{\mathrm {m} }.\end{cases}}} כאשר מציירים את ההתפלגות על צירים ליניאריים, ההתפלגות מתוארת על ידי עקומה בצורת האות J, ששואפת אסימפטוטית לשני הצירים. כל מקטעי העקומה דומים לעצמם (עם פרמטרי קנה מידה מתאימים). כאשר משרטטים בדיאגרמה שבה שני הצירים מכויילים לוגריתמית, ההתפלגות מיוצגת על ידי קו ישר. התוחלת של משתנה מקרי שמתפלג פארטו היא E ⁡ ( X ) = { ∞ α ≤ 1 , α x m α − 1 α > 1. {\displaystyle \operatorname {E} (X)={\begin{cases}\infty &\alpha \leq 1,\\{\frac {\alpha x_{\mathrm {m} }}{\alpha -1}}&\alpha >1.\end{cases}}} השונות של משתנה מקרי שמתפלג פארטו היא Var ⁡ ( X ) = { ∞ α ∈ ( 1 , 2 ] , ( x m α − 1 ) 2 α α − 2 α > 2. {\displaystyle \operatorname {Var} (X)={\begin{cases}\infty &\alpha \in (1,2],\\\left({\frac {x_{\mathrm {m} }}{\alpha -1}}\right)^{2}{\frac {\alpha }{\alpha -2}}&\alpha >2.\end{cases}}} (עבור α ≤ 1, השונות אינה מוגדרת) המומנטים הגולמיים הם μ n ′ = { ∞ α ≤ n , α x m n α − n α > n . {\displaystyle \mu _{n}'={\begin{cases}\infty &\alpha \leq n,\\{\frac {\alpha x_{\mathrm {m} }^{n}}{\alpha -n}}&\alpha >n.\end{cases}}} הפונקציה היוצרת מוגדרת רק עבור ערכים שליליים או אפס t ≤ 0 {\displaystyle t\leq 0} M ( t ; α , x m ) = E ⁡ [ e t X ] = α ( − x m t ) α Γ ( − α , − x m t ) {\displaystyle M\left(t;\alpha ,x_{\mathrm {m} }\right)=\operatorname {E} \left[e^{tX}\right]=\alpha (-x_{\mathrm {m} }t)^{\alpha }\Gamma (-\alpha ,-x_{\mathrm {m} }t)} M ( 0 , α , x m ) = 1. {\displaystyle M\left(0,\alpha ,x_{\mathrm {m} }\right)=1.} היות שהתוחלת אינה מתכנסת בקטע הפתוח המכיל את t = 0 {\displaystyle t=0} אנו אומרים שהפונקציה היוצרת אינה מוגדרת. הפונקציה האופיינית נתונה על ידי φ ( t ; α , x m ) = α ( − i x m t ) α Γ ( − α , − i x m t ) , {\displaystyle \varphi (t;\alpha ,x_{\mathrm {m} })=\alpha (-ix_{\mathrm {m} }t)^{\alpha }\Gamma (-\alpha ,-ix_{\mathrm {m} }t),} כאשר Γ ( a , x ) {\displaystyle \Gamma (a,x)} היא פונקציית גמא הלא שלמה. ניתן לחלץ את הפרמטרים באמצעות שיטת המומנטים. התפלגות ההסתברות המותנית של משתנה מקרי המתפלג פארטו, בהינתן המאורע שערכו של המשתנה המקרי גדול או שווה למספר מסוים x 1 {\displaystyle x_{1}} , שגדול מ x m {\displaystyle x_{\text{m}}} , היא התפלגות פארטו עם אותו אינדקס פארטו α {\displaystyle \alpha } אך עם מינימום x 1 {\displaystyle x_{1}} בִּמקוֹם x m {\displaystyle x_{\text{m}}} : Pr ( X ≥ x | X ≥ x 1 ) = { ( x 1 x ) α x ≥ x 1 , 1 x < x 1 . {\displaystyle {\text{Pr}}(X\geq x|X\geq x_{1})={\begin{cases}\left({\frac {x_{1}}{x}}\right)^{\alpha }&x\geq x_{1},\\1&x<x_{1}.\end{cases}}} הביטוי מרמז כל כך שהערך התוחלת המותנית (אם היא סופית, כלומר α > 1 {\displaystyle \alpha >1} ) פרופורציוני ל- x 1 {\displaystyle x_{1}}  : E ( X | X ≥ x 1 ) ∝ x 1 {\displaystyle {\text{E}}(X|X\geq x_{1})\propto x_{1}} במקרה של משתנים אקראיים המתארים את משך חייו של אובייקט, המשמעות היא שתוחלת החיים היא פרופורציונלית לגיל, והיא נקראת אפקט לינדי(אנ') או חוק לינדי. נניח כי X 1 , X 2 , X 3 , … {\displaystyle X_{1},X_{2},X_{3},\dotsc } הם משתנים מקריים בלתי תלויים אשר התפלגות ההסתברות שלהם נתמכת בקטע [ x m , ∞ ) {\displaystyle [x_{\text{m}},\infty )} עבור x m > 0 {\displaystyle x_{\text{m}}>0} כלשהו. נניח שלכל n {\displaystyle n} , שני המשתנים האקראיים min { X 1 , … , X n } {\displaystyle \min\{X_{1},\dotsc ,X_{n}\}} ו ( X 1 + ⋯ + X n ) / min { X 1 , … , X n } {\displaystyle (X_{1}+\dotsb +X_{n})/\min\{X_{1},\dotsc ,X_{n}\}} הם בלתי תלויים. אז ההתפלגות המשותפת היא התפלגות פארטו. הממוצע הגאומטרי (G) הוא G = x m exp ⁡ ( 1 α ) . {\displaystyle G=x_{\text{m}}\exp \left({\frac {1}{\alpha }}\right).} הממוצע ההרמוני ( H ) הוא H = x m ( 1 + 1 α ) . {\displaystyle H=x_{\text{m}}\left(1+{\frac {1}{\alpha }}\right).} התפלגות ה'זנב הארוך' המעוקל האופיינית, כשהיא משורטטת בסקאלה ליניארית, אינה מגלה את הפשטות הבסיסית של הפונקציה. כשהיא משורטטת על מערכת צירים בסקאלה לוגריתמית-לוגריתמית, היא מתוארת כקו ישר עם שיפוע שלילי, כפי שניתן לראות מהנוסחה עבור פונקציית צפיפות ההסתברות עבור x ≥ x m log ⁡ f X ( x ) = log ⁡ ( α x m α x α + 1 ) = log ⁡ ( α x m α ) − ( α + 1 ) log ⁡ x . {\displaystyle \log f_{X}(x)=\log \left(\alpha {\frac {x_{\mathrm {m} }^{\alpha }}{x^{\alpha +1}}}\right)=\log(\alpha x_{\mathrm {m} }^{\alpha })-(\alpha +1)\log x.} מכיוון ש- α חיובי, השיפוע − ( α + 1 ) {\displaystyle -(\alpha +1)} הוא שלילי. פונקציית הנראות של פרמטרי התפלגות פארטו α ו- xm, בהינתן מדגם בלתי תלוי x = (x1 , x2 , ..., xn), הוא L ( α , x m ) = ∏ i = 1 n α x m α x i α + 1 = α n x m n α ∏ i = 1 n 1 x i α + 1 . {\displaystyle L(\alpha ,x_{\mathrm {m} })=\prod _{i=1}^{n}\alpha {\frac {x_{\mathrm {m} }^{\alpha }}{x_{i}^{\alpha +1}}}=\alpha ^{n}x_{\mathrm {m} }^{n\alpha }\prod _{i=1}^{n}{\frac {1}{x_{i}^{\alpha +1}}}.} לכן, הלוגריתם הטבעי של פונקציית הנראות הוא ℓ ( α , x m ) = n ln ⁡ α + n α ln ⁡ x m − ( α + 1 ) ∑ i = 1 n ln ⁡ x i . {\displaystyle \ell (\alpha ,x_{\mathrm {m} })=n\ln \alpha +n\alpha \ln x_{\mathrm {m} }-(\alpha +1)\sum _{i=1}^{n}\ln x_{i}.} אפשר לראות כי ℓ ( α , x m ) {\displaystyle \ell (\alpha ,x_{\mathrm {m} })} עולה מונוטונית עם xm, כלומר ככל שהערך של xm גדל, כך גדל הערך של פונקציית הנראות. לפיכך, מכיוון ש- x ≥ xm, אנו מסיקים כי x ^ m = min i x i . {\displaystyle {\widehat {x}}_{\mathrm {m} }=\min _{i}{x_{i}}.} כדי למצוא את המשערך של α, מחשבים את הנגזרת החלקית המתאימה ומוצאים את הערך שבו היא מתאפסת: ∂ ℓ ∂ α = n α + n ln ⁡ x m − ∑ i = 1 n ln ⁡ x i = 0. {\displaystyle {\frac {\partial \ell }{\partial \alpha }}={\frac {n}{\alpha }}+n\ln x_{\mathrm {m} }-\sum _{i=1}^{n}\ln x_{i}=0.} לפיכך משערך הנראות המרבית ל α הוא: α ^ = n ∑ i ln ⁡ ( x i / x ^ m ) . {\displaystyle {\widehat {\alpha }}={\frac {n}{\sum _{i}\ln(x_{i}/{\widehat {x}}_{\mathrm {m} })}}.} השגיאה הסטטיסטית הצפויה היא: σ = α ^ n . {\displaystyle \sigma ={\frac {\widehat {\alpha }}{\sqrt {n}}}.} וילפרדו פארטו השתמש במקור בהתפלגות זו כדי לתאר את הקצאת העושר בין יחידים, כיוון שנראה היה שהיא מתארת היטב את האופן שבו בחברות שונות חלק גדול של העושר נמצא בבעלות אחוז קטן של האנשים. הוא גם השתמש בהתפלגות זו כדי לתאר את חלוקת ההכנסה. רעיון זה מתבטא לפעמים בצורה פשוטה יותר כעקרון פארטו או "כלל 80-20", שאומר ש-20% מהאוכלוסייה שולטת ב-80% מהעושר. התפלגות זו אינה מוגבלת לתיאור עושר או הכנסה. הדוגמאות הבאות נתפסות לפעמים כבעלות התפלגות פארטו בקירוב: ארבעת המשתנים של מגבלת התקציב של משק הבית: צריכה, הכנסת עבודה, הכנסת הון ועושר. הגדלים של יישובים אנושיים (מעט ערים, כפרים/כפרים רבים) התפלגות גודלי קבצים בתעבורת אינטרנט המשתמשת בפרוטוקול TCP ( קבצים קטנים רבים, קבצים גדולים מעטים) עתודות הנפט בשדות נפט תשואות של מניות בודדות גדלים של חלקיקי חול גדלים של מטאוריטים בהידרולוגיה, התפלגות הפארטו מיושמת על אירועי קיצון כמו כמות גשמים מקסימלית מדי שנה של יום אחד וספיקה של נהרות. התמונה הכחולה ממחישה דוגמה להתאמת התפלגות פארטו לכמות גשמים מקסימלית שנתית מדורגת של יום אחד, המציגה גם את רווח בר סמך של 90% בהתבסס על ההתפלגות הבינומית. נתוני הגשמים מיוצגים על ידי התווית מיקומים כחלק מניתוח התדירות המצטבר. התפלגות פארטו היא התפלגות הסתברות רציפה. חוק זיף הוא התפלגות בדידה, המפרידה בין הערכים לדירוג פשוט(אנ'). שניהם הם חוקי חזקות פשוטים עם מעריך שלילי, מנורמלים כך שההתפלגות המצטברת שלהם שווה ל-1. ניתן לגזור את חוק זיף מהתפלגות פארטו אם ערכי x {\displaystyle x} ערכים (ההכנסות) מחולקים ל N {\displaystyle N} דליים(אנ'), כך שמספר האנשים בכל דלי מתנהג כהופכי של הדירוג שלו. ההתפלגות מנורמלת על ידי ההגדרה של x m {\displaystyle x_{m}} כך שיתקיים α x m α = 1 H ( N , α − 1 ) {\displaystyle \alpha x_{\mathrm {m} }^{\alpha }={\frac {1}{H(N,\alpha -1)}}} , כאשר H ( N , α − 1 ) {\displaystyle H(N,\alpha -1)} הוא המספר ההרמוני המוכלל. כך, פונקציית צפיפות ההסתברות של זיף מהווה מקרה פרטי של התפלגות פארטו: f ( x ) = α x m α x α + 1 = 1 x s H ( N , s ) {\displaystyle f(x)={\frac {\alpha x_{\mathrm {m} }^{\alpha }}{x^{\alpha +1}}}={\frac {1}{x^{s}H(N,s)}}} כאשר s = α − 1 {\displaystyle s=\alpha -1} , N הוא מדרגת ההכנסה הגבוהה ביותר ו- x {\displaystyle x} הוא מספר שלם המייצג דירוג מ-1 עד N. אז לאדם שנבחר באקראי (או מילה, קישור לאתר או עיר) מאוכלוסייה (או שפה, אינטרנט או מדינה) יש הסתברות f ( x ) {\displaystyle f(x)} לדירוג x {\displaystyle x} . חוק "80–20", לפיו 20% מכלל האנשים מקבלים 80% מכלל ההכנסה, ו-20% מ-20% האמידים ביותר מקבלים 80% מאותם 80%, וכן הלאה, מתקיים כאשר מדד פארטו הוא α = log 4 ⁡ 5 = log 10 ⁡ 5 log 10 ⁡ 4 ≈ 1.161 {\displaystyle \alpha =\log _{4}5={\cfrac {\log _{10}5}{\log _{10}4}}\approx 1.161} . תוצאה זו יכולה להיגזר מנוסחת עקומת לורנץ. יתר על כן, הוכח כי הטענות הבאות שקולות מתמטית: ההכנסה מחולקת לפי התפלגות פארטו עם מדד α > 1. קיים מספר 1 2 ≥ p ≥ 0 {\displaystyle {1 \over 2}\geq p\geq 0} כך שחלק יחסי p מכלל האנשים מקבלים חלק יחסי 1 − p {\displaystyle 1-p} מההכנסה., ובאופן דומה עבור כל מספר ממשי 0<n (לא בהכרח מספר שלם) חלק יחסי p n {\displaystyle p^{n}} של כלל האנשים יקבל חלק יחסי ( 1 − p ) n {\displaystyle (1-p)^{n}} מכלל ההכנסה. α ו- p קשורים ב- 1 − 1 α = ln ⁡ ( 1 − p ) ln ⁡ ( p ) = ln ⁡ ( ( 1 − p ) n ) ln ⁡ ( p n ) {\displaystyle 1-{\frac {1}{\alpha }}={\frac {\ln(1-p)}{\ln(p)}}={\frac {\ln((1-p)^{n})}{\ln(p^{n})}}} . התפלגויות פארטו, שעבורן 0 < α ≤ 1 אשר, כפי שצוין לעיל, יש להן עתוחלת אינסופית, אינן יכולות לשמש כמודל סביר להתפלגות של הכנסה. אפקט מתי עקרון פארטו יעילות פארטו חוק זיף התפלגות זנב עבה מדיה וקבצים בנושא התפלגות פארטו בוויקישיתוף התפלגות פארטו, באתר MathWorld (באנגלית) Amoroso, Luigi (1938). "VILFREDO PARETO". Econometrica (Pre-1986); Jan 1938; 6, 1; ProQuest. 6. Pareto, Vilfredo (1898). "Cours d'economie politique". Journal of Political Economy. 6. doi:10.1086/250536. Pareto, Vilfredo, Cours d'Économie Politique: Nouvelle édition par G.-H. VAN MONTFORT, M.A.J. (1986). "The Generalized Pareto distribution applied to rainfall depths". Hydrological Sciences Journal. 31 (2): 151–162. Bibcode:1986HydSJ..31..151V. doi:10.1080/02626668609491037. Oancea, Bogdan (2017). "Income inequality in Romania: The exponential-Pareto distribution". Physica A: Statistical Mechanics and Its Applications. 469: 486–498. Bibcode:2017PhyA..469..486O. doi:10.1016/j.physa.2016.11.094. Morella, Matteo. "Pareto Distribution". {{cite journal}}: Cite journal requires |journal= (עזרה) Barry C. Arnold (1983). Pareto Distributions. International Co-operative Publishing House. ISBN 978-0-89974-012-6. S. Hussain, S.H. Bhatti (2018). Eliazar, Iddo (בנובמבר 2017). "Lindy's Law". Physica A: Statistical Mechanics and Its Applications. 486: 797–805. Bibcode:2017PhyA..486..797E. doi:10.1016/j.physa.2017.05.077. {{cite journal}}: (עזרה) Johnson NL, Kotz S, Balakrishnan N (1994) Continuous univariate distributions Vol 1. M. E. J. Newman (2005). "Power laws, Pareto distributions and Zipf's law". Contemporary Physics. 46 (5): 323–51. arXiv:cond-mat/0412004. Bibcode:2005ConPh..46..323N. doi:10.1080/00107510500052444. For a two-quantile population, where approximately 18% of the population owns 82% of the wealth, the Theil index takes the value 1. Gaillard, Alexandre; Hellwig, Christian; Wangner, Philipp; Werquin, Nicolas (2023). "Consumption, Wealth, and Income Inequality: A Tale of Tails". Reed, William J.; et al. (2004). "The Double Pareto-Lognormal Distribution – A New Parametric Model for Size Distributions". Communications in Statistics – Theory and Methods. 33 (8): 1733–53. CiteSeerX 10.1.1.70.4555. doi:10.1081/sta-120037438. Reed, William J. (2002). "On the rank-size distribution for human settlements". Journal of Regional Science. 42 (1): 1–17. Bibcode:2002JRegS..42....1R. doi:10.1111/1467-9787.00247. Alberto S Betzler, Ernesto P Borges, Mass distributions of meteorites, Monthly Notices of the Royal Astronomical Society, 493, 2020, עמ' 4058–4064 CumFreq, software for cumulative frequency analysis and probability distribution fitting Hardy, Michael (2010). "Pareto's Law". Mathematical Intelligencer. 32 (3): 38–43. doi:10.1007/s00283-010-9159-2.