**אנטרופיית רניי** היא הכללה של אנטרופיות בתורת האינפורמציה. בשנת 1961 הציג אלפרד רניי את משפחת האנטרופיות הפרמטריות, כהכללה מתמטית של אנטרופיית שאנון. רניי מעוניין היה למצוא שיטת מדידת מידע כללית ביותר המשמרת את תכונת האדיטיביות של מערכות סטטיסטיות בלתי תלויות, ומתואמת עם אקסיומות ההסתברות. לאנטרופיית רניי מספר יישומים בתורת הקודים, מכניקה סטטיסטית, סטטיסטיקה ותחומים נוספים אחרים.

הגדרה
-----

יהי X משתנה מקרי בדיד בעל תומך {\displaystyle {\mathcal {X}}=\{x\_{i}|1\leq i\leq n\}} ופונקציית הסתברות {\displaystyle p\_{i}}, המקיימת {\displaystyle p\_{i}=Pr\_{X}(x\_{i})}. אנטרופיית רניי מסדר \alpha  (כאשר
{\displaystyle \alpha \geq 0}) עבור X תהא:


H

α

(
X
)
≜

{


1

1
−
α

log
⁡

∑

i
=
1

n

p

i

α


if 

α
≠
1


H

1

(
X
)

if 

α
=
1



{\displaystyle H\_{\alpha }(X)\triangleq {\begin{cases}{1 \over 1-\alpha }\log {\sum \_{i=1}^{n}p\_{i}^{\alpha }}&{\mbox{if }}\alpha \neq 1\\H\_{1}(X)&{\mbox{if }}\alpha =1\end{cases}}}

{\displaystyle H_{\alpha }(X)\triangleq {\begin{cases}{1 \over 1-\alpha }\log {\sum _{i=1}^{n}p_{i}^{\alpha }}&{\mbox{if }}\alpha \neq 1\\H_{1}(X)&{\mbox{if }}\alpha =1\end{cases}}}
כאשר: בדר"כ בסיס הלוגריתם הוא 2 ו- {\displaystyle H\_{1}(X)=-\sum \_{i=1}^{n}p\_{i}\log {p\_{i}}} היא אנטרופיית שאנון. כמו כן, {\displaystyle {\displaystyle \alpha }} פרמטר חסר יחידות הנקרא אינדקס האנטרופיה, ומאפיין את דרגת אי האקסטנסיביות של המערכת. אין שיטה כללית לדעת מהו ערכו של אינדקס האנטרופיה, וניתן להשתמש בו על מנת להתאים את רגישות הביטוי לצורת התפלגות ההסתברות.
במקרה בו פונקציית ההסתברות מתפלגת באופן אחיד, {\displaystyle p\_{i}={1 \over n}} עבור {\displaystyle {1\leq i\leq n}}, נקבל כי: {\displaystyle \forall \alpha \geq 0;H\_{\alpha }(X)=\log(n)}.

איור 2- **אנטרופיית רניי עבור מספר ערכים של אינדקס האנטרופיה**
### תכונות

נמנה מספר תכונות חשובות עבור אנטרופיית רניי:

1. אדיטיביות
2. {\displaystyle H\_{\alpha }(X)} אי שלילית: {\displaystyle H\_{\alpha }(X)\geq 0}.
3. קעירות - עבור {\displaystyle \alpha \leq 1} אנטרופיית רניי קעורה. לעומת זאת, עבור {\displaystyle \alpha >1} אינה קמורה או קעורה בלבד. ניתן להראות כי תכונת הקעירות נשברת עבור {\displaystyle \alpha >\alpha ^{\star }>1}, כאשר {\displaystyle \alpha ^{\star }} תלוי ב n באופן הבא: {\displaystyle \alpha ^{\star }\leq 1+{\ln(4) \over \ln(n-1)}}.
4. עבור {\displaystyle \alpha \geq \beta } כאשר: {\displaystyle \alpha ,\beta \in [0,\infty )} נקבל כי {\displaystyle 0\leq H\_{\alpha }(X)\leq H\_{\beta }(X)}
5. {\displaystyle H\_{\alpha }(X)} פונקציה חסומה, רציפה ולא עולה ב-\alpha .
6. {\displaystyle H{z}(X)} עם {\displaystyle z=\alpha +j\omega } אנליטית בכל המישור המרוכב מלבד בציר הממשי השלילי. מכאן, סינגולריות האנטרופיה עבור {\displaystyle \alpha =1} אינה מהותית, כך שכפי שציינו בגבול {\displaystyle \alpha \rightarrow 1} נקבל את אנטרופיית שאנון.

ההשלכה של תכונת הקעירות הדו משמעית היא שאנטרופיית רניי אינה מתאימה להוות אנטרופיה פיזיקלית (בניגוד לאנטרופיית שאנון) כאשר מבוטאת על ידי פונקציית הסתברות {\displaystyle p\_{i}} רלוונטית.
מתכונה {\displaystyle (6)} ניתן להראות כי אם נבצע המשכה אנליטית של \alpha  למישור המרוכב, דהיינו {\displaystyle z=\alpha +j\omega }, אזי {\displaystyle H\_{z}(X)=\sum \_{i=1}^{n}p\_{i}^{z}} אנליטית למעט בציר הממשי השלילי.

### אנטרופיית רניי המשותפת

ניתן להרחיב את הגדרת אנטרופיית רניי למקרה של משתנה מקרי דו ממדי בדיד באופן הבא: יהי {\displaystyle (X,Y)} משתנה מקרי דו־ממדי בדיד עם פונקציית הסתברות {\displaystyle p\_{ij}=Pr(X=x\_{i},Y=y\_{j})}, כאשר {\displaystyle {1\leq i\leq n}}, {\displaystyle {1\leq j\leq m}}.
אנטרופיית רניי המשותפת תהא:


H

α

(
X
,
Y
)
≜

1

1
−
α

log
⁡

∑

i
,
j

p

i
j

α

;
{
α
≥
0
,
α
≠
1
}

{\displaystyle H\_{\alpha }(X,Y)\triangleq {1 \over 1-\alpha }\log {\sum \_{i,j}p\_{ij}^{\alpha }};\{\alpha \geq 0,\alpha \neq 1\}}

{\displaystyle H_{\alpha }(X,Y)\triangleq {1 \over 1-\alpha }\log {\sum _{i,j}p_{ij}^{\alpha }};\{\alpha \geq 0,\alpha \neq 1\}}
### אנטרופיית רניי המותנית

לאנטרופיית רניי המותנית היו מספר הצעות בספרות, אך רובן לא קיימו הן מונוטוניות והן את כלל השרשרת. בנוסף, הצעות אלו לא הסכימו עם אנטרופיית שאנון (המותנית) ואנטרופיית המינימום (המותנית). על כן, נציג הגדרה לאנטרופיית רניי המותנית אשר מסכימה עם האמור לעיל.
יהיו {\displaystyle X,Y} משתנים מקריים בדידים עם תומכים {\displaystyle {\mathcal {X,Y}}} בהתאמה ופונקציית התפלגות מותנית {\displaystyle P\_{X|Y}(x|y)} ו- {\displaystyle \alpha \in (0,1)\cup (1,\infty )}. אנטרופיית רניי היחסית תהא:


H

α

(
X

|

Y
)
≜
−
log
⁡

(

∑

y
∈

Y


P

Y

(
y
)

(

∑

x
∈

X


P

X

|

Y

(
x

|

y

)

α

)

1
α

)

α

α
−
1



{\displaystyle H\_{\alpha }(X|Y)\triangleq -\log \left(\sum \_{y\in {\mathcal {Y}}}P\_{Y}(y)\left(\sum \_{x\in {\mathcal {X}}}P\_{X|Y}(x|y)^{\alpha }\right)^{1 \over \alpha }\right)^{\alpha \over {\alpha -1}}}

{\displaystyle H_{\alpha }(X|Y)\triangleq -\log \left(\sum _{y\in {\mathcal {Y}}}P_{Y}(y)\left(\sum _{x\in {\mathcal {X}}}P_{X|Y}(x|y)^{\alpha }\right)^{1 \over \alpha }\right)^{\alpha  \over {\alpha -1}}}
מספר הבחנות:

* {\displaystyle H\_{1}(X|Y)\triangleq \lim \_{\alpha \rightarrow 1}H\_{\alpha }(X|Y)=H(X|Y)}. כאשר {\displaystyle H(X|Y)} היא אנטרופיית שאנון המותנית.
* {\displaystyle \lim \_{\alpha \rightarrow \infty }H\_{\alpha }(X|Y)=H\_{\infty }(X|Y)}. כאשר {\displaystyle H\_{\infty }(X|Y)} היא אנטרופיית המינימום המותנית.
* {\displaystyle H\_{0}(X|Y)\triangleq \lim \_{\alpha \rightarrow 0}H\_{\alpha }(X|Y)=\log \left(\max \_{y\in {\mathcal {Y}}}\{|\operatorname {sup} (P\_{X|Y=y})|\}\right)}. כאשר {\displaystyle H\_{0}(X|Y)} היא פונקציית הארטלי המותנית או אנטרופיית המקסימום המותנית.
* עבור {\displaystyle \alpha \geq \beta } כאשר: {\displaystyle \alpha ,\beta \in (0,\infty )} נקבל כי {\displaystyle 0\leq H\_{\alpha }(X|Y)\leq H\_{\beta }(X|Y)}.
* מונוטוניות - עבור {\displaystyle \alpha \in (0,\infty )} מתקיים: {\displaystyle H\_{\alpha }(X)\geq H\_{\alpha }(X|Y)}.
* כלל השרשרת (החלש) - עבור {\displaystyle \alpha \in (0,\infty )} מתקיים: {\displaystyle H\_{\alpha }(X|Y)\geq H\_{\alpha }(X,Y)-H\_{0}(Y)}.

אנטרופיית רניי היחסית עלולה להימצא בתחומים רבים כגון: מערכות קוונטיות, הנדסה ביו-רפואית, קריפטוגרפיה, כלכלה, סטטיסטיקה ותחומים נוספים.

דיברגנץ רניי
------------

יהי {\displaystyle P,Q} פונקציות הסתברות מעל תומך {\displaystyle {\mathcal {X}}}, אזי דיברגנץ רניי {\displaystyle D\_{\alpha }} של P מ- Q, מסדר \alpha , כאשר {\displaystyle \alpha \in [0,1)\cup (1,\infty )}, יהא:


D

α

(
P

|

|

Q
)
≜

1

α
−
1

log
⁡

(

∑

z
∈

X

P
(
x

)

α

Q
(
x

)

1
−
α

)

{\displaystyle D\_{\alpha }(P||Q)\triangleq {1 \over {\alpha -1}}\log \left(\sum \_{z\in {\mathcal {X}}}P(x)^{\alpha }Q(x)^{1-\alpha }\right)}

{\displaystyle D_{\alpha }(P||Q)\triangleq {1 \over {\alpha -1}}\log \left(\sum _{z\in {\mathcal {X}}}P(x)^{\alpha }Q(x)^{1-\alpha }\right)}
הגדרה זו ניתנת להרחבה עבור המקרה בו {\displaystyle \alpha =1,\infty } על ידי לקיחת הגבולות: {\displaystyle {\begin{cases}D\_{1}(P||Q)\triangleq \lim \_{\alpha \rightarrow 1}D\_{\alpha }(P||Q)\\D\_{\infty }(P||Q)\triangleq \lim \_{\alpha \rightarrow \infty }D\_{\alpha }(P||Q)\end{cases}}}
ומתקיים: {\displaystyle {\begin{cases}D\_{1}(P||Q)=\sum \_{x\in {\mathcal {X}}}P(x)\log \left({\frac {P(x)}{Q(x)}}\right)\\D\_{\infty }(P||Q)=\log \left(\operatorname {supp} \_{x\in {\mathcal {X}}}\left({\frac {P(x)}{Q(x)}}\right)\right)\end{cases}}}.

במקרה של {\displaystyle \alpha =1} דיברגנץ רניי {\displaystyle D\_{\alpha }} של P מ- Q הוא דיברגנץ קולבק-לייבלר של P מ- Q.

### הכללה קוונטית

לדיברגנץ רניי קיימת גם הכללה קוונטית. תחילה, עבור {\displaystyle \alpha \in [0,1)\cup (1,\infty )} נחפש את הפונקציונלים הממשיים {\displaystyle {\mathcal {D}}\_{\alpha }(\cdot ||\cdot )} על זוגות אופרטורים חיוביים, מבוטאים באמצעות פרמטר \alpha , כך שמתקיים: {\displaystyle {\mathcal {D}}\_{\alpha }(\rho \_{X},\sigma \_{X})=D\_{\alpha }(P||Q)}. כאשר:{\displaystyle \sigma \_{X}}, {\displaystyle \rho \_{X}} הם מצבים קלאסיים ומתקיים: {\displaystyle \rho \_{X}=\sum \_{x\in {\mathcal {X}}}P(x)|x\rangle \langle x|\_{X}} ו- {\displaystyle \sigma \_{X}=\sum \_{x\in {\mathcal {X}}}Q(x)|x\rangle \langle x|\_{X}} עם {\displaystyle \operatorname {supp} P\subseteq \operatorname {supp} Q}.
בנוסף, נדרוש כי אי שוויון עיבוד הנתונים שיתקיים. כלומר, עבור אופרטור קוונטי \Lambda : {\displaystyle {\mathcal {D}}\_{\alpha }(\rho ||\sigma )\geq {\mathcal {D}}\_{\alpha }(\Lambda (\rho )||\Lambda (\sigma ))}.
על כן, ההכללה הקוונטית של דיברגנץ רניי תוגדר להיות:


D

α

(
ρ

|

|

σ
)
≜

1

α
−
1

log
⁡

Tr
⁡
(

ρ

α

σ

1
−
α

)

Tr
⁡
ρ


{\displaystyle D\_{\alpha }(\rho ||\sigma )\triangleq {\frac {1}{\alpha -1}}\log {\frac {\operatorname {Tr} (\rho ^{\alpha }\sigma ^{1-\alpha })}{\operatorname {Tr} \rho }}}

{\displaystyle D_{\alpha }(\rho ||\sigma )\triangleq {\frac {1}{\alpha -1}}\log {\frac {\operatorname {Tr} (\rho ^{\alpha }\sigma ^{1-\alpha })}{\operatorname {Tr} \rho }}}
כאשר: {\displaystyle \rho ,\sigma \in {\mathcal {P}}({\mathcal {H}})}, ו - {\displaystyle \rho \subseteq \operatorname {supp} \sigma } ל- {\displaystyle \alpha >1} או {\displaystyle \rho \not \perp \sigma } ל- {\displaystyle \alpha \in [0,1)}.
לביטוי זה פירושים אופרטורים ישירים כהכללה של ערכי קצה בניסויים בתאוריית הקוונטים.

יישום כלכלי
-----------

ניתן להסתכל על צמד פונקציות הסתברות כמשחק מזלות אשר בו אחת מההסתברויות מגדירה את הסיכויים הרשמיים, והשנייה את ההסתברויות עצמן. עצם ידיעת ההסתברות עצמה מאפשרת לשחקן המשתתף במשחק להרוויח, ושיעור הרווח עצמו מתקשר לדיברגץ רניי בצורה הבאה:
{\displaystyle {\rm {ExpectedRate}}={\frac {1}{R}}\,D\_{1}(b\|m)+{\frac {R-1}{R}}\,D\_{1/R}(b\|m)\,}.

כאשר: m מגדירה את הסיכויים הרשמיים (לענייננו - השוק), של המשחק, b היא ההתפלגות בה המשקיעים מאמינים ו- R היא שנאת סיכון של המשקיעים. אם ההתפלגות האמיתית היא p (אשר אינה בהכרח מתלכדת עם אמונת המשקיע b), אזי השיעור הממשי לטווח הארוך יתכנס לציפייה האמיתית שלה מבנה מתמטי זהה: {\displaystyle {\rm {RealizedRate}}={\frac {1}{R}}\,{\Big (}D\_{1}(p\|m)-D\_{1}(p\|b){\Big )}+{\frac {R-1}{R}}\,D\_{1/R}(b\|m)\,}.

ראו גם
------

* אנטרופיית שאנון
* אנטרופיית פון נוימן
* אנטרופיית צאליס

הערות שוליים
------------

1. ↑  Shannon, C. (1948). "A mathematical theory of communication". *The Bell System Technical Journal*. **27** (3): 623–656, 379–423. doi:10.1002/j.1538-7305.1948.tb01338.x.
2. ↑  J. Valverde-Albacete, Francisco; Peláez-Moreno, Carmen (2019). "The Case for Shifting the Rényi Entropy". *Entropy-Basel*. **21** (1). doi:10.3390/e21010046.
3. ↑  Principe, Jose C. (2010). *Information Theoretic Learning : Renyi's Entropy and Kernel Perspectives*. Springer New York. p. 51. ISBN 978-1-4419-1570-2.
4. ↑  Golshani, Leila; Pasha, Einollah; Yari, Gholamhossein (27 ביוני 2009). "Some properties of Rényi entropy and Rényi entropy rate". *Information Sciences*. **179** (14): 2426–2433. doi:10.1016/j.ins.2009.03.002. `{{cite journal}}`:  (עזרה)
5. 1 2  Berens, Stefan (28 באוגוסט 2013). *Conditional Rényi entropy* (MSc). Leiden University. `{{cite thesis}}`:  (עזרה)
6. ↑  Leditzky, Felix (בנובמבר 2011). *Relative entropies and their use in quantum information theory* (PhD). Girton College, University of Cambridge. `{{cite thesis}}`:  (עזרה)