# Entropia diferencial

L'entropia diferencial (també anomenada entropia contínua ) és un concepte en teoria de la informació que va començar com un intent de Claude Shannon d'estendre la idea d'entropia (Shannon), una mesura de la mitjana (sorpresa) d'una variable aleatòria, a distribucions de probabilitat contínues. Malauradament, Shannon no va derivar aquesta fórmula, i més aviat va suposar que era l'anàleg continu correcte de l'entropia discreta, però no ho és. $^{:181–218}$La versió contínua real de l'entropia discreta és la densitat limitant de punts discrets (LDDP). L'entropia diferencial (descrita aquí) es troba habitualment a la literatura, però és un cas límit del LDDP i que perd la seva associació fonamental amb l'entropia discreta.
Pel que fa a la teoria de la mesura, l'entropia diferencial d'una mesura de probabilitat és l'entropia relativa negativa d'aquesta mesura a la mesura de Lebesgue, on aquesta última es tracta com si fos una mesura de probabilitat, tot i no estar normalitzada.
Definició
Deixar $X$ ser una variable aleatòria amb una funció de densitat de probabilitat $f$ el suport dels quals és un conjunt ${\mathcal {X}}$ . L' entropia diferencial $h(X)$ o $h(f)$ es defineix com $^{:243}$
Per a distribucions de probabilitat que no tenen una expressió de funció de densitat explícita, però tenen una expressió de funció quantil explícita, $Q(p)$, doncs $h(Q)$ es pot definir en termes de la derivada de $Q(p)$ és a dir, la funció de densitat quantil $Q'(p)$ com
$h(Q)=\int _{0}^{1}\log Q'(p)\,dp$
Igual que amb el seu analògic discret, les unitats d'entropia diferencial depenen de la base del logaritme, que sol ser 2 (és a dir, les unitats són bits). Vegeu unitats logarítmiques per als logaritmes presos en diferents bases. Els conceptes relacionats com ara conjunt, entropia diferencial condicional i entropia relativa es defineixen de manera similar. A diferència de l'analògic discret, l'entropia diferencial té un desplaçament que depèn de les unitats utilitzades per mesurar $X$. $^{:183–184}$Per exemple, l'entropia diferencial d'una quantitat mesurada en mil·límetres serà log(1000) més que la mateixa quantitat mesurada en metres; una quantitat adimensional tindrà una entropia diferencial de log(1000) més que la mateixa quantitat dividida per 1000.
Cal tenir cura en intentar aplicar les propietats de l'entropia discreta a l'entropia diferencial, ja que les funcions de densitat de probabilitat poden ser superiors a 1. Per exemple, la distribució uniforme ${\mathcal {U}}(0,1/2)$ té entropia diferencial negativa ; és a dir, està millor ordenat que ${\mathcal {U}}(0,1)$ com es mostra ara
$\int _{0}^{\frac {1}{2}}-2\log(2)\,dx=-\log(2)\,$
sent inferior a la de ${\mathcal {U}}(0,1)$ que té entropia diferencial zero . Per tant, l'entropia diferencial no comparteix totes les propietats de l'entropia discreta.

## Entropies diferencials per a diverses distribucions

A la taula següent $\Gamma (x)=\int _{0}^{\infty }e^{-t}t^{x-1}dt$ és la funció gamma, $\psi (x)={\frac {d}{dx}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}$ és la funció digamma, $B(p,q)={\frac {\Gamma (p)\Gamma (q)}{\Gamma (p+q)}}$ és la funció beta i γ $_E$ és la constant d'Euler. $^{:219–230}$
| Nom de la distribució | Funció de densitat de probabilitat (pdf) | Entropia diferencial en nats |
| Uniforme | $f(x)={\frac {1}{b-a}}$ | $\ln(b-a)\,$ |
| Normal | $f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)$ | $\ln \left(\sigma {\sqrt {2\,\pi \,e}}\right)$ |
| Exponencial | $f(x)=\lambda \exp \left(-\lambda x\right)$ | $1-\ln \lambda \,$ |
| Rayleigh | $f(x)={\frac {x}{\sigma ^{2}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\right)$ | $1+\ln {\frac {\sigma }{\sqrt {2}}}+{\frac {\gamma _{E}}{2}}$ |
| Beta | $f(x)={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{B(\alpha ,\beta )}}$ for $0\leq x\leq 1$ | $\ln B(\alpha ,\beta )-(\alpha -1)[\psi (\alpha )-\psi (\alpha +\beta )]\,$$-(\beta -1)[\psi (\beta )-\psi (\alpha +\beta )]\,$ |
| Cauchy | $f(x)={\frac {\gamma }{\pi }}{\frac {1}{\gamma ^{2}+x^{2}}}$ | $\ln(4\pi \gamma )\,$ |
| Chi | $f(x)={\frac {2}{2^{k/2}\Gamma (k/2)}}x^{k-1}\exp \left(-{\frac {x^{2}}{2}}\right)$ | $\ln {\frac {\Gamma (k/2)}{\sqrt {2}}}-{\frac {k-1}{2}}\psi \left({\frac {k}{2}}\right)+{\frac {k}{2}}$ |
| Chi-quadrat | $f(x)={\frac {1}{2^{k/2}\Gamma (k/2)}}x^{{\frac {k}{2}}\!-\!1}\exp \left(-{\frac {x}{2}}\right)$ | $\ln 2\Gamma \left({\frac {k}{2}}\right)-\left(1-{\frac {k}{2}}\right)\psi \left({\frac {k}{2}}\right)+{\frac {k}{2}}$ |
| Erlang | $f(x)={\frac {\lambda ^{k}}{(k-1)!}}x^{k-1}\exp(-\lambda x)$ | $(1-k)\psi (k)+\ln {\frac {\Gamma (k)}{\lambda }}+k$ |
| F | $f(x)={\frac {n_{1}^{\frac {n_{1}}{2}}n_{2}^{\frac {n_{2}}{2}}}{B({\frac {n_{1}}{2}},{\frac {n_{2}}{2}})}}{\frac {x^{{\frac {n_{1}}{2}}-1}}{(n_{2}+n_{1}x)^{\frac {n_{1}+n2}{2}}}}$ | $\ln {\frac {n_{1}}{n_{2}}}B\left({\frac {n_{1}}{2}},{\frac {n_{2}}{2}}\right)+\left(1-{\frac {n_{1}}{2}}\right)\psi \left({\frac {n_{1}}{2}}\right)-$$\left(1+{\frac {n_{2}}{2}}\right)\psi \left({\frac {n_{2}}{2}}\right)+{\frac {n_{1}+n_{2}}{2}}\psi \left({\frac {n_{1}\!+\!n_{2}}{2}}\right)$ |
| Gamma | $f(x)={\frac {x^{k-1}\exp(-{\frac {x}{\theta }})}{\theta ^{k}\Gamma (k)}}$ | $\ln(\theta \Gamma (k))+(1-k)\psi (k)+k\,$ |
| Laplace | $f(x)={\frac {1}{2b}}\exp \left(-{\frac {|x-\mu |}{b}}\right)$ | $1+\ln(2b)\,$ |
| Logistic | $f(x)={\frac {e^{-x/s}}{s(1+e^{-x/s})^{2}}}$ | $\ln s+2\,$ |
| Lognormal | $f(x)={\frac {1}{\sigma x{\sqrt {2\pi }}}}\exp \left(-{\frac {(\ln x-\mu )^{2}}{2\sigma ^{2}}}\right)$ | $\mu +{\frac {1}{2}}\ln(2\pi e\sigma ^{2})$ |
| Maxwell–Boltzmann | $f(x)={\frac {1}{a^{3}}}{\sqrt {\frac {2}{\pi }}}\,x^{2}\exp \left(-{\frac {x^{2}}{2a^{2}}}\right)$ | $\ln(a{\sqrt {2\pi }})+\gamma _{E}-{\frac {1}{2}}$ |
| Generalized normal | $f(x)={\frac {2\beta ^{\frac {\alpha }{2}}}{\Gamma ({\frac {\alpha }{2}})}}x^{\alpha -1}\exp(-\beta x^{2})$ | $\ln {\frac {\Gamma (\alpha /2)}{2\beta ^{\frac {1}{2}}}}-{\frac {\alpha -1}{2}}\psi \left({\frac {\alpha }{2}}\right)+{\frac {\alpha }{2}}$ |
| Pareto | $f(x)={\frac {\alpha x_{m}^{\alpha }}{x^{\alpha +1}}}$ | $\ln {\frac {x_{m}}{\alpha }}+1+{\frac {1}{\alpha }}$ |
| Student's t | $f(x)={\frac {(1+x^{2}/\nu )^{-{\frac {\nu +1}{2}}}}{{\sqrt {\nu }}B({\frac {1}{2}},{\frac {\nu }{2}})}}$ | ${\frac {\nu \!+\!1}{2}}\left(\psi \left({\frac {\nu \!+\!1}{2}}\right)\!-\!\psi \left({\frac {\nu }{2}}\right)\right)\!+\!\ln {\sqrt {\nu }}B\left({\frac {1}{2}},{\frac {\nu }{2}}\right)$ |
| Triangular | $f(x)={\begin{cases}{\frac {2(x-a)}{(b-a)(c-a)}}&\mathrm {for\ } a\leq x\leq c,\\[4pt]{\frac {2(b-x)}{(b-a)(b-c)}}&\mathrm {for\ } c<x\leq b,\\[4pt]\end{cases}}$ | ${\frac {1}{2}}+\ln {\frac {b-a}{2}}$ |
| Weibull | $f(x)={\frac {k}{\lambda ^{k}}}x^{k-1}\exp \left(-{\frac {x^{k}}{\lambda ^{k}}}\right)$ | ${\frac {(k-1)\gamma _{E}}{k}}+\ln {\frac {\lambda }{k}}+1$ |
| Multivariate normal | $f_{X}({\vec {x}})=$${\frac {\exp \left(-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }})^{\top }\Sigma ^{-1}\cdot ({\vec {x}}-{\vec {\mu }})\right)}{(2\pi )^{N/2}\left|\Sigma \right|^{1/2}}}$ | ${\frac {1}{2}}\ln\{(2\pi e)^{N}\det(\Sigma )\}$ |

## Referències

* ↑ Jaynes, E.T. Brandeis University Summer Institute Lectures in Theoretical Physics, 3, sect. 4b, 1963.
* ↑ Cover, Thomas M. Elements of Information Theory (en anglès). New York: Wiley, 1991. ISBN 0-471-06259-6.
* ↑ Gibbs, Josiah Willard. Elementary Principles in Statistical Mechanics, developed with especial reference to the rational foundation of thermodynamics (en anglès). New York: Charles Scribner's Sons, 1902.
* ↑ Park, Sung Y.; Bera, Anil K. «Còpia arxivada». Journal of Econometrics, 150, 2, 2009, pàg. 219–230. Arxivat de l'original el 2016-03-07. DOI: 10.1016/j.jeconom.2008.12.014 [Consulta: 2 juny 2011].