微分エントロピー
下記の表で、 Γ ( x ) = ∫ 0 ∞ e − t t x − 1 d t {\displaystyle \Gamma (x)=\int _{0}^{\infty }e^{-t}t^{x-1}dt} はガンマ関数、 ψ ( x ) = d d x ln  Γ ( x ) = Γ ′ ( x ) Γ ( x ) {\displaystyle \psi (x)={\frac {d}{dx}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}} はディガンマ関数、 B ( p , q ) = Γ ( p ) Γ ( q ) Γ ( p + q ) {\displaystyle B(p,q)={\frac {\Gamma (p)\Gamma (q)}{\Gamma (p+q)}}} はベータ関数、γE は オイラーの定数である。
これらの多くについては脚注参照。
∫ − ∞ ∞ f ( x ) log  ( g ( x ) ) d x = ∫ − ∞ ∞ f ( x ) log  ( 1 2 π σ 2 e − ( x − μ ) 2 2 σ 2 ) d x = ∫ − ∞ ∞ f ( x ) log  1 2 π σ 2 d x + log  ( e ) ∫ − ∞ ∞ f ( x ) ( − ( x − μ ) 2 2 σ 2 ) d x = − 1 2 log  ( 2 π σ 2 ) − log  ( e ) σ 2 2 σ 2 = − 1 2 ( log  ( 2 π σ 2 ) + log  ( e ) ) = − 1 2 log  ( 2 π e σ 2 ) = − h ( g ) {\displaystyle {\begin{aligned}\int _{-\infty }^{\infty }f(x)\log(g(x))dx&=\int _{-\infty }^{\infty }f(x)\log \left({\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}\right)dx\\&=\int _{-\infty }^{\infty }f(x)\log {\frac {1}{\sqrt {2\pi \sigma ^{2}}}}dx+\log(e)\int _{-\infty }^{\infty }f(x)\left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)dx\\&=-{\tfrac {1}{2}}\log(2\pi \sigma ^{2})-\log(e){\frac {\sigma ^{2}}{2\sigma ^{2}}}\\&=-{\tfrac {1}{2}}\left(\log(2\pi \sigma ^{2})+\log(e)\right)\\&=-{\tfrac {1}{2}}\log(2\pi e\sigma ^{2})\\&=-h(g)\end{aligned}}}
である。よって h ( g ) − h ( f ) ≥ 0 {\displaystyle h(g)-h(f)\geq 0\!} 。