指数型分布族
離散変数を対象とする指数型分布族の例として、試行回数 n {\displaystyle n} が既知の二項分布を考える。
この分布の確率質量関数は
f ( x ) = ( n x ) p x ( 1 − p ) n − x , x ∈ { 0 , 1 , 2 , ... , n } . {\displaystyle f(x)={n \choose x}p^{x}(1-p)^{n-x},\quad x\in \{0,1,2,\ldots ,n\}.}
これは同等に次のように書くことができる。
f ( x ) = ( n x ) exp  ( x log  ( p 1 − p ) + n log  ( 1 − p ) ) , x ∈ { 0 , 1 , 2 , ... , n } . {\displaystyle f(x)={n \choose x}\exp \left(x\log \left({\frac {p}{1-p}}\right)+n\log(1-p)\right),\quad x\in \{0,1,2,\ldots ,n\}.}
二項分布は指数型分布族であり、その自然パラメーター η {\displaystyle \eta } は
η = log  p 1 − p . {\displaystyle \eta =\log {\frac {p}{1-p}}.}
となる。 この p {\displaystyle p} の関数はロジットと呼ばれる。
f X ( x ∣ θ ) = h ( x ) exp  ( η ( θ ) ⊺ T ( x ) − A ( θ ) ) {\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\exp {{\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }{\boldsymbol {T}}(x)-A({\boldsymbol {\theta }}){\Big )}}}
下記のように記載されることも多い。
f X ( x ∣ θ ) = h ( x ) g ( θ ) exp  ( η ( θ ) ⊺ T ( x ) ) {\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,g({\boldsymbol {\theta }})\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }{\boldsymbol {T}}(x){\Big )}}
スカラー値の場合と同様に、ベクトル指数型分布族は次の場合に正準型と呼ばれる。
∀ i : η i ( θ i ) = θ i . {\displaystyle \forall i:\quad \eta _{i}(\theta _{i})=\theta _{i}.}
未知の平均値 μ {\displaystyle \mu } と既知の分散 σ 2 {\displaystyle \sigma ^{2}} による正規分布を考える。 確率密度関数は
f σ ( x ; μ ) = 1 2 π σ 2 exp  ( − ( x − μ ) 2 2 σ 2 ) . {\displaystyle f_{\sigma }(x;\mu )={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right).}
これは、次のように設定することで、単一パラメーターの指数型分布族であることが分かる。
h σ ( x ) = 1 2 π σ 2 exp  ( − x 2 2 σ 2 ) T σ ( x ) = x σ A σ ( μ ) = μ 2 2 σ 2 η σ ( μ ) = μ σ .