指数型分布族

指数型分布族（しすうがたぶんぷぞく）は、以下のように定義される、特定の形式の確率分布。有用な代数的特性を持つ。 指数型分布族の概念は、1935 – 1936年に、EJG Pitman、G. Darmois 、BO Koopmanらによって与えられた。 指数型分布族には、最も一般的な分布の多くが含まれる。その一部を例示する。 正規分布 指数分布 ガンマ分布 カイ二乗分布 ベータ分布 ディリクレ分布 ベルヌーイ分布 カテゴリカル分布（英語版） ポアソン分布 ウィッシャート分布 逆ウィッシャート分布（英語版） 幾何分布 多くの一般的な分布が指数型分布族に属するが、それは特定のパラメーターが既知定数である場合に限られる。例えば： 二項分布 試行回数は固定 多項分布 試行回数は固定 負の二項分布 失敗回数は固定 いずれの場合も、固定する必要のあるパラメーターが観測値のサイズを制限している。 一般的な分布のうち、指数型分布族ではないものとして、 スチューデントの t 分布、ほとんどの混合分布、範囲が固定されていない場合の均一分布が挙げられる。 単一の実数パラメータに基づく指数型分布族では、 確率密度関数 （離散分布の場合は確率質量関数）が次の形式で表現できる。 f X ( x ∣ θ ) = h ( x ) exp ⁡ [ η ( θ ) ⋅ T ( x ) − A ( θ ) ] {\displaystyle f_{X}(x\mid \theta )=h(x)\exp {\left[\eta (\theta )\cdot T(x)-A(\theta )\right]}} ここで、 T ( x ) {\displaystyle T(x)} 、 h ( x ) {\displaystyle h(x)} 、 η ( θ ) {\displaystyle \eta (\theta )} 、 A ( θ ) {\displaystyle A(\theta )} はいずれも既知の関数である。 しばしば次のように同等の形式で記述される。 f X ( x ∣ θ ) = h ( x ) g ( θ ) exp ⁡ [ η ( θ ) ⋅ T ( x ) ] {\displaystyle f_{X}(x\mid \theta )=h(x)\,g(\theta )\,\exp {\left[\eta (\theta )\cdot T(x)\right]}} 次のように記述しても同等である。 f X ( x ∣ θ ) = exp ⁡ [ η ( θ ) ⋅ T ( x ) − A ( θ ) + B ( x ) ] {\displaystyle f_{X}(x\mid \theta )=\exp {\left[\eta (\theta )\cdot T(x)-A(\theta )+B(x)\right]}} θ {\displaystyle \theta } は指数型分布族のパラメータと呼ばれる。 η ( θ ) = θ {\displaystyle \eta (\theta )=\theta } の場合、指数型分布族は正準型（canonical form）であるという。 変換後のパラメータ η = η ( θ ) {\displaystyle \eta =\eta (\theta )} をパラメータとして用いることにより、指数型分布族を正準型に変換することができる。 指数型分布族が正準型であるときのパラメータを自然パラメータ（natural parameter）と呼ぶ。 すべての指数型分布族は、単一パラメーターによる指数型分布族の積に分解できる。 単一の実数パラメータに基づく指数型分布族を、複数の実数パラメータ（下記ベクトル）に基づく指数型分布族に拡張できる。 θ = ( θ 1 , θ 2 , … , θ s ) ⊺ . {\displaystyle {\boldsymbol {\theta }}=\left(\theta _{1},\theta _{2},\ldots ,\theta _{s}\right)^{\intercal }.} 確率密度関数（または離散分布の場合は確率質量関数）が次のように記述できる場合、ベクトル指数型分布族に属している。 f X ( x ∣ θ ) = h ( x ) exp ⁡ ( ∑ i = 1 s η i ( θ ) ⋅ T i ( x ) − A ( θ ) ) {\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\exp {\left(\sum _{i=1}^{s}\eta _{i}({\boldsymbol {\theta }})\cdot T_{i}(x)-A({\boldsymbol {\theta }})\right)}} またはもっとコンパクトな形で f X ( x ∣ θ ) = h ( x ) exp ⁡ ( η ( θ ) ⊺ T ( x ) − A ( θ ) ) {\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\exp {{\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }{\boldsymbol {T}}(x)-A({\boldsymbol {\theta }}){\Big )}}} 下記のように記載されることも多い。 f X ( x ∣ θ ) = h ( x ) g ( θ ) exp ⁡ ( η ( θ ) ⊺ T ( x ) ) {\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,g({\boldsymbol {\theta }})\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }{\boldsymbol {T}}(x){\Big )}} スカラー値の場合と同様に、ベクトル指数型分布族は次の場合に正準型と呼ばれる。 ∀ i : η i ( θ i ) = θ i . {\displaystyle \forall i:\quad \eta _{i}(\theta _{i})=\theta _{i}.} 単一の確率変数に対する指数型分布族は、複数の確率変数に対する指数型分布族に拡張できる。 複数の確率変数を次のように記述すると、 x = ( x 1 , x 2 , … , x k ) . {\displaystyle \mathbf {x} =\left(x_{1},x_{2},\dotsc ,x_{k}\right).} 指数型分布族の確率分布は次のように記述される。 f X ( x ∣ θ ) = h ( x ) exp ⁡ ( ∑ i = 1 s η i ( θ ) ⋅ T i ( x ) − A ( θ ) ) {\displaystyle f_{X}(\mathbf {x} \mid {\boldsymbol {\theta }})=h(\mathbf {x} )\exp \left(\sum _{i=1}^{s}\eta _{i}({\boldsymbol {\theta }})\cdot T_{i}(\mathbf {x} )-A({\boldsymbol {\theta }})\right)} またはもっとコンパクトな形で f X ( x ∣ θ ) = h ( x ) exp ⁡ ( η ( θ ) ⊺ T ( x ) − A ( θ ) ) {\displaystyle f_{X}(\mathbf {x} \mid {\boldsymbol {\theta }})=h(\mathbf {x} )\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }{\boldsymbol {T}}(\mathbf {x} )-A({\boldsymbol {\theta }}){\Big )}} 次のように記述されることも多い。 f X ( x ∣ θ ) = h ( x ) g ( θ ) exp ⁡ ( η ( θ ) ⊺ T ( x ) ) {\displaystyle f_{X}(\mathbf {x} \mid {\boldsymbol {\theta }})=h(\mathbf {x} )\,g({\boldsymbol {\theta }})\,\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }{\boldsymbol {T}}({\boldsymbol {x}}){\Big )}} 指数型分布族には、統計分析に非常に役立つ多数の性質がある。 多くの場合、これらの特性を持つのは指数型分布族のみである。 例： 共役事前分布を持つ 正規分布、指数分布、 対数正規分布、ガンマ分布、カイ二乗分布、ベータ分布、ディリクレ分布、ベルヌーイ分布、カテゴリカル分布、ポアソン分布、幾何分布、逆ガウス分布、フォン・ミーゼス分布、フォンミーゼス-フィッシャー分布はすべて指数型分布族に属する。 未知の平均値 μ {\displaystyle \mu } と既知の分散 σ 2 {\displaystyle \sigma ^{2}} による正規分布を考える。 確率密度関数は f σ ( x ; μ ) = 1 2 π σ 2 exp ⁡ ( − ( x − μ ) 2 2 σ 2 ) . {\displaystyle f_{\sigma }(x;\mu )={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right).} これは、次のように設定することで、単一パラメーターの指数型分布族であることが分かる。 h σ ( x ) = 1 2 π σ 2 exp ⁡ ( − x 2 2 σ 2 ) T σ ( x ) = x σ A σ ( μ ) = μ 2 2 σ 2 η σ ( μ ) = μ σ . {\displaystyle {\begin{aligned}h_{\sigma }(x)&={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\right)\\[4pt]T_{\sigma }(x)&={\frac {x}{\sigma }}\\[4pt]A_{\sigma }(\mu )&={\frac {\mu ^{2}}{2\sigma ^{2}}}\\[4pt]\eta _{\sigma }(\mu )&={\frac {\mu }{\sigma }}.\end{aligned}}} σ 2 = 1 {\displaystyle \sigma ^{2}=1} 、すなわち η σ ( μ ) = μ {\displaystyle \eta _{\sigma }(\mu )=\mu } の場合、これは正準型となる。 未知の平均 μ {\displaystyle \mu } と未知の分散 σ 2 {\displaystyle \sigma ^{2}} を持つ正規分布の場合を考える。 確率密度関数は f ( x ; μ , σ ) = 1 2 π σ 2 exp ⁡ ( − ( x − μ ) 2 2 σ 2 ) . {\displaystyle f(x;\mu ,\sigma )={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right).} これは、次のように設定することで、指数型分布族であることが分かる。 η = ( μ σ 2 , − 1 2 σ 2 ) T h ( x ) = 1 2 π T ( x ) = ( x , x 2 ) T A ( η ) = μ 2 2 σ 2 + log ⁡ | σ | = − η 1 2 4 η 2 + 1 2 log ⁡ | 1 2 η 2 | {\displaystyle {\begin{aligned}{\boldsymbol {\eta }}&=\left({\frac {\mu }{\sigma ^{2}}},-{\frac {1}{2\sigma ^{2}}}\right)^{\rm {T}}\\h(x)&={\frac {1}{\sqrt {2\pi }}}\\T(x)&=\left(x,x^{2}\right)^{\rm {T}}\\A({\boldsymbol {\eta }})&={\frac {\mu ^{2}}{2\sigma ^{2}}}+\log |\sigma |=-{\frac {\eta _{1}^{2}}{4\eta _{2}}}+{\frac {1}{2}}\log \left|{\frac {1}{2\eta _{2}}}\right|\end{aligned}}} 離散変数を対象とする指数型分布族の例として、試行回数 n {\displaystyle n} が既知の二項分布を考える。 この分布の確率質量関数は f ( x ) = ( n x ) p x ( 1 − p ) n − x , x ∈ { 0 , 1 , 2 , … , n } . {\displaystyle f(x)={n \choose x}p^{x}(1-p)^{n-x},\quad x\in \{0,1,2,\ldots ,n\}.} これは同等に次のように書くことができる。 f ( x ) = ( n x ) exp ⁡ ( x log ⁡ ( p 1 − p ) + n log ⁡ ( 1 − p ) ) , x ∈ { 0 , 1 , 2 , … , n } . {\displaystyle f(x)={n \choose x}\exp \left(x\log \left({\frac {p}{1-p}}\right)+n\log(1-p)\right),\quad x\in \{0,1,2,\ldots ,n\}.} 二項分布は指数型分布族であり、その自然パラメーター η {\displaystyle \eta } は η = log ⁡ p 1 − p . {\displaystyle \eta =\log {\frac {p}{1-p}}.} となる。 この p {\displaystyle p} の関数はロジットと呼ばれる。 次の表は、多くの一般的な分布を、正準型の指数型分布族として書き換える方法を示している。 スカラー変数とスカラーパラメータの場合： f X ( x ∣ θ ) = h ( x ) exp ⁡ ( η ( θ ) T ( x ) − A ( η ) ) {\displaystyle f_{X}(x\mid \theta )=h(x)\,\exp {{\Big (}\eta (\theta )\,T(x)-A(\eta ){\Big )}}} スカラー変数とベクトルパラメータの場合： f X ( x ∣ θ ) = h ( x ) exp ⁡ ( η ( θ ) ⊺ T ( x ) − A ( η ) ) {\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,\exp {{\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }\,{\boldsymbol {T}}(x)-A({\boldsymbol {\eta }}){\Big )}}} f X ( x ∣ θ ) = h ( x ) g ( θ ) exp ⁡ ( η ( θ ) ⊺ T ( x ) ) {\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,g({\boldsymbol {\theta }})\,\exp {{\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }\,{\boldsymbol {T}}(x){\Big )}}} ベクトル変数とベクトルパラメータの場合： f X ( x ∣ θ ) = h ( x ) exp ⁡ ( η ( θ ) ⊺ T ( x ) − A ( η ) ) {\displaystyle f_{X}(\mathbf {x} \mid {\boldsymbol {\theta }})=h(\mathbf {x} )\,\exp {{\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }\,{\boldsymbol {T}}({\boldsymbol {x}})-A({\boldsymbol {\eta }}){\Big )}}} 指数型分布族は、 一般化線形モデルで使用される分布関数の基礎を形成する。 一般化線形モデルは、統計で一般的に使用される回帰モデルの多くを含む。