指数型分布族

指数型分布族（しすうがたぶんぷぞく）は、以下のように定義される、特定の形式の確率分布。有用な代数的特性を持つ。 指数型分布族の概念は、1935 – 1936年に、EJG Pitman、G. Darmois 、BO Koopmanらによって与えられた。 指数型分布族には、最も一般的な分布の多くが含まれる。その一部を例示する。 正規分布 指数分布 ガンマ分布 カイ二乗分布 ベータ分布 ディリクレ分布 ベルヌーイ分布 カテゴリカル分布（英語版） ポアソン分布 ウィッシャート分布 逆ウィッシャート分布（英語版） 幾何分布 多くの一般的な分布が指数型分布族に属するが、それは特定のパラメーターが既知定数である場合に限られる。例えば： 二項分布 試行回数は固定 多項分布 試行回数は固定 負の二項分布 失敗回数は固定 いずれの場合も、固定する必要のあるパラメーターが観測値のサイズを制限している。 一般的な分布のうち、指数型分布族ではないものとして、 スチューデントの t 分布、ほとんどの混合分布、範囲が固定されていない場合の均一分布が挙げられる。 単一の実数パラメータに基づく指数型分布族では、 確率密度関数 （離散分布の場合は確率質量関数）が次の形式で表現できる。 f X ( x ∣ θ ) = h ( x ) exp ⁡ [ η ( θ ) ⋅ T ( x ) − A ( θ ) ] {\displaystyle f_{X}(x\mid \theta )=h(x)\exp {\left[\eta (\theta )\cdot T(x)-A(\theta )\right]}} ここで、 T ( x ) {\displaystyle T(x)} 、 h ( x ) {\displaystyle h(x)} 、 η ( θ ) {\displaystyle \eta (\theta )} 、 A ( θ ) {\displaystyle A(\theta )} はいずれも既知の関数である。 しばしば次のように同等の形式で記述される。 f X ( x ∣ θ ) = h ( x ) g ( θ ) exp ⁡ [ η ( θ ) ⋅ T ( x ) ] {\displaystyle f_{X}(x\mid \theta )=h(x)\,g(\theta )\,\exp {\left[\eta (\theta )\cdot T(x)\right]}} 次のように記述しても同等である。 f X ( x ∣ θ ) = exp ⁡ [ η ( θ ) ⋅ T ( x ) − A ( θ ) + B ( x ) ] {\displaystyle f_{X}(x\mid \theta )=\exp {\left[\eta (\theta )\cdot T(x)-A(\theta )+B(x)\right]}} θ {\displaystyle \theta } は指数型分布族のパラメータと呼ばれる。 η ( θ ) = θ {\displaystyle \eta (\theta )=\theta } の場合、指数型分布族は正準型（canonical form）であるという。 変換後のパラメータ η = η ( θ ) {\displaystyle \eta =\eta (\theta )} をパラメータとして用いることにより、指数型分布族を正準型に変換することができる。 指数型分布族が正準型であるときのパラメータを自然パラメータ（natural parameter）と呼ぶ。 すべての指数型分布族は、単一パラメーターによる指数型分布族の積に分解できる。 単一の実数パラメータに基づく指数型分布族を、複数の実数パラメータ（下記ベクトル）に基づく指数型分布族に拡張できる。 θ = ( θ 1 , θ 2 , … , θ s ) ⊺ . {\displaystyle {\boldsymbol {\theta }}=\left(\theta _{1},\theta _{2},\ldots ,\theta _{s}\right)^{\intercal }.} 確率密度関数（または離散分布の場合は確率質量関数）が次のように記述できる場合、ベクトル指数型分布族に属している。 f X ( x ∣ θ ) = h ( x ) exp ⁡ ( ∑ i = 1 s η i ( θ ) ⋅ T i ( x ) − A ( θ ) ) {\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\exp {\left(\sum _{i=1}^{s}\eta _{i}({\boldsymbol {\theta }})\cdot T_{i}(x)-A({\boldsymbol {\theta }})\right)}} またはもっとコンパクトな形で f X ( x ∣ θ ) = h ( x ) exp ⁡ ( η ( θ ) ⊺ T ( x ) − A ( θ ) ) {\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\exp {{\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }{\boldsymbol {T}}(x)-A({\boldsymbol {\theta }}){\Big )}}} 下記のように記載されることも多い。 f X ( x ∣ θ ) = h ( x ) g ( θ ) exp ⁡ ( η ( θ ) ⊺ T ( x ) ) {\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,g({\boldsymbol {\theta }})\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }{\boldsymbol {T}}(x){\Big )}} スカラー値の場合と同様に、ベクトル指数型分布族は次の場合に正準型と呼ばれる。 ∀ i : η i ( θ i ) = θ i . {\displaystyle \forall i:\quad \eta _{i}(\theta _{i})=\theta _{i}.} 単一の確率変数に対する指数型分布族は、複数の確率変数に対する指数型分布族に拡張できる。 複数の確率変数を次のように記述すると、 x = ( x 1 , x 2 , … , x k ) . {\displaystyle \mathbf {x} =\left(x_{1},x_{2},\dotsc ,x_{k}\right).} 指数型分布族の確率分布は次のように記述される。 f X ( x ∣ θ ) = h ( x ) exp ⁡ ( ∑ i = 1 s η i ( θ ) ⋅ T i ( x ) − A ( θ ) ) {\displaystyle f_{X}(\mathbf {x} \mid {\boldsymbol {\theta }})=h(\mathbf {x} )\exp \left(\sum _{i=1}^{s}\eta _{i}({\boldsymbol {\theta }})\cdot T_{i}(\mathbf {x} )-A({\boldsymbol {\theta }})\right)} またはもっとコンパクトな形で f X ( x ∣ θ ) = h ( x ) exp ⁡ ( η ( θ ) ⊺ T ( x ) − A ( θ ) ) {\displaystyle f_{X}(\mathbf {x} \mid {\boldsymbol {\theta }})=h(\mathbf {x} )\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }{\boldsymbol {T}}(\mathbf {x} )-A({\boldsymbol {\theta }}){\Big )}} 次のように記述されることも多い。 f X ( x ∣ θ ) = h ( x ) g ( θ ) exp ⁡ ( η ( θ ) ⊺ T ( x ) ) {\displaystyle f_{X}(\mathbf {x} \mid {\boldsymbol {\theta }})=h(\mathbf {x} )\,g({\boldsymbol {\theta }})\,\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }{\boldsymbol {T}}({\boldsymbol {x}}){\Big )}} 指数型分布族には、統計分析に非常に役立つ多数の性質がある。 多くの場合、これらの特性を持つのは指数型分布族のみである。 例： 共役事前分布を持つ 正規分布、指数分布、 対数正規分布、ガンマ分布、カイ二乗分布、ベータ分布、ディリクレ分布、ベルヌーイ分布、カテゴリカル分布、ポアソン分布、幾何分布、逆ガウス分布、フォン・ミーゼス分布、フォンミーゼス-フィッシャー分布はすべて指数型分布族に属する。 未知の平均値 μ {\displaystyle \mu } と既知の分散 σ 2 {\displaystyle \sigma ^{2}} による正規分布を考える。 確率密度関数は f σ ( x ; μ ) = 1 2 π σ 2 exp ⁡ ( − ( x − μ ) 2 2 σ 2 ) . {\displaystyle f_{\sigma }(x;\mu )={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right).} これは、次のように設定することで、単一パラメーターの指数型分布族であることが分かる。 h σ ( x ) = 1 2 π σ 2 exp ⁡ ( − x 2 2 σ 2 ) T σ ( x ) = x σ A σ ( μ ) = μ 2 2 σ 2 η σ ( μ ) = μ σ . {\displaystyle {\begin{aligned}h_{\sigma }(x)&={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\right)\\[4pt]T_{\sigma }(x)&={\frac {x}{\sigma }}\\[4pt]A_{\sigma }(\mu )&={\frac {\mu ^{2}}{2\sigma ^{2}}}\\[4pt]\eta _{\sigma }(\mu )&={\frac {\mu }{\sigma }}.\end{aligned}}} σ 2 = 1 {\displaystyle \sigma ^{2}=1} 、すなわち η σ ( μ ) = μ {\displaystyle \eta _{\sigma }(\mu )=\mu } の場合、これは正準型となる。 未知の平均 μ {\displaystyle \mu } と未知の分散 σ 2 {\displaystyle \sigma ^{2}} を持つ正規分布の場合を考える。 確率密度関数は f ( x ; μ , σ ) = 1 2 π σ 2 exp ⁡ ( − ( x − μ ) 2 2 σ 2 ) . {\displaystyle f(x;\mu ,\sigma )={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right).} これは、次のように設定することで、指数型分布族であることが分かる。 η = ( μ σ 2 , − 1 2 σ 2 ) T h ( x ) = 1 2 π T ( x ) = ( x , x 2 ) T A ( η ) = μ 2 2 σ 2 + log ⁡ | σ | = − η 1 2 4 η 2 + 1 2 log ⁡ | 1 2 η 2 | {\displaystyle {\begin{aligned}{\boldsymbol {\eta }}&=\left({\frac {\mu }{\sigma ^{2}}},-{\frac {1}{2\sigma ^{2}}}\right)^{\rm {T}}\\h(x)&={\frac {1}{\sqrt {2\pi }}}\\T(x)&=\left(x,x^{2}\right)^{\rm {T}}\\A({\boldsymbol {\eta }})&={\frac {\mu ^{2}}{2\sigma ^{2}}}+\log |\sigma |=-{\frac {\eta _{1}^{2}}{4\eta _{2}}}+{\frac {1}{2}}\log \left|{\frac {1}{2\eta _{2}}}\right|\end{aligned}}} 離散変数を対象とする指数型分布族の例として、試行回数 n {\displaystyle n} が既知の二項分布を考える。 この分布の確率質量関数は f ( x ) = ( n x ) p x ( 1 − p ) n − x , x ∈ { 0 , 1 , 2 , … , n } . {\displaystyle f(x)={n \choose x}p^{x}(1-p)^{n-x},\quad x\in \{0,1,2,\ldots ,n\}.} これは同等に次のように書くことができる。 f ( x ) = ( n x ) exp ⁡ ( x log ⁡ ( p 1 − p ) + n log ⁡ ( 1 − p ) ) , x ∈ { 0 , 1 , 2 , … , n } . {\displaystyle f(x)={n \choose x}\exp \left(x\log \left({\frac {p}{1-p}}\right)+n\log(1-p)\right),\quad x\in \{0,1,2,\ldots ,n\}.} 二項分布は指数型分布族であり、その自然パラメーター η {\displaystyle \eta } は η = log ⁡ p 1 − p . {\displaystyle \eta =\log {\frac {p}{1-p}}.} となる。 この p {\displaystyle p} の関数はロジットと呼ばれる。 次の表は、多くの一般的な分布を、正準型の指数型分布族として書き換える方法を示している。 スカラー変数とスカラーパラメータの場合： f X ( x ∣ θ ) = h ( x ) exp ⁡ ( η ( θ ) T ( x ) − A ( η ) ) {\displaystyle f_{X}(x\mid \theta )=h(x)\,\exp {{\Big (}\eta (\theta )\,T(x)-A(\eta ){\Big )}}} スカラー変数とベクトルパラメータの場合： f X ( x ∣ θ ) = h ( x ) exp ⁡ ( η ( θ ) ⊺ T ( x ) − A ( η ) ) {\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,\exp {{\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }\,{\boldsymbol {T}}(x)-A({\boldsymbol {\eta }}){\Big )}}} f X ( x ∣ θ ) = h ( x ) g ( θ ) exp ⁡ ( η ( θ ) ⊺ T ( x ) ) {\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,g({\boldsymbol {\theta }})\,\exp {{\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }\,{\boldsymbol {T}}(x){\Big )}}} ベクトル変数とベクトルパラメータの場合： f X ( x ∣ θ ) = h ( x ) exp ⁡ ( η ( θ ) ⊺ T ( x ) − A ( η ) ) {\displaystyle f_{X}(\mathbf {x} \mid {\boldsymbol {\theta }})=h(\mathbf {x} )\,\exp {{\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})^{\intercal }\,{\boldsymbol {T}}({\boldsymbol {x}})-A({\boldsymbol {\eta }}){\Big )}}} 指数型分布族は、 一般化線形モデルで使用される分布関数の基礎を形成する。 一般化線形モデルは、統計で一般的に使用される回帰モデルの多くを含む。 ^ 自然パラメータはロジット関数、パラメータの逆写像はロジスティック関数に相当する。 ^ a b c [ x = i ] {\displaystyle [x=i]} はアイバーソンの記法による（ x = i {\displaystyle x=i} ならば 1 そうでなければ 0） ^ t r ( A T B ) = vec ⁡ ( A ) ⋅ vec ⁡ ( B ) {\displaystyle {\rm {tr}}(\mathbf {A} ^{\rm {T}}\mathbf {B} )=\operatorname {vec} (\mathbf {A} )\cdot \operatorname {vec} (\mathbf {B} )} を用いた。行列パラメータは指数形式に代入する際にベクトル化されているとものとする。また、V と X は対称行列であり、 V ⊤ = V {\displaystyle \mathbf {V} ^{\top }=\mathbf {V} } などとなる。 ^ Andersen, Erling (September 1970). “Sufficiency and Exponential Families for Discrete Sample Spaces”. Journal of the American Statistical Association (Journal of the American Statistical Association) 65 (331): 1248–1255. doi:10.2307/2284291. JSTOR 2284291. MR268992.  ^ Pitman, E.; Wishart, J. (1936). “Sufficient statistics and intrinsic accuracy”. Mathematical Proceedings of the Cambridge Philosophical Society 32 (4): 567–579. Bibcode: 1936PCPS...32..567P. doi:10.1017/S0305004100019307.  ^ Darmois, G. (1935). “Sur les lois de probabilites a estimation exhaustive” (フランス語). C. R. Acad. Sci. Paris 200: 1265–1266.  ^ Koopman, B. (1936). “On distribution admitting a sufficient statistic”. Transactions of the American Mathematical Society (American Mathematical Society) 39 (3): 399–409. doi:10.2307/1989758. JSTOR 1989758. MR1501854.  ^ Nielsen, Frank; Garcia, Vincent. "Statistical exponential families: A digest with flash cards". arXiv:0911.4863。 Fahrmeir, Ludwig; Tutz, G. (1994). Multivariate Statistical Modelling based on Generalized Linear Models. Springer. pp. 18–22, 345–349. ISBN 0-387-94233-5  Keener, Robert W. (2006). Theoretical Statistics: Topics for a Core Course. Springer. pp. 27–28, 32–33. ISBN 978-0-387-93838-7  Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). p. sec. 1.5. ISBN 0-387-98502-6  A primer on the exponential family of distributions Exponential family of distributions on the Earliest known uses of some of the words of mathematics jMEF: A Java library for exponential families