指数型分布族
指数型分布族(しすうがたぶんぷぞく)は、以下のように定義される、特定の形式の確率分布。有用な代数的特性を持つ。
指数型分布族の概念は、1935 – 1936年に、EJG Pitman、G. Darmois 、BO Koopmanらによって与えられた。
指数型分布族には、最も一般的な分布の多くが含まれる。その一部を例示する。
多くの一般的な分布が指数型分布族に属するが、それは特定のパラメーターが既知定数である場合に限られる。例えば:
二項分布 : 試行回数は固定
多項分布 : 試行回数は固定
負の二項分布 : 失敗回数は固定
いずれの場合も、固定する必要のあるパラメーターが観測値のサイズを制限している。
一般的な分布のうち、指数型分布族ではないものとして、 スチューデントの t 分布、ほとんどの混合分布、範囲が固定されていない場合の均一分布が挙げられる。
単一の実数パラメータに基づく指数型分布族では、 確率密度関数 (離散分布の場合は確率質量関数)が次の形式で表現できる。
f_X(x \mid \theta) = h(x) \exp{\left[ \eta(\theta) \cdot T(x) - A(\theta) \right]}
ここで、 T(x)、h(x)、\eta(\theta)、A(\theta) はいずれも既知の関数である。
しばしば次のように同等の形式で記述される。
f_X(x \mid \theta) = h(x)\,g(\theta)\,\exp{\left[ \eta(\theta) \cdot T(x) \right]}
次のように記述しても同等である。
f_X(x \mid \theta) = \exp{\left[ \eta(\theta) \cdot T(x) - A(\theta) + B(x) \right]}
\theta は指数型分布族のパラメータと呼ばれる。
\eta(\theta) = \theta  の場合、指数型分布族は正準型(canonical form)であるという。
変換後のパラメータ \eta = \eta(\theta) をパラメータとして用いることにより、指数型分布族を正準型に変換することができる。
指数型分布族が正準型であるときのパラメータを自然パラメータ(natural parameter)と呼ぶ。
すべての指数型分布族は、単一パラメーターによる指数型分布族の積に分解できる。
単一の実数パラメータに基づく指数型分布族を、複数の実数パラメータ(下記ベクトル)に基づく指数型分布族に拡張できる。
\boldsymbol{\theta} = \left(\theta_1, \theta_2, \ldots, \theta_s \right )^{\intercal}.
確率密度関数(または離散分布の場合は確率質量関数)が次のように記述できる場合、ベクトル指数型分布族に属している。
f_X(x \mid \boldsymbol{\theta}) = h(x) \exp{\left(\sum_{i=1}^s \eta_i({\boldsymbol \theta}) \cdot T_i(x) - A(\boldsymbol{\theta}) \right)}
f_X(x \mid \boldsymbol{\theta}) = h(x) \exp{\Big(\boldsymbol{\eta}(\boldsymbol{\theta})^{\intercal} \boldsymbol{T}(x) - A(\boldsymbol{\theta}) \Big)}
下記のように記載されることも多い。
f_X(x \mid \boldsymbol{\theta}) = h(x)\,g(\boldsymbol{\theta}) \exp \Big(\boldsymbol{\eta}(\boldsymbol{\theta})^{\intercal} \boldsymbol{T}(x)\Big)
スカラー値の場合と同様に、ベクトル指数型分布族は次の場合に正準型と呼ばれる。
\forall i: \quad \eta_i(\theta_i) = \theta_i.
単一の確率変数に対する指数型分布族は、複数の確率変数に対する指数型分布族に拡張できる。
複数の確率変数を次のように記述すると、
\mathbf{x} = \left (x_1, x_2, \dotsc, x_k \right).
指数型分布族の確率分布は次のように記述される。
f_X(\mathbf{x} \mid \boldsymbol{\theta}) = h(\mathbf{x})\exp \left(\sum_{i=1}^s \eta_i({\boldsymbol \theta}) \cdot T_i(\mathbf{x}) - A({\boldsymbol \theta}) \right)
f_X(\mathbf{x} \mid \boldsymbol{\theta}) = h(\mathbf{x}) \exp \Big(\boldsymbol{\eta}(\boldsymbol{\theta})^{\intercal} \boldsymbol{T}(\mathbf{x}) - A(\boldsymbol{\theta})\Big)
次のように記述されることも多い。
f_X(\mathbf{x} \mid \boldsymbol{\theta}) = h(\mathbf{x})\,g(\boldsymbol{\theta})\,\exp \Big(\boldsymbol\eta({\boldsymbol \theta})^{\intercal} \boldsymbol{T}(\boldsymbol{x}) \Big)
指数型分布族には、統計分析に非常に役立つ多数の性質がある。
多くの場合、これらの特性を持つのは指数型分布族のみである。 例:
正規分布、指数分布、 対数正規分布、ガンマ分布、カイ二乗分布、ベータ分布、ディリクレ分布、ベルヌーイ分布、カテゴリカル分布、ポアソン分布、幾何分布、逆ガウス分布、フォン・ミーゼス分布、フォンミーゼス-フィッシャー分布はすべて指数型分布族に属する。
未知の平均値 \mu と既知の分散 \sigma^2 による正規分布を考える。
f_\sigma(x;\mu) = \frac 1 {\sqrt{2 \pi \sigma^2} \exp \left(-\frac{(x-\mu)^2}{2\sigma^2}\right).
これは、次のように設定することで、単一パラメーターの指数型分布族であることが分かる。
\begin{align}
h_\sigma(x) &= \frac{1}{\sqrt{2\pi\sigma^2} \exp \left(-\frac{x^2}{2\sigma^2}\right) \\[4pt]
T_\sigma(x) &= \frac x \sigma \\[4pt]
A_\sigma(\mu) &= \frac{\mu^2}{2\sigma^2}\\[4pt]
\eta_\sigma(\mu) &= \frac \mu \sigma.
\end{align}
\sigma^2 = 1、すなわち \eta_\sigma(\mu) = \mu の場合、これは正準型となる。
未知の平均 \mu と未知の分散 \sigma^2 を持つ正規分布の場合を考える。
f(x;\mu,\sigma) = \frac{1}{\sqrt{2 \pi \sigma^2} \exp \left( -\frac{(x-\mu)^2}{2 \sigma^2} \right).
これは、次のように設定することで、指数型分布族であることが分かる。
\begin{align}
\boldsymbol{\eta} &= \left(\frac{\mu}{\sigma^2}, -\frac{1}{2\sigma^2} \right)^{\rm T} \\
h(x) &= \frac{1}{\sqrt{2 \pi} \\
T(x) &= \left( x, x^2 \right)^{\rm T} \\
A({\boldsymbol \eta}) &= \frac{\mu^2}{2 \sigma^2} + \log |\sigma| = -\frac{\eta_1^2}{4\eta_2} + \frac{1}{2}\log\left|\frac{1}{2\eta_2} \right|
\end{align}
離散変数を対象とする指数型分布族の例として、試行回数 n が既知の二項分布を考える。
f(x)={n \choose x}p^x (1-p)^{n-x}, \quad x \in \{0, 1, 2, \ldots, n\}.
これは同等に次のように書くことができる。
f(x)={n \choose x}\exp\left(x \log\left(\frac{p}{1-p}\right) + n \log(1-p)\right),\quad x \in \{0, 1, 2, \ldots, n\}.
二項分布は指数型分布族であり、その自然パラメーター \eta は
\eta = \log\frac{p}{1-p}.
となる。
この p の関数はロジットと呼ばれる。
次の表は、多くの一般的な分布を、正準型の指数型分布族として書き換える方法を示している。
スカラー変数とスカラーパラメータの場合:
f_X(x\mid \theta) = h(x)\,\exp{\Big( \eta(\theta)\,T(x) - A(\eta) \Big)}
スカラー変数とベクトルパラメータの場合:
f_X(x \mid \boldsymbol{\theta}) = h(x)\,\exp{\Big(\boldsymbol{\eta}(\boldsymbol{\theta})^{\intercal}\,\boldsymbol{T}(x) - A({\boldsymbol \eta})\Big)}
f_X(x \mid \boldsymbol{\theta}) = h(x)\,g(\boldsymbol{\theta})\,\exp{\Big(\boldsymbol{\eta}(\boldsymbol{\theta})^{\intercal}\,\boldsymbol{T}(x) \Big)}
ベクトル変数とベクトルパラメータの場合:
f_X(\mathbf{x} \mid \boldsymbol{\theta}) = h(\mathbf{x})\,\exp{\Big(\boldsymbol{\eta}(\boldsymbol{\theta})^{\intercal}\,\boldsymbol{T}(\boldsymbol{x}) - A(\boldsymbol{\eta}) \Big)}
指数型分布族は、 一般化線形モデルで使用される分布関数の基礎を形成する。
一般化線形モデルは、統計で一般的に使用される回帰モデルの多くを含む。