指数型分布族

**指数型分布族**（しすうがたぶんぷぞく）は、以下のように定義される、特定の形式の確率分布。有用な代数的特性を持つ。 

指数型分布族の概念は、1935 &#x2013; 1936年に、EJG Pitman、G. Darmois 、BO Koopmanらによって与えられた。 

## 定義

### 指数型分布族に属する確率分布の例
指数型分布族には、最も一般的な分布の多くが含まれる。その一部を例示する。

* 正規分布
* 指数分布
* ガンマ分布
* カイ二乗分布
* ベータ分布
* ディリクレ分布
* ベルヌーイ分布
* 
* ポアソン分布
* ウィッシャート分布
* 
* 幾何分布

多くの一般的な分布が指数型分布族に属するが、それは特定のパラメーターが既知定数である場合に限られる。例えば： 
; 二項分布 : 試行回数は固定
; 多項分布 : 試行回数は固定
; 負の二項分布 : 失敗回数は固定

いずれの場合も、固定する必要のあるパラメーターが観測値のサイズを制限している。 

一般的な分布のうち、指数型分布族ではないものとして、 スチューデントの ''t'' 分布、ほとんどの混合分布、範囲が固定されていない場合の均一分布が挙げられる。

### スカラーパラメータ
単一の実数パラメータに基づく指数型分布族では、 確率密度関数 （離散分布の場合は確率質量関数）が次の形式で表現できる。 

:  f_X(x \mid \theta) = h(x) \exp{\left[ \eta(\theta) \cdot T(x) - A(\theta) \right]}

ここで、 T(x)、h(x)、\eta(\theta)、A(\theta) はいずれも既知の関数である。 

しばしば次のように同等の形式で記述される。 

:  f_X(x \mid \theta) = h(x)\,g(\theta)\,\exp{\left[ \eta(\theta) \cdot T(x) \right]}

次のように記述しても同等である。

:  f_X(x \mid \theta) = \exp{\left[ \eta(\theta) \cdot T(x) - A(\theta) + B(x) \right]}

\theta は指数型分布族のパラメータと呼ばれる。   

\eta(\theta) = \theta  の場合、指数型分布族は正準型（canonical form）であるという。
変換後のパラメータ \eta = \eta(\theta) をパラメータとして用いることにより、指数型分布族を正準型に変換することができる。

指数型分布族が正準型であるときのパラメータを自然パラメータ（natural parameter）と呼ぶ。

### 関連する変数の因数分解
すべての指数型分布族は、単一パラメーターによる指数型分布族の積に分解できる。

### ベクトルパラメータ
単一の実数パラメータに基づく指数型分布族を、複数の実数パラメータ（下記ベクトル）に基づく指数型分布族に拡張できる。

: \boldsymbol{\theta} = \left(\theta_1, \theta_2, \ldots, \theta_s \right )^{\intercal}.

確率密度関数（または離散分布の場合は確率質量関数）が次のように記述できる場合、ベクトル指数型分布族に属している。 

:  f_X(x \mid \boldsymbol{\theta}) = h(x) \exp{\left(\sum_{i=1}^s \eta_i({\boldsymbol \theta}) \cdot T_i(x) - A(\boldsymbol{\theta}) \right)}

またはもっとコンパクトな形で 

:  f_X(x \mid \boldsymbol{\theta}) = h(x) \exp{\Big(\boldsymbol{\eta}(\boldsymbol{\theta})^{\intercal} \boldsymbol{T}(x) - A(\boldsymbol{\theta}) \Big)}

下記のように記載されることも多い。

:  f_X(x \mid \boldsymbol{\theta}) = h(x)\,g(\boldsymbol{\theta}) \exp \Big(\boldsymbol{\eta}(\boldsymbol{\theta})^{\intercal} \boldsymbol{T}(x)\Big)

スカラー値の場合と同様に、ベクトル指数型分布族は次の場合に正準型と呼ばれる。 

: \forall i: \quad \eta_i(\theta_i) = \theta_i.

### ベクトルパラメータ、ベクトル変数
単一の確率変数に対する指数型分布族は、複数の確率変数に対する指数型分布族に拡張できる。

複数の確率変数を次のように記述すると、

: \mathbf{x} = \left (x_1, x_2, \dotsc, x_k \right).

指数型分布族の確率分布は次のように記述される。

: f_X(\mathbf{x} \mid \boldsymbol{\theta}) = h(\mathbf{x})\exp \left(\sum_{i=1}^s \eta_i({\boldsymbol \theta}) \cdot T_i(\mathbf{x}) - A({\boldsymbol \theta}) \right)

またはもっとコンパクトな形で

:  f_X(\mathbf{x} \mid \boldsymbol{\theta}) = h(\mathbf{x}) \exp \Big(\boldsymbol{\eta}(\boldsymbol{\theta})^{\intercal} \boldsymbol{T}(\mathbf{x}) - A(\boldsymbol{\theta})\Big)

次のように記述されることも多い。

:  f_X(\mathbf{x} \mid \boldsymbol{\theta}) = h(\mathbf{x})\,g(\boldsymbol{\theta})\,\exp \Big(\boldsymbol\eta({\boldsymbol \theta})^{\intercal} \boldsymbol{T}(\boldsymbol{x}) \Big)

## 性質
指数型分布族には、統計分析に非常に役立つ多数の性質がある。
多くの場合、これらの特性を持つのは指数型分布族のみである。 例：
* 共役事前分布を持つ

## 例
正規分布、指数分布、 対数正規分布、ガンマ分布、カイ二乗分布、ベータ分布、ディリクレ分布、ベルヌーイ分布、カテゴリカル分布、ポアソン分布、幾何分布、逆ガウス分布、フォン・ミーゼス分布、フォンミーゼス-フィッシャー分布はすべて指数型分布族に属する。 

### 正規分布：未知の平均、既知の分散
未知の平均値 \mu と既知の分散 \sigma^2 による正規分布を考える。
確率密度関数は 

: f_\sigma(x;\mu) = \frac 1 {\sqrt{2 \pi \sigma^2}} \exp \left(-\frac{(x-\mu)^2}{2\sigma^2}\right).

これは、次のように設定することで、単一パラメーターの指数型分布族であることが分かる。 

: \begin{align}
h_\sigma(x) &= \frac{1}{\sqrt{2\pi\sigma^2}} \exp \left(-\frac{x^2}{2\sigma^2}\right) \\[4pt]
T_\sigma(x) &= \frac x \sigma \\[4pt]
A_\sigma(\mu) &= \frac{\mu^2}{2\sigma^2}\\[4pt]
\eta_\sigma(\mu) &= \frac \mu \sigma.
\end{align}

\sigma^2 = 1、すなわち \eta_\sigma(\mu) = \mu の場合、これは正準型となる。

### 正規分布：未知の平均と分散
未知の平均 \mu と未知の分散 \sigma^2 を持つ正規分布の場合を考える。
確率密度関数は 

: f(x;\mu,\sigma) = \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left( -\frac{(x-\mu)^2}{2 \sigma^2} \right).

これは、次のように設定することで、指数型分布族であることが分かる。  

: \begin{align} 
\boldsymbol{\eta} &= \left(\frac{\mu}{\sigma^2}, -\frac{1}{2\sigma^2} \right)^{\rm T} \\
h(x) &= \frac{1}{\sqrt{2 \pi}} \\
T(x) &= \left( x, x^2 \right)^{\rm T} \\
A({\boldsymbol \eta}) &= \frac{\mu^2}{2 \sigma^2} + \log |\sigma| = -\frac{\eta_1^2}{4\eta_2} + \frac{1}{2}\log\left|\frac{1}{2\eta_2} \right|
\end{align}

### 二項分布：既知の試行回数
離散変数を対象とする指数型分布族の例として、試行回数 n が既知の二項分布を考える。

この分布の確率質量関数は 

: f(x)={n \choose x}p^x (1-p)^{n-x}, \quad x \in \{0, 1, 2, \ldots, n\}.

これは同等に次のように書くことができる。

: f(x)={n \choose x}\exp\left(x \log\left(\frac{p}{1-p}\right) + n \log(1-p)\right),\quad x \in \{0, 1, 2, \ldots, n\}.

二項分布は指数型分布族であり、その自然パラメーター \eta は

: \eta = \log\frac{p}{1-p}.

となる。
この p の関数はロジットと呼ばれる。

## 分布表
次の表は、多くの一般的な分布を、正準型の指数型分布族として書き換える方法を示している。 

スカラー変数とスカラーパラメータの場合：

:  f_X(x\mid \theta) = h(x)\,\exp{\Big( \eta(\theta)\,T(x) - A(\eta) \Big)} 

スカラー変数とベクトルパラメータの場合： 

:  f_X(x \mid \boldsymbol{\theta}) = h(x)\,\exp{\Big(\boldsymbol{\eta}(\boldsymbol{\theta})^{\intercal}\,\boldsymbol{T}(x) - A({\boldsymbol \eta})\Big)}
:  f_X(x \mid \boldsymbol{\theta}) = h(x)\,g(\boldsymbol{\theta})\,\exp{\Big(\boldsymbol{\eta}(\boldsymbol{\theta})^{\intercal}\,\boldsymbol{T}(x) \Big)}

ベクトル変数とベクトルパラメータの場合： 

:  f_X(\mathbf{x} \mid \boldsymbol{\theta}) = h(\mathbf{x})\,\exp{\Big(\boldsymbol{\eta}(\boldsymbol{\theta})^{\intercal}\,\boldsymbol{T}(\boldsymbol{x}) - A(\boldsymbol{\eta}) \Big)}

## 統計における役割
指数型分布族は、 一般化線形モデルで使用される分布関数の基礎を形成する。
一般化線形モデルは、統計で一般的に使用される回帰モデルの多くを含む。

## 脚注
### 注釈

### 出典

## 参考文献

* 
* 
* 

## 外部リンク

** A primer on the exponential family of distributions
** Exponential family of distributions on the Earliest known uses of some of the words of mathematics
** jMEF: A Java library for exponential families