指数型分布族

指数型分布族（しすうがたぶんぷぞく）は、以下のように定義される、特定の形式の確率分布。有用な代数的特性を持つ。 

指数型分布族の概念は、1935 – 1936年に、EJG Pitman、G. Darmois 、BO Koopmanらによって与えられた。

定義

指数型分布族に属する確率分布の例 
指数型分布族には、最も一般的な分布の多くが含まれる。その一部を例示する。

 正規分布
 指数分布
 ガンマ分布
 カイ二乗分布
 ベータ分布
 ディリクレ分布
 ベルヌーイ分布
 
 ポアソン分布
 ウィッシャート分布
 
 幾何分布

多くの一般的な分布が指数型分布族に属するが、それは特定のパラメーターが既知定数である場合に限られる。例えば： 
 二項分布  試行回数は固定
 多項分布  試行回数は固定
 負の二項分布  失敗回数は固定

いずれの場合も、固定する必要のあるパラメーターが観測値のサイズを制限している。 

一般的な分布のうち、指数型分布族ではないものとして、 スチューデントの t 分布、ほとんどの混合分布、範囲が固定されていない場合の均一分布が挙げられる。

スカラーパラメータ 
単一の実数パラメータに基づく指数型分布族では、 確率密度関数 （離散分布の場合は確率質量関数）が次の形式で表現できる。 

 

ここで、 、、、 はいずれも既知の関数である。 

しばしば次のように同等の形式で記述される。 

 

次のように記述しても同等である。

 

 は指数型分布族のパラメータと呼ばれる。   

 の場合、指数型分布族は正準型（canonical form）であるという。
変換後のパラメータ  をパラメータとして用いることにより、指数型分布族を正準型に変換することができる。

指数型分布族が正準型であるときのパラメータを自然パラメータ（natural parameter）と呼ぶ。

関連する変数の因数分解 
すべての指数型分布族は、単一パラメーターによる指数型分布族の積に分解できる。

ベクトルパラメータ 
単一の実数パラメータに基づく指数型分布族を、複数の実数パラメータ（下記ベクトル）に基づく指数型分布族に拡張できる。

 

確率密度関数（または離散分布の場合は確率質量関数）が次のように記述できる場合、ベクトル指数型分布族に属している。 

 

またはもっとコンパクトな形で 

 

下記のように記載されることも多い。

 

スカラー値の場合と同様に、ベクトル指数型分布族は次の場合に正準型と呼ばれる。

ベクトルパラメータ、ベクトル変数 
単一の確率変数に対する指数型分布族は、複数の確率変数に対する指数型分布族に拡張できる。

複数の確率変数を次のように記述すると、

 

指数型分布族の確率分布は次のように記述される。

 

またはもっとコンパクトな形で

 

次のように記述されることも多い。

性質 
指数型分布族には、統計分析に非常に役立つ多数の性質がある。
多くの場合、これらの特性を持つのは指数型分布族のみである。 例：
 共役事前分布を持つ

例 
正規分布、指数分布、 対数正規分布、ガンマ分布、カイ二乗分布、ベータ分布、ディリクレ分布、ベルヌーイ分布、カテゴリカル分布、ポアソン分布、幾何分布、逆ガウス分布、フォン・ミーゼス分布、フォンミーゼス-フィッシャー分布はすべて指数型分布族に属する。

正規分布：未知の平均、既知の分散 
未知の平均値  と既知の分散  による正規分布を考える。
確率密度関数は 

 

これは、次のように設定することで、単一パラメーターの指数型分布族であることが分かる。 

 

、すなわち  の場合、これは正準型となる。

正規分布：未知の平均と分散 
未知の平均  と未知の分散  を持つ正規分布の場合を考える。
確率密度関数は 

 

これは、次のように設定することで、指数型分布族であることが分かる。

二項分布：既知の試行回数 
離散変数を対象とする指数型分布族の例として、試行回数  が既知の二項分布を考える。

この分布の確率質量関数は 

 

これは同等に次のように書くことができる。

 

二項分布は指数型分布族であり、その自然パラメーター  は

 

となる。
この  の関数はロジットと呼ばれる。

分布表 
次の表は、多くの一般的な分布を、正準型の指数型分布族として書き換える方法を示している。 

スカラー変数とスカラーパラメータの場合：

 

スカラー変数とベクトルパラメータの場合： 

 
 

ベクトル変数とベクトルパラメータの場合：

統計における役割 
指数型分布族は、 一般化線形モデルで使用される分布関数の基礎を形成する。
一般化線形モデルは、統計で一般的に使用される回帰モデルの多くを含む。

脚注

注釈

出典

参考文献

外部リンク 

 A primer on the exponential family of distributions
 Exponential family of distributions on the Earliest known uses of some of the words of mathematics
 jMEF: A Java library for exponential families

指数関数
確率分布
未査読の翻訳があるページ
数学に関する記事