指数型分布族

指数型分布族（しすうがたぶんぷぞく）は、以下のように定義される、特定の形式の確率分布。有用な代数的特性を持つ。 

指数型分布族の概念は、1935 – 1936年に、EJG Pitman、G. Darmois 、BO Koopmanらによって与えられた。 

 定義 

 指数型分布族に属する確率分布の例 
指数型分布族には、最も一般的な分布の多くが含まれる。その一部を例示する。

 正規分布
 指数分布
 ガンマ分布
 カイ二乗分布
 ベータ分布
 ディリクレ分布
 ベルヌーイ分布

 ポアソン分布
 ウィッシャート分布

 幾何分布

多くの一般的な分布が指数型分布族に属するが、それは特定のパラメーターが既知定数である場合に限られる。例えば： 
 二項分布  試行回数は固定
 多項分布  試行回数は固定
 負の二項分布  失敗回数は固定

いずれの場合も、固定する必要のあるパラメーターが観測値のサイズを制限している。 

一般的な分布のうち、指数型分布族ではないものとして、 スチューデントの t 分布、ほとんどの混合分布、範囲が固定されていない場合の均一分布が挙げられる。

 スカラーパラメータ 
単一の実数パラメータに基づく指数型分布族では、 確率密度関数 （離散分布の場合は確率質量関数）が次の形式で表現できる。 



ここで、 、、、 はいずれも既知の関数である。 

しばしば次のように同等の形式で記述される。 



次のように記述しても同等である。



 は指数型分布族のパラメータと呼ばれる。   

 の場合、指数型分布族は正準型（canonical form）であるという。
変換後のパラメータ  をパラメータとして用いることにより、指数型分布族を正準型に変換することができる。

指数型分布族が正準型であるときのパラメータを自然パラメータ（natural parameter）と呼ぶ。

 関連する変数の因数分解 
すべての指数型分布族は、単一パラメーターによる指数型分布族の積に分解できる。

 ベクトルパラメータ 
単一の実数パラメータに基づく指数型分布族を、複数の実数パラメータ（下記ベクトル）に基づく指数型分布族に拡張できる。



確率密度関数（または離散分布の場合は確率質量関数）が次のように記述できる場合、ベクトル指数型分布族に属している。 



またはもっとコンパクトな形で 



下記のように記載されることも多い。



スカラー値の場合と同様に、ベクトル指数型分布族は次の場合に正準型と呼ばれる。 



 ベクトルパラメータ、ベクトル変数 
単一の確率変数に対する指数型分布族は、複数の確率変数に対する指数型分布族に拡張できる。

複数の確率変数を次のように記述すると、



指数型分布族の確率分布は次のように記述される。



またはもっとコンパクトな形で



次のように記述されることも多い。



 性質 
指数型分布族には、統計分析に非常に役立つ多数の性質がある。
多くの場合、これらの特性を持つのは指数型分布族のみである。 例：
 共役事前分布を持つ

 例 
正規分布、指数分布、 対数正規分布、ガンマ分布、カイ二乗分布、ベータ分布、ディリクレ分布、ベルヌーイ分布、カテゴリカル分布、ポアソン分布、幾何分布、逆ガウス分布、フォン・ミーゼス分布、フォンミーゼス-フィッシャー分布はすべて指数型分布族に属する。 

 正規分布：未知の平均、既知の分散 
未知の平均値  と既知の分散  による正規分布を考える。
確率密度関数は 



これは、次のように設定することで、単一パラメーターの指数型分布族であることが分かる。 



、すなわち  の場合、これは正準型となる。

 正規分布：未知の平均と分散 
未知の平均  と未知の分散  を持つ正規分布の場合を考える。
確率密度関数は 



これは、次のように設定することで、指数型分布族であることが分かる。  



 二項分布：既知の試行回数 
離散変数を対象とする指数型分布族の例として、試行回数  が既知の二項分布を考える。

この分布の確率質量関数は 



これは同等に次のように書くことができる。



二項分布は指数型分布族であり、その自然パラメーター  は



となる。
この  の関数はロジットと呼ばれる。

 分布表 
次の表は、多くの一般的な分布を、正準型の指数型分布族として書き換える方法を示している。 

スカラー変数とスカラーパラメータの場合：



スカラー変数とベクトルパラメータの場合： 




ベクトル変数とベクトルパラメータの場合： 



 確率分布  パラメータ  自然パラメータ  パラメータの逆写像 Base measure  十分統計量  Log-partition  Log-partition  ベルヌーイ分布自然パラメータはロジット関数、パラメータの逆写像はロジスティック関数に相当する。         二項分布既知の試行回数          ポアソン分布         負の二項分布with known number of failures          指数分布         パレート分布with known minimum value          ワイブル分布with known shape          ラプラス分布既知の平均          カイ二乗分布         正規分布 既知の分散          正規分布  ,        対数正規分布  ,        逆ガウス分布  ,       ガンマ分布  ,     ,     逆ガンマ分布  ,        一般化逆ガウス分布  , ,        スケールされた逆カイ二乗分布  ,        ベータ分布 （variant 1)  ,        ベータ分布 (variant 2)  ,        多変量正規分布  ,        カテゴリカル分布 (variant 1) はアイバーソンの記法による（ ならば 1 そうでなければ 0） where   where      カテゴリカル分布 (variant 2) where   

where      カテゴリカル分布 (variant 3) where  
This is the inverse softmax function, a generalization of the logit function. 

This is the softmax function, a generalization of the logistic function.     多項分布 (variant 1)既知の試行回数   where   where      多項分布 (variant 2)既知の試行回数   where   

where      多項分布 (variant 3)既知の試行回数  where        ディリクレ分布 (variant 1)         ディリクレ分布 (variant 2)        ウィッシャート分布 を用いた。行列パラメータは指数形式に代入する際にベクトル化されているとものとする。また、V と X は対称行列であり、 などとなる。 ,      




Three variants with different parameterizations are given, to facilitate computing moments of the sufficient statistics.  逆ウィッシャート分布  ,       ガウス・ガンマ分布  , , ,      


 統計における役割 
指数型分布族は、 一般化線形モデルで使用される分布関数の基礎を形成する。
一般化線形モデルは、統計で一般的に使用される回帰モデルの多くを含む。

 脚注 
 注釈 

 出典 

 参考文献 





 外部リンク 

 A primer on the exponential family of distributions
 Exponential family of distributions on the Earliest known uses of some of the words of mathematics
 jMEF: A Java library for exponential families

Category:指数関数
Category:確率分布
Category:未査読の翻訳があるページ
Category:数学に関する記事