一般化線形モデル

一般化線形モデル (いっぱんかせんけいモデル、)は、残差を任意の分布とした線形モデル。似たものとして一般線形モデルがあるが、これは残差が多変量正規分布に従うモデル。一般化線形モデルには線形回帰、ポアソン回帰、ロジスティック回帰などが含まれる。1972年にネルダーとウェダーバーンによって提唱された。

概要
確率変数  が指数型分布族である、つまり確率密度関数  は正準 (canonical) パラメーター , 分散 (dispersion) パラメーター  とスカラー関数 ,  を用いて指数型

で表すことができるものとする。

一般化線形モデルでは、指数型分布族の正準パラメーター  について、リンク関数 (link function) と呼ばれる滑らかな関数  と、別の確率変数  の実現値  とを用いて、 と表すことができるものとする。

一般化線型モデルは下記の3つの要素から構成される。
 1. 指数型分布族の確率分布
 2. 線形予測子 (linear predictor) 
 3. リンク関数 (link function)  such that

指数分布族の性質
下記のように尤度関数を定める。

このとき、下記等式が成立する。

この等式を用いて計算すると、確率変数  の平均は 、分散は  であることが分かる。

下記の他、多くの確率分布が指数分布族に分類される。
 正規分布
 ベルヌーイ分布
 ポアソン分布
 二項分布
 ガウス分布

実例

正規分布に従うモデル
既知の値  を用いて , ,  と表されるとき、 は平均 , 分散  の正規分布に相当する。

リンク関数として  (正準リンク<canonical link>とよぶ) を取るとき、これは、正規線型モデル (通常の線型回帰) に相当する。平均  は  で与えられる。

ベルヌーイ分布に従うモデル
 を用いて , ,  と表されるとき、 は生起確率  のベルヌーイ分布に相当する。

リンク関数として  を取るとき、これはロジスティック回帰モデル (logistic regression model) に相当する。 の確率は、それぞれ、

で与えられる。

リンク関数として  (ただし、 は標準正規分布の累積分布関数) を取るとき、これはプロビット回帰モデルに相当する。となる。

パラメーターの決定には、ニュートン法を用いた最尤法などがある。

参考文献

関連項目 
 一般線形モデル
 混合モデル
 一般化線形混合モデル

回帰分析
統計モデル
数学に関する記事