一般化線形モデル

一般化線形モデル (いっぱんかせんけいモデル、)は、残差を任意の分布とした線形モデル。似たものとして一般線形モデルがあるが、これは残差が多変量正規分布に従うモデル。一般化線形モデルには線形回帰、ポアソン回帰、ロジスティック回帰などが含まれる。1972年にとによって提唱された。
概要.
確率変数 formula_1 が指数型分布族である、つまり確率密度関数 formula_2 は正準 (canonical) パラメーター formula_3, 分散 (dispersion) パラメーター formula_4 とスカラー関数 formula_5, formula_6 を用いて指数型
で表すことができるものとする。
一般化線形モデルでは、指数型分布族の正準パラメーター formula_3 について、リンク関数 (link function) と呼ばれる滑らかな関数 formula_8 と、別の確率変数 formula_9 の実現値 formula_10 とを用いて、formula_11 と表すことができるものとする。
一般化線型モデルは下記の3つの要素から構成される。
指数分布族の性質.
下記のように尤度関数を定める。
このとき、下記等式が成立する。
この等式を用いて計算すると、確率変数 formula_1 の平均は formula_16、分散は formula_17 であることが分かる。
下記の他、多くの確率分布が指数分布族に分類される。
実例.
正規分布に従うモデル.
既知の値 formula_18 を用いて formula_19, formula_20, formula_21 と表されるとき、formula_22 は平均 formula_3, 分散 formula_18 の正規分布に相当する。
リンク関数として formula_25 (正準リンク<canonical link>とよぶ) を取るとき、これは、正規線型モデル (通常の線型回帰) に相当する。平均 formula_3 は formula_27 で与えられる。
ベルヌーイ分布に従うモデル.
formula_28 を用いて formula_29, formula_30, formula_31 と表されるとき、formula_32 は生起確率 formula_33 のベルヌーイ分布に相当する。
リンク関数として formula_25 を取るとき、これはロジスティック回帰モデル (logistic regression model) に相当する。formula_35 の確率は、それぞれ、
で与えられる。
リンク関数として formula_36 (ただし、formula_37 は標準正規分布の累積分布関数) を取るとき、これはプロビット回帰モデルに相当する。formula_38となる。
パラメーターの決定には、ニュートン法を用いた最尤法などがある。