ロジスティック回帰
p i = Pr ( Y i = 1 | X ) = 1 1 + e − ( α + β 1 x 1 , i + ⋯ + β k x k , i ) {\displaystyle p_{i}=\Pr(Y_{i}=1|X)={\frac {1}{1+e^{-(\alpha +\beta _{1}x_{1,i}+\cdots +\beta _{k}x_{k,i})}}}}
単純パーセプトロンの記法を使うと上記の式は以下のようにも表現できる。 ς 1 {\displaystyle \varsigma _{1}} は標準シグモイド関数。
p i = ς 1 ( α + β 1 x 1 , i + ⋯ + β k x k , i ) {\displaystyle p_{i}=\varsigma _{1}(\alpha +\beta _{1}x_{1,i}+\cdots +\beta _{k}x_{k,i})}
パラメータの推定はオッズ比に重大な影響がある。性別のような2値の説明変数の場合、 e β {\displaystyle e^{\beta }} は例えば男性と女性の結果のオッズ比の推定である。推定には最尤法を使うことが多い。
このモデルの拡張として多分割(polytomous)ロジスティック回帰がある。複数カテゴリの従属変数や順序のある従属変数を扱う。ロジスティック回帰による階層分けを多項ロジットモデルと呼ぶ。
ロジスティック回帰モデルは一般化線形モデルの一種である。p(x) が、予測値変数 x について成功の確率を表すとすると、次のように表される。
p ( x ) = e B 0 + B 1 x 1 + e B 0 + B 1 x . {\displaystyle p(x)={\frac {e^{B_{0}+B_{1}x}}{1+e^{B_{0}+B_{1}x}}}.}
代数的操作を施すと次のようになる。
p ( x ) 1 − p ( x ) = e B 0 + B 1 x , {\displaystyle {\frac {p(x)}{1-p(x)}}=e^{B_{0}+B_{1}x},}
ここで、 p ( x ) 1 − p ( x ) {\displaystyle {\frac {p(x)}{1-p(x)}}} は成功のオッズである。ここで、例えば p(50) が 2/3 となる場合であるとして計算してみると
p ( 50 ) 1 − p ( 50 ) = 2 3 1 − 2 3 = 2. {\displaystyle {\frac {p(50)}{1-p(50)}}={\frac {\frac {2}{3}}{1-{\frac {2}{3}}}}=2.}
したがって、x = 50 のとき、成功の可能性は失敗の2倍(オッズが 2 対 1 )である。