ロジスティック回帰

ロジスティック回帰（ロジスティックかいき、）は、ベルヌーイ分布に従う変数の統計的回帰モデルの一種である。連結関数としてロジットを使用する一般化線形モデル (GLM) の一種でもある。1958年にが発表した。確率の回帰であり、統計学の分類に主に使われる。医学や社会科学でもよく使われる。
モデルは同じく1958年に発表された単純パーセプトロンと等価であるが、scikit-learnなどでは、パラメータを決める最適化問題で確率的勾配降下法を使用する物をパーセプトロンと呼び、座標降下法や準ニュートン法などを使用する物をロジスティック回帰と呼んでいる。
概要.
ロジスティック回帰モデルは以下のような形式である。x が入力で、pが確率（出力）、αとβがパラメータ。
ここで、"n" 個のユニットと共変動 "X" があり、以下のような関係にある。
結果のオッズ（1から確率を引いたもので確率を割った値）の対数は、説明変数 "Xi" の線形関数としてモデル化される。これを次のようにも表せる。
単純パーセプトロンの記法を使うと上記の式は以下のようにも表現できる。formula_1 は標準シグモイド関数。
パラメータの推定はオッズ比に重大な影響がある。性別のような2値の説明変数の場合、formula_2 は例えば男性と女性の結果のオッズ比の推定である。推定には最尤法を使うことが多い。
このモデルの拡張として多分割（polytomous）ロジスティック回帰がある。複数カテゴリの従属変数や順序のある従属変数を扱う。ロジスティック回帰による階層分けを多項ロジットモデルと呼ぶ。
応用.
社会科学分野での典型的な応用として、企業の過去のデータをもとに信用リスクを推定するという用法がある。
2値ロジスティック回帰はダイレクトマーケティングでよく使われ、ある提案に反応する人々を特定するのに使われる（従属変数は「反応する=1」と「反応しない=0」である）。ダイレクトマーケティングの2値ロジスティック回帰モデルは「リフトチャート」を使って評価される。これは、過去のメールへの反応のデータとモデルによる予測結果を比較する。
例.
ロジスティック回帰モデルは一般化線形モデルの一種である。"p"("x") が、予測値変数 "x" について成功の確率を表すとすると、次のように表される。
代数的操作を施すと次のようになる。
ここで、formula_3 は成功のオッズである。ここで、例えば "p"(50) が 2/3 となる場合であるとして計算してみると
したがって、"x" = 50 のとき、成功の可能性は失敗の2倍（オッズが 2 対 1 ）である。