線形回帰が非線形回帰に比べて用いられる頻度が高いのは、未知のパラメータに線形に依存するモデルの方が、パラメータに非線形に依存するモデルよりもフィッティングが容易で、推定値の統計的性質を決定しやすいためである。
線形回帰が取り扱う範囲は、予測変数の値を与えられた応答の条件付き確率分布に限る。
全ての変数の同時確率分布は多変量解析の領域として、ここでは扱わない。
線形回帰の用途.
線形回帰は多くの実用的な用途があり、大まかには以下の二種類の用途に分類される。
○予測、予想、またはエラーの削減を目的とする。
→線形回帰は、応答変数と説明変数の値の観測されたデータセットに予測モデルを適合させるために使用できる。
説明変数の追加値が収集された場合、このモデルから応答変数を予測できる。
○説明変数の変動に起因する応答変数の変動を説明することを目的とする。
→線形回帰分析を適用して、応答と説明変数の関係の強さを定量化できる。
これにより各説明変数が応答と全く線形関係を持たないかどうかを判断したり、説明変数のどのサブセットに応答に関する冗長な情報が含まれているかを特定できる。
線形モデルのフィッティング方法.
線形回帰モデルは多くの場合、最小二乗法を用いてフィッティングされる。
逆に最小二乗法は、線形モデルではないモデルのフィットにも使用できる。
このように、「最小二乗法」と「線形モデル」という言葉は密接に関連しているが、同義ではない。
基本モデル.
線形回帰モデルは、目的変数 と説明変数 および擾乱項 の関係を以下のようにモデル化したものである。
ここで は切片（「定数」項）、 は各々の説明変数の係数であり、 は説明変数の個数である。線形回帰においては、説明変数の係数および切片の組 をパラメタとするモデルを与える。また、擾乱項 は説明変数 とは独立である。
ベクトル・行列記法を用いれば、線形回帰モデルは以下のように表せる。
線形回帰が「線形」であるのは、目的変数 が説明変数 の係数 に対して線形であるためである。たとえば
という回帰は に対して明らかに線形ではないが、係数 に対して線形であるから、線形回帰の問題に分類される。
同等な定式化に、線形回帰を条件付き期待値のモデルとして陽に表すものがある。
ここで、所与の に対する の条件付き確率分布は擾乱項の確率分布に一致する。