통계학에서 **선형 회귀**는 종속 변수 ''y''와 한 개 이상의 독립 변수 (또는 설명 변수) ''X''와의 선형 상관 관계를 모델링하는 회귀분석 기법이다. 한 개의 설명 변수에 기반한 경우에는 단순 선형 회귀(simple linear regression), 둘 이상의 설명 변수에 기반한 경우에는 다중 선형 회귀라고 한다. 다중 선형 회귀는 설명 변수가 두 개 이상인 경우를 의미하고, 다변량 선형 회귀는 종속 변수가 두 개 이상인 경우를 의미한다.|group=참고}}

선형 회귀는 선형 예측 함수를 사용해 회귀식을 모델링하며, 알려지지 않은 파라미터는 데이터로부터 추정한다. 이렇게 만들어진 회귀식을 선형 모델이라고 한다.

선형 회귀는 깊이있게 연구되고 널리 사용된 첫 번째 회귀분석 기법이다. 이는 알려지지 않은 파라미터에 대해 선형 관계를 갖는 모델을 세우는 것이, 비선형 관계를 갖는 모델을 세우는 것보다 용이하기 때문이다.

선형 회귀는 여러 사용 사례가 있지만, 대개 아래와 같은 두 가지 분류 중 하나로 요약할 수 있다.

일반적으로 최소제곱법(least square method)을 사용해 선형 회귀 모델을 세운다. 최소제곱법 외에 다른 기법으로도 선형 회귀 모델을 세울 수 있다. 손실 함수(loss fuction)를 최소화하는 방식으로 선형 회귀 모델을 세울 수도 있다. 최소제곱법은 선형 회귀 모델 뿐 아니라, 비선형 회귀 모델에도 적용할 수 있다. 최소제곱법과 선형 회귀는 가깝게 연관되어 있지만, 그렇다고 해서 동의어는 아니다.

## 선형 회귀에 대한 소개
선형 회귀는 주어진 데이터 집합 

주어진 식에서 는 ''오차항'', ''오차 변수''로, 관찰되지 않은 확률 변수이며, 종속 변수와 독립 변수 사이에 오차를 의미한다.

이것이 선형 회귀라 불리는 것은, 종속변수가 독립변수에 대해 선형 함수(1차 함수)의 관계에 있을 것이라 가정하기 때문이다. 그러나 의 선형 함수일 것이라고 생각하는 것은 잘못이다. 예를 들어 다음과 같은 "선형 회귀"도 있기 때문이다.

이 식에서 각 항의 의미는 다음과 같다.
 \mathbf{y} = \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{pmatrix}, \quad
 \mathbf{X} = \begin{pmatrix} \mathbf{x}^{\rm T}_1 \\ \mathbf{x}^{\rm T}_2 \\ \vdots \\ \mathbf{x}^{\rm T}_n \end{pmatrix}
 = \begin{pmatrix} x_{11} & \cdots & x_{1p} \\
 x_{21} & \cdots & x_{2p} \\
 \vdots & \ddots & \vdots \\
 x_{n1} & \cdots & x_{np}
 \end{pmatrix}, \quad
 \boldsymbol\beta = \begin{pmatrix} \beta_1 \\ \beta_2 \\ \vdots \\ \beta_p \end{pmatrix}, \quad
 \boldsymbol\varepsilon = \begin{pmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \vdots \\ \varepsilon_n \end{pmatrix}.
 

몇 가지 중요한 용어를 확인하고 넘어가자.

**예제**. 작은 공을 던져 올리고, 그것의 높이 ''h
이 식에서 ''β''

### 선형 회귀에서의 가정
표준 선형 회귀 분석 모델에서는 예측 변수, 응답 변수 그리고 그 사이의 관계에 대해 다양한 가정을 한다. 확장된 선형 회귀 분석에서는 이러한 가정을 완화하기도 하고, 때로는 가정을 제거하기도 한다. 일반적으로 확장된 선형 회귀는 추정 과정을 더 복잡하게 하거나 시간을 더 많이 소모한다. 정확한 모델을 세우기 위해 더 많은 데이터가 요구하기도 한다.
표준 선형 회귀에서의 대표적인 가정들은 다음과 같다.

### 선형 회귀의 해석
예측 변수에 대한 모든 값이 주어졌을 때, 수립한 선형 회귀 모델을 사용해 예측 변수 ''x''
J = \frac{1}{2m}\sum_{i = 1}^{m} (h_\beta(x^{i}) -y^{i})^{2}

J(\mathbf{\beta}) = \frac{1}{2m}\sum_{i = 1}^{m} (h_\beta -y^{i})^{2}

 \operatorname{E}[\,\mathbf{x}_i\varepsilon_i\,] = 0.
  **Ω** 가 오차에 대한 공분산 행렬일 때,

#### Instrumental variables
\hat{\boldsymbol\beta} = (\mathbf{X}^{\rm T}\mathbf{Z}(\mathbf{Z}^{\rm T}\mathbf{Z})^{-1}\mathbf{Z}^{\rm T}\mathbf{X})^{-1}\mathbf{X}^{\rm T}\mathbf{Z}(\mathbf{Z}^{\rm T}\mathbf{Z})^{-1}\mathbf{Z}^{\rm T}\mathbf{y}.
 
p = \mathcal{N}

# - \frac{N}{2} \log(2\pi\sigma^{2}) - \frac{1}{2\sigma^{2}} \sum_{i  1}^{N} {(y_i - \boldsymbol\beta^{T} \mathbf{x_i})^{2}}
RSS(\beta)= \sum_{i = 1}^{N} {(y_i - \boldsymbol\beta^{T} \mathbf{x_i})^{2}}

J(w)

\boldsymbol \hat{\beta} = 
(\lambda \boldsymbol{I_D + X^{T}X})^{-1}
\boldsymbol{X^{T}y}

## 선형 회귀의 응용
생물학, 행동학, 경제학 및 기타 사회과학에서 변수들 사이의 관계를 설명하고자 할 때, 선형 회귀를 사용한다. 예를 들어, 추세 분석·역학 조사·재무 관리·경제학에 응용된다.

### 추세 분석
추세선은 데이터를 시간 축으로 놓고 봤을 때, 데이터의 값이 장기적으로 어떻게 변하는지 직선으로 표현한 것이다. 추세선은 특정 데이터 집합에서 값이 증가세에 있는지 감소세에 있는지 보여준다. 이러한 데이터의 추세는 데이터를 눈으로 확인하는 것만으로도 추정 가능하지만, 더 정확하게는 선형 회귀를 사용해 추세선을 그릴 수 있다. 추세선은 일반적으로 직선이며, 경우에 따라 더 높은 차수의 곡선을 사용하기도 한다.
때로는 경영 분석에서 시간에 따른 데이터 변화를 보고자 추세선을 사용하기도 한다. 추세선을 사용하면 특정 사건이 값에 미치는 영향을 매우 간단하게 확인할 수 있다. 추세선을 그리는 것은 대조군이 필요하지도 않고, 실험 설계가 필요하지도 않으며 간단하다는 장점이 있다. 하지만 과학적인 검증이 부족해, 예상한 것 이외의 요인이 잠재적으로 데이터에 미치는 영향은 놓칠 수 있다.

### 역학 조사
흡연률과 사망률, 유병률을 연관이 있다는 증거는 회귀 분석을 적용한 관찰 연구에서 확인되었다. 관찰한 데이터에서 확신할 수 없는 상관 관계를 제거하기 위해, 연구자들은 일반적으로 실제로 관심있는 변수 외에도 여러 개의 변수를 삽입해 회귀 분석 모델을 수립한다. 예를 들어, 흡연률과 수명의 상관관계를 보고싶다고 하자. 연구자들은 실제로 관심있는 독립 변수인 흡연률 외에도 사회경제적 조건 등을 독립 변수에 추가적로 삽입해, 사회경제적 조건이 수명과 연관이 있는지 확인하곤 한다. 하지만 모든 가능한 변수를 추가할 수는 없으므로, 랜덤 통제 실험을 통해 상관관계를 조사하기도 한다.

### 재무 관리
자본자산 가격결정 모형에서 체계적 위험을 베타에 대한 선형 회귀로 표현한다.

### 경제학
선형 회귀는 경제학에서 경험적인 데이터를 통해 미래를 예측하고자 할 때 주로 사용된다. 비용 예측 등에 선형 회귀를 사용할 수 있다.

### 환경 과학
선형 회귀는 환경 과학에도 적용할 수 있다. 캐나다의 환경 영향 모니터링 프로그램에서는 제지 공장과 광산이 수질에 미치는 영향을 조사하기 위해 물고기와 수질에 대해 선형 회귀를 사용하기도 했다.

## 선형회귀 방정식
선형회귀방정식 을 조사할 수 있다.