선형 회귀
통계학에서, 선형 회귀(線型回歸, )는 종속 변수 "y"와 한 개 이상의 독립 변수 (또는 설명 변수) "X"와의 선형 상관 관계를 모델링하는 회귀분석 기법이다. 한 개의 설명 변수에 기반한 경우에는 단순 선형 회귀, 둘 이상의 설명 변수에 기반한 경우에는 다중 선형 회귀라고 한다.
선형 회귀는 선형 예측 함수를 사용해 회귀식을 모델링하며, 알려지지 않은 파라미터는 데이터로부터 추정한다. 이렇게 만들어진 회귀식을 선형 모델이라고 한다.
선형 회귀는 깊이있게 연구되고 널리 사용된 첫 번째 회귀분석 기법이다. 이는 알려지지 않은 파라미터에 대해 선형 관계를 갖는 모델을 세우는 것이, 비선형 관계를 갖는 모델을 세우는 것보다 용이하기 때문이다.
선형 회귀는 여러 사용 사례가 있지만, 대개 아래와 같은 두 가지 분류 중 하나로 요약할 수 있다.
일반적으로 최소제곱법(least square method)을 사용해 선형 회귀 모델을 세운다. 최소제곱법 외에 다른 기법으로도 선형 회귀 모델을 세울 수 있다. 손실 함수(loss fuction)를 최소화 하는 방식으로 선형 회귀 모델을 세울 수도 있다. 최소제곱법은 선형 회귀 모델 뿐 아니라, 비선형 회귀 모델에도 적용할 수 있다. 최소제곱법과 선형 회귀는 가깝게 연관되어 있지만, 그렇다고 해서 동의어는 아니다.
선형 회귀는 주어진 데이터 집합 formula_1에 대해, 종속 변수 "y"와 p개의 설명 변수 "x" 사이의 선형 관계를 모델링한다. 모델은 다음과 같은 형태를 갖는다.
주어진 식에서 formula_3는 각 독립변수의 계수이며, formula_4는 선형 회귀로 추정되는 모수의 개수이다. 는 전치를 의미하고, x"β는 x"와 β의 내적을 의미한다. formula_5는 "오차항", "오차 변수"로, 관찰되지 않은 확률 변수이며, 종속 변수와 독립 변수 사이에 오차를 의미한다.
이것이 선형 회귀라 불리는 것은, 종속변수가 독립변수에 대해 선형 함수(1차 함수)의 관계에 있을 것이라 가정하기 때문이다. 그러나 formula_6의 그래프가 직선이고 formula_7가 formula_8의 선형 함수일 것이라고 생각하는 것은 잘못이다. 예를 들어 다음과 같은 "선형 회귀"도 있기 때문이다.
formula_9는 formula_10와 formula_11에 관해 선형이기 때문에, x축과 y축을 가진 그래프가 직선상에 있지 않더라도 선형회귀라고 할 수 있다.
이 식은 벡터 형식으로 표현하면 다음과 같이 표현할 수 있다.
이 식에서 각 항의 의미는 다음과 같다.
몇 가지 중요한 용어를 확인하고 넘어가자.
예제. 작은 공을 던져 올리고, 그것의 높이 "h" 를 시간 "t"에서 측정한다고 하자. 이를 수식으로 표현하면 다음과 같다. 
이 식에서 "β" 는 공의 초기 속도이며, "β" 는 중력에 비례하는 계수이다. "ε"는 측정 오차를 의미한다. 선형 회귀는 측정한 데이터를 사용해 "β"과 "β"를 추정할 때 사용할 수 있다. 이렇게 세워진 모델은 시간 변수에 대해서는 비선형이지만, 파라미터 "β"와 "β"에 대해서는 선형이다. 만약 독립 변수를 다음과 같이 표현하면, x = ("x", "x")  = ("t", "t"), 식을 다음과 같이 쓸 수 있다.
표준 선형 회귀 분석 모델에서는 예측 변수, 응답 변수 그리고 그 사이의 관계에 대해 다양한 가정을 한다. 확장된 선형 회귀 분석에서는 이러한 가정을 완화하기도 하고, 때로는 가정을 제거하기도 한다. 일반적으로 확장된 선형 회귀는 추정 과정을 더 복잡하게 하거나 시간을 더 많이 소모한다. 정확한 모델을 세우기 위해 더 많은 데이터가 요구하기도 한다.
표준 선형 회귀에서의 대표적인 가정들은 다음과 같다.
예측 변수에 대한 모든 값이 주어졌을 때, 수립한 선형 회귀 모델을 사용해 예측 변수 "x"가 응답 변수 "y"에 미치는 영향을 확인할 수 있다. "β"는 "x"가 한 단위 변했을 때, "y"의 기대 변화량을 의미한다. 이는 때로 "y"에 대한 "x"의 "고유 영향"이라 불리기도 한다. 반면에, "y"에 대한 "x"의 한계 효과는 "x"와 "y" 사이의 Pearson 상관 계수 또는 선형 회귀를 사용해 평가할 수 있다. 회귀 결과를 해석할 때 주의해야 하는데, 일부 독립 변수가 응답 변수의 변화에 영향을 주지 않을 수 있기 때문이다 (무의미한 독립 변수일 수도 있고, y 절편에 해당할 수도 있기 때문이다.)
회귀 결과를 해석할 때 주의해야 하는데, 한계 효과가 큰 상황에서도 고유 영향은 적을 수 있기 때문이다. 반면에 한계 효과는 적은데 고유 영향이 큰 상황이 있을 수도 있다.
아주 복잡하게 서로 연계되어 있는 시스템을 분석하는 상황에서 고유 효과는 매우 중요한 역할을 한다. 경우에 따라 이는 예측 변수에 영향을 주기도 한다. 하지만, 많은 경우에 다중 선형 회귀는 응답 변수와 예측 변수 사이의 관계를 밝히는 것에 실패한다. 공통점 분석은 이러한 상관 관계를 해석하는 것에 도움을 준다.
선형 회귀를 확장한 다양한 기법들이 개발되었으며, 각각은 서로 다른 가정을 갖고 있거나, 기본 모델에서 가정을 완화하기도 한다.
선형 회귀의 가장 단순한 예제는 한 개의 스칼라 독립 변수 "x"와 한 개의 스칼라 의존 변수 "y"의 관계일 것이다. 이를 "단순 선형 회귀"라 부른다. 여기에서 독립 변수를 여러 개로 확장한 것이 "다중 선형 회귀"이다. 실세계의 거의 대부분의 문제는 여러 개의 독립 변수를 포함하며, 선형 회귀라 함은 보통 "다중 선형 회귀"를 일컫는다. 하지만 이러한 경우에도 여전히 응답 변수 "y"는 한 개의 스칼라 변수이다. "다변량 선형 회귀"는 응답 변수 "y"가 벡터인 경우를 의미한다. 이러한 경우를 "일반 선형 회귀"라 부른다. "다중 선형 회귀"와 "다변량 선형 회귀"는 다른 의미이므로, 혼동하지 않도록 주의해야 한다.
일반 회귀 모델은 응답 변수 "Y"가 스칼라가 아니라 벡터인 경우를 대상으로 한다. 조건부 선형성 "E"("y"|"x") = "Bx"은 여전히 유지된다 (행렬 "B" 는 "β" 를 행렬로 표현한 것). 일반 회귀 모델은 다변량 회귀 모델과 동일하다. 다변량 회귀 모델은 다중 선형 회귀와는 반드시 구분해야 한다. 다변량 회귀 모델은 일반 회귀 모델을 의미하고, 다중 선형 회귀는 여러 개의 선형 모델을 의미한다.
이분산성을 허용하기 위해 다양한 회귀 모델이 개발되었다. 응답 변수들의 오차의 분산이 서로 다른 것을 허용한다. 가중 최소 제곱법은 응답 변수의 오차가 서로 다른 분산을 갖거나, 연관된 경우에도 선형 회귀 모델을 수립할 수 있게 허용한다. 이분산성 일치 표준 에러 기법은 더 개선된 기법으로, 오차가 서로 연관되어 있지는 않지만 서로 다른 분산을 갖는 경우에 선형 회귀 모델을 수립할 수 있다.
계층적 선형 모델은 데이터가 여러겹으로 회귀되는 경우에 이용할 수 있다. 다시 말해 A가 B로 회귀되고, B가 C로 회귀 되는 구조를 말한다. 이러한 구조는 일상 생활에서 흔히 볼 수 있는데, 가령 학생은 학급에 속하고, 학급은 학년에 속하며 학년은 학교에 속하는 경우를 들 수 있다. 이런 경우 학생의 응답 변수로 시험 성적을 이용 한다면 학급, 학년, 학교에 대해 각각 다른 공변을 얻을 수 있다.
오차 변수 모델(errors-in-variables) 은 (또는 "오차 측정 모델") 기존의 선형 회귀 모델에서 독립 변수 "X"가 오차와 같이 관측될 수 있도록 확장한 것이다. 이 오차는 "β"의 표준 추정량이 편향되는데 원인이 된다. 일반적으로는 이 영향은 0에 가깝게 편향된다.선형 회귀에서 파라미터 추정을 위해 다양한 기법들이 개발되었다. 각각의 기법들은 알고리즘의 연산 복잡도, 닫힌 형태의 해법 존재 여부, 데이터의 분포에 대한 가정, 변수의 관계에 대한 이론적 가정 등이 다르다. 아래에서는 일반적인 선형 회귀 추정 기법에 대해 설명하고자 한다.생물학, 행동학, 경제학 및 기타 사회과학에서 변수들 사이의 관계를 설명하고자 할 때, 선형 회귀를 사용한다. 예를 들어, 추세 분석·역학 조사·재무 관리·경제학에 응용된다.
추세선은 데이터를 시간 축으로 놓고 봤을 때, 데이터의 값이 장기적으로 어떻게 변하는지 직선으로 표현한 것이다. 추세선은 특정 데이터 집합(GDP, 원유 가격 또는 주식 가격 등)에서 값이 증가세에 있는지 감소세에 있는지 보여준다. 이러한 데이터의 추세는 데이터를 눈으로 확인하는 것만으로도 추정 가능하지만, 더 정확하게는 선형 회귀를 사용해 추세선을 그릴 수 있다. 추세선은 일반적으로 직선이며, 경우에 따라 더 높은 차수의 곡선을 사용하기도 한다.
때로는 경영 분석에서 시간에 따른 데이터 변화를 보고자 추세선을 사용하기도 한다. 추세선을 사용하면 특정 사건이 값에 미치는 영향을 매우 간단하게 확인할 수 있다. 추세선을 그리는 것은 대조군이 필요하지도 않고, 실험 설계가 필요하지도 않으며 간단하다는 장점이 있다. 하지만 과학적인 검증이 부족해, 예상한 것 이외의 요인이 잠재적으로 데이터에 미치는 영향은 놓칠 수 있다.
흡연률과 사망률, 유병률을 연관이 있다는 증거는 회귀 분석을 적용한 관찰 연구에서 확인되었다. 관찰한 데이터에서 확신할 수 없는 상관 관계를 제거하기 위해, 연구자들은 일반적으로 실제로 관심있는 변수 외에도 여러 개의 변수를 삽입해 회귀 분석 모델을 수립한다. 예를 들어, 흡연률과 수명의 상관관계를 보고싶다고 하자. 연구자들은 실제로 관심있는 독립 변수인 흡연률 외에도 사회경제적 조건 등을 독립 변수에 추가적로 삽입해, 사회경제적 조건이 수명과 연관이 있는지 확인하곤 한다. 하지만 모든 가능한 변수를 추가할 수는 없으므로, 랜덤 통제 실험을 통해 상관관계를 조사하기도 한다.
자본자산 가격결정 모형에서 체계적 위험을 베타에 대한 선형 회귀로 표현한다.
선형 회귀는 경제학에서 경험적인 데이터를 통해 미래를 예측하고자 할 때 주로 사용된다. 비용 예측, 고정 투자 예측, 재고 관리 예측, 필요 유동 자산 예측, 노동 수요 예측, 노동 공급 예측 등에 선형 회귀를 사용할 수 있다.
선형 회귀는 환경 과학에도 적용할 수 있다. 캐나다의 환경 영향 모니터링 프로그램에서는 제지 공장과 광산이 수질에 미치는 영향을 조사하기 위해 물고기와 수질에 대해 선형 회귀를 사용하기도 했다.