선형 회귀

선형 회귀의 해석

예측 변수에 대한 모든 값이 주어졌을 때, 수립한 선형 회귀 모델을 사용해 예측 변수 xⱼ가 응답 변수 y에 미치는 영향을 확인할 수 있다. βⱼ는 xⱼ가 한 단위 변했을 때, y의 기대 변화량을 의미한다. 이는 때로 y에 대한 xⱼ의 고유 영향이라 불리기도 한다. 반면에, y에 대한 xⱼ의 한계 효과는 xⱼ와 y 사이의 Pearson 상관 계수 또는 선형 회귀를 사용해 평가할 수 있다. 회귀 결과를 해석할 때 주의해야 하는데, 일부 독립 변수가 응답 변수의 변화에 영향을 주지 않을 수 있기 때문이다 (무의미한 독립 변수일 수도 있고, y 절편에 해당할 수도 있기 때문이다.)
회귀 결과를 해석할 때 주의해야 하는데, 한계 효과가 큰 상황에서도 고유 영향은 적을 수 있기 때문이다. 반면에 한계 효과는 적은데 고유 영향이 큰 상황이 있을 수도 있다.
아주 복잡하게 서로 연계되어 있는 시스템을 분석하는 상황에서 고유 효과는 매우 중요한 역할을 한다. 경우에 따라 이는 예측 변수에 영향을 주기도 한다. 하지만, 많은 경우에 다중 선형 회귀는 응답 변수와 예측 변수 사이의 관계를 밝히는 것에 실패한다. 공통점 분석은 이러한 상관 관계를 해석하는 것에 도움을 준다.

선형 회귀 기법의 확장

선형 회귀를 확장한 다양한 기법들이 개발되었으며, 각각은 서로 다른 가정을 갖고 있거나, 기본 모델에서 가정을 완화하기도 한다.

단순 선형 회귀와 다중 선형 회귀

선형 회귀의 가장 단순한 예제는 한 개의 스칼라 독립 변수 x와 한 개의 스칼라 의존 변수 y의 관계일 것이다. 이를 단순 선형 회귀라 부른다. 여기에서 독립 변수를 여러 개로 확장한 것이 다중 선형 회귀이다. 실세계의 거의 대부분의 문제는 여러 개의 독립 변수를 포함하며, 선형 회귀라 함은 보통 다중 선형 회귀를 일컫는다. 하지만 이러한 경우에도 여전히 응답 변수 y는 한 개의 스칼라 변수이다. 다변량 선형 회귀는 응답 변수 y가 벡터인 경우를 의미한다. 이러한 경우를 일반 선형 회귀라 부른다. 다중 선형 회귀와 다변량 선형 회귀는 다른 의미이므로, 혼동하지 않도록 주의해야 한다.

일반 회귀 모델

일반 회귀 모델은 응답 변수 Y가 스칼라가 아니라 벡터인 경우를 대상으로 한다. 조건부 선형성 E(y|x) = Bx은 여전히 유지된다 (행렬 B 는 β 를 행렬로 표현한 것). 일반 회귀 모델은 다변량 회귀 모델과 동일하다. 다변량 회귀 모델은 다중 선형 회귀와는 반드시 구분해야 한다. 다변량 회귀 모델은 일반 회귀 모델을 의미하고, 다중 선형 회귀는 여러 개의 선형 모델을 의미한다.

이분산 회귀 모델

이분산성을 허용하기 위해 다양한 회귀 모델이 개발되었다. 응답 변수들의 오차의 분산이 서로 다른 것을 허용한다. 가중 최소 제곱법은  응답 변수의 오차가 서로 다른 분산을 갖거나, 연관된 경우에도 선형 회귀 모델을 수립할 수 있게 허용한다. 이분산성 일치 표준 에러 기법은 더 개선된 기법으로, 오차가 서로 연관되어 있지는 않지만 서로 다른 분산을 갖는 경우에 선형 회귀 모델을 수립할 수 있다.

계층적 선형 모델

계층적 선형 모델은 데이터가 여러겹으로 회귀되는 경우에 이용할 수 있다. 다시 말해 A가 B로 회귀되고, B가 C로 회귀 되는 구조를 말한다. 이러한 구조는 일상 생활에서 흔히 볼 수 있는데, 가령 학생은 학급에 속하고, 학급은 학년에 속하며 학년은 학교에 속하는 경우를 들 수 있다. 이런 경우 학생의 응답 변수로 시험 성적을 이용 한다면 학급, 학년, 학교에 대해 각각 다른 공변을 얻을 수 있다.

오차 변수 모델

오차 변수 모델(errors-in-variables) 은 (또는 "오차 측정 모델") 기존의 선형 회귀 모델에서 독립 변수 X가 오차와 같이 관측될 수 있도록 확장한 것이다. 이 오차는 β의 표준 추정량이 편향되는데 원인이 된다. 일반적으로는 이 영향은 0에 가깝게 편향된다.

선형 회귀 모델 추정 기법

선형 회귀에서 파라미터 추정을 위해 다양한 기법들이 개발되었다. 각각의 기법들은 알고리즘의 연산 복잡도, 닫힌 형태의 해법 존재 여부, 데이터의 분포에 대한 가정, 변수의 관계에 대한 이론적 가정 등이 다르다. 아래에서는 일반적인 선형 회귀 추정 기법에 대해 설명하고자 한다.

선형 회귀의 응용

생물학, 행동학, 경제학 및 기타 사회과학에서 변수들 사이의 관계를 설명하고자 할 때, 선형 회귀를 사용한다. 예를 들어, 추세 분석·역학 조사·재무 관리·경제학에 응용된다.

추세 분석

추세선은 데이터를 시간 축으로 놓고 봤을 때, 데이터의 값이 장기적으로 어떻게 변하는지 직선으로 표현한 것이다. 추세선은 특정 데이터 집합(GDP, 원유 가격 또는 주식 가격 등)에서 값이 증가세에 있는지 감소세에 있는지 보여준다. 이러한 데이터의 추세는 데이터를 눈으로 확인하는 것만으로도 추정 가능하지만, 더 정확하게는 선형 회귀를 사용해 추세선을 그릴 수 있다. 추세선은 일반적으로 직선이며, 경우에 따라 더 높은 차수의 곡선을 사용하기도 한다.
때로는 경영 분석에서 시간에 따른 데이터 변화를 보고자 추세선을 사용하기도 한다. 추세선을 사용하면 특정 사건이 값에 미치는 영향을 매우 간단하게 확인할 수 있다. 추세선을 그리는 것은 대조군이 필요하지도 않고, 실험 설계가 필요하지도 않으며 간단하다는 장점이 있다. 하지만 과학적인 검증이 부족해, 예상한 것 이외의 요인이 잠재적으로 데이터에 미치는 영향은 놓칠 수 있다.

역학 조사

흡연률과 사망률, 유병률을 연관이 있다는 증거는 회귀 분석을 적용한 관찰 연구에서 확인되었다. 관찰한 데이터에서 확신할 수 없는 상관 관계를 제거하기 위해, 연구자들은 일반적으로 실제로 관심있는 변수 외에도 여러 개의 변수를 삽입해 회귀 분석 모델을 수립한다. 예를 들어, 흡연률과 수명의 상관관계를 보고싶다고 하자. 연구자들은 실제로 관심있는 독립 변수인 흡연률 외에도 사회경제적 조건 등을 독립 변수에 추가적로 삽입해, 사회경제적 조건이 수명과 연관이 있는지 확인하곤 한다. 하지만 모든 가능한 변수를 추가할 수는 없으므로, 랜덤 통제 실험을 통해 상관관계를 조사하기도 한다.

재무 관리

자본자산 가격결정 모형에서 체계적 위험을 베타에 대한 선형 회귀로 표현한다.

경제학

선형 회귀는 경제학에서 경험적인 데이터를 통해 미래를 예측하고자 할 때 주로 사용된다. 비용 예측, 고정 투자 예측, 재고 관리 예측, 필요 유동 자산 예측, 노동 수요 예측, 노동 공급 예측 등에 선형 회귀를 사용할 수 있다.

환경 과학

선형 회귀는 환경 과학에도 적용할 수 있다. 캐나다의 환경 영향 모니터링 프로그램에서는 제지 공장과 광산이 수질에 미치는 영향을 조사하기 위해 물고기와 수질에 대해 선형 회귀를 사용하기도 했다.