후버 손실

통계학에서 후버 손실(Huber loss)은 로버스트 회귀에 사용되는 손실 함수로, 데이터의 이상치에 대해 제곱 오차 손실보다 덜 민감하다. 분류를 위한 변형도 때때로 사용된다.

정의
섬네일|300px|일 때 의 함수로서의 후버 손실(녹색)과 제곱 오차 손실(파란색)
후버 손실 함수는 추정량 에 의해 발생하는 페널티를 설명한다. 후버(1964)는 손실 함수를 다음과 같이 구분하여 정의한다.

이 함수는 의 작은 값에 대해서는 이차 함수이고, 큰 값에 대해서는 선형 함수이며, 인 두 지점에서 다른 구간들의 값과 기울기가 동일하다. 변수 는 종종 잔차, 즉 관측값과 예측값의 차이 를 나타내므로, 전자는 다음과 같이 확장될 수 있다. Compared to Hastie et al., the loss is scaled by a factor of , to be consistent with Huber's original definition given earlier. Though cute and elegant, the Huber loss serves almost no real purpose without scaling by a posteriori variable because the delta cannot be adjusted blindly and be effective; as such, its elegance and simplicity in a time of mathematical open field serves almost no purpose in the machine learning world.

후버 손실은 절댓값 함수와 구형함수의 합성곱을 스케일링하고 변환한 것이다. 따라서 원점에서의 절댓값 함수의 모서리를 "부드럽게" 만든다.
섬네일|로버스트 회귀에 사용되는 다른 손실 함수들과 후버 손실의 비교.

동기

두 가지 매우 일반적으로 사용되는 손실 함수는 제곱 손실, , 그리고 절댓값 손실, 이다. 제곱 손실 함수는 산술 평균-비편향 추정량을 발생시키고, 절댓값 손실 함수는 중앙값-비편향 추정량(1차원 경우, 다차원 경우에 대해서는 기하중앙값-비편향 추정량)을 발생시킨다. 제곱 손실은 이상치에 의해 지배되는 경향이 있다는 단점이 있다. 즉, 들의 집합에 대해 합산할 때(예: ), 분포가 두꺼운 꼬리를 가질 때 표본 평균은 몇몇 특히 큰  값에 의해 너무 많이 영향을 받는다. 추정 이론의 관점에서, 평균의 점근 상대 효율은 두꺼운 꼬리 분포에 대해 좋지 않다.

위에서 정의된 후버 손실 함수는 최소값 의 균일한 이웃에서 강볼록하다. 이 균일한 이웃의 경계에서 후버 손실 함수는 점 와 에서 아핀 함수로 미분 가능한 확장을 갖는다. 이러한 속성들은 평균의 평균-비편향, 최소-분산 추정량(이차 손실 함수 사용)의 민감도와 중앙값-비편향 추정량(절댓값 함수 사용)의 강건성을 결합할 수 있게 한다.

유사-후버 손실 함수

유사-후버 손실 함수는 후버 손실 함수의 매끄러운 근사로 사용될 수 있다. 이는 대상/최소값에 가까울 때는 강볼록이고 극단적인 값에 대해서는 덜 가파르기 때문에 L2 제곱 손실과 L1 절댓값 손실의 가장 좋은 속성을 결합한다. 유사-후버 손실 함수가 최소값에 가까운 값에 대해 L2 손실에서 극단적인 값에 대해 L1 손실로 전환되는 스케일과 극단적인 값에서의 가파른 정도는  값으로 제어할 수 있다. 유사-후버 손실 함수는 모든 차수에서 도함수가 연속임을 보장한다. 이는 다음과 같이 정의된다.

따라서 이 함수는 의 작은 값에 대해서는 를 근사하고, 의 큰 값에 대해서는 기울기 를 가진 직선을 근사한다.

위의 형태가 가장 일반적이지만, 후버 손실 함수의 다른 매끄러운 근사도 존재한다.

분류를 위한 변형
분류 목적을 위해, 수정된 후버 손실이라고 불리는 후버 손실의 변형이 때때로 사용된다. 예측 (실수 값 분류기 점수)와 실제 이항 클래스 레이블 이 주어질 때, 수정된 후버 손실은 다음과 같이 정의된다.

항 는 서포트 벡터 머신에서 사용되는 힌지 손실이다. 이차 평활화된 힌지 손실은 의 일반화이다.

응용
후버 손실 함수는 로버스트 통계, M-추정, 가법 모델링에 사용된다.

 같이 보기 
 윈서화
 로버스트 회귀
 M-추정량
 다양한 M-추정량의 시각적 비교

 각주 

분류:손실 함수