정칙화

섬네일
정칙화(正則化, regularization)는 역문제를 해결할때나 기계 학습에서 잘못 설정된 문제(ill-posed)를 풀거나 과적합을 방지하는 기법으로 티호노프 정칙화 등이 있다.

정규화 절차는 여러 가지 방법으로 나눌 수 있지만 다음과 같은 설명이 특히 유용한다.

 명시적 정칙화는 최적화 문제에 용어를 명시적으로 추가할 때마다 정규화된다. 이러한 용어는 사전, 처벌 또는 제약이 될 수 있다. 명시적 정칙화는 일반적으로 잘못된 최적화 문제에 사용된다. 정칙화 항 또는 페널티는 최적의 솔루션을 고유하게 만들기 위해 최적화 함수에 비용을 부과한다.
 암시적 정칙화는 다른 모든 형태의 정칙화이다. 예를 들어 조기 중지, 강력한 손실 함수 사용, 이상값 삭제 등이 여기에 포함된다. 암시적 정칙화는 심층 신경망 훈련을 위한 확률적 경사하강법 및 앙상블 방법(예: 랜덤 포레스트 및 경사 강화 트리)을 비롯한 현대 기계 학습 접근 방식에서 본질적으로 어디에나 존재한다.

 같이 보기 
 행렬 정칙화
 선조건자
 편향-분산 트레이드오프
 라그랑주 승수법

분류:해석학 (수학)