보편 근사 정리

보편 근사 정리(Universal approximation theorem)는 하나의 은닉층을 갖는 인공신경망은 임의의 연속인 다변수 함수를 원하는 정도의 정확도로 근사할 수 있다는 정리이다. 모든 인공신경망과 모든 활성화 함수에 대해 증명된 것은 아니다.

사례 

1989년 조지 시벤코(Cybenko)가 발표한 시벤코 정리(Cybenko's theorem)는 다음과 같다.

를 시그모이드 함수 형식의 연속 함수라 하자(예, ).
 또는 의 부분집합에서 실수의 연속 함수 와 가 주어지면,
다음을 만족하는 벡터 , 와
매개 함수 이 존재한다.
  for all 

이때,
 

이고,  이다.

이 정리는 하나의 은닉층을 갖는 인공신경망은 임의의 연속인 다변수 함수를 원하는 정도의 정확도로 근사할 수 있음을 말한다.
단, 와 를 잘못 선택하거나 은닉층의 뉴런 수가 부족할 경우 충분한 정확도로 근사하는데 실패할 수 있다.

참고 문헌 
 M. Hassoun, "Fundamentals of Artificial Neural Networks," MIT Press, p.48, 1995
 G. Cybenko "Approximation by Superpositions of a Sigmoidal Function", 1989

해석학 정리
인공신경망
네트워크 아키텍처
네트워크