# Teorema de aproximación universal

Los teoremas de aproximación universal en la teoría matemática de las redes neuronales artificiales, son teoremas de la siguiente forma:
   $f$
   $\phi _{1},\phi _{2},\dots$
   $\phi _{n}\to f$
Esto es, la familia de redes neuronales es densa en ese espacio funcional.
La versión más difundida establece que las redes neuronales prealimentadas con funciones de activación no-polinómicas son densas en el espacio de las funciones continuas entre dos espacios euclidianos, con respecto a la topología de convergencia compacta.

## Contexto

Las redes neuronales artificiales son combinaciones de múltiples funciones matemáticas simples que implementan funciones más complejas, que típicamente transforman vectores de componentes reales en vectores de componentes reales. Los espacios de funciones multivariables que se pueden implementar por medio de una red se encuentran determinados por la estructura de la red, el conjunto de funciones simples en cuestión, así como por sus parámetros multiplicativos. Se han dedicado grandes esfuerzos teóricos a la caracterización de estos espacios funcionales.
La mayoría de los teoremas de aproximación universal perteneces a una de estas dos clases. La primera de ellas cuantifica la capacidad aproximadora de las redes neuronales con un número arbitrario de neuronas artificiales (el caso de "ancho arbitrario"), mientras que la segunda se centra en el caso del número arbitrario de capas ocultas, cada una de las cuales contiene un número limitado de neuronas (el caso de "profundidad arbitraria"). Además de estas dos clases, también existen teoremas de aproximación universal para redes neuronales con un número acotado de capas ocultas, cada una de las cuales contiene un número limitado de neuronas (caso de "profundidad acotada y ancho acotado").

## Historia
### Ancho arbitrario

Los primeros ejemplos fueron para el caso de ancho arbitrario. En 1989, George Cybenko efectuó la prueba para funciones de activación sigmoides. También en 1989, Kurt Hornik, Maxwell Stinchcombe y Halbert White mostraron que las redes neuronales prealimentadas multicapas con no más que una capa oculta son aproximadores universales. En 1991, Hornik también mostró que no es la elección específica de la función activadora, sino más bien la propia arquitectura prealimentada multicapas la que le otorga a las redes neuronales su potencial función como aproximadores universales. Moshe Leshno et al, en 1993, y luego Allan Pinkus, en 1999, mostraron que la propiedad de aproximación universal es equivalente a que la función de activación sea no-polinómica.

### Profundidad arbitraria

El caso de profundidad arbitraria también fue estudiado por varios autores tales como Gustaf Gripenberg en 2003, Dmitry Yarotsky, Zhou Lu et al en 2017, Boris Hanin y Mark Sellke en 2018, los que se centraron en las redes neuronales con función de activación ReLU. En 2020, Patrick Kidger y Terry Lyons extendieron esos resultados al caso de redes neuronales con funciones activadoras generales como p.ej. tanh, GeLU o Swish.
Un caso especial de profundidad arbitraria consiste en que cada componente de la composición provenga de un conjunto finito de aplicaciones. En 2024, Cai construyó un conjunto finito de aplicaciones, denominado "vocabulario", tal que cualquiera función continua se pudiera aproximar componiendo una secuencia con elementos de este vocabulario. Esto se asemeja al concepto de composicionalidad en lingüística, que consiste en la idea de que un vocabulario finito de elementos básicos se puede combinar por vía de una gramática para expresar un rango infinito de significados.

### Profundidad y ancho acotados

El caso de profundidad y ancho acotados fue estudiado primero por Maiorov y Pinkus en 1999. Ellos demostraron que existe una función de activación analítica sigmoidal tal que las redes neuronales de dos capas ocultas dotadas con ella sean aproximadores universales.
Guliyev e Ismailov construyeron una función de activación sigmoidal lisa que provee la propiedad de aproximación universal para redes neuronales prealimentadas de dos capas ocultas con menos unidades en sus capas ocultas.
Los mismos autores construyeron redes de una sola capa oculta de ancho acotado que siguen siendo aproximadores universales para funciones de una sola variable. Sin embargo esto no se aplica a las funciones multivariadas.
Shen et.al. obtuvieron información cuantitativa precisa acerca de la profundidad y el ancho requeridos para aproximar una función objetivo por medio de redes neuronales ReLU profundas y anchas.

### Límites cuantitativos

La cuestión del ancho mínimo requerido para la universalidad fue estudiada primero en 2021, cuando Park et al obtuvieron el ancho mínimo requerido para una aproximación universal de las funciones de L$^p$ usando redes neuronales prealimentadas con funciones de activación ReLU. Resultados similares y que pueden aplicarse directamente a las redes neuronales residuales también se obtuvieron el mismo año por Paulo Tabuada y Bahman Gharesifard empleando argumentos de teoría del control. En 2023, Cai obtuvo el límite de ancho mínimo óptimo para la aproximación universal.
Para el caso de profundidad arbitraria, Leonie Papon y Anastasis Kratsios derivaron estimaciones explícitas de profundidad dependientes de la regularidad de la función objetivo y de la función de activación.

### Redes de Kolmogorov

El teorema de representación de Kolmogórov-Arnold es similar en su tónica. De hecho, para ciertas familias de redes neuronales se puede aplicar directamente el teorema de Kolmogorov-Arnold obteniendo un teorema de aproximación universal. Robert Hecht-Nielsen demostró que una red neuronal de tres capas puede aproximar cualquiera función continua de variable múltiple. Este resultado fue extendido al caso discontinuo por Vugar Ismailov. En 2024, Ziming Liu y sus coautores presentaron una aplicación práctica.

### Variantes

Entre los teoremas de aproximación universal existen variantes con funciones de activación discontinuas, dominios no compactos, redes certificables, redes neuronales aleatorias, así como redes con arquitecturas y topologías alternativas.
La propiedad de aproximación universal de las redes de ancho acotado se ha estudiado como caso dual de los resultados clásicos en materia de aproximación universal para redes de profundidad acotada. Para dimensiones de entrada dx y dimensiones de salida dy, el ancho mínimo requerido para la aproximación universal de las funciones L$^p$ es exactamente max{dx + 1, dy} (para una red ReLU). Más en general, esto también rige si se emplean tanto ReLU como una función de activación por tramos.
Las aproximaciones universales de funciones de grafos (o más bien de clases de isomorfismos de grafos) por medio de las conocidas redes neuronales gráficas pueden hacerse tan discrininativas como la prueba Weisfeiler–Leman de isomorfismo de grafos. En 2020, se estableció un teorema de aproximación universal por Brüel-Gabrielsson, demostrando que la representación como grafos con ciertas propiedades inyectivas injective es suficiente para la aproximación universal de funciones de grafos acotados y para una aproximación universal restringida para grafos no acotados, junto a un método ${\mathcal {O}}(\left|V\right|\cdot \left|E\right|)$ en tiempo de ejecución, que exhibió resultados punta en una colección de pruebas de desempeño (donde $V$ y $E$ son los conjuntos de nodos and aristas del grafo respectivamente).
También existe una variedad de resultados entre espacios no euclidianos y otras arquitecturas comúnmente usadas, así como, más en general, conjuntos algorítmicamente generados de funciones, tales como la arquitectura de redes neuronales convolucionales (RCN), funciones de base radial, o redes neuronales con propiedades específicas.

## El caso de ancho arbitrario

En una seguidilla de artículos de los años de 1980 y 1990, por George Cybenko y Kurt Hornik etc., se establecieron varios teoremas de aproximación universal para un ancho arbitrario y profundidad acotada. Véanse reseñas en Este es el que más frecuentemente se ha citado:
* Sea $C(X,\mathbb {R} ^{m})$ el conjunto de funciones continuas desde un subconjunto $X$ de una espacio euclidiano $\mathbb {R} ^{n}$ a un espacio euclidiano $\mathbb {R} ^{m}$. Sea $\sigma \in C(\mathbb {R} ,\mathbb {R} )$. Nótese que $(\sigma \circ x)_{i}=\sigma (x_{i})$, de modo que $\sigma \circ x$ denota $\sigma$ aplicado a cada componente de $x$.
* Entonces $\sigma$ no es polinómico si y sólo si para todo $n\in \mathbb {N}$, $m\in \mathbb {N}$, conjunto compacto $K\subseteq \mathbb {R} ^{n}$, $f\in C(K,\mathbb {R} ^{m}),\varepsilon >0$ existe $k\in \mathbb {N}$, $A\in \mathbb {R} ^{k\times n}$, $b\in \mathbb {R} ^{k}$, $C\in \mathbb {R} ^{m\times k}$ de manera que
* $\sup _{x\in K}\|f(x)-g(x)\|<\varepsilon$
* donde
* $g(x)=C\cdot (\sigma \circ (A\cdot x+b))$
Además, ciertas funciones no-continuas de activación pueden usarse para aproximar una función sigmoide, lo que entonces permite aplicar este teorema a aquellas funciones. Por ejemplo, puede usarse la función escalonada. En particular, esto demuestra que una red de perceptrones con una única capa oculta de ancho infinito puede aproximar funciones arbitrarias.
Una tal función $f$ también puede aproximarse por medio de una red de profundidad mayor usando la misma construcción para la primera capa y aproximando la función de identidad por medio de capas posteriores.
* Esbozo de prueba
* Resulta suficiente probar el caso donde $m=1$, ya que la convergencia uniforme en $\mathbb {R} ^{m}$ es igualmente convergencia uniforme en cada coordenada.
* Sea $F_{\sigma }$ el conjunto de todas las redes neuronales de una sola capa oculta construidos con $\sigma$. Sea $C_{0}(\mathbb {R} ^{d},\mathbb {R} )$ el conjunto de todos los $C(\mathbb {R} ^{d},\mathbb {R} )$ con soporte compacto.
* Si la función es un polinomio de grado $d$, entonces $F_{\sigma }$ está contenido en el subespacio cerrado de todos los polinomios de grado $d$, por lo que su clausura también está contenida en él, que no es todo $C_{0}(\mathbb {R} ^{d},\mathbb {R} )$.
* En caso contrario, mostramos que la clausura topológica de $F_{\sigma }$ es todo $C_{0}(\mathbb {R} ^{d},\mathbb {R} )$. Supongamos que podamos construir aproximaciones arbitrariamente buenas de la función de rampa
* $r(x)={\begin{cases}-1&{\text{if }}x<-1\\{\phantom {+}}x&{\text{if }}|x|\leq 1\\{\phantom {+}}1&{\text{if }}x>1\\\end{cases}}$
* entonces esta puede combinarse para construir funciones continuas arbitrarias con soporte compacto y hasta una precisión arbitraria. Resta aproximar la función rampa.
* Cualquiera de las funciones de activación comúnmente usadas en aprendizaje automático puede obviamente emplearse para aproximar la función de rampa, o bien primero aproximar la ReLU y a continuación la función de rampa.
* Si $\sigma$ es "squashing", esto es, tiene límites $\sigma (-\infty )<\sigma (+\infty )$, entonces se puede primero poner a escala su eje x de manera afín de modo que su gráfica se vea como una función escalonada con dos "excesos" marcados y luego hacer una suma lineal de suficientes de estas para obtener una aproximación en "escala" de la función de rampa. Mientras más escalones de la escala, los excesos se suavizan y obtenemos una aproximación arbitrariamente buena de la función de rampa.
* El caso donde $\sigma$ es una función no polinómica genérica es más difícil y se invita al lector a revisar.
En esta prueba no se ha especificado cómo podría usarse una función de rampa para aproximar funciones arbitrarias en $C_{0}(\mathbb {R} ^{n},\mathbb {R} )$. Un esbozo de prueba consiste en que se puede primero construir primero funciones de protuberancia plana, hacer una intersección de ellas para obtener funciones de protuberancia esféricas que aproximen la función delta de Dirac y luego usar estas últimas para aproximar funciones arbitrarias en $C_{0}(\mathbb {R} ^{n},\mathbb {R} )$. Las pruebas originales, tales como la realizada por Cybenko, usan métodos del análisis funcional, incluyendo los teoremas de representación de Hahn-Banach y de Riesz–Markov–Kakutani.
Nótese también que solo se requiere que la red neuronal aproxime la función en un conjunto compacto $K$. La prueba no describe cómo se extrapolaría la función fuera de esa región.
El problema con los polinomios puede removerse al permitir que las salidas de las capas ocultas puedan multiplicarse (las "redes pi-sigma"), obteniéndose la generalización:
* Con cualquiera función de activación no constante, una red pi-sigma de una capa oculta es un aproximador universal.

## El caso de profundidad arbitraria

Las versiones «duales» del teorema consideran redes de ancho acotado y profundidad arbitraria. Una variante del teorema de aproximación universal fue demostrado para el caso de profundidad arbitraria por Zhou Lu et al. en 2017. Ellos mostraron que las redes de ancho n + 4 con funciones de activación ReLU pueden aproximar cualquiera función Lebesgue-integrable sobre un espacio de entrada n-dimensional con respecto a la distancia $L^{1}$ si se permite que crezca la profundidad de la red. También se mostró que si el ancho es menor o igual a n, este poder general para aproximar cualquiera función Lebesgue integrable se perdía. En el mismo artículo se mostró que las redes ReLU de ancho n + 1 son suficientes para aproximar cualquiera función continua con una entrada n-dimensional. El siguiente refinamiento debido a Park et al especifica el ancho mínimo óptimo para el que una aproximación de este tipo es posible.
* Para cualquier función Bochner–Lebesgue p-integrable $f:\mathbb {R} ^{n}\to \mathbb {R} ^{m}$ y cualquier $\varepsilon >0$ existe una red ReLU totalmente conectada $F$ de ancho exacto $d_{m}=\max\{n+1,m\}$, que satisface
* $\int _{\mathbb {R} ^{n}}\|f(x)-F(x)\|^{p}\,\mathrm {d} x<\varepsilon .$
* Además, existen una función $f\in L^{p}(\mathbb {R} ^{n},\mathbb {R} ^{m})$ y algún $\varepsilon >0$, para los cuales no existe ninguna red ReLU totalmente conectada de ancho menor que $d_{m}=\max\{n+1,m\}$ y que satisfaga la desigualdad antedicha en su aproximación.
* Nota: Si la activación se reemplaza por leaky-ReLU y la entrada se restringe a un dominio compacto, entonces el ancho mínimo es exactamente $d_{m}=\max\{n,m,2\}$.
* Refinamiento cuantitativo: En el caso de que $f:[0,1]^{n}\rightarrow \mathbb {R}$, (es decir, $m=1$) and $\sigma$ es la función de activación ReLU, the profundidad y el ancho exactos para que una red ReLU logre cierto error $\varepsilon$ también se conoce. Si, además, la función objetivo $f$ es infinitamente diferenciable, entonces el número requerido de capas y su ancho puede ser exponencialmente menor. Incluso si $f$ no es infinitamente diferenciable, la maldición de la dimensión puede superarse si $f$ admite una "estructura composicional" adicional.
En suma, el resultado central de arroja el siguiente teorema de aproximación universal para redes con ancho acotado (véase también para el primer resultado de este tipo).
* Sea ${\mathcal {X}}$ un subconjunto compacto de $\mathbb {R} ^{d}$. Sea $\sigma :\mathbb {R} \to \mathbb {R}$ cualquiera función continua no afín que sea continuamente diferenciable al menos en un punto, con derivada no nulaen ese punto. Sea ${\mathcal {N}}_{d,D:d+D+2}^{\sigma }$ el espacio de redes neuronales no recurrentes con $d$ neuronas de entrada, $D$ neuronas de salida, así como un número arbitrario de capas ocultas, cada una con $d+D+2$ neuronas, tal que cada neurona oculta tiene la función de activación $\sigma$ y cada neurona de salida tiene como función de activación la identidad, con capa de entrada $\phi$ y capa de salida $\rho$. Entonces, dado cualquier $\varepsilon >0$ y cualquiera función $f\in C({\mathcal {X}},\mathbb {R} ^{D})$, existe ${\hat {f}}\in {\mathcal {N}}_{d,D:d+D+2}^{\sigma }$ tal que
* $\sup _{x\in {\mathcal {X}}}\left\|{\hat {f}}(x)-f(x)\right\|<\varepsilon .$
* En otras palabras, ${\mathcal {N}}$ es denso en $C({\mathcal {X}};\mathbb {R} ^{D})$ con respecto a la topología de convergencia uniforme.
* Refinamiento cuantitativo: El número de capas y el ancho de cada una de las capas requeridas para aproximar $f$ a una precisión $\varepsilon$ dada; más aún, el resultado sigue vigente cuando ${\mathcal {X}}$ y $\mathbb {R} ^{D}$ se reemplazan por cualquiera variedad de Riemann de curvatura no positiva.
Se han establecido ciertas condiciones necesarias para el caso de ancho acotado y profundidad arbitraria, pero sigue existiendo una brecha entre las condiciones suficientes y necesarias.

## El caso de profundidad y ancho acotados

El primer resultado sobre las capacidades de aproximación de redes neuronales con un número acotado de capas, cada una de las cuales contiene un número limitado de neuronas artificiales, fue obtenido por Maiorov y Pinkus. Su notable resultado reveló que tales redes pueden ser aproximadores universales y que para lograr esta propiedad bastan dos capas ocultas.
* Existe una función de activación $\sigma$ que es analítica, estrictamente creciente, sigmoidal y que tiene la siguiente propiedad: Para toda $f\in C[0,1]^{d}$ y $\varepsilon >0$ existen constantes $d_{i},c_{ij},\theta _{ij},\gamma _{i}$ y vectores $\mathbf {w} ^{ij}\in \mathbb {R} ^{d}$ para los que
* $\left\vert f(\mathbf {x} )-\sum _{i=1}^{6d+3}d_{i}\sigma \left(\sum _{j=1}^{3d}c_{ij}\sigma (\mathbf {w} ^{ij}\cdot \mathbf {x-} \theta _{ij})-\gamma _{i}\right)\right\vert <\varepsilon$
* para todo $\mathbf {x} =(x_{1},...,x_{d})\in [0,1]^{d}$.
Este es un resultado de existencia. Sostiene que existen funciones de activación que proveen la propiedad de aproximación universal para redes de profundidad y ancho acotados. Empleando ciertas técnicas algorítmicas y de programación de ordenadores, Guliyev e Ismailov eficientemente construyeron tales funciones de activación dependientes de un parámetro numérico. El algoritmo desarrollado permite computar instantáneamente las funciones de activación en cualquier punto de la recta real. Para el algoritmo y el código computacional correspondiente véase El resultado teórico se puede formular como sigue.
* Sean $[a,b]$ un segmento finito de la recta real, $s=b-a$ y $\lambda$ cualquier número positivo. Entonces es posible construir algorítmicamente una función de activación sigmoidal computable $\sigma \colon \mathbb {R} \to \mathbb {R}$, que sea infinitamente diferenciable, estrictamente creciente en $(-\infty ,s)$, $\lambda$-estrictamente creciente en $[s,+\infty )$ y que satisface las siguientes propiedades:
* Para toda $f\in C[a,b]$ y todo $\varepsilon >0$ existen números $c_{1},c_{2},\theta _{1}$ y $\theta _{2}$ de modo que para todo $x\in [a,b]$ $|f(x)-c_{1}\sigma (x-\theta _{1})-c_{2}\sigma (x-\theta _{2})|<\varepsilon$
* Para toda función continua $F$ en el paralelepípedo $d$-dimensional $[a,b]^{d}$ y $\varepsilon >0$, existen constantes $e_{p}$, $c_{pq}$, $\theta _{pq}$ y $\zeta _{p}$ tales que la desigualdad $\left|F(\mathbf {x} )-\sum _{p=1}^{2d+2}e_{p}\sigma \left(\sum _{q=1}^{d}c_{pq}\sigma (\mathbf {w} ^{q}\cdot \mathbf {x} -\theta _{pq})-\zeta _{p}\right)\right|<\varepsilon$ se cumple para todo $\mathbf {x} =(x_{1},\ldots ,x_{d})\in [a,b]^{d}$. Aquí las ponderaciones $\mathbf {w} ^{q}$, $q=1,\ldots ,d$, se fijan como sigue: $\mathbf {w} ^{1}=(1,0,\ldots ,0),\quad \mathbf {w} ^{2}=(0,1,\ldots ,0),\quad \ldots ,\quad \mathbf {w} ^{d}=(0,0,\ldots ,1).$ Además, todos los coeficientes $e_{p}$, excepto uno, son iguales.
Aquí “$\sigma \colon \mathbb {R} \to \mathbb {R}$ es $\lambda$-estrictamente creciente en algún conjunto $X$” quiere decir que existe una función estrictamente creciente $u\colon X\to \mathbb {R}$ tal que $|\sigma (x)-u(x)|\leq \lambda$ para todo $x\in X$. Claramente, una función $\lambda$-creciente se comporta igual que una función creciente usual a medida que $\lambda$ se hace pequeño. En la terminología de "profundidad-ancho", este teorema dice que para ciertas funciones de activación las redes de profundidad-$2$ y ancho-$2$ son aproximadores universales para funciones de una variable y las redes de profundidad-$3$ y ancho-$(2d+2)$ son aproximadores universales para funciones de $d$ variables ($d>1$).