# Error de generalización

Para las aplicaciones de aprendizaje supervisado en el aprendizaje automático y la teoría del aprendizaje estadístico, el error de generalización (también conocido como error fuera de muestra o riesgo) es una medida de la precisión con la que un algoritmo es capaz de predecir resultados para datos nunca antes vistos. Como los algoritmos de aprendizaje se evalúan en muestras finitas, la evaluación de un algoritmo de aprendizaje puede ser sensible al error de muestreo. Como resultado, las mediciones del error de predicción en los datos actuales pueden no proporcionar mucha información sobre la capacidad predictiva del algoritmo en datos nuevos e invisibles. El error de generalización se puede minimizar evitando el sobreajuste en el algoritmo de aprendizaje. El rendimiento de los algoritmos de aprendizaje automático se visualiza comúnmente mediante gráficos de curvas de aprendizaje que muestran estimaciones del error de generalización a lo largo del proceso de aprendizaje.

## Definición

En un problema de aprendizaje, el objetivo es desarrollar una función $f_{n}({\vec {x}})$ que predice valores de salida $y$ para cada dato de entrada ${\vec {x}}$. El subíndice $n$ indica que la función $f_{n}$ se desarrolla a partir de un conjunto de datos $n$ puntos de datos. El error de generalización o pérdida o riesgo esperado $I[f]$ de una función particular $f$ sobre todos los valores posibles de ${\vec {x}}$ y $y$ es el valor esperado de la función de pérdida $V(f)$:
    $I[f]=\int _{X\times Y}V(f({\vec {x}}),y)\rho ({\vec {x}},y)d{\vec {x}}dy,$
dónde $\rho ({\vec {x}},y)$ es la distribución de probabilidad conjunta desconocida para ${\vec {x}}$ y $y$.
Sin conocer la distribución de probabilidad conjunta $\rho$, es imposible de calcular $I[f]$. En lugar de ello, podemos calcular el error en los datos de muestra, lo que se denomina error empírico (o riesgo empírico). Dado $n$ puntos de datos, el error empírico de una función candidata $f$ es:
    $I_{n}[f]={\frac {1}{n}}\sum _{i=1}^{n}V(f({\vec {x}}_{i}),y_{i})$
Se dice que un algoritmo se generaliza si:
    $\lim _{n\rightarrow \infty }I[f]-I_{n}[f]=0$
De particular importancia es el error de generalización. $I[f_{n}]$ de la función dependiente de los datos $f_{n}$ que se encuentra mediante un algoritmo de aprendizaje basado en la muestra. Nuevamente, para una distribución de probabilidad desconocida, $I[f_{n}]$ no se puede calcular. En cambio, el objetivo de muchos problemas en la teoría del aprendizaje estadístico es limitar o caracterizar la diferencia entre el error de generalización y el error empírico en probabilidad:
    $P_{G}=P(I[f_{n}]-I_{n}[f_{n}]\leq \epsilon )\geq 1-\delta _{n}$
Es decir, el objetivo es caracterizar la probabilidad $1-\delta _{n}$ que el error de generalización es menor que el error empírico más algún límite de error $\epsilon$ (generalmente depende de $\delta$ y $n$). Para muchos tipos de algoritmos, se ha demostrado que un algoritmo tiene límites de generalización si cumple ciertos criterios de estabilidad. Específicamente, si un algoritmo es simétrico (el orden de las entradas no afecta el resultado), tiene pérdida acotada y cumple dos condiciones de estabilidad, se generalizará. La primera condición de estabilidad, la estabilidad de la validación cruzada de dejar uno fuera, dice que para ser estable, el error de predicción para cada punto de datos cuando se utiliza la validación cruzada de dejar uno fuera debe converger a cero como $n\rightarrow \infty$. La segunda condición, la estabilidad del error en el que se espera dejar uno afuera (también conocida como estabilidad de hipótesis si se opera en la norma de $L_{1}$) se cumple si la predicción en un punto de datos excluido no cambia cuando se elimina un solo punto de datos del conjunto de datos de entrenamiento.
Estas condiciones pueden formalizarse como:

### Estabilidad por validación cruzada con exclusión de uno

Un algoritmo $L$ tiene una estabilidad $CVloo$ si para cada $n$, existem ciertas $\beta _{CV}^{(n)}$ y $\delta _{CV}^{(n)}$ tales que:
    $\forall i\in \{1,...,n\},\mathbb {P} _{S}\{|V(f_{S^{i}},z_{i})-V(f_{S},z_{i})|\leq \beta _{CV}^{(n)}\}\geq 1-\delta _{CV}^{(n)}$
y $\beta _{CV}^{(n)}$ y $\delta _{CV}^{(n)}$ tienden a cero cuando $n$ tiende al infinito.

### Estabilidad de error esperado de dejar uno fuera

Un algoritmo $L$ tiene una estabilidads $Eloo_{err}$ si para cada $n$ existen unas $\beta _{EL}^{m}$ y $\delta _{EL}^{m}$ tales que:
    $\forall i\in \{1,...,n\},\mathbb {P} _{S}\left\{\left|I[f_{S}]-{\frac {1}{n}}\sum _{i=1}^{N}V\left(f_{S^{i}},z_{i}\right)\right|\leq \beta _{EL}^{(n)}\right\}\geq 1-\delta _{EL}^{(n)}$
con $\beta _{EL}^{(n)}$ y $\delta _{EL}^{(n)}$ tienden a cero para $n\rightarrow \infty$ .
Para lograr estabilidad en el modo "dejar uno fuera" $L_{1}$ norma, esto es lo mismo que estabilidad de hipótesis:
    $\mathbb {E} _{S,z}[|V(f_{S},z)-V(f_{S^{i}},z)|]\leq \beta _{H}^{(n)}$
con $\beta _{H}^{(n)}$ tendiendo a cero cuando $n$ tiende a infinito.

### Algoritmos con estabilidad demostrada

Se ha evidenciado que diversos algoritmos presentan estabilidad, lo que conlleva a la existencia de restricciones en su margen de error de generalización.

## Relación con el sobreajuste

Los términos error de generalización y sobreajuste están interconectados. El sobreajuste se produce cuando la función aprendida 𝑓𝑆 se vuelve excesivamente receptiva al ruido presente en los datos de entrenamiento. Esto implica que la función puede mostrar un buen rendimiento en el conjunto de entrenamiento, pero su eficacia disminuye al aplicarse a otros datos que pertenecen a la misma distribución de probabilidad conjunta de 𝑥 y 𝑦. En consecuencia, a medida que el sobreajuste aumenta, también lo hace el error de generalización.
La cantidad de sobreajuste se puede probar utilizando métodos de validación cruzada, que dividen la muestra en muestras de entrenamiento simuladas y muestras de prueba. Luego, el modelo se entrena en una muestra de entrenamiento y se evalúa en la muestra de prueba. La muestra de prueba no ha sido vista previamente por el algoritmo y, por lo tanto, representa una muestra aleatoria de la distribución de probabilidad conjunta de $x$ y $y$. Esta muestra de prueba nos permite aproximar el error esperado y como resultado aproximar una forma particular del error de generalización.
Existen muchos algoritmos para evitar el sobreajuste. El algoritmo de minimización puede penalizar funciones más complejas (conocido como regularización de Tikhonov), o se puede restringir el espacio de hipótesis, ya sea explícitamente en la forma de funciones o agregando restricciones a la función de minimización (regularización de Ivanov).
El enfoque para encontrar una función que no se sobreajuste está en desacuerdo con el objetivo de encontrar una función que sea lo suficientemente compleja para capturar las características particulares de los datos. Esto se conoce como el equilibrio entre sesgo y varianza. Mantener una función simple para evitar el sobreajuste puede introducir un sesgo en las predicciones resultantes, mientras que permitir que sea más compleja conduce al sobreajuste y a una mayor varianza en las predicciones. Es imposible minimizar ambos simultáneamente.