Überanpassung
Überanpassung

== Strategien zur Vermeidung von Überanpassung ==
Wie bereits erwähnt, ist es günstig bei parametrischen Modellen eine möglichst geringe Anzahl an Parametern anzustreben. Bei nichtparametrischen Verfahren ist es analog ratsam die Anzahl der Freiheitsgrade ebenso von vornherein einzuschränken. Auf ein mehrlagiges Perzeptron würde das zum Beispiel eine Beschränkung in der Größe der ''verdeckten Neuronenschichten'' ( ''hidden layers'') bedeuten. 
Eine Verringerung der Anzahl der notwendigen Parameter/Freiheitsgrade kann in komplexen Fällen auch dadurch ermöglicht werden, dass vor dem eigentlichen Klassifikations-/Regressionsschritt eine Transformation der Daten durchgeführt wird. Insbesondere wären hier Verfahren zur Dimensionsreduktion unter Umständen sinnvoll (Hauptkomponentenanalyse, Unabhängigkeitsanalyse oder Ähnliche).
Von der Trainingsdauer abhängige Überanpassung im Maschinellen Lernen kann auch durch Early Stopping verhindert werden. Zur Erkennung werden Datensätze häufig nicht nur 2-fach aufgeteilt und einer Trainings- und Validierungsmenge zugeordnet, sondern es kann zum Beispiel eine 3-fache Aufteilung erfolgen. Wobei die Mengen respektive und exklusiv zum Training, zur „Echtzeitkontrolle“ des Out-Of-Sample-Fehlers (und gegebenenfalls Trainingsabbruch bei Anstieg) und zur endgültigen Bestimmung der Testgüte verwandt werden.
Bild:Overfit.png|mini|Verrauschte (ungefähr lineare) Daten lassen sich sowohl durch eine lineare als auch durch eine polynomiale Funktion beschreiben. Obwohl die polynomiale Funktion durch jeden Datenpunkt geht, anders als die lineare, beschreibt die lineare Funktion den Verlauf besser, da sie keine größeren Abweichungen an den Enden hat. Wenn die Regressionskurve zum Extrapolieren der Daten benutzt würde, wäre die Überanpassung noch größer.