Welches Tier nutzte John von Neumann in der Erläuterung der Überanpassung von Modellen?
Elefanten
John_von_Neumann
John_von_Neumann

== Zitate ==
Von Neumann in einer Diskussion mit Jacob Bronowski 1943 beim Studium von Bombenkratern auf Luftbildern:
Bronowski berichtet, dass er auf diesen Rat hin das besprochene Problem neu durchdachte und spät in der Nacht von Neumanns Sicht bestätigt fand – als er ihm dies am nächsten Morgen mitteilte, bat ihn von Neumann nur, ihn doch bitte das nächste Mal zu so einer für von Neumann frühen Stunde nur zu stören, falls er falsch läge, und nicht falls er recht habe.
Das Problem der Überanpassung von mathematischen Modellen beschrieb von Neumann sehr anschaulich mit dem Beispiel eines Elefanten:
Auch wenn eine grobe Skizze eines Elefanten mit Hilfe von vier komplexen Zahlen tatsächlich möglich ist, zielt die Aussage wohl darauf ab, zu starke Anpassungen eines Modells an vorhandene Daten kritisch zu hinterfragen.
Überanpassung Generische_Programmierung PRESS-Statistik
Überanpassung

== Strategien zur Vermeidung von Überanpassung ==
Wie bereits erwähnt, ist es günstig bei parametrischen Modellen eine möglichst geringe Anzahl an Parametern anzustreben. Bei nichtparametrischen Verfahren ist es analog ratsam die Anzahl der Freiheitsgrade ebenso von vornherein einzuschränken. Auf ein mehrlagiges Perzeptron würde das zum Beispiel eine Beschränkung in der Größe der ''verdeckten Neuronenschichten'' ( ''hidden layers'') bedeuten. 
Eine Verringerung der Anzahl der notwendigen Parameter/Freiheitsgrade kann in komplexen Fällen auch dadurch ermöglicht werden, dass vor dem eigentlichen Klassifikations-/Regressionsschritt eine Transformation der Daten durchgeführt wird. Insbesondere wären hier Verfahren zur Dimensionsreduktion unter Umständen sinnvoll (Hauptkomponentenanalyse, Unabhängigkeitsanalyse oder Ähnliche).
Von der Trainingsdauer abhängige Überanpassung im Maschinellen Lernen kann auch durch Early Stopping verhindert werden. Zur Erkennung werden Datensätze häufig nicht nur 2-fach aufgeteilt und einer Trainings- und Validierungsmenge zugeordnet, sondern es kann zum Beispiel eine 3-fache Aufteilung erfolgen. Wobei die Mengen respektive und exklusiv zum Training, zur „Echtzeitkontrolle“ des Out-Of-Sample-Fehlers (und gegebenenfalls Trainingsabbruch bei Anstieg) und zur endgültigen Bestimmung der Testgüte verwandt werden.
Bild:Overfit.png|mini|Verrauschte (ungefähr lineare) Daten lassen sich sowohl durch eine lineare als auch durch eine polynomiale Funktion beschreiben. Obwohl die polynomiale Funktion durch jeden Datenpunkt geht, anders als die lineare, beschreibt die lineare Funktion den Verlauf besser, da sie keine größeren Abweichungen an den Enden hat. Wenn die Regressionskurve zum Extrapolieren der Daten benutzt würde, wäre die Überanpassung noch größer. Generische_Programmierung

== Softwaretechnik ==
Ein generisches Modell ist an spezifische Gegebenheiten einer konkreten Situation anpassbar; z. B. ein generisches Vorgehensmodell wie Wasserfall- oder Spiralmodell an ein konkretes Projekt. Dieser Vorgang wird im Bereich des Software-Engineering auch Tailoring genannt.
Ändert sich das generische Modell, kann man dessen Ausprägungen leicht anpassen, wenn der Weg vom Modell zur Ausprägung detailliert beschrieben ist und man nur die geänderten Elemente verfolgen muss. Bei nicht-generischen Modellen spricht man in diesem Zusammenhang auch von Überanpassung PRESS-Statistik

== Verwendung ==
Mithilfe der PRESS-Statistik lassen sich durch weitere Berechnungen auch der mittlere quadratische Prognosefehler () und die Wurzel des mittleren quadratischen Prognosefehlers (, kurz: ''RMSEP'') berechnen. Dies sind Maße um die Vorhersagefähigkeit von Modellen (z. B. bei einer Hauptkomponentenregression) zu beurteilen. Da die PRESS-Statistik allerdings die Größe des Datensatzes nicht berücksichtigt, ist diese Kennzahl nur zum Vergleich von Modellen mit gleich vielen Beobachtungen geeignet. 
Außerdem kommt die PRESS-Statistik bei der partiellen Kleinste-Quadrate-Schätzung (kurz: PKQ) zur Kreuzvalidierung (Verifikation) von Stichproben zum Einsatz.
Die PRESS-Statistik kann auch einen Hinweis auf Überanpassung bei einer durchgeführten Regression liefern. Modelle die zu viele Parameter enthalten tendieren dazu, geringe Residuen zu den Beobachtungen zu haben (niedrige ), die für das Modell verwendet wurden, aber relativ große Residuen zu neuen Beobachtungen (hohe ).