Obwohl Pre-Training viele Vorteile bietet, gibt es auch fundamentale Einschränkungen, die durch Pre-Training allein nicht überwunden werden können. Eine solche Einschränkung ist die Unfähigkeit von Pre-Training, Fehler zu beheben, die durch Datensatzverzerrungen verursacht werden. Wenn ein Modell aufgrund von Spurious Features im Referenzdatensatz falsche Korrelationen lernt, kann Pre-Training allein diese Fehler nicht korrigieren. Dies bedeutet, dass Modelle, die auf einem verzerrten Referenzdatensatz trainiert wurden, selbst nach Pre-Training anfällig für diese Verzerrungen bleiben können.