Nach der Schlacht auf dem Lechfeld, die ja in unmittelbarer Nähe geschlagen wurde, war die Ungarngefahr beseitigt. Die Burg diente noch kurze Zeit als Sitz der Großvögte der Bischöfe von Augsburg. Der Vorburg wurde ein weiterer, mäßig tiefer Graben vorgelegt. Zu Beginn des Hochmittelalters verlegten die Vögte ihren Sitz jedoch nördlich in den Ort Schwabegg, die neue Burg auf dem "Weinberg" ist als großer Turmhügel (Motte) bis heute teilweise erhalten (Kalvarienberg Schwabegg). Die Haldenburg wurde – wie die meisten anderen Ungarnschutzburgen – anschließend aufgegeben, weshalb die Erdwerke dieser Anlagen meist noch in gutem Zustand erhalten sind.