1462 wurde die Burg durch Markgraf Albrecht Achilles von Brandenburg niedergebrannt und 1504 im bayerischen Erbfolgekrieg durch kaiserliche Truppen endgültig zerstört. 1536 erwarb Melchior Visel, der Hofmarksherr von Staufen und Bürgermeister von Lauingen, von dem Neuburger Herzog Ottheinrich und seinem Bruder Philipp die Reste der Burg und erbaute 1538 mit den Steinen das Schloss Staufen in Staufen.