Im letzten Viertel des 15. Jahrhunderts wurde die Mauer teilweise abgebrochen und um 1480 für den Bau des Herzogskastens und zweier Rundtürme verwendet, von denen heute noch der sog. Schleiferturm existiert. 1476 wurde auch die ursprüngliche herzogliche Burg abgebrochen und ein schlichter Verwaltungsbau errichtet (das sog. "Wittelsbacher Schloss"). Die Unbillen des Dreißigjährigen Krieges sowie des Spanischen und des Österreichischen Erbfolgekrieges hat die Anlage ohne größere Schäden überstanden. Schäden traten hingegen immer wieder durch Hochwasser und Eisfälle auf. Um einen Eissporn zu errichten und zur Stütze der Hauptmauer, wurde 1809 der Bergfried teilweise abgebrochen. Ab 1938 befand sich hier der Sitz des Landratsamtes Kelheim. Im Zuge des Neubaus des Landratsamtes 1974 wurde der Bergfriedtorso (4 m hoch, Mauerstärke 3 m) in das Gebäude integriert und dient heute als Durchgang zwischen zwei Gebäudetrakten. In 2,5 m Höhe weist er fünf Maueraussparungen auf, in denen früher Balken einer Zwischendecke steckten. Ende 2016 zog das Landratsamt in einen Neubau im Donaupark auf der gegenüberliegenden Seite der Donau um.