Slottet ble ødelagt flere ganger gjennom historien, under tredveårskrigen i 1646 da det ble stormet og satt i brann av svenske tropper—fra hæren til den svenske generalen Carl Gustaf Wrangel. Etter 1654 ble det svært ødelagte slottet gjenoppbygget av fyrstebiskop Theodor Adolf von der Recke og hans etterfølger Ferdinand von Fürstenberg. Han utførte noen arkitektoniske endringer da de tre tårnene fikk dagens barokke utforming..