Im Krieg zwischen Herzog Ludwig von Bayern und Markgraf Achilles von Ansbach wurde die Burg 1462 zerstört. Die Beschädigungen durch den Markgrafenkrieg ließ Bischof Wilhelm von Reichenau 1467 reparieren, wie ein Wappen am Westflügel beweist. Bischof Martin von Schaumburg ließ 1572 Reparaturen am alten Palas vornehmen. Der Wehrerker wurde 1621 ergänzt. Während des Dreißigjährigen Krieges (1618 bis 1648) wurden Teile der Burg 1632 bzw. 1636 niedergebrannt.