Im Bauernkrieg 1525 wurde das Anwesen stark in Mitleidenschaft gezogen. Die Brandenburger tauschten es daraufhin 1538 gegen Streitberg in der Fränkischen Schweiz, das im Besitz des Hochstiftes Bamberg war. Kurz darauf, im Zweiten Markgrafenkrieg (1552 bis 1554) wurde das Schloss weitgehend zerstört. Erst nach 1600 begannen zaghafte Wiederaufbauten zunächst in Form von vier Türmen. Nachdem das Lehen mit den Bambergern aufgelöst worden war, leitete Carl Siegmund Philipp von Redwitz 1730 die Bauperiode ein, die dem heutigen Bestand sein Aussehen und dem Neuen Schloss den Namen gab.