Während des vom Markgrafen Albrecht Alcibiades von Kulmbach ausgelösten Zweiten Markgrafenkriegs (1552–1555), der Markgraf war zuvor plündernd durch ganz Deutschland gezogen, wurden 1554 die Burgen von Neustadt am Kulm etwa ein Jahr lang von Truppen der Reichsstadt Nürnberg, aus den Hochstiften Bamberg und Würzburg sowie Pfälzern unter der Führung des churfürstlichen Landrichters Hans Umseher von Waldeck belagert, die Bewohner ausgehungert und die Gebäude völlig zerstört. Der Festungskommandant von Heydenab übergab die Festung am Rauhen Kulm am 28. Juni 1554. Anschließend wurde sie zur Strafe gesprengt, die dreifachen Mauern wurden geschleift und zerstört.