1553 zerstörten die Truppen des Markgrafen Albrecht Alkibiades während des Zweiten Markgrafenkrieges den Amtssitz endgültig. Die Stufenburg wurde aufgegeben und das Amt hinunter in die Stadt Baunach verlegt. Das erhaltene barocke Amtsschloss (Kastenhof) in Baunach entstand Ende des 17. Jahrhunderts.