Nach einer vollständigen oder teilweisen Zerstörung beim Hussiteneinfall im Jahr 1430 wurde die Burg wieder aufgebaut. 1433 verkaufte Johanns Bruder und Nachfolger Friedrich VI. die Burg an Konrad von Aufseß, dessen Familie die Anlage bis 1551 oder 1552 als Lehen innehatte. Im Jahr 1551 oder 1552 folgten die von Waldenfels, die einen jahrzehntelangen Rechtsstreit um die Anlage gegen die Erben von Eucharius III. von Aufseß führten und sich dabei behaupten konnten. Das landläufig als Kleinziegenfelder Schloss bezeichnete Jägerhaus wurde im Jahr 1571 errichtet. Ein Jahr später erwarb Ursula von Künsberg Burg und Jägerhaus, was zur Folge hatte, dass ihr Gatte Wilhelm eine neue Seitenlinie derer von Künsberg zu Ziegenfeld gründete. Im 17. Jahrhundert wechselten häufig die Besitzer. Zunächst übernahmen die Grafen von Lynar das Anwesen. Es folgten 1649 der fürstlich brandenburgische geheime Kammermann und Kanzler Hilderich Antonius von Varell die Von Trautenberg und die Von Pölnitz.