Als Folge des Vogtländischen Krieges von 1354–57 gelangte die reichsunmittelbare Herrschaft der Lobdeburger 1358 unter die Lehnshoheit der Wettiner. 1450 eroberte Herzog Wilhelm von Sachsen die Burg im sächsischen Bruderkrieg. Bis 1591 war die Familie Puster im Besitz der Burg. Anschließend begann der Verfall der Anlage und die Steine wurden unter anderem zum Bau der Saalebrücke bei Burgau verwandt.