Nach dem Aussterben dieses letztmals 1371 urkundlich erwähnten Rittergeschlechtes ging die Burg in den Besitz der von Vitzthum über, welche sie bis 1447 besaßen. Sie gelangte zunächst an Ritter Busso Vitzthum (gest. 1384). Seine Söhne teilten sich um 1400 das Erbe auf, wodurch die Linie Vitzthum zu Roßla entstand. Bussos Sohn, Apel Vitzthum der Ältere zu Roßla (* um 1400; † 1474), wurde als Raubritter der „Brandmeister von Thüringen“. Er wird mitverantwortlich gemacht für den Ausbruch des Sächsischen Bruderkrieges von 1446 bis 1451, welcher nach der Altenburger Teilung der wettinischen Lande ausbrach. Als Folge dieses Krieges verloren die Vitzthums im Jahr 1447 die Burg und Apel Vitzthum der Ältere zu Roßla wurde des Landes verwiesen.