Nach den Edelfreien nannte sich eine Niederadelsfamilie von Roßla. Nach dem Aussterben dieses letztmals 1371 urkundlich erwähnten Rittergeschlechtes ging die Burg in den Besitz der von Vitzthum über, welche sie bis 1447 besaßen. Apel Vitzthum der Ältere zu Roßla (* um 1400; † 1474) wurde als Raubritter der „Brandmeister von Thüringen“. Er wird mitverantwortlich gemacht für den Ausbruch des Sächsischen Bruderkrieges von 1446 bis 1451. Die Vitzthums verloren die Burg.