Nach dem Aussterben dieser Familie ging 1371 die Burg im Besitz der von Vitzthum über. Die Vitzthums verloren die Burg während des Sächsischen Bruderkrieges im Jahr 1447, weil sie für Fehden verantwortlich waren. Anschließend besaß Herzog Wilhelm III. von Sachsen die Burg und errichtete in ihr ein Rechnungs- und Justizamt (Amt Roßla). Da er im Jahr 1482 kinderlos starb, ging der Besitz an seine Neffen Ernst und Albrecht. Diese vollzogen 1485 die Leipziger Teilung, wodurch die Burg Niederroßla an die Ernestiner kam. Bei diesen blieb sie auch nach der Wittenberger Kapitulation 1547. Durch die Erfurter Teilung des ernestinischen Herzogtums Sachsen kam die Burg Niederroßla im Jahr 1572 an das Herzogtum Sachsen-Weimar und 1603 zum Herzogtum Sachsen-Altenburg. Nach dem Aussterben der Linie Sachsen-Altenburg im Jahr 1672 kam die Burg bei der nun erfolgten Landesteilung an Sachsen-Weimar zurück.