1356 wurde die Rothenburg durch das Basler Erdbeben beschädigt; welches Ausmaß diese Zerstörungen hatten bzw. in welchem Umfang die Burg schon zuvor in Verfall geraten war, ist in der Forschung umstritten. Kaiser Karl IV. erlaubte den Rothenburger Bürgern zwar, die Steine zum Bau städtischer Gebäude zu verwenden, doch blieben die Burgmannensitze bis zu deren sukzessiver Veräußerung an die Reichsstadt in den 1380er-Jahren teilweise noch bewohnt. 1407 ließen die Stadtoberen in der Fehde mit der Burggrafschaft Nürnberg die ehemalige Reichsburg vollständig entfestigen, um deren Einsatz als Belagerungsburg gegen die Stadt durch Friedrich VI. zu verhindern. Hierzu überließ der abgesetzte König Wenzel der unter Reichsacht gestellten Stadt „den wusten Turm in der vesten (…) mit seinen umfengen“, d. h. den östlichen Bergfried und die anstoßenden Mauern, die daraufhin niedergelegt wurden; die Schenkung wurde 1425 durch König Sigismund bestätigt. Der quadratische Bergfried an der Westspitze („Pharamundsturm“) blieb Teil der Stadtbefestigung und wurde erst 1803 abgerissen.