Det er ikke presist kjent når, men ifølge Sverresagaen skulle borgen ha blitt gjenoppbygd allerede rundt 1198. Sverre Sigurdsson døde i Bergen den 8. mars 1202, og det siste man hører om Sverresborg er at den først ble gjenoppbygd av hans sønnesønn kong Håkon Håkonsson. Men i 1263 lot han rive murene fordi borgen hadde forfalt i fredstiden etter gjenoppbyggingen og fordi den derfor ikke lenger hadde noen større betydning.