Hertug Eriks borgfogd, norske Tord «Unge» Torleivsson, oppga borgen til kong Håkon i 1309. Han fortsatte som borgfogd i kongens tjeneste, og vinteren 1909–10 så han seg nødt til å overgi den igjen til hertug Erik etter at elva var fryst over. Etter freden i Oslo måtte hertugen levere den tilbake igjen, i 1312-15. Rett etter dette ble borgen ødelagt i brann, og mesteparten av murene ble brutt ned for å brukes som bygningsstein på Båhus. Ragnhildsholmen fikk altså en brukstid på bare omkring 60 år.