I 1536 brente Tord Roed ned klosteret. Også murene ble brutt ned. Ved kongebrev av 17. mars 1562 fikk Erik Rosenkrantz tillatelse til å ta ut stein fra murrestene til sin privatbolig, Murhvelvingen.