Klosteret besto til 1552, og bygningene ble revet omkring 1561. Stenene ble brukt som byggemateriale til Skanderborg slott som kongen var i ferd med å bygge og befeste. De gamle munkene flyttet over til Øm kloster hvor de fikk underhold mot å gjøre tjeneste i kirken.