Klosteret led under alvorlige branner i 1210, 1317 og 1531 kort tid før reformasjonen. Etter 1537 ble bygningene forlatt og forsømt. Øya ble brukt til beite og slåttemark for lensherrene på Kongsgården i Trondheim fram til øya ble befestet på 1600-tallet. Klosteret ble sannsynligvis brukt som steinbrudd. På denne tiden fikk øya også navnet Munkholmen.