Klosteret har vært befestet. Det ble brannherjet to ganger på 1500-tallet. Det første angrepet fant sted ca. 1515, da biskop Hoskold av Stavanger angrep klosteret. Etter reformasjonen ble det i 1539 stormet og brent ned av Christoffer Rustung.