Bispegården ble plyndret og husene ble forsøkt brent ned i pinsen 1539 av om lag 60 sjørøvere under ledelse av Christoffer Trondsen Rustung. I 1590 omtales den gamle nedbrutte Bispegård, og 1601 omtales de gamle forfalne og gjenstående stykker mur som kaltes den gamle Bispegård.