Tijdens de strijd om Middelburg, tussen de geuzen en de Spanjaarden, kreeg het kasteel veel te verduren. Zo werd het op 20 april 1572 bezet door kapitein Bloys van Treslong van de geuzen, en vluchtte Jan van der Hooge naar Brabant. Gedurende de bezetting door de geuzen, werd het interieur grotendeels verwoest. Na de bevrijding van Middelburg, in 1574, werd de schade hersteld. In 1575 overleed Jan van der Hooge, waarna zijn zoon Pieter van de Hooge het kasteel erfde. In 1617 werd hij op zijn beurt opgevolgd door zijn zoon Philips. Hij was de eerste die de naam Van Borssele weer voerde, als Philips van Borssele - Van der Hooge.