Het kasteel was onbewoond tijdens het Beleg van Antwerpen (1584-1585) en raakte in verval. Er vonden in de jaren hierop militaire inundaties plaats die ook aan het kasteel schade toebrachten. In 1638 werd het domein gekocht door "Geeraert Fyens" en deze liet het kasteel tegen het water beveiligen, maar pas toen de "Ekerse Dijk" in 1649-1650 werd aangelegd, was het overstromingsgevaar geweken.