El asedio anglo-neerlandés comenzó a las 5:00 de la madrugada del día 4; el castillo y la misma ciudad sufrieron intensos bombardeos, siendo defendidos únicamente por 80 soldados y 300 milicianos con escasa o nula instrucción militar, dotados con 120 cañones de los que un tercio estaban inservibles.