Al comienzo del día 3, el Príncipe de Darmstadt dio un ultimátum de media hora para la rendición incondicional de la plaza, pero en esta ocasión no fue respondido. El asedio anglo-neerlandés comenzó a las 5:00 de la madrugada del día 4; el castillo y la misma ciudad sufrieron intensos bombardeos, siendo defendidos únicamente por 80 soldados y 300 milicianos con escasa o nula instrucción militar, dotados con 120 cañones de los que un tercio estaban inservibles. Tras cinco horas de sitio, varios marinos ingleses tomaron a mujeres y niños como rehenes, ante lo cual los defensores de la ciudad decidieron ; las propias fuentes inglesas admiten que de no ser por ello la plaza podría haber resistido durante largo tiempo. La rendición permitía la evacuación de los militares y civiles españoles que deseasen abandonar la ciudad, respetando los derechos y libertades habituales de aquellos que decidiesen quedarse. Sin embargo, los saqueos y profanaciones por parte de soldados ingleses y neerlandeses hicieron que, para el día 6 de agosto, solo 47 vecinos quedaran en el peñón; de ellos, 12 eran españoles (una mujer y once varones, entre los que se encontraba el párroco Juan Romero de Figueroa) y 35 eran genoveses. El resto, cerca de 4000 personas, huyó a diversos lugares: la mayoría se trasladó a la ermita de San Roque, otros se instalaron en el actual Los Barrios y otros tantos se refugiaron en la despoblada Algeciras (abandonada desde 1379); todos ellos terminarían fundando el 21 de mayo de 1706 la «"Muy Noble y Más Leal Ciudad de San Roque, donde reside la de Gibraltar"», donde se conservan a día de hoy objetos importantes de la historia de Gibraltar, como una imagen de la Virgen Coronada, el viejo pendón traído en la huida o la cédula real de los Reyes Católicos que en 1502 había concedido el escudo de armas a la ciudad.