No obstante, la mayor parte de las plazas fueron perdidas durante el mismo siglo XVI, de forma que a la asunción de la corona portuguesa por parte de Felipe II, las únicas plazas en manos de los reyes hispánicos eran Melilla, el Peñón de Vélez de la Gomera, Orán-Mazalquivir(por el lado castellano) y Ceuta, Tánger, Mazagán y la pequeña fortaleza de Anafé hasta su destrucción en 1755 durante el terremoto de Lisboa (por el portugués).