Ayant enfin réalisé l'importance géographique et économique de la ville, le gouvernement espagnol y fit dresser une première forteresse entre 1637 et 1638 ; Le château de San Pedro de la Roca faisait partie du système défensif de la côte sud de Cuba et est plus connu sous le nom de "Castillo del Morro". Cet imposant fort qui surveille le chenal d’entrée de la servit de prison lors de la dernière guerre d’indépendance contre l'Espagne.