Según los mapas del siglo XVIII, sobre todo aquellos realizados por Jorge Próspero de Verboom, en la zona del recinto norte llamado "Cerro de Matagorda", donde hoy se sitúa el barrio de san Isidro, existían restos de un castillo y una mezquita reutilizada en capilla; es conocido que ya en aquella época este castillo se encontraba en ruina por lo que no pasó demasiado tiempo hasta que las nuevas construcciones de la renacida ciudad acabaron por hacerlo desaparecer.