El castillo de San Juan, localizado en la Caleta de Negros empezó a levantarse en 1641, y en el año 1670 se hizo lo propio el de Paso Alto, a pesar de que este ya era un enclave fortificado desde 1657.