La construcción comenzó en 1668 cuando el predecesor de Angulo y Sandoval, Juan de Urtarte, escribió un memorando al Rey de España indicando que el castillo de San Antonio de la Eminencia construido sobre el cerro de la eminencia ya no era apto para la defensa de la zona, se usó como residencia de los gobernadores coloniales.