El conjunto fue mandado construir por el arzobispo de Zaragoza, Francisco Gamboa, y el obispo de la diócesis de Huelva, Bartolomé de Foncalda, entre 1663 y 1683.