Después de la muerte del Conde Duque en 1645, el Señorío pasa al Conde de Altamira y Marqués de Astorga, que se intitula Príncipe de Aracena hasta 1812.