En el siglo XIX, el Condado de Alcaudete, que pertenecía a la casa de Alba, pasa a la del Duque de Frías.