La decadencia de la casa comenzó tras la Conspiración independentista en Andalucía (1641), supuestamente dirigida por el IX duque, aunque posiblemente fuera una conjura contra él orquestada por el Conde-duque de Olivares, miembro de una rama menor de la casa.