En 1620, con la llegada al poder del Conde-duque de Olivares, cae el Duque de Osuna en desgracia.