El Conde-duque perdió el favor real y le sucedió su sobrino Luis de Haro como valido de Felipe IV entre 1659 y 1665.