Pero Vélez de Guevara exigió demasiadas concesiones para sí y para sus hijos, y esto tuvo como consecuencia que perdiera el favor real, hasta el punto de que tras la deposición de Olivares, se nombró en su lugar a Luis de Haro.