No será hasta 1621, con la llegada del nuevo rey, Felipe IV, que los Sandoval fueran sustituidos en el puesto de máxima confianza por los Zúñiga (primero Baltasar de Zúñiga y luego el conde duque de Olivares).