A las derrotas castellanas en Montjuic (junio de 1641) y Lérida (octubre de 1642) se unió la conspiración del duque de Medina Sidonia (en el verano de 1641), con lo que Olivares perdió finalmente todo su crédito político y fue desterrado el 23 de enero de 1643, en lo que influyó la nobleza, que transmitió al monarca la noticia de que el de Olivares se hacía pagar con favores de mujeres los cargos y prebendas públicas que otorgaba.