En 1645, el conde-duque dejó Loeches al ser desterrado a Toro, en Zamora, pues sus enemigos querían alejarlo aún más de la corte.