El aumento de su poder le hizo chocar directamente con el autoritarismo y las políticas en materia de relaciones exteriores del conde-duque de Olivares, quien para alejarle de la corte, le quiso enviar a América a recuperar la plaza de Pernambuco y el resto de plazas brasileñas ocupadas en 1630 por una inmensa armada holandesa que traía hasta 7000 hombres de desembarco.