Allí permaneció más como virrey que como mero representante, intentando que los flamencos tuvieran mejor imagen de España, hasta que el ascenso al trono de Felipe IV le hizo caer en desgracia ante la Corona de España.