Su apoyo al duque de Anjou y su boda en abril con Louise de Coligny, hija del líder de los hugonotes franceses Gaspar de Coligny, le había granjeado la enemistad de la ciudad, por lo que vituperado por los antuerpienses y temiendo por su seguridad el 27 de julio se retiró a Zelanda, provincia de la que era estatúder y en la que contaba con numerosos partidarios.