Continuó sirviendo a los Habsburgo con la esperanza de recuperar sus tierras y sirvió a su primo Felipe II de España como gobernador de los Países Bajos de 1555 a 1559.