Se creó poderosas enemistades en Flandes por su política de autoritarismo regalista, al reforzar a los tercios y potenciar con gran intensidad social el catolicismo flamenco, por lo que en 1564 fue destituido, al considerarse contraproducente su labor.