Los señores desconfiaban de Granvela porque era extranjero, y acabaron por enviar a Felipe una petición para que le relevara, Felipe, a la sazón ocupado en guerra con los musulmanes de África, no se atrevió a manifestarse claramente por temor a una sublevación y permaneció seis meses sin dar respuesta.