Vista la tensión existente, el rey Fernando le llamó a España a finales de 1514 y le sustituyó.