Tres años después está en Bruselas; durante la agonía del príncipe Don Carlos (1568), tuvo una disputa violenta con un caballero que desembocó en su destierro a Medina del Campo por orden de Felipe II, destierro que meses después se le desplazó a Granada, donde su sobrino el marqués de Mondéjar le puso al frente del ejército que tuvo que combatir la sublevación de los moriscos.