Pero su condición de hidalgo de origen humilde jugó en su contra y fue desplazado por el joven e inexperto García de Toledo, primogénito del segundo duque de Alba, a quien el monarca ya había nombrado en abril capitán general de África, con sede en Bugía.