A la muerte de la reina Isabel, en 1504, solo el futuro duque de Alba en Castilla y él en Andalucía se mantuvieron fieles a Fernando el Católico, frente a los que apoyaban a Felipe el Hermoso, actuando en contra de los intereses del III duque del Infantado.