Lo cierto es que Isabel la Católica había dejado dispuesto en su testamento que Gibraltar no se enajenara más, lo cual no fue óbice para que en 1506, tras la inesperada muerte de Felipe el Hermoso, el duque intentara recuperarlo por las armas aprovechando el nuevo vacío de poder, pues Fernando el Católico se encontraba en Nápoles, de donde tardaría un año en regresar a Castilla.