Tilbake i Spania ble Alba godt mottatt av kongen, men etter at sønnen Don Fadrique ble innblandet i en uheldig kjærlighetsaffære ble Alba forvist fra hoffet. Han trakk seg da tilbake til slottet sitt i Uzeda.