Alfonso estaba destinado por el monarca a casar con la hija del duque Jaime I de Braganza, cuando, impulsado por ardiente pasión, contrajo matrimonio en 1549 con Luísa de Gusmão, dama de la infanta María, hija y heredera de Francisco de Gusmão, mayordomo mayor de la misma infanta.