Alfonso era hijo de Francisco de Paula de Portugal y Castro, primer conde de Vimioso, y su segunda esposa, Juana de Vilhena de Melo-Portugal.