Afonso ble først gift med sin kusine Isabella av Coimbra i 1447. Hun døde i 1455 og han giftet seg på nytt (men ikke godkjent av pavedømmet) i 1475, denne gangen med Juana la Beltraneja (eller Johanna av Castilla), datter av Henrik IV av Castilla og Johanna av Portugal. Dette ekteskapet var et forsøk på å arve tronen i Castilla da Juana var eneste datter av Henrik IV. Forsøket var ikke vellykket etter at han tapte en kortvarig krig med Isabella I av Castilla og Ferdinand II av Aragón.