Cardoso ble født i byen Beira i midtre del av Mosambik og var sønn av portugisiske immigranter til Mosambik. Han fikk sin grunnskoleopplæring i Mosambik og gikk på videregående skole i Sør-Afrika, der han fortsatte med studier på Universitetet i Witwatersrand hvor han også var studentaktivist.