Det vites lite om hans tidlige liv unntatt at han ble født inn i en aristokratisk familie som sønn av Sebastião de Arriaga Brum da Silveira og Maria Cristina Pardal de Arriaga som i tillegg til Manuel fikk fem barn til. Arriagas far var en rik kjøpmann fra Lisboa.