Den unge Manuel var barnebarn av general José Sebastião de Arriaga Brum da Silveira, og han var grandnevø av en dommer i Portugals Høyesterett. Arriaga giftet seg i en alder av 30 år og seks barn ble født, to gutter og fire jenter.