Song Sui-Wan kom fra en familie i Shanghai som hadde vært katolsk i fem generasjoner. Han var ett av ti barn. Faren underviste ved det jesuittledede Aurorauniversitetet, og José gikk også på jesuittskole.