I 1899 giftet Chen seg med Agatha Alphosin Ganteaume (1878-1926), en fransk kreolsk datter av bedre familiebakgrunn. De fikk åtte barn, hvorav fire vokste opp.