Ma kom fra en ledende katolsk familie. Etter studier ved en fransk katolsk skole i Shanghai dro han til Frankrike i 1876 for å studere internasjonal rett. Han ble den første kineser som tok det franske baccalauréat, og i 1879 fikk han diplom i rett fra École Libre des Sciences Politiques i Paris.