Ma var født i 1840 i en velstående katolsk familie i Dantu fylke i provinsen Jiangsu. Han ble utdannet i de kinesiske klassikere ved sen lokale klanskolen. I en alder av 12 år begynte han på de franske jesuitters nyåpnede St. Ignatius' kollegium ved Xujiahui i Shanghai. Da han var 30 (i 1870) fikk han sin teologiske slutteksamen og ble presteviet.To år etter ble han utnevnt til rektor ved St. Ignatius' kollegium, der han ble en skattet lærer i astronomi, matematikk og latin. Han begynte på et ambisiøst oversettelsesprosjekt til kinesisk av europeisk vitenskapelig faglitteratur. I 1876 trådte han ut av prestestanden og begynte på en 21 år lang karriere innen forretningslivet og styringsverket, med tilknytning til den nasjonalt sinnede Selvstyrkelsesbevegelsen. Dette bragte ham på reiser til Korea, USA og Europa.