Ma tilhørte det muslimske hui-folket og fikk militær trening i Beijing i Republikken Kinas første år. Etter at sentralregjeringens makt ble svekket i 1920-årene støttet han innledningsvis krigsherren Feng Yuxiang, men allierte seg omkring 1927 med Chiang Kai-shek. I midten av 1930-årene ble han guvernør og krigsherre i Qinghai-provinsen, noe han forble fram til 1949, da kommunistene grunnla Folkerepublikken Kina. Ma flyktet da til Saudi-Arabia sammen med 200 slektninger og han bodde der større del av tiden fram til sin død.