Ma nació en Gongzhuling, en la provincia de Jilin, en una familia de pastores humildes. Aunque algunas fuentes señalan que nació en Liaoning en 1887, la mayoría de fuentes señalan su fecha de nacimiento en 1885. A los 20 años se convirtió en guardián del condado de Huaide, y posteriormente ascendería de rango, destacando por sus cualidades castrenses. Ma pertenecía a la etnia hui y era musulmán. Su nombre musulmán era Muazzam Husain. Tras la proclamación de la República en 1912, pasó a servir en el nuevo ejército. Posteriormente pasó a servir en el Ejército del Noreste, mandado por el señor de la guerra manchú Zhang Zuolin, época en la que mandó varias unidades de caballería. Hacia 1928 era jefe de la lucha anti-bandidaje y comandante provincial de las fuerzas de caballería en Heilongjiang. La diplomacia británica de la época lo describía como un militar «bandido» que, sin recibir entrenamiento o instrucción, era un experto francotirador y un maestro con el caballo.