Als ihm bewusst wurde, dass er nicht die gleichen Vollmachten besaß, die er noch als relativ unabhängiger Gouverneur besessen hatte, beschloss Ma zu rebellieren. Im geheimen und unter Einsatz von japanischen Geldern und Ausrüstung stellte er eine Freiwilligenarmee zusammen. Nach außen hin geschah dies, um mit ihr an der Befriedung von Mandschukuo teilzunehmen. Im geheimen schaffte er Waffen und Munition beiseite und brachte die Familien seiner Soldaten in Sicherheit, bevor er am 1. April 1932 von Tsitsihar aus zu einer Antipartisanenaktion aufbrach. Am 7. April ließ er in Heihe die Maske fallen und erklärte die Unabhängige Provinz Heilongjiang für wiederhergestellt. Er reorganisierte seine Truppe in 9 Brigaden und stellte aus den zu ihm strömenden Freiwilligen 11 weitere Gruppen in seinem ganzen Machtbereich auf. Diese Armee nannte sich "Nordöstliche Antijapanische Nationale Befreiungsarmee", der sich bald die meisten Antijapanischen Armeen der Region anschlossen, sodass Ma nach japanischen Schätzungen über bis zu 300.000 Kämpfer verfügte.