1934年，他率领中央陆军新编第三十六师参与了征讨东突厥斯坦伊斯兰共和国的喀什战役。翌年，马虎山的中央陆军新编第三十六师在若羌县参与镇压维吾尔人的婼羌暴动并成功夺得新疆南部的绿洲，该地区被彼得·弗莱明命名为“东干斯坦”。但在此时，新疆大部分地区已遭盛世才佔领，马虎山遂派遣使节前往南京，要求南京国民政府提供援助以抗衡盛世才和苏联。与此同时，马虎山为防范敌军突袭，在和田设立据点防守。
1937年新疆战争.马虎山后来制定了反苏“圣战”计划，以期望征服克里姆林宫、俄国突厥斯坦和西伯