长孙岳（属于直系，后来成为国民军第3军军长）的下属。国民军成立后的1925年（民国14年），他升任砲兵团团长。五原誓师后的1927年（民国16年）夏，他升任第5军特种兵旅旅长，同年秋任国民革命军第二集团军第20军第59师师长。北伐结束后，马法五作为冯玉祥的手下参加了反蒋介石战争。1929年（民国18年）秋，他任第6军第12师师长，中原大战时任第5师副师长兼第13旅旅长。冯败北后，他接受南京国民政府中央的改编，1931年（民国20年）1月任陆军步兵第1师副师长，同年夏任第40军第39师副师长。1935年（