和医学堂预科等学校就读。
投笔从戎.1915年（民国4年），他加入陆军第6师，进入随营学校接受训练。1918年（民国7年），他入保定陆军军官学校第8期砲兵科。1922年（民国11年）毕业。此后，马法五成为第3混成旅旅长孙岳（属于直系，后来成为国民军第3军军长）的下属。国民军成立后的1925年（民国14年），他升任砲兵团团长。五原誓师后的1927年（民国16年）夏，他升任第5军特种兵旅旅长，同年秋任国民革命军第二集团军第20军第59师师长。北伐结束后，马法五作为冯玉祥的手下参加了