入新桂系.1916年（民国5年）8月，张义纯毕业于保定陆军军官学校第3期炮兵科。其后，在奉军内任职。1922年（民国11年）冬，任福州洪山桥兵工厂总办。1924年（民国13年）任第24混成旅团长兼第1支队司令。1925年（民国14年），任段祺瑞的中华民国临时政府军务厅第4处科长兼代理处长。1926年，署理直隷省军务督办军务处长。1926年，张义纯赴广东改投国民革命军，任第6军第17师副师长兼团长（第6军军长程潜）。其后改投新桂系，在北伐中因英勇善战获得了「小张飞」的绰号，受到新桂系领袖李宗仁、白崇禧赏