1922年（民国11年）冬，任福州洪山桥兵工厂总办。1924年（民国13年）任第24混成旅团长兼第1支队司令。1925年（民国14年），任段祺瑞的中华民国临时政府军务厅第4处科长兼代理处长。1926年，署理直隷省军务督办军务处长。1926年，张义纯赴广东改投国民革命军，任第6军第17师副师长兼团长（第6军军长程潜）。其后改投新桂系，在北伐中因英勇善战获得了「小张飞」的绰号，受到新桂系领袖李宗仁、白崇禧赏识。张义纯因军功，先后任第19军第2师师长、第18军副军长、第13师师长、第56师师长。1929年