925年（民国14年），任段祺瑞的中华民国临时政府军务厅第4处科长兼代理处长。1926年，署理直隷省军务督办军务处长。1926年，张义纯赴广东改投国民革命军，任第6军第17师副师长兼团长（第6军军长程潜）。其后改投新桂系，在北伐中因英勇善战获得了「小张飞」的绰号，受到新桂系领袖李宗仁、白崇禧赏识。张义纯因军功，先后任第19军第2师师长、第18军副军长、第13师师长、第56师师长。1929年（民国18年）3月蒋桂战争新桂系败北，张义纯失势。1932年（民国21年），张义纯赴广西省复职，任第15军参谋长