中国抗日战争爆发後的1937年（民国26年）10月，張義純任安徽省政府委員兼民政厅厅長兼軍管区副司令，作为安徽人参与新桂系对安徽省的統治。張義純任第48軍軍長，负责防卫安徽，参加武汉会战。1939年（民国28年）11月，升任第21集团軍副总司令。1943年（民国32年）1月，任第33集团軍副总司令，兼任第五战区鄂豫皖边区游撃总司令。