转战晋冀豫，开辟太行山南段抗日根据地，坚持敌后游击战争，参加了晋东南反“九路围攻”战役，并参与指挥牛村、温汤、虒亭、张店、町店等战斗。1938年9月，与代旅长杨得志率八路军第344旅发起彰南战役，出击平汉路西侧地区。1939年初，黄克诚领导创建冀鲁豫抗日根据地，率部挺入河北、山东。1940年2月，任八路军第2纵队政委兼冀鲁豫军区司令员、冀鲁豫军政委员会书记，率部参加磁武涉林战役，随后与国军石友三部主力发生摩擦，并歼灭对方部队。5月，率主力一部南下进入河南、安徽等地，任八路军第4纵队政委。8月，东进安徽东