长江局派张劲夫回安徽开辟工作。1938年4月，任中共安徽省工作委员会常务委员兼宣传部部长。1938-1939年在皖西大别山地区，通过公开的政权组织“安徽省动员民众委员会”，组织爱国青年成立了数十个工作团，发动群众开展抗日救亡运动。1939年5月，任新四军江北指挥部政治部副主任、中共鄂豫皖区党委常务委员兼民运部部长。1939年7月，执行中共中央的指示，将大别山区党员干部及靠近党的进步人士，分批撤退到皖东新四军活动地区，共撤出3000多人，这批人后来成为开辟和建立华中各抗日根据地的骨干力量。1939年底，胡