党员干部及靠近党的进步人士，分批撤退到皖东新四军活动地区，共撤出3000多人，这批人后来成为开辟和建立华中各抗日根据地的骨干力量。1939年底，胡服到皖东，贯彻执行中共中央“发展华中”的战略任务。1940年1月，张劲夫任中共皖东津浦路东省委书记，兼新四军第五支队政治部主任。参加领导创建了津浦路东抗日根据地。1941年1月皖南事变后，张劲夫任新四军第二师政治部副主任。1942年2月起，张劲夫担任新四军第二师四旅政治委员，兼中共淮南区党委宣传部部长。率部在淮南开展敌后抗日游击战。1944年他主动要求到华中党