月皖南事变后，张劲夫任新四军第二师政治部副主任。1942年2月起，张劲夫担任新四军第二师四旅政治委员，兼中共淮南区党委宣传部部长。率部在淮南开展敌后抗日游击战。1944年他主动要求到华中党校学习，结业后该校改为华中建设大学，张劲夫留校任副校长。第二次国共内战时期，参加了华东解放战争，张劲夫要求到基层锻炼，被分配到鲁南二军分区任副政委。1947年夏，国军重点进攻山东，鲁南地区成为敌占区，鲁南党政军机关撤退到滨海分区。根据鲁南区党委书记傅秋涛的指示，张劲夫带领鲁南第18团第三营及特务连，返回鲁南敌后打游击，