第10旅调归第3师建制，第3师第9旅调归第4师建制。1942年7月，吴芝圃任政治部主任。11月，粉碎了日伪军6000余人的大扫荡，歼日伪军700余人，拔除了青阳、马公店等据点。同月，第4师师部兼淮北军区机关。1943年3月，第4师主力在新四军第2师、新四军第3师一部配合下，在江苏泗阳县山子头地区的自卫反击战中，俘国民党江苏省主席兼鲁苏战区副总司令韩德勤以下千余人。1944年春，对日伪军开展攻势作战，歼灭日伪军1800余人。7月，又歼灭日伪军800余人。8月，主力向津浦路西敌后挺进，在第3师第7旅的配合下