1941年2月由八路军第4纵队编成。同年春，遭受中华民国国军共9个师14万余人进攻，第4师被迫进行自卫反击。由于众寡悬殊，第4师于5月30日退出豫皖苏边抗日根据地，转移到津浦路东的皖东北地区。6月，撤销第12旅，并将各旅的骑兵集中编为师骑兵团。7月，邓子恢任政治委员。9月，第10旅调归第3师建制，第3师第9旅调归第4师建制。1942年7月，吴芝圃任政治部主任。11月，粉碎了日伪军6000余人的大扫荡，歼日伪军700余人，拔除了青阳、马公店等据点。同月，第4师师部兼淮北军区机关。1943年3月，第4师主力在