淮南地区坚持抗日。该师成立后，立即投入激烈的反扫荡战斗中，先后取得粉碎日伪军对半塔集的扫荡，打退反共军对路西大桥地区的进攻等胜利，巩固了淮南等抗日根据地。1942年2月，成立淮南军区，第2师兼军区机关。1943年春，罗炳辉任师长兼司令员，谭震林兼政委，韩振纪任参谋长，肖望东任政治部主任。路东、路西两个联防司令部分别改为路东、路西军分区，分别由第5、第6旅兼两个军分区。同年秋，第6旅番号取消后，由第4旅兼路东军分区，第5旅兼路西军分区。这一年，第2师一面开展大练兵运动，提高部队战斗力，开辟了杨州以西甘泉地区。