和主力一部进入山东鲁西地区，参与指挥樊坝战斗、梁山战斗等。1939年，山东纵队正式组建为八路军第一纵队，徐向前任司令员，朱瑞任政治委员。各小型抗日根据地合并为山东抗日根据地。1945年，罗荣桓指挥部队在山东进行大反攻，控制山东境内的津浦铁路、胶济铁路、陇海铁路，收复除济南、青岛少数城市之外的山东大部地区，日军活动范围被遏制在城市。山东军区部队也上升至27万正规军，占当时共产党军队的三分之一。1945年8月10日，日本政府发出乞降照会。总司令朱德发布大反攻命令，山东省境内除铁路沿线及西部几座县城外，均获攻占。