在反 “扫荡” 中,他灵活运用毛泽东的军事原则,结合山东的实际情况,提出了 “敌进我进” 的方针,即 “翻边战术”。这种战术就是当敌人向我大举进攻时,我除以小部队和一些地方游击队去对付敌人外,大部队必须同时插到敌人后方去,相机攻击敌之薄弱后方,并破坏敌之交通要道,使敌人难以在根据地内持久作战,从而粉碎敌人的“扫荡”。
1940年9月,鲁南八路军在反“扫荡” 中抗击日伪军
罗荣桓率领山东军民,粉碎敌伪的多次“扫荡”,度过了1941年至1942年的最困难时期。1941年11月日本 “中国派遣军” 总司令畑俊六亲自指挥4个师团、3个独立混成旅团和伪军共计5万余人,向山东抗日根据地中心的沂水、临汾、费县、蒙阴之间纵横六七十里的地区实行“铁壁合围”。5月,日军兵分11路从四面八方包围了第115师师部驻地留田,最近的只有二三公里,最远的不过七八公里。这时师部仅有一营兵力,而机关人员却有5000多人,形势十分危急。在这严峻的时刻,罗荣桓镇定沉着,神态自如,站在地图面前,平静而严肃地分析敌我态势,然后提出 “向西南”突围的主张。随后,亲自率作战科和部分侦察人员先行出发,观察情况,选择道路。大家沿着罗荣桓选择的路线,利用在留田东南10余公里的村庄附近东西不过一公里的间隙通过第一道封锁线,接着又在一个两公里半的间隙通过第二道封锁线。6日拂晓,我军未费一枪一弹,突破了敌人的重兵包围,最后粉碎了敌人的 “铁壁合围”。当时随部队行动的波兰记者希伯称颂这次突围是“无声的战斗”,称罗荣桓的指挥是“神奇的指挥”。
1943年,罗荣桓任山东军区司令员兼政治委员、八路军第115师政委兼代师长,以后又兼任山东分局书记,在山东地区建立了以罗荣桓为首的坚强的抗日核心。在罗荣桓的具体指导下,山东各地以主力兵团、地方部队的骨干,结合民兵和党政力量,组成“武工队”、“游击队”,深入敌占区,发动群众,建立人民武装,开展“边沿区的斗争”,打击敌人的 “扫荡”、“蚕食”活动。采取政治攻势和军事斗争相结合的形式,广泛开展游击战。群众性的 “地雷战”、“麻雀战”、“车轮战”、“蜂窝战”,以及虚张声势,迷惑敌人的 “神经战”,沉重地打击了敌人。鲁南的铁道游击队更是扬名中外。同年11月,日军对我山东根据地沂蒙山、清河地区进行了一次轮番大“扫荡”,山东军区决定乘敌集中兵力 “扫荡”上述两区域,其他地区采取守势的时机,于鲁南、滨海等地区对敌展开攻势。鲁南军区根据山东军区的命令,于11月15日首先歼灭驻费县城西南的伪军刘桂棠部1000余人。随后,滨海军区部队攻克赣榆县城,有力地策应了沂蒙山区和清河地区的反“扫荡”作战。
1944年7月至10月,山东军区军事工作会议在滨海地区日照县碑廓镇召开。罗荣桓主持会议并做了总结。会议总结了山东根据地七年抗日战争的经验。他在讲话中肯定了山东抗战中独立自主坚持敌后游击战争,创建敌后抗日根据地的成绩。他指出,我军由弱到强,从小到大发展到野战军、地方军共10万多人,游击队 (武工队)、民兵30万人,取得了重大的发展。
为了迎接大反攻的到来,根据敌强我弱的基本态势,罗荣桓提出,我们在军事上要坚持以分散的游击战为基本的指导方针,但也不放弃有利条件下的运动战,利用巩固的根据地、回旋地区的广大等有利条件,相机夺取某些已经陷入孤立和深入我各个地区之间的敌伪较大的据点,从而进一步缩小敌占区,扩大根据地,发展壮大我们的力量。同时,罗荣桓还十分注意加强部队的训练,全面提高部队的素质。部队训练的重点是射击、刺杀、投弹、爆破。
1944年8月,鲁中部队在沂水缴获日军山炮
1944年11月中旬,在山东军区的统一部署下,我军发起以夺取莒县为重点的冬季攻势,歼灭日军一部,扩大根据地面积700平方公里,使滨海、鲁中两区连成一片。在攻击莒县的同时,鲁中军区部队肃清了临沂和费县城外围据点,鲁南军区部队逼近临城、滕县、泗水、邳县等县城附近; 胶东军区部队攻占栖霞; 渤海军区部队则粉碎了日伪军500余人的 “扫荡”。
经过一年来的攻势作战,山东军区部队共歼灭日军4800人,伪军5. 4万人,解放人口930万,根据地面积比1943年扩大了1.5倍。1945年5月初,敌军集中3万余人兵力,以鲁中、滨海为重点,开始全区性的大“扫荡”,山东军区部队随即转入反“扫荡”作战。经过20多天的战斗,共歼日伪军5000余人,胜利地粉碎了敌人的 “扫荡”。至此,抗日战争的形势出现了根本好转。同年8月,日本投降,抗日战争胜利结束。
1945年9月,罗荣桓奉命率山东部队主力6万余人,渡海北上,建立东北根据地。他先后担任过东北联军副政治委员、东北野战军(不久改为第四野战军)政治委员,与林彪共同指挥了辽沈战役。而后,第四野战军挥师入关,罗荣桓又参与指挥平津战役。接着,第四野战军奉命南下。这时,罗荣桓因病到天津住院三个月。6月,罗荣桓出任华中军区司令员。9月,罗荣桓作为第四野战军代表参加中国人民政治协商会议。9月30日,罗荣桓当选为中央人民政府委员。
新中国成立后,罗荣桓曾担任中央人民政府最高人民检察署检察长、人民革命军事委员会副主席、中国人民解放军总政治部主任兼总干部管理部部长、全国人民代表大会常务委员会副委员长、国防委员会副主席等职。1955年,被授予中华人民共和国元帅军衔。
1963年12月16日,罗荣桓在北京病逝。