抗日战争初期,任八路军第115师政治部主任。1937年9月,率师政治部和少数部队,在晋冀边界的阜平、曲阳、灵寿一带发动群众,组织抗日武装,建立抗日民主政权。1938年到吕梁山地区,与代师长陈光指挥午城、井沟和薛公岭等战斗,保卫了黄河河防。同年秋参加扩大的中共六届六中全会,随后任115师政治委员。1939年3月初与陈光率115师师部和主力一部进入山东,参与指挥樊坝、梁山等战斗,重创日伪军。他坚决执行中共中央关于在统一战线中坚持独立自主的原则,强调团结抗日的友军和爱国进步人士,孤立和打击制造摩擦的国民党顽固派。他率领的115师部队,与山东人民抗日起义武装组成的八路军山东纵队并肩作战,先后在鲁西、鲁南、冀鲁边、鲁中、滨海地区发动群众,建立抗日民主政权,发展人民武装,巩固和扩大抗日根据地。1941年8月任山东军政委员会书记。同年冬,日伪军5万余人“扫荡”鲁中抗日根据地,中共中央山东分局和115师师部等领导机关被日伪军合围于沂水留田一带。他准确地分析敌情,掌握时机,出敌不意地率部向日军占领区临沂方向转移,跳出敌人重围。后又返回根据地中心地区,领导军民坚持斗争,挫败日军在山东进行的规模最大的一次“扫荡”。1943年3月任山东军区司令员兼政治委员,115师政治委员、代师长,中共中央山东分局书记,统一领导山东抗日民主根据地的党政军工作。他重视党的思想建设和组织建设,领导了整风运动。在抗日战争最艰难的岁月,领导山东军民进行精兵简政,实行主力部队地方化,加强连队基层建设,开展分散性、群众性游击战争,针对日军对根据地的“扫荡”和“蚕食”,提出“敌人打过来,我们就打过去”的“翻边战术”,扭转了山东抗日根据地的被动局面。1944年开始组织一系列战役,实行局部反攻,巩固、发展了山东抗日根据地。1945年指挥部队在山东进行大反攻,控制山东境内的津浦、胶济、陇海铁路,收复除济南、青岛少数城市之外的山东大部地区。此时罗荣桓的麾下已经是拥有27万正规军的、共产党在全国最强大的军事集团,建立了中共最强大的抗日根据地----山东抗日根据地,正规军人数占共产党军队的三分之一。1945年6月,被选为中共第七届中央委员。抗日战争胜利后,从1945年10月底开始,罗荣桓领导的山东军区部队陆续出发,除个别部队是走陆路外,其他绝大多数都是分三批乘船到东北的。山东军区开创了我军历史上最大规模的渡海行动。10月24日,罗荣桓接到中央的电报,要他“率轻便指挥机关,日内去东北”。除6万余人正规部队以外,山东军区还派往东北20个基干团,约3万人。这样,山东军区在抗日战争结束后,向东北共输送了9万人的干部、战士。在罗荣桓一行到达东北的前后,除万毅和萧华所率领的干部、战士外,还有许多山东军区的部队到达东北,成为东北民主联军的中坚力量。剩下的20余万正规军也成为了第二野战军、第二野战军主力。进军东北后任东北人民自治军第二政治委员,东北民主联军副政治委员。1946年后,任中共中央东北局副书记、东北人民解放军副政治委员、东北军区第一副政治委员、东北野战军政治委员。他强调打破和平幻想,准备长期作战,积极贯彻中共中央“让开大路、占领两厢”的战略方针,曾提出发动群众,创建东北根据地的建议。他组织领导了东北地区大兵团作战中的政治工作。1947年在部队中推广第3纵队诉苦教育经验,增强指战员的战斗意志,提高部队战斗力。这一经验后经毛泽东批示在全军推广。他主持组建二线兵团,为主力部队输送了大量兵员。将东北野战军(第四野战军)由11万余人发展到150万人,成为各大野战军中实力最强的野战军,占全国军队总数的三分之一。参与指挥辽沈战役,在辽沈战役中,他坚决执行中共中央军委关于先打锦州把国民党军封闭在东北予以全歼的战略决策,对夺取辽沈战役胜利起了决定性作用。1949年1月任第四野战军政治委员。他作为中共平津前线总前委委员和人民解放军平津前线政治委员,参与指挥平津战役,主持和平解放北平的谈判工作。1949年5月任第四野战军第一政治委员,1949年6月以后被任命为中共中央华中局(后为中南局)第二书记,华中军区(后为中南军区)第一政治委员。1949年9月,出席第一届中国人民政治协商会议,同月当选为中央人民政府委员。中华人民共和国成立后,任最高人民检察署检察长、政务院政治法律委员会委员。1950年4月任人民解放军总政治部主任,同年9月兼任总干部管理部部长,开始研究军衔实施的准备工作,并于1953年开始主持上将以下、少将以上将衔评定。1954年6月任中央人民政府人民革命军事委员会副主席。1955年11月任中共中国人民解放军监察委员会书记。他在领导全军政治工作中,强调发扬人民军队政治工作的优良传统,保证人民解放军的正规化、现代化建设,并主持制定《中国人民解放军政治工作条例(草案)》,领导“向文化大进军”,提出“系统的、联系实际的、稳步前进的”部队政治理论教育方针。1952年领导筹建人民解放军政治学院,后兼任院长。他善于团结和使用各方面的干部,领导建立干部工作制度,加强干部工作建设。1956年9月,当选为中共第八届中央委员会委员,中央政治局委员。60年代初,他根据实事求是的原则,强调学习毛泽东思想的立场、观点、方法,反对林彪把学习毛泽东思想庸俗化。从1959年12月起,他在中共中央军委还分管民兵工作,曾任人民武装委员会主任,强调民兵工作要在地方党委领导下,围绕生产,结合中心任务进行,进一步明确了和平时期民兵建设的方向。历任红四军军委书记兼政治委员,115师政治委员,山东军政委员会书记,山东军区司令员兼政治委员,115师代师长兼政委,中共中央山东分局书记,中共第七届中央委员,中共中央东北局副书记兼东北人民自治军第二政治委员,东北野战军政治委员,中国人民解放军第四野战军政治委员,中国人民解放军平津前线政治委员,中国人民解放军第四野战军第一政治委员,最高人民检察署第一任检察长,中共中央华中局(后为中南局)第二书记,华中军区(后为中南军区)第一政治委员,中国人民解放军第一任总政治部主任兼任总干部管理部部长,中央人民政府人民革命军事委员会副主席,中共第八届中央委员,中共第八届中央政治局委员,第一、第二届全国人大常委会副委员长,第一、第二届国防委员会副主席,中央军委副主席,中国人民解放军监察委员会书记,中国人民武装委员会主任,中国人民解放军政治学院第一任院长等党、国家和军队重要职务。1955年9月被授予中华人民共和国元帅军衔和一级八一勋章,一级独立自由勋章、一级解放勋章。