“文化大革命”结束后，政治上得到平反。1977年，参加中共第十一次全国代表大会，当选为中央委员，并被任命为中央军委常委、军委秘书长。1978年，在《实践是检验真理的唯一标准》发表后，促成《马克思主义的一个最基本的原则》在《解放军报》上发表，推动了“真理标准大讨论”的开展。7月赴西德海德堡大学骨科医院治疗腿病，于8月3日突发心肌梗塞病逝。两日后，中央派专机将罗瑞卿的灵柩接回北京，邓小平、叶剑英等前往机场迎灵。1978年8月12日，中共中央召开追悼会，天安门广场、新华门、外交部下半旗致哀，邓小平致悼词。罗瑞卿的