赴西德海德堡大学骨科医院治疗腿病，于8月3日突发心肌梗塞病逝。两日后，中央派专机将罗瑞卿的灵柩接回北京，邓小平、叶剑英等前往机场迎灵。1978年8月12日，中共中央召开追悼会，天安门广场、新华门、外交部下半旗致哀，邓小平致悼词。罗瑞卿的骨灰安放在北京市八宝山革命公墓。
评价.党和国家最高领导人毛泽东评价罗瑞卿时说：“天塌下来有罗长子顶着”。1967年，叶剑英就罗瑞卿的跳楼作了一首诗，其中“将军一跳身名裂，故人回首成永诀”套改自南宋爱国词人辛弃疾《贺新郎·别茂嘉十二弟》追叹西汉名