任中国人民解放军军事工程学院院长，负责培养研究、设计、制造方面的军事工程师，该职位一直保持到其逝世。1954年10月，担任中国人民解放军副总参谋长。1955年被授予中国人民解放军大将军衔，并获一级八一勋章、一级独立自由勋章和一级解放勋章，并担任第一届国防委员会委员。1956年，出席中共八大，当选为中央委员。1958年，出任中华人民共和国国防部副部长、中共中央军事委员会委员，免去其中国人民解放军副总参谋长职务。1961年，由北京至上海疗养，住在华山路华东局招待所。同年3月，因心脏病不治，陈赓于上海病逝。