1956年，出席中共八大，当选为中央委员。1958年，出任中华人民共和国国防部副部长、中共中央军事委员会委员，免去其中国人民解放军副总参谋长职务。1961年，由北京至上海疗养，住在华山路华东局招待所。同年3月，因心脏病不治，陈赓于上海病逝。