随后旋即奉令重返志愿军司令部。6月返回中国，并获朝鲜一级独立自由勋章。同年7月，调任中国人民解放军军事工程学院院长，负责培养研究、设计、制造方面的军事工程师，该职位一直保持到其逝世。1954年10月，担任中国人民解放军副总参谋长。1955年被授予中国人民解放军大将军衔，并获一级八一勋章、一级独立自由勋章和一级解放勋章，并担任第一届国防委员会委员。1956年，出席中共八大，当选为中央委员。1958年，出任中华人民共和国国防部副部长、中共中央军事委员会委员，免去其中国人民解放军副总参谋长职务。1961年，由