兼总后方勤务部部长、政委、主持建立部队后勤工作的规章制度，筹备朝鲜战争及国防建设的后勤供应工作。1954年9月，任中共中央军委秘书长、国防部副部长，协助彭德怀主持军委和国防部工作，实施军队精简整编和改革，调整组织机构。1955年9月，黄克诚被授予中国人民解放军大将军衔，并获一级八一勋章、一级独立自由勋章、一级解放勋章。1958年，黄克诚参与对粟裕的批判。10月，黄克诚兼任中国人民解放军总参谋长。庐山会议期间，因直言批评大跃进和人民公社化运动，被诬陷为“彭、黄、张、周反党集团”成员而被撤销党内、军内领导职