1952年10月，又调湖南省委书记黄克诚、第一野战军副司令员张宗逊担任副总参谋长。同年年底，召开第一次参谋长联席会议，确定中国人民解放军建设方针。1953年2月，李克农担任副总参谋长。1954年10月，设立中国人民解放军总参谋部，粟裕担任总参谋长，黄克诚、张宗逊、陈赓、李克农、王震、许世友、邓华、彭绍辉、张爱萍、杨成武、韩先楚任副总参谋长。1958年，粟裕在中央军委扩大会议上被批判而免职，由黄克诚代任。1959年9月，庐山会议上，因支持彭德怀主张，黄克诚被罢免总参谋长职位，由国务院副总理兼公安部长罗瑞卿