至1978年4月任中国人民解放军副总参谋长、总参谋部党委委员。期间，彭绍辉曾参与编写中国人民解放军的条令、条例以及六五式军服的样式，并指导编制、装备、侦察、防化、气象和民兵等一系列工作。1955年9月，彭绍辉被授予上将军衔，荣获一级八一勋章、一级独立自由勋章、一级解放勋章。文化大革命时遭批斗，但因毛泽东力保得以幸免于难。1974年9月，彭绍辉主持召开了全国民兵训练工作座谈会。在会上，彭绍辉针对四人帮的所作所为而拒不宣传“民兵指挥部”，更没有推广“上海经验”。1976年，彭绍辉曾准确推断出军方可能发动政变