954年11月任训练总监部副部长兼战斗训练部部长，促进了军队正规化建设。此外，担任中华人民共和国国防部副部长。1955年，兼任解放军训练总监部副部长，负责全军的教育与训练。同年9月27日，被授予中华人民共和国上将军衔（排名第一位），一级八一勋章、一级独立自由勋章、一级解放勋章。1957年任训练总监部部长、党委书记。1958年2月彭德怀拿一篇文章给肖克看，肖克对其中的反正规化现代化的说法提出不同意见，之后在彭德怀提出“教条主义”后，萧克批了与彭关系很好的张宗逊的“反教条主义”说法，彭为此不高兴，于是毛泽东说“