中华人民共和国成立后，任山东军区司令员。1953年，许世友率领第三兵团参加朝鲜战争，并参与了当年夏季反击战役。1954年，回国调任华东军区第二副司令员，10月兼任中国人民解放军总参谋部副总参谋长。次年参与组织一江山岛战役，占领一江山岛。同年，授予中国人民解放军上将军衔，一级八一勋章、一级独立自由勋章、一级解放勋章。1955年3月，许世友被任命为南京军区司令员，4年后被任命为中华人民共和国国防部副部长兼南京军区司令员，负责东南沿海地区海防前哨和国防事务。九一三事件后，许世友被毛泽东召见，负责秘密逮捕林彪集