1956年，中共八大决定大幅度裁减部队员额以应对和平建设的局面。1956年12月，中共中央成立由邓小平、罗瑞卿、谭政、陈赓、黄克诚组成的专门小组，3次会商公安军整编问题。12月28日中共中央军委秘书长、中国人民解放军副总参谋长黄克诚向中央呈送《关于公安军问题小组会议纪要》，其中提出撤销公安军的番号和领导机构。1957年1月22日，毛泽东批示：“照办。”随后中共中央军委扩大会议决定对全军实行精简整编，撤销中国人民解放军公安军番号及其领导机构；把边防、内卫、城防部队交省军区、军分区和城市警备部领导指挥；把看守监狱和劳改犯人，守卫工厂、仓库和国家机关的部队中凡是可以改为警察的，都连同任务拨归国家公安部门，改编为警察；专区、县的公安部队交地方政府公安机关改编为人民警察。1957年8月29日，中共中央军委发布电令，自9月1日起撤销公安军军种番号，各地公安军由各军区领导，仍称“中国人民公安部队”。原公安军司令部缩编为总参谋部警备部，负责研究和指导全国内卫、边防业务，指挥领导直属公安部队，原公安军副政委李天焕中将任总参谋部警备部部长。7个军区的公安军司令部和3个军区的公安部队（处）亦于3月至8月先后撤销。沈阳军区、北京军区、济南军区、兰州军区司令部设警备处或卫戍勤务处。其他军区由作战、情报等有关部门兼任内卫、边防业务工作。总参谋部警备部直接指挥的公安部队共计26.8万人，分归各军区建制领导指挥。