共和国开国大典阅兵总指挥，陪同朱德检阅中国人民解放军部队。10月19日，聂荣臻任中央人民政府人民革命军事委员会副总参谋长、代理总参谋长。其间，聂荣臻主持了解放军的多兵种建设和现代化建设，以及大规模精简整编工作。1949年11月，聂荣臻又当选北京市市长。朝鲜战争爆发后，聂荣臻负责中国人民志愿军作战的部署等工作。1952年秋，聂荣臻因劳累过度，昏倒在办公室里。1953年2月17日，聂荣臻任“全军军衔实施委员会”主任。1953年3月起，因病情严重，聂荣臻到南京、杭州等地休养。1954年，聂荣臻任中央人民政府人