1954年，聂荣臻任中央人民政府人民革命军事委员会副主席，主管军工生产和军队的装备工作。1955年7月，陈云、聂荣臻、薄一波组成三人小组，负责指导原子能工业的筹建工作。9月，聂荣臻被授予中华人民共和国元帅军衔和一级八一勋章、一级独立自由勋章、一级解放勋章。1956年5月10日，聂荣臻向中央提出《关于建立我国导弹研究工作的初步意见》。9月15日至27日，出席中国共产党第八次全国代表大会，当选为第八届中央委员会委员。10月，聂荣臻参与领导指定《十二年科学规划》。11月，被任命为国务院副总理，接替陈毅主管科学技术工作。1957年4月24日，聂荣臻召集陈赓、安东等人讨论导弹研究与仿制等问题，并说“搞导弹事业不能平均使用力量，应遵照周总理讲的以导弹带动其他的精神办。”9月7日，聂荣臻任团长，陈赓、宋任穷为副团长带领中国政府工业代表团赴苏联，代表团其他成员有钱学森、李强、刘杰、万毅、刘寅、王诤、张连奎等，就新技术援助问题进行会谈。10月15日，聂荣臻与苏联部长会议第一副主席别尔乌辛签订《中苏国防新技术协定》。