1950年初,中国人民解放军从陆军单一军种走向诸军兵种合成的现代化建军道路。主持总参谋部工作的聂荣臻就军事机关及学校等问题给毛泽东写报告:继续加强海军、空军司令部建设,筹建炮兵、装甲兵、工程兵司令部;总参谋部应增设通讯、军训、军校部;总后勤部应设立军需、军械、财务、运输、卫生部;筹建总干部管理部;加强航空、防空、测绘、机要学校、军医大学等院校建设;筹建炮兵、工兵学校;筹建陆军大学(即军事学院),使之成为建设正规化国防军的培训中心,培养高级军事干部。这些建议很快得到了毛泽东等中央领导人的批准,并被陆续组织实施。在正规化、现代化建设方面,聂荣臻还狠抓了军队的编制、装备和文化、扫盲工作,使中国人民解放军武器装备和编制上杂乱状况有了较大的改观,部队战士们的文化程度普遍达到了高小以上水平,有些达到中学或更高的程度,为掌握现代化技术装备和开展军事科学研究打下了良好的基础。其间,聂荣臻还主持了人民解放军大规模精简整编工作,压缩兵员定额,精简机关,充实连队,并向地方输送了大批骨干,为三十三年后的百万大裁军起了借鉴作用。朝鲜战争爆发后,聂荣臻负责中国人民志愿军出国作战的部署、训练、运输、供应、补兵、轮换等工作,日夜忙碌,有时几天睡不了觉。1952年秋,聂荣臻终因劳累过度,昏倒在办公室里,被送进医院。病情稍好,他就急着出院工作。直到抗美援朝战争结束,在毛泽东一再催促下,才去外地休养治疗。1954年,聂荣臻任中央人民政府人民革命军事委员会副主席,主管军工生产和军队的装备工作。1955年,聂荣臻被授予中华人民共和国元帅军衔和一级八一勋章、一级独立自由勋章、一级解放勋章。这以后,佩戴元帅军衔的聂荣臻壮心不已,日日夜夜操劳在祖国的科学技术战线上。20世纪50年代中期,聂荣臻被中共中央确定为具体领导和组织新中国科技工作的负责人,1956年又被任命为国务院副总理,主管科学技术工作。以战略家的智慧,首先抓制定科技方针与科技规划工作,亲自参与领导国内外700多位专家制定了长达600多万字的十二年规划纲要(草案),对工业、农业、国防和其他科学技术领域,进行了全面的规划和安排。与此同时,聂荣臻向中央军委提出方案,建议研制少量的导弹、核武器,掌握必要的自卫手段,以打破帝国主义国家对我国的核讹诈;使常规武器配套,不断加强陆、海、空军的现代化装备。该方案在中央军委立即获通过。不久,聂荣臻受命领导研制“两弹”任务。第二年,他又受命领导研制人造卫星工作。他积极组建导弹研究院和核武器、飞机、舰船、电子设备、人造卫星以及其他兵器的研究机构、试验基地和国防科技高等院校。同时,他还采取“将全国的科技力量相对集中、形成拳头,进行突破”的战略措施,使科技战线获得一次次突破性成就。