加强对国防工业的集中统一领导，协调国防工业各部门、国防工业与其他有关工业部门、使用部门之间的关系，组织好相互间的协作，中央军委常委会议几次讨论国防工业的领导体制问题，认为应该有一个统一管理各个国防工业部门工作的机构。1961年夏季，三机部一位司长向部长孙志远建议，在国务院建立一个管理国防工业的机构，孙志远认为此方案可行，随即报告了周恩来。周恩来与贺龙、聂荣臻、罗瑞卿、孙志远等商定后，决定成立一个国防工业办公室，作为国务院的一个口（国防工业口），在党内向中央书记处和军委负责。 1961年11月8日，中共中