任副部长。但由于实践中各部门工作并不方便，1958年各部门合并重组，第三机械工业部更名为第二机械工业部（原第二机械工业部与第一机械工业部合并），刘杰调任该部副部长。1960年，任第二机械工业部部长。1962年8月，他向中共中央提出的1964年进行第一颗原子弹试验的建议，得到赞同与批准。同年9月11日，他代表二机部正式向中共中央提出争取1964年最迟在1965年上半年爆炸的中国第一颗原子弹的“两年规划”。11月17日，中共中央成立了以周恩来为主任的15人专门委员会（周恩来、贺龙、李富春、李先念、薄一波、陆定一