1955年5月5日，中共中央决定调刘杰进入国务院第三办公室，担任副主任（主任薄一波），负责组织原子能事业筹建工作。5月7日，刘杰、钱三强向薄一波与中共中央建议筹建原子能委员会。1956年4月12日，政治局决定批准成立和平利用原子能委员会，直属国务院，由陈云担任主任，郭沫若、李富春、李四光、宋任穷担任副主任，刘杰担任秘书长。同时，刘杰与刘伟、钱三强等正率中国代表团访问莫斯科，与苏联商谈工业援助谈判，并咨询原子能工业的组织管理意见。回国后，他向周恩来建议筹建原子能事业部，周恩来在征询建议后，认为成立原子能事业