1949年10月1日,中华人民共和国宣告成立,新中国成立的消息,很快就传到大洋彼岸的英国。在得知这一消息之后,程开甲毫不犹豫地放弃在英国取得的一切成就,毅然决然地踏上归国邮轮,历经重重困难后,回到了百废待兴的新中国。
归国后的程开甲就回到了自己的母校浙江大学,担任物理系副教授,从此三尺讲台上,多了一位传道授业的教书先生。1952年,全国高等院校的院系进行了一次大调整,程开甲被调到南京大学,担任南大物理系副教授。在从事理论物理教学和研究的同时,还负责金属物理教研室的筹建和编写金属物理和固体物理教材。
1956年3月,程开甲参与研究制定国家“十二年科学规划”,随后,程开甲创建了南京大学核物理教研室和江苏省原子能研究所。程开甲带着仅有几人的科研团队,先后研制出一台双聚焦的β谱仪和一台直线加速器,成功测量出一些元素的衰变能谱。次年,程开甲出版了专著《固体物理学》,提出了普遍的热学内耗理论,并发展了超导电双带理论和凝聚态TFDC电子理论,对以后的固体物理学的教研工作,起到至关重要的作用。
1960年,程开甲接到中央指令,担任第二机械工业部研究院副院长一职,参与原子弹工作的研制,主要负责分管状态方程理论和爆轰物理研究工作。从此程开甲消失在学术界,转战罗布泊。
1962年夏,程开甲调任国防科委,任核实验基地研究所副所长,进行我国第一颗原子弹的实验研究工作。