王鼎昌和李显龙先后于1992和93年被诊断罹患癌症后，陈庆炎被要求回到内阁，前后担任副总理（1995年至2005年）和国防部长（1995年至2003年）。2003年8月，他成为国防和安全统筹部长，同时保留了副总理职位。后来，他说服了国家发展部部长马宝山放弃拆除一个在他的选区三巴旺的古老的清真寺的计划，被称为“新加坡最后的Kampung清真寺”，后来被指定为文物古蹟。
离开公职.2005年9月1日，陈庆炎辞去副总理兼国安部长。他从内阁退休后，成为了国家研究基金会主席及创新及创业