霖淡出政坛不再过问政治事务，但曾在晚年受陈水扁总统邀请担任过顾问性质的总统府资政。蔡万霖在1998年因心肌梗塞被送至自己创办的国泰医院，从此以后就逐渐淡出将事业交由后辈处理，2004年9月27日晚间6时49分因心脏疾病过世，享年79岁，安葬于台北县瑞芳镇（今新北市瑞芳区）金石园。金石园是瑞芳李家所经营的知名墓园，蔡万霖墓地有六千坪之广，备极哀荣。蔡万霖身后，继承人应缴纳新台币782亿元遗产税；但因避税得宜，只缴新台币数亿元遗产税。
家庭.蔡万霖生前育有四子，长子蔡政达，次子蔡宏