从此以后就逐渐淡出将事业交由后辈处理，2004年9月27日晚间6时49分因心脏疾病过世，享年79岁，安葬于台北县瑞芳镇（今新北市瑞芳区）金石园。金石园是瑞芳李家所经营的知名墓园，蔡万霖墓地有六千坪之广，备极哀荣。蔡万霖身后，继承人应缴纳新台币782亿元遗产税；但因避税得宜，只缴新台币数亿元遗产税。
家庭.蔡万霖生前育有四子，长子蔡政达，次子蔡宏图，三子蔡镇宇，四子蔡镇球，四人分别在霖园集团中担任轻重不一的职务。其中又以担任国泰金控董事长的二子蔡宏图最重要，是蔡万霖正式的接班人。