。1968年时，台北市改制为院辖市（直辖市），当时担任十信理事主席的蔡万霖获得政府当局的推荐提拔，当选第一届与第二届的直辖台北市议员（同样也是接棒曾当选第一届与第二届省辖市时代台北市议员的蔡万春之位子）。之后蔡万霖淡出政坛不再过问政治事务，但曾在晚年受陈水扁总统邀请担任过顾问性质的总统府资政。蔡万霖在1998年因心肌梗塞被送至自己创办的国泰医院，从此以后就逐渐淡出将事业交由后辈处理，2004年9月27日晚间6时49分因心脏疾病过世，享年79岁，安葬于台北县瑞芳镇（今新北市瑞芳区）金石园。金石园是瑞芳李家