贤专权时，漫无主持，事事逢迎，并为其生祠撰碑称颂，宜亟罢黜。乃上疏自辩，并乞罢，未允。十二月，三次上疏引病求归，并辞荫子，未允。崇祯元年（1628年）三月，经过多次上疏要求，终于与施凤来一同获准致仕。加太保，荫一子中书舍人。五月回乡途中于济河舟中作行书《韩愈山石诗》轴。后隐居晋江青阳白毫庵。崇祯十四年(1641年)三月二十日寅时，卒于晋江家中，享寿七十二。同年九月十八日夫人王氏卒，享寿六十九。隆武二年（清顺治三年，1646年），明绍宗因张瑞图为“阉党”成员，将其谥曰文隐。并由林欲楫作《明大学士张瑞图暨夫