年）三月，经过多次上疏要求，终于与施凤来一同获准致仕。加太保，荫一子中书舍人。五月回乡途中于济河舟中作行书《韩愈山石诗》轴。后隐居晋江青阳白毫庵。崇祯十四年(1641年)三月二十日寅时，卒于晋江家中，享寿七十二。同年九月十八日夫人王氏卒，享寿六十九。隆武二年（清顺治三年，1646年），明绍宗因张瑞图为“阉党”成员，将其谥曰文隐。并由林欲楫作《明大学士张瑞图暨夫人王氏墓志铭》。
书画.张瑞图书画特长，善画山水，尤工书，以“金刚杵”笔法着称于世。曾为魏忠贤书写“颂词”，魏忠贤的生祠