恆至布政使衙门接替其事务。又向朝廷拜折，请朝廷准予林寿图回籍休养。朝廷遂命林寿图以原品休致。林寿图接到圣旨后，大病一场。后至书院教书度日，于光绪七年（1881年）退隐。光绪二十三年去世。
家人.林寿图有四子：长子林念虞早卒，官于直隶。<br>次子林师尚适偕三子林宗远有事于楚北。林师尚、林宗远皆当过知县。林师尚乃优贡，与何振岱着《西湖志》。<br>林寿图季子林同灏，清末秀才，后中举，好书画，曾任福建松溪县知县。林家对客稽颡者皆季子同灏也。<br>林寿图有八女，其婿分别为：梁佟年