奏事，被排除于事务外而心生不满。于同治八年（1869年）底向陕西巡抚刘典告假，回原籍省墓。左宗棠遂趁此机会，保袁保恆至布政使衙门接替其事务。又向朝廷拜折，请朝廷准予林寿图回籍休养。朝廷遂命林寿图以原品休致。林寿图接到圣旨后，大病一场。后至书院教书度日，于光绪七年（1881年）退隐。光绪二十三年去世。
家人.林寿图有四子：长子林念虞早卒，官于直隶。<br>次子林师尚适偕三子林宗远有事于楚北。林师尚、林宗远皆当过知县。林师尚乃优贡，与何振岱着《西湖志》。<br>林寿图季子林同灏，清