宗周自杀，张履祥闻知痛哭，绝意仕进，隐居以教书为生，又耕种其中。讲究农桑，并身体力行，顺治十五年，着有《补农书》，自言“农事不理，则不知稼穑之艰难；休其蚕织，则不知衣食之所自”。清康熙十三年（1674年）七月二十八日卒。世居桐乡杨园村，学者称杨园先生。张舜徽生平最喜诵习其书，晚年撰《清儒学记》，即以张履祥居首。着有《经正录》、《愿学记》、《问目》、《备忘录》、《初学备忘》、《训子语》、《补农书》、《丧葬杂录》、《训门人语》等，后人辑为《杨园先生全集》五十四卷。