万历元年（1573年）除夕，大赦天下，为状元张元忭等所救出狱。从此潦倒，痛恨达官贵人，浪游金陵、宣辽、北京，又过居庸关赴塞外宣化府等地。在辽东总兵李成梁的府中教授其子李如松、李如柏兵法。在塞外结识蒙古首领俺答夫人三娘子。万历五年（1577年）回绍兴，注释郭璞《葬书》。晚年以卖画为生，但从不为当政官僚作画，“有书数千卷，后斥卖殆尽。畴莞破弊，不能再易，至借稿寝。”。万历二十一年（1593年），在贫困中结束一生，年七十三，葬于绍兴城南木栅山。
传说.浙江民间现在仍然普遍流传他的故事传