张氏不贞，仲秋之夜以钝器击杀张氏，张氏当场致死，被革去生员资格，下狱七年。入狱其间，生母去世。狱中完成《周易参同契》注释，揣摩书画艺术。万历元年（1573年）除夕，大赦天下，为状元张元忭等所救出狱。从此潦倒，痛恨达官贵人，浪游金陵、宣辽、北京，又过居庸关赴塞外宣化府等地。在辽东总兵李成梁的府中教授其子李如松、李如柏兵法。在塞外结识蒙古首领俺答夫人三娘子。万历五年（1577年）回绍兴，注释郭璞《葬书》。晚年以卖画为生，但从不为当政官僚作画，“有书数千卷，后斥卖殆尽。畴莞破弊，不能再易，至借稿寝。”。万历