竭力指出宠幸方士术士之害。孙鑨之言少有人听，于是他只好告病回乡。隆庆元年，起用任南京文选郎中。万历初年，累迁光禄卿。后告病还乡，一住十年，居于故里一小楼，宾客很少能见到他。再次启用，官复原职，进大理寺卿。常据理力争，帝均从其议。历南京吏部尚书，后来改任兵部，参与国家机务。后召命任为吏部尚书。曾卧病三月，上书十次请求辞官回乡，才被允许。逝世后，赠太子太保，谥清简，葬于会稽铸浦山。