长子张敬修自缢死，全家饿死十余口。潘季驯看不下去，上疏明神宗说，“治居正狱太急”，“至于奄奄待毙之老母，茕茕无倚之诸孤，行道之人皆为怜悯。”皇帝看了不高兴。后被御史李植劾以党庇张居正，落职为民。有官员为他鸣不平。万历十三年（1586年）夏四月，天遇大旱，御史蔡系周上疏谓：“古者朝有权臣，狱有冤囚则旱。今李植以至尊胁廷臣，专权之渐也。且御下欲雪枉，而刑部尚书之枉先不得雪。今日之旱，实由于此。”在家乡筑有潘公桥。万历十六年（1589年）黄河大患，以给事中梅国楼等荐，复官右都御史，总督河道，万历十九年（1592年