工部尚书，九月迁南京兵部尚书。万历十一年（1584年）正月，改刑部尚书。张居正身后被抄家，长子张敬修自缢死，全家饿死十余口。潘季驯看不下去，上疏明神宗说，“治居正狱太急”，“至于奄奄待毙之老母，茕茕无倚之诸孤，行道之人皆为怜悯。”皇帝看了不高兴。后被御史李植劾以党庇张居正，落职为民。有官员为他鸣不平。万历十三年（1586年）夏四月，天遇大旱，御史蔡系周上疏谓：“古者朝有权臣，狱有冤囚则旱。今李植以至尊胁廷臣，专权之渐也。且御下欲雪枉，而刑部尚书之枉先不得雪。今日之旱，实由于此。”在家乡筑有潘公桥。万历十