事中雒遵劾，罢去。万历四年（1577年）夏再起官，巡抚江西。次年召为刑部右侍郎。万历六年（1579年）夏，以右都御史兼工部左侍郎总理河漕，九月兴两河大工，次年工竣，黄河下游得数年无恙。万历八年（1581年）春，加太子太保，进工部尚书，九月迁南京兵部尚书。万历十一年（1584年）正月，改刑部尚书。张居正身后被抄家，长子张敬修自缢死，全家饿死十余口。潘季驯看不下去，上疏明神宗说，“治居正狱太急”，“至于奄奄待毙之老母，茕茕无倚之诸孤，行道之人皆为怜悯。”皇帝看了不高兴。后被御史李植劾以党庇张居正，落职为民。