被御史李植劾以党庇张居正，落职为民。有官员为他鸣不平。万历十三年（1586年）夏四月，天遇大旱，御史蔡系周上疏谓：“古者朝有权臣，狱有冤囚则旱。今李植以至尊胁廷臣，专权之渐也。且御下欲雪枉，而刑部尚书之枉先不得雪。今日之旱，实由于此。”在家乡筑有潘公桥。万历十六年（1589年）黄河大患，以给事中梅国楼等荐，复官右都御史，总督河道，万历十九年（1592年）冬，加太子太保、工部尚书兼右都御史。次年，以病辞休。归后三年卒，葬于今湖州八里店镇三墩村曹家墩。
治河.潘季驯四次治河，习知地形险