名潘夔，母闵氏，为刑部尚书闵珪之女，亦有研究者认为是闵氏是闵珪的孙女，闵珪次子闵闻的次女。潘季驯有三个兄长潘伯骧、潘仲骖、潘叔骏。自幼聪慧，七岁能写文章，补博士弟子。为归安县学贡生。嘉靖二十九年（1550年），潘季驯中进士。初授九江推官，后升御史，巡按广东，行《均平里甲法》，斥抑豪强。嘉靖四十四年（1565年）由大理寺左少卿进右佥都御史，总理河道，开始治黄生涯。次年，以接浚留城旧河成功，加右副都御史，不久因丁忧去职。隆庆四年（1570年）河决邳州、睢宁，起故官，再任总河，塞决口。次年报河工成