后嘉靖三十二年（1553年）任云南按察使、江西右布政使。嘉靖三十三年（1554年）任浙江左布政使。嘉靖三十五年（1556年）改都察院右副都御史、巡抚河南，弹劾徽王朱载埨贪虐。嘉靖三十六年（1557年）入京任刑部右侍郎，改工部左侍郎。同年升任南京工部尚书。嘉靖三十九年（1560年）任刑部尚书。嘉靖四十年（1561年）任都察院左都御史、廷试读卷官。万历十年（1582年）去世，赠太子太保，后赠少保。谥恭定。有子潘允哲、潘允端、潘允亮。
着作.着有《笠江集》十二卷等。