正德六年（1511年）任山东按察司佥事。正德十一年（1516年）任山东按察司副使、福建按察司副使。嘉靖二年（1523年）任山东按察使。改湖广右、左布政使。嘉靖七年（1538年）任都察院右副都御史、巡抚辽东。嘉靖十一年（1542年）任南京都察院右副都御史、提督操江。嘉靖十二年（1543年）任南京兵部右侍郎。嘉靖十五年（1546年）任兵部右侍郎，改兵部左侍郎。因反对征讨安南，而免职归乡。卒赠都察院右都御史。
家族.曾祖父潘琥；祖父潘思文；父潘坦，母张氏。