，穷人少交。因得罪内阁首辅夏言，嘉靖十九年（1540年）即罢官归里。嘉靖三十六年正月初八（1557年2月6日）去世，年仅四十四岁。
家庭.曾祖父潘政、祖父潘璟、父亲潘承爵都为山西都司宁化千户所正千户，母江氏。妻子王氏，是兵部尚书王琼的孙女。潘高为长子，二弟潘亮，袭职为正千户，后升为署都指挥佥事；三弟潘衮，为指挥佥事。有二子，长子潘云祥，为山西解元，隆庆五年（1571年）中进士，官至兵部员外郎；次子潘云程从军，官至代州左参将。