《大学衍义》，劝经筵御讲。改吏部。累迁至户部尚书，因议条例不合，徙南京工部尚书，再转兵部，留守南都，致仕归。嘉靖三十四年（1555年）卒，谥肃简。
着作.有《朴溪集》。
家族.曾祖父潘烱资，赠知县；祖父潘珏，曾任按察司佥事题阶中顺大夫；父亲潘铎。母胡氏。