参与修撰《大明会典》。嘉靖三十三年，升翰林院侍读。嘉靖三十四年，与严讷主持应天府乡试。嘉靖三十五年，担任南京国子监祭酒。此后致仕归乡。隆庆四年，担任礼部尚书，两年后致仕。万历六年（1578年），再次起爲礼部尚书。万历八年，加太子太保，一个月后辞职。张居正举荐为武英殿大学士，后因遭到反对被罢免。
家族.曾祖潘尚宗；祖父潘宪潮；父潘日升，曾任教谕。母石氏。