和珅认为他青年才俊，想要招揽他，潘世恩谢绝，不与其来往。这导致和珅的记恨，和珅将题本扣留六个月不予呈上。嘉庆帝亲政后，升任侍讲学士。一年三次升迁到内阁学士，历任礼部、兵部、户部、吏部侍郎，督云南、浙江、江西学政。嘉庆十七年（1812年），潘世恩升任工部尚书，嘉庆十九年（1814年）调任户部尚书。不久，潘世恩母亲病逝，辞官回家服丧。母丧满后，他上疏嘉庆帝，说老父年迈，要求在家侍养老父。适逢他的儿子中举，也上折谢恩。因没有亲自前往京城，命降为侍郎，嘉庆帝鉴于他孝顺，准他在家侍养，他在吴县老家居住十年。S