世恩状元及第，授翰林院修撰。
嘉庆年间.嘉庆二年（1797年），潘世恩在翰林院大考中获一等，擢升为侍读。和珅认为他青年才俊，想要招揽他，潘世恩谢绝，不与其来往。这导致和珅的记恨，和珅将题本扣留六个月不予呈上。嘉庆帝亲政后，升任侍讲学士。一年三次升迁到内阁学士，历任礼部、兵部、户部、吏部侍郎，督云南、浙江、江西学政。嘉庆十七年（1812年），潘世恩升任工部尚书，嘉庆十九年（1814年）调任户部尚书。不久，潘世恩母亲病逝，辞官回家服丧。母丧满后，他上疏嘉庆帝，说老父年迈，要求在家侍