疏嘉庆帝，说老父年迈，要求在家侍养老父。适逢他的儿子中举，也上折谢恩。因没有亲自前往京城，命降为侍郎，嘉庆帝鉴于他孝顺，准他在家侍养，他在吴县老家居住十年。
道光年间.道光七年（1827年），潘世恩父丧服除，担任吏部侍郎，升任左都御史。道光十年（1830年），再擢为工部尚书。道光十三年（1833年）四月，潘世恩超升为体仁阁大学士，管理户部事务。道光十四年（1834年）正月，在军机大臣上行走，兼翰林院掌院学士。道光十五年（1835年）二月，授东阁大学士，管理工部事务，此后出任上书房总