三年（1853年）癸丑科会试时，他应邀参加礼部的“琼林筵宴”，咸丰帝亲书“琼林人瑞”匾额相赠。次年，潘世恩在京逝世，享年八十六岁，朝廷派遣亲王祭奠，谥号“文恭”入祀贤良祠。《郎潜纪闻》称潘世恩为三百年中第一福气中人，列举其为生加太傅、重宴琼林、状元作宰相兼而有之的唯一一人。道光二十四年，内阁四大学士，除潘世恩外，穆彰阿、宝兴、卓秉恬三人都是他的门生。
家庭.其次子潘曾莹，道光二十一年进士，官至吏部侍郎。其孙潘祖荫为咸丰二年（1852年）壬子恩科探花。官至军机大臣、太子太保、工部