《郎潜纪闻》称潘世恩为三百年中第一福气中人，列举其为生加太傅、重宴琼林、状元作宰相兼而有之的唯一一人。道光二十四年，内阁四大学士，除潘世恩外，穆彰阿、宝兴、卓秉恬三人都是他的门生。
家庭.其次子潘曾莹，道光二十一年进士，官至吏部侍郎。其孙潘祖荫为咸丰二年（1852年）壬子恩科探花。官至军机大臣、太子太保、工部尚书。