咸丰帝
咸丰帝即位后下诏求贤，潘世恩已经退休，仍然上书说林则徐历任封疆大吏，有体有用，请求咸丰帝将林则徐征召进京听候任用，并推荐前任台湾道姚莹。咸丰帝认为正确，在罢免穆彰阿时还列举潘世恩的言论。咸丰二年（1852年）再次于壬子年乡试时，他奉诏就近参加顺天府鹿鸣宴。咸丰三年（1853年）癸丑科会试时，他应邀参加礼部的“琼林筵宴”，咸丰帝亲书“琼林人瑞”匾额相赠。次年，潘世恩在京逝世，享年八十六岁，朝廷派遣亲王祭奠，谥号“文恭”入祀贤良祠。