再次三次上书请求退休，才得到批准。咸丰帝命潘世恩享受完整俸禄，将他的儿子留在京城官邸。
咸丰年间.咸丰帝即位后下诏求贤，潘世恩已经退休，仍然上书说林则徐历任封疆大吏，有体有用，请求咸丰帝将林则徐征召进京听候任用，并推荐前任台湾道姚莹。咸丰帝认为正确，在罢免穆彰阿时还列举潘世恩的言论。咸丰二年（1852年）再次于壬子年乡试时，他奉诏就近参加顺天府鹿鸣宴。咸丰三年（1853年）癸丑科会试时，他应邀参加礼部的“琼林筵宴”，咸丰帝亲书“琼林人瑞”匾额相赠。次年，潘世恩在京逝世，享年八十六岁