爆发后，潘世恩支持林则徐前往广东禁烟，力主严内治，方能御外侮。当时穆彰阿主和，潘世恩心中反对，却不能公开表示异议。道光二十八年（1848年），潘世恩因八十寿辰，晋太傅衔，赐用紫缰。次年，潘世恩得病，多次上书请求退休，道光帝用温和的诏书慰留他，仅仅解除其军机大臣的职务。道光三十年（1850年），咸丰帝即位，潘世恩再次三次上书请求退休，才得到批准。咸丰帝命潘世恩享受完整俸禄，将他的儿子留在京城官邸。
咸丰年间.咸丰帝即位后下诏求贤，潘世恩已经退休，仍然上书说林则徐历任封疆大吏，有体有用