为该地应当作为游牧之地，开垦是失策，不可允许。言官上奏说山东盐课请归地丁，潘世恩认为山东场灶有一半靠近江淮地区，一旦归地丁，听任民众自运自销，一定会成为两淮引课的连累，不可实行。鸦片战争爆发后，潘世恩支持林则徐前往广东禁烟，力主严内治，方能御外侮。当时穆彰阿主和，潘世恩心中反对，却不能公开表示异议。道光二十八年（1848年），潘世恩因八十寿辰，晋太傅衔，赐用紫缰。次年，潘世恩得病，多次上书请求退休，道光帝用温和的诏书慰留他，仅仅解除其军机大臣的职务。道光三十年（1850年），咸丰帝即位，潘世恩再次三次上书请