阁大学士，管理工部事务，此后出任上书房总师傅，加太子太保衔。道光十八年（1838年）五月，晋为武英殿大学士。黑龙江将军请求在都尔特增加六屯，潘世恩认为该地应当作为游牧之地，开垦是失策，不可允许。言官上奏说山东盐课请归地丁，潘世恩认为山东场灶有一半靠近江淮地区，一旦归地丁，听任民众自运自销，一定会成为两淮引课的连累，不可实行。鸦片战争爆发后，潘世恩支持林则徐前往广东禁烟，力主严内治，方能御外侮。当时穆彰阿主和，潘世恩心中反对，却不能公开表示异议。道光二十八年（1848年），潘世恩因八十寿辰，晋太傅衔，赐用