1808年），外放四川盐茶道，提为山东按察使。嘉庆二十年（1815年），升为云南巡抚。嘉庆二十二年（1817年），任广东巡抚兼两广总督，重修《广东通志》。道光元年（1821年），升任湖广总督。隔年，调任四川总督。道光四年（1824年）三月，授工部尚书兼顺天府尹事。同年改刑部尚书。道光十二年（1832年）因病乞归，病死于途中，归葬福州南郊北园山头岭。道光帝多次赐御书，陈若霖在家乡建“赐书轩”收藏，并盖上“三山陈氏居敬堂图书”的图章。宣统十一年（1920年）己未，追予太保陈宝琛曾祖故刑部尚书陈若霖谥“文诚”。