卢荫溥降五级留任，仍在军机大臣上行走，旋调工部尚书。道光元年（1821年），任吏部尚书兼顺天府尹。同年，道光以「职任较繁」罢去卢军机大臣之职。道光七年（1827年）兼任协办大学士。道光十年（1830年），升体仁阁大学士。道光十一年（1831年），充文渊阁领阁事。道光十三年（1833年），以病乞休。道光十九年（1839年）卒，赠太子太师，谥文肃。