去职。咸丰九年（1859年）赏翰林院侍讲学士衔，仍入上书房。未几，授大理寺少卿，荐通政司、左副都御史，署刑部右侍郎，迁兵部尚书。咸丰十一年（1861年）调吏部，旋充上书房总师傅，授工部尚书，充经筵讲官。同治七年（1868年）正月，以吏部尚书协办大学士兼翰林院掌院学士。不久，拜体仁阁大学士，管理吏部。仕道光、咸丰、同治三朝，为官廉正，声望卓着，通军务。太平天国动乱，力主“防剿”；第二次鸦片战争时，极力主战。同治十二年（1873年）卒，赠太子太保，谥文端。