十一年（1861年）调吏部，旋充上书房总师傅，授工部尚书，充经筵讲官。同治七年（1868年）正月，以吏部尚书协办大学士兼翰林院掌院学士。不久，拜体仁阁大学士，管理吏部。仕道光、咸丰、同治三朝，为官廉正，声望卓着，通军务。太平天国动乱，力主“防剿”；第二次鸦片战争时，极力主战。同治十二年（1873年）卒，赠太子太保，谥文端。