府有「三大」，即妾大、门丁大、庖人（厨子）大。初期颇掣肘排挤曾国藩；平定太平天国后封二等侯，仅次于一等侯曾国藩。曾国藩批评他「才具平庸」，但时任湖北巡抚的胡林翼对他极力笼络，收官文之小妾为义妹。从此政事概由胡出，官文唯唯诺诺而已。1866年十一月因勦捻军无功遭左宗棠、曾国荃共同上疏弹劾摘去湖广总督职，晚清朝廷此次政争也被视为汉人督抚开始掌握实权，满人势力消退分水岭。1867年召还京，代理直隶总督。1871年病死。谥文恭。同治四年获封一等果威伯，着作《荡平发逆附记》、《敦教堂诗钞》。