任湖北巡抚的胡林翼对他极力笼络，收官文之小妾为义妹。从此政事概由胡出，官文唯唯诺诺而已。1866年十一月因勦捻军无功遭左宗棠、曾国荃共同上疏弹劾摘去湖广总督职，晚清朝廷此次政争也被视为汉人督抚开始掌握实权，满人势力消退分水岭。1867年召还京，代理直隶总督。1871年病死。谥文恭。同治四年获封一等果威伯，着作《荡平发逆附记》、《敦教堂诗钞》。