军共同平定太平天国，清叙功官文只小于曾国藩侯爵，官封一级伯爵。官文不谙政事，诸事决于家奴，时人称湖广总督府有「三大」，即妾大、门丁大、庖人（厨子）大。初期颇掣肘排挤曾国藩；平定太平天国后封二等侯，仅次于一等侯曾国藩。曾国藩批评他「才具平庸」，但时任湖北巡抚的胡林翼对他极力笼络，收官文之小妾为义妹。从此政事概由胡出，官文唯唯诺诺而已。1866年十一月因勦捻军无功遭左宗棠、曾国荃共同上疏弹劾摘去湖广总督职，晚清朝廷此次政争也被视为汉人督抚开始掌握实权，满人势力消退分水岭。1867年召还京，代理直隶总督。