顺、镇远、黎平知府及贵东道，“励志政事，军兴而后益以名节厉世，颇似信国少保”。在任强化团练、保甲，镇压黄平、台拱、清江、天柱等地苗族起义和湖南李沅发起义，后总结战争经验编成了《胡氏兵法》。咸丰四年（1854年）春，擢贵东道。出黔抗击太平军；7月，升四川按察使，仍驻防岳州；9月调湖北按察使，赴援九江。1855年3月，升湖北布政使，率大军回援武昌；4月，武昌失守，前三任湖北巡抚皆于任内阵亡，或被太平军逼迫自尽，武昌失守，至胡就任后才反败为胜守住武昌，并二度派兵拯救初用兵不知军的曾国藩部，奉诏署湖北巡抚，负责南岸