后充任会试同考官、江南乡试副考官，因事降一级调用。父丧丁忧去职，服阙后，捐纳内阁中书。道光二十六年（1846年）以知府分发贵州, 历任安顺、镇远、黎平知府及贵东道，“励志政事，军兴而后益以名节厉世，颇似信国少保”。在任强化团练、保甲，镇压黄平、台拱、清江、天柱等地苗族起义和湖南李沅发起义，后总结战争经验编成了《胡氏兵法》。咸丰四年（1854年）春，擢贵东道。出黔抗击太平军；7月，升四川按察使，仍驻防岳州；9月调湖北按察使，赴援九江。1855年3月，升湖北布政使，率大军回援武昌；4月，武昌失守，前三任湖北