不久岳州被攻陷，后驻守九江。咸丰三年（1853年）镇守瑞昌，后改驻守南昌，后因截留滇、黔铜铅银，被罢免削职。之后因战局紧张，经侍郎王茂荫举荐，负责操练乡团。咸丰五年（1855年）攻克休宁、石埭。咸丰六年（1856年）在婺源、祁门击退太平军。母亲去世后，因夺情留军。咸丰七年（1857年）邓绍良在湾沚阵亡，祁门、婺源皆告急。他在清华街、祁门。咸丰九年（1859年）攻佔婺源，授通政使，寻迁左副都御史。后督办皖南四府一州军务。咸丰十年（1860年）率军连克太平、旌德、石埭、泾县，却后皆失守，由曾国藩继任，张芾回京。