，经侍郎王茂荫举荐，负责操练乡团。咸丰五年（1855年）攻克休宁、石埭。咸丰六年（1856年）在婺源、祁门击退太平军。母亲去世后，因夺情留军。咸丰七年（1857年）邓绍良在湾沚阵亡，祁门、婺源皆告急。他在清华街、祁门。咸丰九年（1859年）攻佔婺源，授通政使，寻迁左副都御史。后督办皖南四府一州军务。咸丰十年（1860年）率军连克太平、旌德、石埭、泾县，却后皆失守，由曾国藩继任，张芾回京。咸丰十一年（1861年）后赶往陕西督办陕西团练，会同巡抚瑛棨防回民暴动，后因参与调解，被回民首领任老五率众折辱，然后被肢解