。嗣德十三年（1860年），因执掌都察院期间少有进言，贬为工部右侍郎。次年（1861年），前往北圻勘测天德江大堤。不久授谅平巡抚。当时中越边境屡有边民起事，北宁省起事乱匪煽动民众进攻谅山省城，范芝香指挥得当，最终保全省城，随后又率兵收复高平省城，因此升授宁太总督，暂时仍留任谅平巡抚，并叙军功，加军功一级，赏赐一面“廉平勤干”金磬。嗣德十七年（1864年），范芝香充任海安军次参赞军务，收复海宁府城。不久又前往高平围剿。嗣德十九年（1866年），以宁太总督一职，兼领谅平边务。嗣德二十一年（1868年），范芝