泳同行。因恰逢中国爆发太平天国起义，局势动荡，范芝香一行人在中国境内滞留3年才回到国内。回国后，升工部右参知，充国史馆纂修，兼掌都察院。嗣德十三年（1860年），因执掌都察院期间少有进言，贬为工部右侍郎。次年（1861年），前往北圻勘测天德江大堤。不久授谅平巡抚。当时中越边境屡有边民起事，北宁省起事乱匪煽动民众进攻谅山省城，范芝香指挥得当，最终保全省城，随后又率兵收复高平省城，因此升授宁太总督，暂时仍留任谅平巡抚，并叙军功，加军功一级，赏赐一面“廉平勤干”金磬。嗣德十七年（1864年），范芝香充任海安军次参